核心内容摘要
Janus-Pro-7B入门教程：Python爬虫数据的情感分析与摘要生成
文章目录文档用途详细信息文档用途本文介绍HGWatcher的功能、安装方式及
使用方法并提供HGWatcher更新说明及下载地址。
详细信息简介HGWatcher是一个定期收集HGDB、PostgreSQL及其所运行的操作系统的信息的工具用以在数据库或操作系统出现问题时辅助判断问题原因。
功能HGWatcher可以通过脚本收集服务器上有正在运行的HGDB、PostgreSQL数据库的安装目录、数据存放目录等信息。
HGWatcher定期使用操作系统命令及sql语句获取操作系统及数据库信息。
HGWatcher在数据库或操作系统出现问题时可以通过脚本获取当前操作系统及数据库的信息并将HGWatcher记录的归档日志一并打包。
安装及使用用法
安装pg_stat_statements插件采集数据库信息需要使用插件pg_stat_statements需要提前在数据库中配置插件pg_stat_statements。
Highgo Database及PostgreSQL数据库默认自带插件pg_stat_statements但需要手动进行安装。
默认放置路径为$PGHOME/share/extension/。
如果PostgreSQL为源码安装$PGHOME/share/extension/路径可能为空需要进入源码路径中contrib/pg_stat_statements下执行以下命令安装PostgreSQL的插件。
$ cd contrib/pg_stat_statements$ make$ make install确定$PGHOME/share/extension/下有插件pg_stat_statements之后可以执行插件的安装过程了过程如下#执行以下SQL创建extensionhighgo# create extension pg_stat_statements;修改数据库配置文件postgresql.conf修改内容如下。
修改完成后需要重启数据库生效。
#表示启动时导入pg_stat_statements动态库shared_preload_libraries ‘pg_stat_statements’#最多监控5000条SQLpg_stat_statements.max 5000#选择监控的级别all表示监控所有SQL包括函数中执行的的SQLtop只监控直接执行的SQL不包括函数中执行的SQLnone表示不监控。
pg_stat_statements.track all#表示是否追踪非DMLDDLDCL等语句on表示追踪off表示不追踪。
pg_stat_statements.track_utility on#重启后是否保留统计信息on表示保留off表示不保留pg_stat_statements.save on
收集当前运行数据的信息解压HGWatcher_V
1.
0.
tar.gz进入HGWatcher目录首先执行getDBlist.sh获取当前服务器中运行的数据库的信息。
如执行过程中提示“Database highgo did not install extended pg_stat_statements!”表示pg_stat_statements未安装或安装存在问题请参照步骤1进行安装或检查。
执行过程如下。
[rootpgha3 HGWatcher]# sh getDBlist.shThe current environment has a set of 3 databases.To monitor all databases, you need to write all database information to the file dblist.cfg, and then use the -dblist option.You can also read the database information through the current script and then modify it according to the actual situation.Do you want to generate a database information list [Y/N]?yDatabase benchmarksql did not install extended pg_stat_statements!Database highgo did not install extended pg_stat_statements!Database highgo did not install extended pg_stat_statements!###########################################################################################The output file is /HGWatcher/data/dblist.cfg##########################################################################################执行结果放在HGWatcher目录下的data名称为getDBlist.sh内容如下[DATABASE1]#psql的路径PSQL/usr/pgsql-10/bin/psql#PostgreSQL的安装路径PGDATAPATH/var/lib/pgsql/10/data#PostgreSQL使用的端口PGPORT5432#当前数据库的IP默认使用
127.
0.
1需要设置psql -h
127.
0.
1可以直接登录数据库PGHOST
127.
0.
1#登录数据库的用户需要使用数据库的超级用户PGUSERpostgres#数据库软件的安装或管理用户如有误需要手动修改。
OSUSERpostgres#当前所有创建的数据库如果获取到的数据库不需要监控可以直接删除PGDATABASEpostgres,benchmarksql#数据库是否可以不使用密码直接登录1表示可以0表示不可以需要配置数据库使其在本地可以不使用密码直接登录DirectAccess1[ENDDATABASE1]
定时收集系统信息确认dblist.cfg文件中信息与当前运行数据库信息相符后执行HGWatcher.sh开始收集信息。
默认设置为30秒收集一次操作系统的信息60分钟收集一次数据库的信息归档默认保留168小时7天。
如无特殊要求可以使用默认设置。
HGWatcher.sh有以下几个选项-dblist指定使用自定义的dblist.cfg -OSsnapshot指定采集操作系统信息的快照时间单位秒默认时间30秒 -DBsnapshot指定采集数据库信息的快照时间单位分钟默认时间60分钟 -archtime 指定归档存放时间单位小时默认时间168小时一周 -archpath 指定归档存放的路径默认路径HGWatcher/archive/ -help 获取帮助信息示例./HGWatcher.sh -OSsnapshot 20 -DBsnapshot 11 -archtime 4 -archpath /tmp/archive假如每20秒采集一次操作系统信息每11分钟采集一次数据库信息归档保存时间4小时归档存放目录/tmp/archive。
参数设置如下[rootpgha3 HGWatcher]# ./HGWatcher.sh -OSsnapshot 20 -DBsnapshot 11 -archtime 4 -archpath /tmp/archiveTesting for discovery of OS Utilities…
09:07:59 VMSTAT found on your system.
09:08:01 IOSTAT found on your system.
09:08:01 IFCONFIG found on your system.
09:08:03 MPSTAT found on your system.
09:08:04 NETSTAT found on your system.
09:08:04 Discovery of CPU CORE COUNT
09:08:04 CPU CORE COUNT will be used by HGWatcher to automatically look for cpu problems
09:08:04 CPU CORE COUNT
09:08:04 VCPUS/THREADS
09:08:04 Discovery completed.
09:08:09 Starting HGWatcher v
1.
0With OSsnapshotInterval 20 #操作系统快照时间With DBSnapshotInterval 11m #数据库快照时间With ArchiveInterval 4h #归档保留时间With ArchivePath /tmp/archive #归档保存位置HGWatcher - Written by zb,Highgo Corporation
09:08:14 Data is stored in directory: /tmp/archive
09:08:14 Starting Data Collection…
收集收集归档文件进入到HGWatcher安装目录下执行./getarch.sh当前已运行的HGWatcher会被停止并重新运行一次HGWatcher归档进程会将7天内的数据库日志及日志归档目录一并打包压缩到当前目录。
数据库日志保存到归档目录下的pg_log文件夹中并建立以端口号命名的文件夹例如某数据库使用端口为5866将在pg_log下建立5866的文件夹并把对应的数据库日志复制到5866文件夹下。
下载HGWatcher请查看附件。