# 浅谈企业运营中的监控系统
[TOC]
## 监控级别
- 系统级监控
> 系统级监控面向服务器、操作系统、硬件设备的监控维度，如CPU、内存、IO、网络、磁盘等
- 应用级监控
> 应用监控更关注于服务、应用、业务、数据等维度，如中间件状态、队列状态、JVM状态、应用服务状态、业务量、交易成功率、交易耗时等
## 监控目的
- 管理
> 针对经营管理活动中产生的岗位权限、指标、业务等数据信息，建立起相应的监控体系，实现多角度、多层次、全方位的在线监控
- 实时监控
> 对企业各类业务活动开展动态、实时监控，自动形成监控结果，并以邮件、短信、桌面预警等多种方式实现智能预警，帮助企业及时掌控风险
- 跟踪
> 对已确认的业务异常，自动触发业务整改，及时终止、更正违规业务；对有时限要求的事项，可全程跟踪异常整改与事务办理情况，提高风险管理能力
- 数据分析
> 提供多种监控分析与结果展示功能，帮助决策层掌握企业运营中的风险动态，为决策分析提供有力支持。
## 监控模型图
## 监控数据来源
- 探针
> 监控系统（Zabbix）、定时脚本、系统命令等
- 数据库
> 根据具体业务的统计维度编写SQL（通常只查询简单的数据、杜绝性能低下的查询、切勿在主库上查询）
- 中间件自带监控
> 如Jvm监控API、Durid监控API、JBoss监控API等
- 日志文件
> 业务平台产生的日志文件；可通过脚本、系统命令抽取
## 常见的开源监控方案
- 数据采集（探针）
- Python
- Perl
- Linux Shell
- Windows Powershell
- Zabbix
- Druid
- 各种云自带
- StatsD
- Longstash
- Open-Falcon
- ...（太多太多了）
- 数据处理
- InfluxDB
- Graphite
- ElasticSearch
- Zabbix
- Open-Falcon
- ...（太多太多了）
- 数据视图
- Grafana
- Kibana
- Zabbix UI
- LongView
- Open-Falcon UI
- OWL
- ...（太多太多了）
## 监控维度
### 系统级监控
#### 服务器监控
- 检索条件
- 全局视图
- 硬件性能
- 磁盘空间
#### 网络监控
- 线路状态
- 网卡流量
- 服务请求量
### 应用级监控
#### 业务监控
- 交易统计类
- 排榜统计类
- 线程数统计类
- 耗时统计类
- 失败原因统计
- 汇总统计类
#### 数据库监控
- Load
- Session
- CPU
- SQL
#### 平台监控
- JBoss
- JVM
- Load
## 基于ECP日志监控脚本范例
- POS交易线程数统计
```shell
tail -n 80 ehpspos2_pos.trc | grep -a active | tail -n 1 | awk '{print $6}' | grep -o '[0-9]*'
```
- 交易明细分组求和（txn_xxx.lst）
> 最后1000笔按服务名&&交易码分组，统计数量、最大时间、平均时间
```shell
tail -n 1000 txn_pos.lst | awk -F '|' '{print $3"."$4" "$5}' | awk '{max[$1]=max[$1]>$2?max[$1]:$2;number[$1]++;sum[$1]+=$2}END{for (i in max) printf "%s \t%s\t%.0f\t%s \n",i,number[i],sum[i]/number[i],max[i]}' OFS="\t"
```
- 通道平均响应时间
```shell
tail -n 1000 muniefsb_pos.trc | grep -a connector | awk -F '|' '{print $5}' | awk '{sum+=$1} END {printf "%.0f\n",sum/NR}'
```
- POS扫码消费平均响应时间
```shell
tail -n 1000 txn_*.lst | grep -a -E "4433001|4433002|4433011" | tail -n 30 | awk -F '|' '{print $5}' | awk '{sum+=$1} END {printf "%.0f\n",sum/NR}'
```
- 时间大于20秒的交易
```shell
cat tpospay1_pos*.trc* | grep connector | awk -F '|' '$5 > 20000 {print $1,$5}'
```
- 平均汇总
```shell
tail -n 1000 $TRC/muniefsb_${NODE}.trc |grep -a connector | tail -n 30 | awk -F '|' '{print $5}' | awk '{sum+=$1} END {printf "%.0f\n",sum/NR}'
```
- 查询次数统计
```shell
cat txntrc_pos*.lst |grep -a '08:45' |grep -a -E '4433003|5533003|5533008' | awk -F '|' '{sum[$13]+=1}END{for (i in sum)print i,sum[i]}' | sort -n -k 2 -r
```
- 安全中心服务线程数监控
```shell
tail -n 1000 tsafpub1_*.trc | grep connector | tail -n 30 | awk -F '|' '{print $5}' | awk '{sum+=$1} END {printf "%.0f\n",sum/NR}'
```
- 按机构汇总统计交易笔数（前10)
```shell
grep -E "ehpspos[0-9].*2010020|ehpspos[0-9].*2010021|ehpspos[0-9].*2010060|ehpspos[0-9].*4433001|ehpspos[0-9].*4433011|ehpspos[0-9].*5533001|ehpspos[0-9].*5533001|ehpspos[0-9].*5533006" txntrc_*.lst* | awk -F '|' '{sum[$13]+=1}END{for (i in sum)print i,sum[i]}' | sort -r -n -k 2 | sed -n '1,10p'
```
## 监控常见的问题分析
- 接入服务&接出服务线程数同时飙升
> 这种情况多由于上游通道系统异常、网络异常导致的