flume作为数据源接入DBus

1 配置和安装flume源相关
2 DBus 一键加线和配置
3 grafana配置与流量监控

系统架构：

系统架构

总体说明：

DBus可以接入三种数据源：logstash、flume、filebeat，下面以使用flume为数据抽取端，抽取DBus自身产生的监控和报警日志数据为例进行说明。

DBus监控和报警模块部署在 dbus-n2和dbus-n3 上，路径为：/app/dbus/heartbeat/dbus-heartbeat-0.5.0/logs/heartbeat/heartbeat.log。因此，filebeat的日志数据抽取端也要部署在dbus-n2和dbus-n3 上。

另外与logtash不同，flume需要一个额外的产生心跳数据的shell脚本，输出的日志在解压包的相对路径：./dbus-agent-heartbeat/logs/agent-heartbeat.log，用于监测整条链路是否正常工作。因此，产生心跳数据的shell脚本也要部署在dbus-n2和dbus-n3 上。

flume抽取程序同时监控DBus自身的监控和报警日志（路径：/app/dbus/heartbeat/dbus-heartbeat-0.5.0/logs/heartbeat/heartbeat.log）和shell脚本产生的心跳数据（相对路径：./dbus-agent-heartbeat/logs/agent-heartbeat.log），这样，flume既可以抽取监控和报警日志，也可以抽取自身产生的心跳日志。

No	域名	是否有监控和报警日志？	是否部署flume？	是否部署心跳shell脚本？	抽取日志	输出topic
1	dbus-n1	否	否	否	无	无
2	dbus-n2	是	是	是	1.DBus自身产生的监控和报警日志 2. shell脚本产生的心跳数据	monitor_log_flume
3	dbus-n3	是	是	是	1.DBus自身产生的监控和报警日志 2. shell脚本产生的心跳数据	monitor_log_flume

主要配置步骤：

1 配置和安装flume源相关

2 一键加线和配置

3 检验结果

1 配置和安装flume源相关

监控和报警日志在dbus-n2和dbus-n3上，因此 flume的日志数据抽取端也要部署在dbus-n2和dbus-n3 上。

1.1 flume安装

flume版本 DBus使用的flume的版本是v1.8.0。
dbus-flume下载

包名称：dbus-flume.tar.gz

网盘地址：https://pan.baidu.com/s/1b1aKueXLvO2GigB5fa4kNw
dbus-flume目录说明

目录结构：

下载之后，直接在任意目录解压即可，解压目录如下图所示。dbus-flume包含检测脚本、自动配置脚本、心跳脚本以及启停脚本。

flume目录 :flume程序文件夹。

checkDeploy.sh : 实现了检测kafka连通性及自动更换flume配置的功能。

time_heartbeat.sh : 定时产生心跳，并将心跳日志写入dbus-agent-heartbeat文件夹中，flume会从中抽取心跳日志。

dbus-agent-heartbeat : 放置定时心跳脚本产生的心跳日志。

start.sh : 启动脚本，一键启动flume程序、心跳程序等。

stop.sh : 停止脚本，一键停止flume程序、心跳程序等。

执行下面命令，自动替换配置项flume配置项，并检测相关资源连通性：
```
./checkDeploy.sh
```
注：用户也可手动更改flume配置文件，完成flume配置。

1.2. dbus-flume启动

修改通用配置：修改conf目录下的log-conf.properties文件，对于flume，只需要修改kafka地址、日志类型及flume相关配置即可。
自动检测部署：
```
执行命令：./checkDeploy.sh
```
执行checkDeploy.sh脚本，可以自动检测kafka是否正常连接，若kafka连接正常，部署脚本将会把conf目录下的修改项替换到flume配置文件中，用户可以查看reports目录下的检测和部署报告，确认通过后，进行后续步骤。
启动方式：
```
执行命令：./start.sh
```
启动脚本，该脚本会启动flume程序及定时心跳程序。如果没有报错，则会提示flume和心跳程序启动成功。如果有错误，会提示相应错误信息及详细错误信息文件startup.log，请查看该文件，根据错误信息进行修改。
停止方式：
```
执行命令：./stop.sh
```
停止脚本，停止flume程序及定时心跳程序。

1.3. flume启动和验证

进入kafka安装目录。
执行以下命令，查看数据，如果有数据，则说明flume可以成功抽取文件：

bin/kafka-console-consumer.sh --zookeeper dbus-n1:2181,dbus-n2:2181,dbus-n3:2181/kafka --topic monitor_log_flume

flume的心跳数据样例：

 {
     "host": "dbus-n2",
     "@version": "1",
     "clock": 1516862401,
     "@timestamp": "2018-01-25 14:40:02.998",
     "type": "dbus-heartbeat"
 }

flume抽取之后产生的数据样例：

 {
     "message": "[main-EventThread] INFO : 2018/01/25 16:39:32.856 WatcherType 127 - [command-control] 开始重新加载配置信息.",
     "type": "dbus_log",
     "host": "dbus-n2"
 }

2 DBus 一键加线和配置

2.1 DBus一键加线

flume的新建线过程和filebeat的新建线过程是一样的，这里的图片引用了filebeat的建线过程，请知悉。 flume将数据抽取到Kafka topic后，DBus程序就可以对该topic数据进行处理了，在DBus web进行数据源和table的配置工作。

新建数据源：首先新建数据源，进入New DataLine页面，由于我们是用flume对心跳日志进行抽取，因此数据源的名字可以起的有意义一些，Type选择log_flume，topic必须和flume配置文件中的topic一致。
新增表：点击Add Table按钮，新增一张表，稍后会对该表进行规则配置，新增完后，点击下一步。
启动log_processor程序：启动storm程序，对数据进行处理，后面会对新增表进行规则配置。
启动结果：点击启动按钮后，当Status变为running后，表示启动成功，如果启动不成功，可以通过log定位失败原因。

2.2 DBus 数据源配置修改

因为我们在dbus-n1和dbus-n2两台机器中分别配置了flume程序，用于对数据进行抽取，而DBus监控和报警模块会对来自这两台机器的数据流进行监控，因此，我们需要在数据源配置信息中，将多台主机的host信息填入dsPartition选项中，供dbus监控和报警模块使用，注意：如果主机的hostname是ip，请将”.”转换为”_“，例如：127.0.0.1应该要转换为127_0_0_1。

修改数据源信息：点击modify按钮进行修改。
填写host信息：该数据源的数据可能来自于多个主机上的flume程序，要在dsPartition中，配置上所有主机的host信息，为DBus监控和报警模块使用。

2.3 DBus 配置规则

Rules配置： 进入Data Table页面，查看新增加的表，点击Rules按钮，为该表配置规则。
新增规则组：点击Add group按钮，新增一个规则组，点击规则组名字，进入规则配置页面。
配置规则: topic是在flume中配置的topic，即源topic，可以指定offset，获取固定区间的数据，然后点击show data按钮，此时会在页面下方显示原始数据，点击Add，新增一些过滤规则，对数据进行处理。配置完规则后，查看过滤出的数据，点击Save all rules按钮，保存规则，并返回到规则组页面。

添加规则具体步骤和方法，请参考：日志规则配置
升级版本：首先使规则组的Status状态变为失效(灰色)，然后点击升级版本（每次增加、删除或修改规则组后，都应该对该表升一次版本），然后再生效规则组。
拉取增量：使该表的状态变为ok，点击Take Effect生效按钮，使该表生效（当后续再对该表进行规则组配置操作后，也应该对该表再执行Take Effect生效按钮，使该表能够获取到最新的规则配置）。

3 grafana配置与流量监控
上传grafana配置文件参考链接：点击Import，上传grafana json配置文件。
选择InDB数据库：ds的名字必须与新建数据线中的数据源名字一致。
之前新增表的流量监控信息，type表示来自于哪台主机的数据
_unknown_table_表示不满足任何表的数据