使用EMR-Flume同步HDFS audit日志到HDFS

使用EMR-Flume同步HDFS audit日志到HDFS

1.前言

E-MapReduce从3.19.0版本开始对EMR-Flume提供集群管理的功能。通过集群管理功能,可以在Web页面方便的配置和管理Flume Agent。
本文将使用EMR-Flume实时同步HDFS audit日志至HDFS,便于对HDFS操作记录进行离线统计和实时分析。

2.部署方案

2.1方案一

在master实例启动Flume agent,收集本地磁盘中的audit日志并sink到HDFS。
这个方案架构和配置比较简单,但是master实例本身部署了比较重要且对资源占用比较敏感的服务,比如Zookeeper,在master实例中HDFS读写操作如果占用过多资源会对这些服务产生影响。

2.2方案二

选取core实例启动Flume agent做sink HDFS的操作,在master实例启动Flume agent,收集本地磁盘中的audit日志通过Avro协议发送数据至core实例。
使用这个方案时,考虑到core实例上Flume运行的稳定性,可以选取多个core实例构成failover sink processor。
本文以方案二对操作流程作说明。

3.操作流程

3.1准备工作

创建E-MapReduce Hadoop集群,在可选服务中选择Flume。具体操作可参考创建集群

3.2 core实例配置并启动Flume Agent

比如在emr-worker-1节点进行操作,选择核心实例组进行配置,如下入所示

使用EMR-Flume同步HDFS audit日志到HDFS

在配置页面设置如下

default-agent.sinks.default-sink.type hdfs
default-agent.channels.default-channel.type file
default-agent.sources.default-source.type avro
deploy_node_hostname emr-worker-1

在配置页面通过自定义配置添加如下配置:

default-agent.sinks.default-sink.hdfs.path 对于高可用集群,使用hdfs://emr-cluster/path形式的地址
default-agent.sinks.default-sink.hdfs.fileType DataStream
default-agent.sinks.default-sink.hdfs.rollSize 0
default-agent.sinks.default-sink.hdfs.rollCount 0
default-agent.sinks.default-sink.hdfs.rollInterval 86400
default-agent.sinks.default-sink.hdfs.batchSize 51200
default-agent.sources.default-source.bind 0.0.0.0
default-agent.sources.default-source.port 根据实际设置
default-agent.channels.default-channel.transactionCapacity 51200
default-agent.channels.default-channel.dataDirs channel存储event数据的路径
default-agent.channels.default-channel.checkpointDir 存储checkpoint的路径
default-agent.channels.default-channel.capacity 根据hdfs roll进行设置

说明:为避免生成过多小文件,通常以GB为单位生成HDFS文件,或者按天生成一个文件。此处按照时间来生成文件,可根据实际情况进行设置.

保存配置后启动Flume agent

使用EMR-Flume同步HDFS audit日志到HDFS

使用EMR-Flume同步HDFS audit日志到HDFS

使用EMR-Flume同步HDFS audit日志到HDFS

查看操作历史里显示操作成功后,部署拓扑页面可以看到emr-worker-1节点的flume已经是started状态

使用EMR-Flume同步HDFS audit日志到HDFS

emr-worker-1节点启动成功后,开始启动第二个worker节点。
同样的方式,比如在worker-2节点启动flume,修改配置项

deploy_node_hostname 节点的hostname
default-agent.sinks.default-sink.hdfs.path 对于高可用集群,使用hdfs://emr-cluster/path形式的地址

保存配置后,启动 All Components,指定机器为emr-worker-2。

3.3 master实例配置并启动Flume Agent

比如在emr-header-1节点进行操作,选择服务配置

使用EMR-Flume同步HDFS audit日志到HDFS

配置agent如下

additional_sinks k1
deploy_node_hostname emr-header-1
default-agent.sources.default-source.type taildir
default-agent.sinks.default-sink.type avro
default-agent.channels.default-channel.type file

新增配置如下:

配置项
default-agent.sources.default-source.filegroups f1
default-agent.sources.default-source.filegroups.f1 /mnt/disk1/log/hadoop-hdfs/hdfs-audit.log.*
default-agent.sources.default-source.positionFile 存储position file的路径
default-agent.channels.default-channel.checkpointDir 存储checkpoint的路径
default-agent.channels.default-channel.dataDirs 存储event数据的路径
default-agent.channels.default-channel.capacity 根据实际情况设置
default-agent.sources.default-source.batchSize 2000
default-agent.channels.default-channel.transactionCapacity 2000
default-agent.sources.default-source.ignoreRenameWhenMultiMatching true
default-agent.sinkgroups g1
default-agent.sinkgroups.g1.sinks default-sink k1
default-agent.sinkgroups.g1.processor.type failover
default-agent.sinkgroups.g1.processor.priority.default-sink 10
default-agent.sinkgroups.g1.processor.priority.k1 5
default-agent.sinks.default-sink.hostname emr-worker-1节点的IP
default-agent.sinks.default-sink.port emr-worker-1节点Flume Agent的port
default-agent.sinks.k1.hostname emr-worker-2节点的IP
default-agent.sinks.k1.port emr-worker-2节点Flume Agent的port
default-agent.sinks.default-sink.batch-size 2000
default-agent.sinks.k1.batch-size 2000
default-agent.sinks.k1.type avro
default-agent.sinks.k1.channel default-channel

需要说明的是,Flume的taildir source在filegroups使用通配符匹配log4j的滚动日志时会有数据重复的问题,通过对EMR-Flume配置ignoreRenameWhenMultiMatching可以避免这种问题。
保存配置后,相同的方式指定机器为emr-header-1启动flume。
如果需要在emr-header-2节点启动Flume agent,只需对配置作如下修改

3.4查看同步结果

使用HDFS命令,可以看到同步的数据被写入FlumeData.${timestamp}形式的文件中,其中timestamp为文件创建的时间戳

使用EMR-Flume同步HDFS audit日志到HDFS

上一篇:2014秋C++ 第12周项目 C++函数新特征与递归函数


下一篇:在java语言计算数据库记录总数的简便算法