基于springboot的Flume整合

安装Flume成功后，我存放到E:\tools\apache-flume-1.9.0-bin\下
在安装路径下bin下（E:\tools\apache-flume-1.9.0-bin\bin）执行
flume-ng.cmd agent -conf …/conf -conf-file …/conf/example.conf -name a1 -property flume.root.logger=INFO,console

启动成功后。引入依赖

    <dependency>
        <groupId>com.teambytes.logback</groupId>
        <artifactId>logback-flume-appender_2.10</artifactId>
        <version>0.0.9</version>
    </dependency>

在resource下新建文件logback.xml。

<?xml version="1.0" encoding="UTF-8"?>

<!-- 控制台输出 -->
<appender name="console" class="ch.qos.logback.core.ConsoleAppender">
    <encoder>
        <pattern>${log.pattern}</pattern>
    </encoder>
</appender>

<!-- 系统日志输出 -->
<appender name="file_info" class="ch.qos.logback.core.rolling.RollingFileAppender">
    <file>${log.path}/sys-info.log</file>
    <!-- 循环政策：基于时间创建日志文件 -->
    <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
        <!-- 日志文件名格式 -->
        <fileNamePattern>${log.path}/sys-info.%d{yyyy-MM-dd}.log</fileNamePattern>
        <!-- 日志最大的历史 60天 -->
        <maxHistory>60</maxHistory>
    </rollingPolicy>
    <encoder>
        <pattern>${log.pattern}</pattern>
    </encoder>
    <filter class="ch.qos.logback.classic.filter.LevelFilter">
        <!-- 过滤的级别 -->
        <level>INFO</level>
        <!-- 匹配时的操作：接收（记录） -->
        <onMatch>ACCEPT</onMatch>
        <!-- 不匹配时的操作：拒绝（不记录） -->
        <onMismatch>DENY</onMismatch>
    </filter>
</appender>

<appender name="file_error" class="ch.qos.logback.core.rolling.RollingFileAppender">
    <file>${log.path}/sys-error.log</file>
    <!-- 循环政策：基于时间创建日志文件 -->
    <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
        <!-- 日志文件名格式 -->
        <fileNamePattern>${log.path}/sys-error.%d{yyyy-MM-dd}.log</fileNamePattern>
        <!-- 日志最大的历史 60天 -->
        <maxHistory>60</maxHistory>
    </rollingPolicy>
    <encoder>
        <pattern>${log.pattern}</pattern>
    </encoder>
    <filter class="ch.qos.logback.classic.filter.LevelFilter">
        <!-- 过滤的级别 -->
        <level>ERROR</level>
        <!-- 匹配时的操作：接收（记录） -->
        <onMatch>ACCEPT</onMatch>
        <!-- 不匹配时的操作：拒绝（不记录） -->
        <onMismatch>DENY</onMismatch>
    </filter>
</appender>

<!-- 用户访问日志输出  -->
<appender name="sys-user" class="ch.qos.logback.core.rolling.RollingFileAppender">
    <file>${log.path}/sys-user.log</file>
    <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
        <!-- 按天回滚 daily -->
        <fileNamePattern>${log.path}/sys-user.%d{yyyy-MM-dd}.log</fileNamePattern>
        <!-- 日志最大的历史 60天 -->
        <maxHistory>60</maxHistory>
    </rollingPolicy>
    <encoder>
        <pattern>${log.pattern}</pattern>
    </encoder>
</appender>

<!-- 测试  -->
<appender name="file666" class="ch.qos.logback.core.rolling.RollingFileAppender">
    <file>${log.path}/file666.log</file>
    <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
        <!-- 按天回滚 daily -->
        <fileNamePattern>${log.path}/file666.%d{yyyy-MM-dd.HH}.log</fileNamePattern>
        <!--            <fileNamePattern>${log.path}/file666.%d{yyyy-MM-dd}/%d{HH}.log</fileNamePattern>-->
        <!--            <fileNamePattern>${log.path}/file666.%d{yyyy-MM-dd}.%d{HH}.log</fileNamePattern>-->
        <!-- 日志最大的历史 60天 -->
        <maxHistory>1440</maxHistory>
    </rollingPolicy>
    <encoder>
        <pattern>${log.pattern}</pattern>
    </encoder>
</appender>

<!-- 加入如下appender代码 -->
<appender name="flumeTest" class="com.teambytes.logback.flume.FlumeLogstashV1Appender">
    <flumeAgents>
        192.168.0.12:44444
    </flumeAgents>
    <flumeProperties>
        connect-timeout=4000;
        request-timeout=8000
    </flumeProperties>
    <batchSize>100</batchSize>
    <reportingWindow>1000</reportingWindow>
    <additionalAvroHeaders>
        myHeader = myValue
    </additionalAvroHeaders>
    <application>JustryDeng's Application</application>
    <layout class="ch.qos.logback.classic.PatternLayout">
        <pattern>
            %d{HH:mm:ss.SSS} %-5level %logger{36} - \(%file:%line\) - %message%n%ex
        </pattern>
    </layout>
</appender>

<logger name="com" level="info">
    <appender-ref ref="flumeTest"/>
</logger>

<!-- 系统模块日志级别控制  -->
<logger name="com.example" level="info"/>
<!-- Spring日志级别控制  -->
<logger name="org.springframework" level="warn"/>

<root level="info">
    <appender-ref ref="console"/>
</root>

<!--系统操作日志-->
<root level="info">
    <appender-ref ref="file_info"/>
    <appender-ref ref="file_error"/>
</root>

<!--系统用户操作日志-->
<logger name="sys-user" level="info">
    <appender-ref ref="sys-user"/>
</logger>

<logger name="com.example.admsredis.system" level="info">
    <appender-ref ref="file666"/>
</logger>

在接口中加入log记录  Flume接收到消息