基于ActiveMQ的统一日志服务

2022-10-22 16:08:18

概述

以ActiveMQ + Log4j + Spring的技术组合，实现基于消息队列的统一日志服务。

参考：Spring+Log4j+ActiveMQ实现远程记录日志——实战+分析

与参考文章的比较

1. 更新了技术的版本
e.g. Spring升级到4.2.0，ActiveMQ升级到5.13.2

2. 更新了依赖
e.g. 使用activemq-client 5.13.2替换activemq-core最高版本是5.7.0，并取消了多余的spring-jms依赖

3. 精简了配置
e.g. 去掉spring.xml中的jmsTemplate

4. 其他略述

前提

为理解文章的内容，你可能需要先了解下面的知识：

1. 了解基于Maven的项目结构

2. 下载并运行ActiveMQ

3. 了解log4j基于properties配置的简单用法

4. 了解基于Spring-webmvc的框架的搭建

当然，这只是建议......

技术版本

ActiveMQ - 5.13.2
Log4j - 1.2.17
Spring - 4.2.4

结构图

1.节点拓扑图

说明：

应用系统基于log4j规范，通过JMSAppender将日志发送到ActiveMQ
Log Server向ActiveMQ订阅消息，并指定MessageListener的实现来接收ActiveMQ发布的消息

实现

1.Log Server

你可以从amqlog-server拿到源代码。

1.1.文件目录结构

 1 pom.xml

 2 src/main/webapp/

 3     |---- WEB-INF/

 4               |---- web.xml

 5     |---- index.jsp # 忽略

 6 src/main/resources/

 7     |---- spring-beans.xml

 8     |---- topic.properties # 集中管理修改概率比较高的属性配置

 9 src/main/java/

10     |---- cn.sinobest.asj.logserver

11               |---- LogListener.java # 接收并输出log message

1.2.文件内容

1.2.1. pom.xml

 1 <project xmlns="http://maven.apache.org/POM/4.0.0"

 2     xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

 3     xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">

 4     <modelVersion>4.0.0</modelVersion>

 5     <groupId>cn.sinobest.asj</groupId>

 6     <artifactId>log-servler</artifactId>

 7     <packaging>war</packaging>

 8     <version>0.0.1-SNAPSHOT</version>

 9     <name>amqlog-servler Maven Webapp</name>

10     <url>http://maven.apache.org</url>

11     <description>日志服务器，从ActiveMQ订阅主题，从而获取相关的日志数据</description>

12     <dependencies>

13         <dependency>

14             <groupId>junit</groupId>

15             <artifactId>junit</artifactId>

16             <version>3.8.1</version>

17             <scope>test</scope>

18         </dependency>

19         <!-- use to import spring-webmvc framework -->

20         <dependency>

21             <groupId>org.springframework</groupId>

22             <artifactId>spring-web</artifactId>

23             <version>4.2.4.RELEASE</version>

24         </dependency>

25         <dependency>

26             <groupId>org.springframework</groupId>

27             <artifactId>spring-jms</artifactId>

28             <version>4.2.4.RELEASE</version>

29         </dependency>

30         <!-- use to subscribe topic message from ActiveMQ -->

31         <dependency>

32             <groupId>org.apache.activemq</groupId>

33             <artifactId>activemq-client</artifactId>

34             <version>5.13.2</version>

35         </dependency>

36         <!-- use to extract log content from message -->

37         <dependency>

38             <groupId>log4j</groupId>

39             <artifactId>log4j</artifactId>

40             <version>1.2.17</version>

41         </dependency>

42     </dependencies>

43     <build>

44         <finalName>amqlog-servler</finalName>

45     </build>

46 </project>

1.2.2. web.xml

 1 <web-app xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

 2     xmlns="http://java.sun.com/xml/ns/javaee"

 3     xmlns:web="http://java.sun.com/xml/ns/javaee/web-app_3_0.xsd"

 4     xsi:schemaLocation="http://java.sun.com/xml/ns/javaee http://java.sun.com/xml/ns/javaee/web-app_3_0.xsd"

 5     id="WebApp_ID" version="3.0" metadata-complete="false">

 6     <display-name>Archetype Created Web Application</display-name>

 7     <context-param>

 8         <param-name>contextConfigLocation</param-name>

 9         <param-value>

10                 classpath:spring-beans.xml

11             </param-value>

12     </context-param>

13     <listener>

14         <listener-class>org.springframework.web.context.ContextLoaderListener</listener-class>

15     </listener>

16 </web-app>

1.2.3. spring-beans.xml

装配图

说明：左上角标识由谁提供具体的实现，没有标识的有自己提供实现。

内容

 1 <?xml version="1.0" encoding="UTF-8"?>

 2 <beans xmlns="http://www.springframework.org/schema/beans"

 3     xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

 4     xmlns:context="http://www.springframework.org/schema/context"

 5     xsi:schemaLocation="http://www.springframework.org/schema/beans

 6         http://www.springframework.org/schema/beans/spring-beans-4.2.xsd

 7         http://www.springframework.org/schema/context

 8         http://www.springframework.org/schema/context/spring-context-4.2.xsd">

 9     <context:property-placeholder location="classpath:topic.properties" />

10     <bean id="targetConnectionFactory" class="org.apache.activemq.ActiveMQConnectionFactory">

11         <property name="brokerURL" value="${topic.brokerURL}" />

12         <!-- add trusted packages. see http://activemq.apache.org/objectmessage.html -->

13         <property name="trustedPackages">

14             <list>

15                 <value>org.apache.log4j.spi</value>

16             </list>

17         </property>

18     </bean>

19     <bean id="connectionFactory"

20         class="org.springframework.jms.connection.SingleConnectionFactory">

21         <property name="targetConnectionFactory" ref="targetConnectionFactory" />

22     </bean>

23     <bean id="destination" class="org.apache.activemq.command.ActiveMQTopic">

24         <constructor-arg name="name" value="${topic.topicName}" />

25     </bean>

26     <!-- define the message-listener to receive and dipose log data. -->

27     <bean id="messageListener" class="cn.sinobest.asj.logserver.LogListener" />

28     <bean id="jmsContainer"

29         class="org.springframework.jms.listener.DefaultMessageListenerContainer">

30         <property name="connectionFactory" ref="connectionFactory" />

31         <property name="destination" ref="destination" />

32         <property name="messageListener" ref="messageListener" />

33     </bean>

34 </beans>

说明：

在targetConnectionFactory的属性中，指定了trustedPackages。ActiveMQ自5.12.2版本之后，强制用户指定一份可信任的packages白名单，以对付ObjectMessage存在的安全漏洞。具体内容可参考：http://activemq.apache.org/objectmessage.html。

1.2.4. topic.properties

topic.brokerURL=tcp://localhost:61616

topic.topicName=demo

注意：brokerURL的值必须和ActiveMQ的监听地址一致。

1.2.5. LogListener.java

 1 package cn.sinobest.asj.logserver;

 2 import javax.jms.JMSException;

 3 import javax.jms.Message;

 4 import javax.jms.MessageListener;

 5 import org.apache.activemq.command.ActiveMQObjectMessage;

 6 import org.apache.log4j.spi.LoggingEvent;

 7 public class LogListener implements MessageListener {

 8     private static final String TEMPLATE = "[%-5s] %s";

 9     public void onMessage(Message message) {

10         try {

11             // extract LoggingEvent from message

12             // you must set org.apache.log4j.spi into the trusted packages list

13             // see spring-beans.xml in classpath

14             LoggingEvent event = (LoggingEvent) ((ActiveMQObjectMessage) message)

15                     .getObject();

16             String content = String.format(TEMPLATE, event.getLevel()

17                     .toString(), event.getMessage().toString());

18             System.out.println(content);

19         } catch (JMSException e) {

20             e.printStackTrace();

21         }

22     }

23 }

说明：这里的LoggingEvent来自package org.apache.log4j.spi，该package在spring-beans.xml的白名单中。

2.Log Client

log client模拟一般的应用系统。该应用系统有日志存储的需要，将日志发送给ActiveMQ而不用关心日志最终的存储方式。这里仅用一个简单的JavaSE project来模拟，但是已经足够提供完整的核心代码。

你可以从amqlog-client拿到源代码。

2.1.文件目录结构

1 pom.xml

2 src/main/resources/

3     |---- log4j.properties # 配置日志输出地点，及ActiveMQ的相关参数

4     |---- jndi.properties # 配置topic

5 src/main/java/

6     |---- cn.sinobest.asj.logclient

7               |---- LogProducer.java # 生成并输出日志

2.2.文件内容

2.2.1. pom.xml

 1 <project xmlns="http://maven.apache.org/POM/4.0.0"

 2     xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

 3     xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">

 4     <modelVersion>4.0.0</modelVersion>

 5     <groupId>cn.sinobest.asj</groupId>

 6     <artifactId>amqlog-client</artifactId>

 7     <version>0.0.1-SNAPSHOT</version>

 8     <name>Simple app to send log to ActiveMQ</name>

 9     <description>模拟一般的应用系统，通过log4j发送日志到ActiveMQ</description>

10     <dependencies>

11         <!-- use to write log -->

12         <dependency>

13             <groupId>log4j</groupId>

14             <artifactId>log4j</artifactId>

15             <version>1.2.17</version>

16         </dependency>

17         <dependency>

18             <groupId>commons-logging</groupId>

19             <artifactId>commons-logging</artifactId>

20             <version>1.1.1</version>

21         </dependency>

22         <!-- use to import class org.apache.activemq.jndi.ActiveMQInitialContextFactory

23             to write log to ActiveMQ -->

24         <dependency>

25             <groupId>org.apache.activemq</groupId>

26             <artifactId>activemq-client</artifactId>

27             <version>5.13.2</version>

28         </dependency>

29     </dependencies>

30 </project>

2.2.2. log4j.properties

 1 # define the stand out appender

 2 log4j.appender.stdout=org.apache.log4j.ConsoleAppender

 3 log4j.appender.stdout.layout=org.apache.log4j.PatternLayout

 4 log4j.appender.stdout.layout.ConversionPattern=[%-5p] %-d{yyyy-MM-dd HH:mm:ss z}%n        %m%n%n

 5

 6 # define the jms appender

 7 log4j.appender.jms=org.apache.log4j.net.JMSAppender

 8 log4j.appender.jms.InitialContextFactoryName=org.apache.activemq.jndi.ActiveMQInitialContextFactory

 9 log4j.appender.jms.ProviderURL=tcp://localhost:61616

10 # TopicBindingName可以*配置，只需要确保提供对应的jndi属性即可

11 log4j.appender.jms.TopicBindingName=topicName

12 # TopicConnectionFactoryBindingName目前不能*配置

13 log4j.appender.jms.TopicConnectionFactoryBindingName=ConnectionFactory

14

15 # define the logger

16 log4j.rootLogger=INFO, stdout, jms

注意：log4j.appender.jms.ProviderURL的值必须和ActiveMQ的监听地址一致。

2.2.3. jndi.properties

topic.topicName=demo

注意：key的后半部分（topicName）必须与log4j.properties中的log4j.appender.jms.TopicBindingName一致。

属性间的对应关系

2.2.4. LogProducer.java

 1 package cn.sinobest.asj.logclient;

 2 import org.apache.commons.logging.Log;

 3 import org.apache.commons.logging.LogFactory;

 4 public class LogProducer {

 5     private static final Log log = LogFactory.getLog(LogProducer.class);

 6     /**

 7      * @param args

 8      */

 9     public static void main(String[] args) {

10         log.debug("this is a debug message.");

11         log.info("this is a info message.");

12         log.warn("this is a warn message.");

13         log.error("this is a error message");

14         System.exit(0);

15     }

16 }

说明：debug的内容不会发送到ActiveMQ。

测试

启动ActiveMQ
cd到ActiveMQ的解压缩目录，在cmd执行bin\activemq start
部署Log Server到Tomcat并启动
运行Log Client的LogProducer main方法
Log Server的Console会有：

码农公寓

概述