上一篇讲过了将Springboot项目中logback日志插入到ELK日志平台，它只是个示例。这一篇来看一下实际使用中，我们应该怎样通过aop切面，拦截所有请求日志插入到ELK日志系统。同时，由于往往我们有很多个服务，都需要记录日志，为每个服务都搭建一个ELK并不现实，所以我们采用集中化管理日志，将所有日志都插到同一个ELK中。这样又会遇到另一个问题，就是ES中的Index如果只有一个，那么所有日志都混杂在一个Index里，为日后的检索带来不便，我们希望能根据不同的应用来拆分为不同的ES的Index。
下面看看怎么做。
配置logback
同样的，新建一个Springboot项目，勾选aop。
首先我们来配置logback，见logback-spring.xml
<?xml version="1.0" encoding="UTF-8"?>
<configuration>
<include resource="org/springframework/boot/logging/logback/base.xml"/>
<!-- 本地日志文件 -->
<appender name="MY_FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
<Prudent>true</Prudent>
<rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
<fileNamePattern>logFile.%d{yyyy-MM-dd}.log</fileNamePattern>
<maxHistory>30</maxHistory>
<totalSizeCap>3GB</totalSizeCap>
</rollingPolicy>
<layout class="ch.qos.logback.classic.PatternLayout">
<Pattern>%d{yyyy-MM-dd HH:mm:ss} -%msg%n</Pattern>
</layout>
<encoder>
<pattern>%-4relative [%thread] %-5level %logger{35} - %msg%n</pattern>
</encoder>
</appender>
<!-- Logstash日志 -->
<appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
<!-- 远程Logstash的IP：PORT -->
<destination>IP:4560</destination>
<!-- encoder必须要有，是logback和logstash的纽带 -->
<encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder">
<!-- 用户自定义Json字符串，用于向logstash提交额外的自定义属性。可在logstash的input里接收该参数 -->
<customFields>{"appName":"testelk"}</customFields>
</encoder>
</appender>
<root level="INFO">
<appender-ref ref="LOGSTASH"/>
<appender-ref ref="CONSOLE"/>
<appender-ref ref="MY_FILE"/>
</root>
</configuration>
为了演示，我们将日志保存3份，一份在控制台打印，即appender-ref中的CONSOLE，再一份存文件，即MY_FILE，这两个在很早之前的文章Springboot使用logback详解中有介绍。
重点看一下LOGSTASH的配置，destination配置你的Logstash的ip和端口，请修改为自己服务器的ip地址，4560是Logstash默认的端口。通过LogstashTcpSocketAppender继承的类源码可以看到
注意里面有destinations的集合，用于接收xml配置的ip，说明可以配置多个。然后还有一个encoder属性，接收一个Encoder对象。见xml里配置的encoder
encoder可以接收一个customFields的属性，见xml配置，这是一个json字符串，用于给Logstash传递自定义的值，设置之后就会在kibana里默认给每条数据都带着这个属性。
这个appName就是在xml里配置的自定义属性。之前有讲过，要使用kibana管理ES，ES的index必须要有timestamp字段。如果是不通过Logstash插入ES的话，自定义的model必须要有FieldType.DATE字段，使用Logstash的话，就可以不加这个字段。原因就是见源码里的，里面有timezone，version等都是该encoder源码自动给我们补上的。
设置appName意义何在？下面请看。
配置Logstash
创建编辑一个Logstash的配置文件，不会的去看前两篇
input {
# For detail config for log4j as input,
# See: https://www.elastic.co/guide/en/logstash/current/plugins-inputs-log4j.html
tcp {
mode => "server"
host => "0.0.0.0"
port => 4560
codec => json_lines
}
}
filter {
#Only matched data are send to output.
}
output {
# For detail config for elasticsearch as output,
# See: https://www.elastic.co/guide/en/logstash/current/plugins-outputs-elasticsearch.html
elasticsearch {
index => "%{[appName]}" #The operation on ES
hosts => "localhost:9200" #ElasticSearch host, can be array.
action => "index" #The index to write data to.
}
}
input没什么说的，设置端口和codec即可，主要是output，我们看elasticsearch的index标签，这个代表将日志插入到ES的哪个index里，这里我们不写死，而是使用获取客户端传来的appName来指定index，Logstash通过动态指定ES的index，就可以完成不同的项目存储到不同的ES的index。这样既完成了日志统一管理，又区分开了不同的项目。
配置完毕，启动Logstash即可。
设置aop拦截
上面的Logstash配置好后，假定你已经启动好了ES，也配置好了kibana，那么基础工作就已经完成了，那么我们就来完成aop切面日志的收集了。
先来设置application.yml，配置文件log的路径。
logging: file: ./logback.log
创建aop切面类，拦截所有Controller。
package com.tianyalei.testelk.aop;
import org.aspectj.lang.JoinPoint;
import org.aspectj.lang.annotation.*;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.stereotype.Component;
import org.springframework.validation.ObjectError;
import org.springframework.web.context.request.RequestContextHolder;
import org.springframework.web.context.request.ServletRequestAttributes;
import javax.servlet.http.HttpServletRequest;
import java.io.BufferedReader;
import java.io.IOException;
/**
* Created by wuwf on 17/4/27.
* 日志切面
*/
@Aspect
@Component
public class LogAspect {
private Logger logger = LoggerFactory.getLogger(getClass().getName());
private ObjectError error;
@Pointcut("execution(public * com.tianyalei.testelk.controller.*.*(..))")
public void webLog() {
}
@Before("webLog()")
public void deBefore(JoinPoint joinPoint) throws Throwable {
// 接收到请求，记录请求内容
ServletRequestAttributes attributes = (ServletRequestAttributes) RequestContextHolder.getRequestAttributes();
HttpServletRequest request = attributes.getRequest();
logger.info("-------------------用户发起请求-----------------");
// 记录下请求内容
logger.info("URL : " + request.getRequestURL().toString());
logger.info("HTTP_METHOD : " + request.getMethod());
//如果是表单，参数值是普通键值对。如果是application/json，则request.getParameter是取不到的。
logger.info("HTTP_HEAD Type : " + request.getHeader("Content-Type"));
logger.info("IP : " + request.getRemoteAddr());
logger.info("CLASS_METHOD : " + joinPoint.getSignature().getDeclaringTypeName() + "." + joinPoint.getSignature().getName());
if ("application/json".equals(request.getHeader("Content-Type"))) {
//记录application/json时的传参，SpringMVC中使用@RequestBody接收的值
logger.info(getRequestPayload(request));
} else {
//记录请求的键值对
for (String key : request.getParameterMap().keySet()) {
logger.info(key + "----" + request.getParameter(key));
}
}
}
@AfterReturning(returning = "ret", pointcut = "webLog()")
public void doAfterReturning(Object ret) throws Throwable {
// 处理完请求，返回内容
logger.info("方法的返回值 : " + ret);
logger.info("------------------请求结束------------------");
}
//后置异常通知
@AfterThrowing(throwing = "ex", pointcut = "webLog()")
public void throwss(JoinPoint jp, Exception ex){
logger.info("方法异常时执行.....");
}
//后置最终通知,final增强，不管是抛出异常或者正常退出都会执行
@After("webLog()")
public void after(JoinPoint jp){
// logger.info("方法最后执行.....");
}
private String getRequestPayload(HttpServletRequest req) {
StringBuilder sb = new StringBuilder();
try(BufferedReader reader = req.getReader()) {
char[]buff = new char[1024];
int len;
while((len = reader.read(buff)) != -1) {
sb.append(buff,0, len);
}
}catch (IOException e) {
e.printStackTrace();
}
return sb.toString();
}
}
在这里获取用户的请求地址、参数和返回值。
Controller如下：
package com.tianyalei.testelk.controller;
import com.tianyalei.testelk.service.LoginService;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;
@RestController
public class IndexController {
private Logger logger = LoggerFactory.getLogger(getClass().getName());
@Autowired
LoginService loginService;
@GetMapping("index")
public Object index() {
logger.info("进入了index方法");
logger.info("开始执行业务逻辑");
logger.info("index方法结束");
return "success";
}
@PostMapping("login")
public Object login() {
logger.info("进入了login方法");
loginService.login();
logger.info("登录成功");
return "success";
}
}
Service如下
package com.tianyalei.testelk.service;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.stereotype.Service;
@Service
public class LoginService {
private Logger logger = LoggerFactory.getLogger(getClass().getName());
public void login() {
logger.info("进入Service方法，执行登录查询");
}
}
OK了，如果你的spring-logback.xml里配置的ip和port是对的，那么日志就能进到ELK了。
启动，访问/login，并传参
可以看到控制台日志：
2017-08-08 17:11:52.603 INFO 89159 --- [nio-8080-exec-1] com.tianyalei.testelk.aop.LogAspect : -------------------用户发起请求----------------- 2017-08-08 17:11:52.604 INFO 89159 --- [nio-8080-exec-1] com.tianyalei.testelk.aop.LogAspect : URL : http://localhost:8080/login 2017-08-08 17:11:52.604 INFO 89159 --- [nio-8080-exec-1] com.tianyalei.testelk.aop.LogAspect : HTTP_METHOD : POST 2017-08-08 17:11:52.605 INFO 89159 --- [nio-8080-exec-1] com.tianyalei.testelk.aop.LogAspect : HTTP_HEAD Type : application/x-www-form-urlencoded 2017-08-08 17:11:52.605 INFO 89159 --- [nio-8080-exec-1] com.tianyalei.testelk.aop.LogAspect : IP : 0:0:0:0:0:0:0:1 2017-08-08 17:11:52.607 INFO 89159 --- [nio-8080-exec-1] com.tianyalei.testelk.aop.LogAspect : CLASS_METHOD : com.tianyalei.testelk.controller.IndexController.login 2017-08-08 17:11:52.607 INFO 89159 --- [nio-8080-exec-1] com.tianyalei.testelk.aop.LogAspect : key:name----value:wolf 2017-08-08 17:11:52.607 INFO 89159 --- [nio-8080-exec-1] com.tianyalei.testelk.aop.LogAspect : key:pass----value:123456 2017-08-08 17:11:52.610 INFO 89159 --- [nio-8080-exec-1] c.t.testelk.controller.IndexController : 进入了login方法 2017-08-08 17:11:52.611 INFO 89159 --- [nio-8080-exec-1] c.t.testelk.service.LoginService : 进入Service方法，执行登录查询 2017-08-08 17:11:52.611 INFO 89159 --- [nio-8080-exec-1] c.t.testelk.controller.IndexController : 登录成功 2017-08-08 17:11:52.611 INFO 89159 --- [nio-8080-exec-1] com.tianyalei.testelk.aop.LogAspect : 方法的返回值 : success 2017-08-08 17:11:52.613 INFO 89159 --- [nio-8080-exec-1] com.tianyalei.testelk.aop.LogAspect : ------------------请求结束------------------
查看ES数据：
我们可以看到index名为testelk的数据如图。说明自定义的index已经成功创建，值也插入成功了。
看看kibana，首先在kibana的setting里添加testelk的index。然后可以在左边的Available Fields勾选AppName和message。
可以看到记录的日志了。