日志服务支持通过数据接入向导配置采集Nginx日志,并自动创建索引和Nginx日志仪表盘,帮助您快速采集并分析Nginx日志。
参考:
https://help.aliyun.com/document_detail/28988.html
https://help.aliyun.com/document_detail/56728.html
下面介绍另一种方式,用分隔符模式采集Nginx日志。
背景信息
使用nginx log_format配置采集,会根据log_format生成正则,因为一些特殊字段,生成的正则可能会和原始日志不匹配,而用分隔符模式采集就会避免这个问题。
安装Nginx
相关命令
安装Nginx
sudo yum install nginx
查看Nginx版本
nginx -v
设置Nginx开机启动
sudo systemctl enable nginx
启动Nginx
sudo systemctl start nginx
重启Nginx
sudo systemctl restart nginx
检查Nginx运行状态
sudo systemctl status nginx
编辑配置文件
vim /etc/nginx/nginx.conf
日志路径
/var/log/nginx/access.log
用分隔符配置log_format
这个里分隔符设置为|#|
log_format main '$remote_addr|#|$remote_user|#|$time_local|#|$request|#|'
'$request_time|#|$request_length|#|'
'$status|#|$body_bytes_sent|#|$http_referer|#|'
'$http_user_agent';
nginx.conf配置截图
日志样例
127.0.0.1|#|-|#|13/Apr/2020:09:44:41 +0800|#|GET /1 HTTP/1.1|#|0.000|#|74|#|404|#|3650|#|-|#|curl/7.29.0
配置日志采集
1. 登录
2. 选择数据源类型
采集分隔符日志请选择分隔符-文本日志。
3. 选择日志空间
请选择Project和Logstore,您也可以直接单击立即创建新建Project和Logstore。具体步骤请参见准备流程。
如果您是通过日志库下的数据接入后的加号进入采集配置流程,系统会直接跳过该步骤。
4. 创建机器组
在创建机器组之前,您需要首先确认已经安装了Logtail。
- ECS机器: Linux系统勾选实例后单击安装进行一键式安装。Windows系统不支持一键式安装,请参见安装Logtail(Windows系统)手动安装。
- 自建(非ECS)机器:请根据界面提示进行安装。或者请参见安装Logtail(Linux系统)或安装Logtail(Windows系统)进行安装。
5. 安装完Logtail后单击确认安装完毕创建机器组
具体请参见简介。如果您之前已经创建好机器组 ,请直接单击使用现有机器组。
6. 机器组配置
选择一个机器组,将该机器组从源机器组移动到应用机器组。
7. Logtail配置
将上文的日志样例粘贴到下图的对应位置中,分隔符选择自定义,设置为|#|,在key上依次填入字段名,点击保存。
分隔符详细配置参考:
https://help.aliyun.com/document_detail/31724.html
8. 查询分析配置
查询日志需要开启索引,点击“开启索引”,再点击确定,如果预览可以看到数据,可以点击自动生成索引。