背景
目前，阿里云态势感知与日志服务打通，对外开放平台依赖或者产生的日志，包括网络、主机、安全三大类共14种子类日志。提供近实时的日志自动采集存储、并提供基于日志服务的查询分析、报表报警、下游计算对接与投递的能力。
本文介绍如何配置态势感知的日志并介绍日志的具体类别与格式。
配置
前提条件
- 开通态势感知企业版本，并在此基础上购买日志增值模块
- 开通日志服务
步骤
刚进入态势感知控制台的日志分析下，在界面引导下开通日志服务并授权操作后。就可以立刻开始使用日志分析功能了。
专属日志库
日志都会集中放到这一个日志库中，不同的日志通过主题__topic__进行区分。
属性
专属的日志库名字是sas-log，存放于日志服务的项目sas-log-阿里云账户ID-区域名中。国内项目在杭州区域（cn-hangzhou)，国外开通的有马来西亚区域（southeast-3）。
默认的日志库的分区数量是4个, 并且打开了自动Split功能，默认的存储周期是180天（超过180天的日志会自动被删除）。
限制
专属的日志库用于存入态势感知的日志, 因此不允许用户通过API/SDK写入其他数据. 其他的查询、统计、报警、流式消费等功能与一般日志库无差别.
态势感知日志格式
日志类别与主题
默认开启的日志包括如下3大类14子类，具体类别和主题如下：
安全日志
| 日志来源 |
主题(__topic__) |
描述 |
备注 |
| 漏洞日志 |
sas-vul-log |
漏洞日志 |
安全运营产生，实时采集 |
| 基线日志 |
sas-hc-log |
基线日志 |
安全运营产生，实时采集 |
| 安全告警日志 |
sas-security-log |
安全告警日志 |
安全运营产生，实时采集 |
网络日志
| 日志来源 |
主题(__topic__) |
描述 |
备注 |
| DNS日志 |
sas-log-dns |
通过网络的DNS日志 |
由网络采集，2小时延迟左右 |
| 本地DNS日志 |
local-dns |
同一个阿里云域内的ECS之间DNS解析日志 |
由ECS内的DNS服务采集，延迟1小时 |
| 网络会话日志 |
sas-log-session |
特定协议的网络日志 |
由网络采集，延迟1小时 |
| Web日志 |
sas-log-web |
HTTP日志 |
由网络采集，延迟1小时 |
主机日志
| 日志来源 |
主题(__topic__) |
描述 |
备注 |
| 进程启动日志 |
aegis-log-process |
主机上进程启动信息 |
由安骑士agent采集，实时数据，进程一启动日志就上报 |
| 网络连接日志 |
aegis-log-network |
主机上连接的五元组信息 |
由安骑士agent采集，windows为实时数据，linux为10秒采集，增量上报 |
| 系统登录日志 |
aegis-log-login |
SSH、RDP登录成功日志 |
由安骑士agent采集，准实时数据 |
| 暴力破解日志 |
aegis-log-crack |
登录失败的日志 |
由安骑士agent采集，准实时的登录失败日志 |
| 进程快照 |
aegis-snapshot-process |
主机上进程快照信息 |
若在安骑士-资产指纹中开启了自动收集则会有数据，快照形式，每台机器一天非固定时间收集一次当时运行进程信息 |
| 账户快照 |
aegis-snapshot-host |
主机上账户快照信息 |
若在安骑士-资产指纹中开启了自动收集则会有数据，快照形式，每台机器一天非固定时间收集一次当时的账号信息 |
| 端口侦听快照 |
aegis-snapshot-port |
主机上端口侦听快照信息 |
若在安骑士-资产指纹中开启了自动收集则会有数据，快照形式，每台机器一天非固定时间收集一次当时的端口侦听信息 |
日志格式
具体个每个类别的日志格式如下：
网络日志：DNS日志
| 字段名 |
名称 |
例子 |
备注 |
| additional |
additional字段，竖线分隔 |
|
|
| additional_num |
additional字段数量 |
0 |
|
| answer |
DNS回答信息，竖线分隔 |
abc.com A IN 52 1.2.3.4 |
|
| answer_num |
DNS回答信息数量 |
1 |
|
| authority |
authority字段 |
a1.a2.com NS IN 17597 b1.b2.com |
|
| authority_num |
authority字段数量 |
1 |
|
| client_subnet |
客户端子网 |
172.168.100.1 |
|
| dst_ip |
目标IP |
1.2.3.4 |
|
| dst_port |
目标端口 |
53 |
|
| in_out |
传输方向in或者out |
out |
|
| qid |
查询ID |
12345 |
|
| qname |
查询域名 |
abc.com |
|
| qtype |
查询类型 |
A |
|
| query_datetime |
查询时间戳（毫秒） |
1537840756263 |
|
| rcode |
返回代码 |
0 |
|
| region |
来源区域ID |
1 |
1-北京，2-青岛，3-杭州，4-上海，5-深圳，6-其它 |
| response_datetime |
返回时间 |
2018-09-25 09:59:16 |
|
| src_ip |
源IP |
1.2.3.4 |
|
| src_port |
源端口 |
1234 |
|
网络日志：本地DNS
| 字段名 |
名称 |
例子 |
备注 |
| answer_rdata |
DNS回答信息，竖线分隔 |
abc.com |
|
| answer_ttl |
DNS回答的时间周期，竖线分隔 |
100 |
|
| answer_type |
DNS回答的类型，竖线分隔 |
1 |
|
| anwser_name |
DNS回答的名称，竖线分隔 |
abc.com |
|
| dest_ip |
目标IP |
1.2.3.4 |
|
| dest_port |
目标端口 |
53 |
|
| group_id |
分组ID |
3 |
|
| hostname |
主机名 |
host.abc.com |
|
| id |
id |
1.2.3.4 |
|
| instance_id |
实例ID |
1.2.3.4 |
|
| internet_ip |
互联网IP |
1.2.3.4 |
|
| ip_ttl |
IP的周期 |
64 |
|
| query_name |
查询域名 |
abc.com |
|
| query_type |
查询类型 |
A |
|
| src_ip |
源IP |
1.2.3.4 |
|
| src_port |
源端口 |
1234 |
|
| time |
查询时间戳（秒） |
1537840756 |
|
| time_usecond |
响应耗时（微秒） |
49069 |
|
| tunnel_id |
通道ID |
1234 |
|
网络日志：网络会话日志
| 字段名 |
名称 |
例子 |
备注 |
| asset_type |
关联的资产类型 |
ECS |
可能值有ECS/SLB/RDS等 |
| dst_ip |
目标IP |
1.2.3.4 |
|
| dst_port |
目标端口 |
53 |
|
| proto |
协议类型 |
tcp |
可能值有tcp或udp等 |
| session_time |
Session时间 |
2018-09-25 09:59:49 |
|
| src_ip |
源IP |
1.2.3.4 |
|
| src_port |
源端口 |
1234 |
|
网络日志：Web日志
| 字段名 |
名称 |
例子 |
备注 |
| content_length |
内容长度 |
123 |
|
| dst_ip |
目标IP |
1.2.3.4 |
|
| dst_port |
目标端口 |
53 |
|
| host |
访问主机名 |
host.abc.com |
|
| jump_location |
重定向地址 |
123 |
|
| method |
HTTP访问 |
GET |
|
| referer |
HTTP referer |
http://abc.com |
|
| request_datetime |
请求时间 |
2018-09-25 09:58:37 |
|
| ret_code |
返回状态值 |
200 |
|
| rqs_content_type |
请求内容类型 |
text/plain;charset=utf-8 |
|
| rsp_content_type |
响应内容类型 |
text/plain; charset=utf-8 |
|
| src_ip |
源IP |
1.2.3.4 |
|
| src_port |
源端口 |
1234 |
|
| uri |
请求URI |
/report |
|
| user_agent |
请求User Agent |
okhttp/3.2.0 |
|
| x_forward_for |
路由跳转信息 |
1.2.3.4 |
|
安全日志：漏洞日志
| 字段名 |
名称 |
例子 |
备注 |
| name |
漏洞名称 |
oval:com.redhat.rhsa:def:20182390 |
|
| alias_name |
漏洞别名 |
RHSA-2018:2390: kernel security and bug fix update |
|
| op |
操作信息 |
new |
可能值有：new（新增）/verify（验证）/fix（修复） |
| status |
状态信息，参考后续列表 |
1 |
|
| tag |
漏洞标签：oval, system, cms等，主要区分EMG紧急漏洞。 |
oval |
|
| type |
漏洞类型：sys(windows漏洞）,cve（Linux漏洞）,cms（Web CMS漏洞）, EMG （紧急漏洞）等 |
sys |
|
| uuid |
客户端号 |
1234-b7ca-4a0a-9267-123456 |
|
安全日志：基线日志
| 字段名 |
名称 |
例子 |
备注 |
| level |
级别 |
low |
可能值有low, mediam, high |
| op |
操作信息 |
new |
可能值有new（新增）/verify（验证） |
| risk_name |
风险名称 |
密码策略合规检测 |
|
| status |
状态信息 |
1 |
详细参考后续列表 |
| sub_type_alias |
子类型别名（中文） |
系统账户安全 |
|
| sub_type_name |
子类型名称 |
system_account_security |
|
| type_name |
类型名称 |
account |
|
| type_alias |
类型别名（中文） |
1 |
|
| uuid |
客户端号 |
12345-b7ca-4a0a-9267-123456 |
|
基线type-sub-type列表
| type_name |
sub_type_name |
| system |
baseline |
| weak_password |
postsql_weak_password |
| database |
redis_check |
| acount |
system_account_security |
| acount |
system_account_security |
| weak_password |
mysq_weak_password |
| weak_password |
ftp_anonymous |
| weak_password |
rdp_weak_password |
| system |
group_policy |
| system |
register |
| acount |
system_account_security |
| weak_password |
sqlserver_weak_passwo |
| system |
register |
| weak_password |
ssh_weak_password |
| weak_password |
ftp_weak_password |
| cis |
centos7 |
| cis |
tomcat7 |
| cis |
memcached-check |
| cis |
mongodb-check |
| cis |
ubuntu14 |
| cis |
win2008_r2 |
| system |
file_integrity_mon |
| cis |
linux-httpd-2.2-cis |
| cis |
linux-docker-1.6-cis |
| cis |
SUSE11 |
| cis |
redhat6 |
| cis |
bind9.9 |
| cis |
centos6 |
| cis |
debain8 |
| cis |
redhat7 |
| cis |
SUSE12 |
| cis |
ubuntu16 |
安全日志状态码
| 状态值 |
描述 |
| 1 |
未修复 |
| 2 |
修复失败 |
| 3 |
回滚失败 |
| 4 |
修复中 |
| 5 |
回滚中 |
| 6 |
验证中 |
| 7 |
修复成功 |
| 8 |
修复成功待重启 |
| 9 |
回滚成功 |
| 10 |
忽略 |
| 11 |
回滚成功待重启 |
| 12 |
已不存在 |
| 20 |
已失效 |
安全日志：安全告警日志
| 字段名 |
名称 |
例子 |
备注 |
| data_source |
数据源 |
aegis_login_log |
参考后续列表 |
| level |
告警级别 |
可能值有suspicious |
可能值有suspicious,serious,remind等 |
| name |
名称 |
Suspicious Process-SSH-based Remote Execution of Non-interactive Commands |
|
| op |
操作信息 |
new |
可能的值有new（新增）/dealing（处理） |
| status |
状态信息 |
1 |
参考前述status列表 |
| uuid |
客户端号 |
12345-b7ca-4a0a-9267-123456 |
|
安全告警的data_source列表
| 值 |
含义 |
| aegis_suspicious_event |
主机异常 |
| aegis_suspicious_file_v2 |
webshell |
| aegis_login_log |
异常登录 |
| security_event |
态势感知异常事件 |
主机日志：进程启动日志
| 字段名 |
名称 |
例子 |
备注 |
| uuid |
客户端号 |
5d83b26b-b7ca-4a0a-9267-123456 |
|
| ip |
客户端机器IP |
1.2.3.4 |
|
| cmdline |
用户启动完整命令行 |
cmd.exe /C "netstat -ano“ |
|
| username |
用户名 |
administrator |
|
| uid |
用户ID |
123 |
|
| pid |
进程ID |
7100 |
|
| filename |
进程文件名 |
cmd.exe |
|
| filepath |
进程文件完整路径 |
C:/Windows/SysWOW64/cmd.exe |
|
| groupname |
用户组 |
group1 |
|
| ppid |
父进程ID |
2296 |
|
| pfilename |
父进程文件名 |
client.exe |
|
| pfilepath |
父进程文件完整路径 |
D:/client/client.exe |
- |
主机日志：进程快照
| 字段名 |
名称 |
例子 |
备注 |
| uuid |
客户端号 |
5d83b26b-b7ca-4a0a-9267-123456 |
|
| ip |
客户端机器IP |
1.2.3.4 |
|
| cmdline |
用户启动完整命令行 |
cmd.exe /C "netstat -ano" |
|
| pid |
进程ID |
7100 |
|
| name |
进程文件名 |
cmd.exe |
|
| path |
进程文件完整路径 |
C:/Windows/SysWOW64/cmd.exe |
|
| md5 |
进程文件名MD5 |
d0424c22dfa03f6e4d5289f7f5934dd4 |
超过1MB的进程文件不进行计算 |
| pname |
父进程文件名 |
client.exe |
|
| start_time |
进程启动时间 |
2018-01-18 20:00:12 |
内置字段 |
| user |
用户名 |
administrator |
|
| uid |
用户ID |
123 |
- |
主机日志：登录日志
注意：1分钟内的重复登录时间会被合并为1条日志，在字段warn_count中体现次数
| 字段名 |
名称 |
例子 |
备注 |
| uuid |
客户端号 |
5d83b26b-b7ca-4a0a-9267-123456 |
|
| ip |
客户端机器IP |
1.2.3.4 |
|
| warn_ip |
登录来源IP |
1.2.3.4 |
|
| warn_port |
登录端口 |
22 |
|
| warn_type |
登录类型 |
SSHLOGIN |
可能值有：SSHLOGIN（SSH登录）、RDPLOGIN（远程桌面登录）、IPCLOGIN等 |
| warn_user |
登录用户名 |
admin |
|
| warn_count |
登录次数 |
3 |
表示这次登录前1分钟内还发送了2次 |
主机日志：暴力破解日志
| 字段名 |
名称 |
例子 |
备注 |
| uuid |
客户端号 |
5d83b26b-b7ca-4a0a-9267-123456 |
|
| ip |
客户端机器IP |
1.2.3.4 |
|
| warn_ip |
登录来源IP |
1.2.3.4 |
|
| warn_port |
登录端口 |
22 |
|
| warn_type |
登录类型 |
SSHLOGIN |
可能值有：SSHLOGIN（SSH登录）、RDPLOGIN（远程桌面登录）、IPCLOGIN等 |
| warn_user |
登录用户名 |
admin |
|
| warn_count |
失败登录次数 |
3 |
- |
主机日志：网络连接
注意 主机上每隔10秒到1分钟会收集一下变化的网络连接，而一个网络连接的状态从建立到结束的过程中会部分状态会被收集到。
| 字段名 |
名称 |
例子 |
备注 |
| uuid |
客户端号 |
5d83b26b-b7ca-4a0a-9267-123456 |
|
| ip |
客户端机器IP |
1.2.3.4 |
|
| src_ip |
源IP |
1.2.3.4 |
|
| src_port |
源端口 |
41897 |
|
| dst_ip |
目标IP |
1.2.3.4 |
|
| dst_port |
目标端口 |
22 |
|
| proc_name |
进程名 |
java |
|
| proc_path |
进程路径 |
/hsdata/jdk1.7.0_79/bin/java |
|
| proto |
协议 |
tcp |
其他可能的协议有udp和raw（表示raw socket） |
| status |
连接状态 |
5 |
完整连接状态列表和描述，参考后续列表 |
网络连接状态描述
| 状态值 |
描述 |
| 1 |
closed |
| 2 |
listen |
| 3 |
syn send |
| 4 |
syn recv |
| 5 |
establisted |
| 6 |
close wait |
| 7 |
closing |
| 8 |
fin_wait1 |
| 9 |
fin_wait2 |
| 10 |
time_wait |
| 11 |
delete_tcb |
主机日志：端口监听快照
| 字段名 |
名称 |
例子 |
备注 |
| uuid |
客户端号 |
5d83b26b-b7ca-4a0a-9267-123456 |
|
| ip |
客户端机器IP |
1.2.3.4 |
|
| proto |
协议 |
tcp |
可能的协议有tcp、udp和raw（表示raw socket） |
| src_ip |
监听IP |
1.2.3.4 |
|
| src_port |
监听端口 |
41897 |
|
| pid |
进程ID |
7100 |
|
| proc_name |
进程名 |
java |
|
主机日志：账户快照
| 字段名 |
名称 |
例子 |
备注 |
| uuid |
客户端号 |
5d83b26b-b7ca-4a0a-9267-123456 |
|
| ip |
客户端机器IP |
1.2.3.4 |
|
| user |
用户 |
nscd |
|
| perm |
是否拥有root权限 |
0 |
0-没有，1-有 |
| home_dir |
home目录 |
/Users/abc |
|
| groups |
用户属于的组 |
["users", "root"] |
不属于任何组时为N/A
|
| last_chg |
密码最后修改日期 |
2017-08-24 |
|
| shell |
linux的shell命令 |
/sbin/nologin |
|
| domain |
windows域 |
administrator |
不属于任何域为N/A
|
| tty |
登录的终端 |
pts/3 |
不适用时为N/A
|
| warn_time |
密码到期提醒日期 |
2017-08-24 |
永不提醒时为never
|
| account_expire |
账号超期日期 |
2017-08-24 |
永不过期时为never
|
| passwd_expire |
密码超期日期 |
2017-08-24 |
永不过期时为never
|
| login_ip |
最后一次登录的远程ip地址 |
1.2.3.4 |
不适用时为N/A（ |
| last_logon |
最后一次登录的日期和时间 |
2017-08-21 09:21:21 |
不适用时为N/A
|
| status |
用户状态 |
0 |
0-禁用、1-正常 |