日志服务十大经典问题

2021-12-16 04:26:05

日志服务十大经典问题

一. 非阿里云的机器能用logtail吗？

能用，装好logtail之后要额外做一个配置
先找到自己的阿里云账号ID，例如：123456

  • Linux
  1. /etc/ilogtail/users/123456
  • Windows
    原理同Linux，创建、删除用户标识同名文件到目录 C:LogtailDatausers

C:LogtailDatausers123456
注意：非阿里云的机器，或者是阿里云的ECS但是跟日志服务不是一个账号买的，都必须做这一步

二. 安装好logtail之后无心跳

  1. 先看logtail状态是否在running
  2. /etc/init.d/ilogtaild status

如果状态running的话，打开文件/usr/local/ilogtail/ilogtail.LOG

  1. 主账号没有access key，会报错 Unauthorized ErrorMessage:no authority, denied by ACL，现在主账号必须有access key才能正常运行logtail
  2. 找到配置（示例是杭州的project，走内网）
  3. server:http://logtail.cn-hangzhou-intranet.log.aliyuncs.com

检查project的域跟这个能否对上，测试一下网络连通性，装错网络请卸载后(命令 sh logtail.sh uninstall)后重装logtail。

经典网络ECS

curl http://logtail.cn-regionName-intranet.log.aliyuncs.com
curl https://logtail.cn-regionName-intranet.log.aliyuncs.com
VPC网络ECS
curl http://logtail.cn-regionName-vpc.log.aliyuncs.com
curl https://logtail.cn-regionName-vpc.log.aliyuncs.com
公网
curl http://logtail.cn-regionName.log.aliyuncs.com
curl https://logtail.cn-regionName.log.aliyuncs.com

  1. 如果域没有问题，网络也是通的，找到UUID开头的这一段

Logtail started, appInfo:{
"UUID" : "CE0DA1D4-BE7E-41D3-B153-6F33B5471269",

"hostname" : "hostname",
"instance_id" : "8898CC48-566C-11E7-BFFA-00163E13138D",
"ip" : "XXX.XXX.XXX.XXX",
"logtail_version" : "0.12.5",
"os" : "Linux; 3.10.0-514.6.2.el7.x86_64; #1 SMP Thu Feb 23 03:04:39 UTC 2017; x86_64",
"update_time" : "2017-06-21 18:29:40"
}

  • 找到这一行 "ip" : "XXX.XXX.XXX.XXX"，控制台必须配置这个IP，否则无心跳。
  • 如果发现文件中这个IP为空，说明您的机器没有第一块网卡（ifconfig eth0），遇到这种情况，请手工绑定一下hosts
  1. /etc/hosts

第一行添加，保存
XXX.XXX.XXX.XXX machinename
XXX.XXX.XXX.XXX可以填其他网卡IP，machinename用hostname命令取一下。

  • 控制台配置的IP必须跟这个文件里面的对上，这个IP是个标签，不影响走哪个网络，取这个IP的方法：先取/etc/hosts 里面绑定的IP，如果没有绑定，取第一块网卡的IP（ifconfig eth0），最后会生成在/usr/local/ilogtail/ilogtail.LOG 这个文件里面，所以直接看这个文件最简单。

三. 怎么配置正则

可以使用自动配置正则，参考这个动画

日志服务十大经典问题
常见格式的采集配置可以参考下 采集方式

四. 机器有心跳，采集配置都做好，但是点击预览无数据

  1. Logtail配置监控的文件，有没有实时写入？logtail收集数据，要被监控的文件有实时写入，才会触发收集动作。
  2. 如果logtail配置里面有time字段，看看您的数据，时间区间要在 -12小时 ～ +15分钟 这个区间的数据才能被收集。
  3. 打开文件/usr/local/ilogtail/ilogtail.LOG，看看里面有没有报错，常见错误参考 logtail 收集错误查询
  4. 如果配置的不是监控文件，使用的是syslog发现没有数据，请先确认下rsyslog配置是否正确正确，参考syslog配置文档
    然后确认下rsyslog版本，要装7以上版本，否则ilogtail.LOG里面会有报错无法上传数据 message:invalid time format, support unix-timestamp

五. 点击预览有数据，点击查询没有数据

  1. 要使用查询功能，必须开启索引。注意索引功能是收费的，所以需要您手动打开，如图：
    日志服务十大经典问题
  2. 索引打开了，还是查不到数据
    对索引的任何更改，打开索引/配置索引，都只对这个时间点后收集上来的数据有效，旧数据都无效。
  3. 点击查询页面的统计图表，为何没有数据？
    统计图表只支持统计语法，查询框里面要输入统计语法才能查到数据，参考：统计语法
  4. 为什么查有些关键词查不到
    索引有分词配置，分为全文索引和键值索引，如截图

日志服务十大经典问题

  • 只有被分词分出来的term才能被搜索出来，只有配置了键值索引才能用key:value这样的语法查询。
  • 注意，为了节约索引费用，我们做了索引优化，配置了键值索引的key，不进全文索引。举例： 日志里面有个key叫做 message，并且配置了键值索引，加了空格做分词（加空格做分词，请把空格加到分词字符串的中间）。例如：message: this is a test message。
    可以用 key:value 的格式 message:this 查到，但是直接查this查不到，因为配置了键值索引的key，不进全文索引了。
  • 举例：日志里面是这个内容 abc%def 您必须把%加到分词里面，才能查到 abc 或者 def，支持前缀模糊查询，abc*可以搜索到abc开头的短语，具体查询语法，请参考：查询语法

六. 投递MaxCompute 配置

配置时候，注意以下事项：

  1. 只支持主账号做投递配置，不支持子账号
  2. 如果MaxCompute的项目里面已经建好表，可以选一张表，如果没有就选新建表，会自动帮您创建一张表，配置界面的左边，填日志服务的key名称，右边填MaxCompute表的列名。
  3. 注意不要使用MaxCompute 保留字，表名称，列名称，都检查一遍。MaxCompute 保留字
  4. 分区列建议用日志服务的系统保留字段__partition_time__，用日志采集时间来做分区，分区时间格式使用Java SimpleDateFormat，例如： 以天为分区yyyyMMdd，以小时为分区yyyyMMddHH，以分钟为分区yyyyMMddHHmm，注意不要使用精确到秒的日期格式，很容易导致单表的分区数目超过限制（6万），该格式不得包含斜线字符/ ，因为斜线字符也是MaxCompute 保留字。
  5. MaxCompute分区列不允许空，如果您不用系统保留字段__partition_time__，要用自己的key，一定要确保这个key存在且有值，如果这个key没有值，投递的时候会忽略这条数据，而且这个key的值枚举不超过6万。
  6. 投递时候对于非分区列会做下cast，如果cast没有成功，在MaxCompute那边看数据会发现里面是 N，这种情况是您的日志服务上的数据格式不符合MaxCompute表的要求。
  7. 如果同时配置了oss和MaxCompute投递，oss和MaxCompute的投递名称不能重名。
  8. 投递任务报错
    ODPS-0420095: Access Denied - Authorization Failed [4019], You have NO privilege 'odps:Describe' on {acs:odps:*:projects//tables/}.

是因为默认添加的权限丢失，在MaxCompute上运行下面三个命令重新添加一下权限，ODPS_PROJECT_NAME ODPS_TABLE_NAME替换成您自己的项目名和表名

ADD USER aliyun$shennong_open@aliyun.com;
GRANT Read, List ON PROJECT ODPS_PROJECT_NAME TO USER aliyun$shennong_open@aliyun.com;
GRANT Describe, Alter, Update ON TABLE ODPS_TABLE_NAME TO USER aliyun$shennong_open@aliyun.com;

七. 分区不够用怎么办

用户在调用SDK或者是在 ilogtail.LOG中发现这样的错误， write quota exceed，就是分区处理能力不够了，需要分裂下分区。

每个分区可提供一定的服务能力：
写入：5MB/s，2000次/s
读取：10MB/s，100次/s

分裂分区如截图：
日志服务十大经典问题

八. logtail收集日志topic以及数据过滤怎么配置

logtail的配置默认是不生成topic的，但是logtail的配置路径往下递归，用户很多时候需要区分数据来自哪个文件夹，这个时候就可以通过文件路径正则来配置生成topic，举个例子如截图，监控 /var 这个目录下的所有子目录，info.log文件
如果有个子目录是这样的 /var/abcd/info.log
把文件路径正则填成 /var/(1)/..log
abcd就会被抽取出来作为topic，这样就可以通过topic来区分数据来自哪个目录了。

数据过滤，指定字段Key存在且Value符合正则表达式的日志会被保留，多个条件是AND的关系，下面的截图配置，当request字段与(POSTs.)|(GETs.) 匹配成功，Logtail将该日志上传至日志服务。日志服务十大经典问题

九. 如何使用子账号

授权策略采用通用的RAM权限配置格式，下面这个配置可以登录控制台ListProject，查看project下的logstore

{
   "Version": "1",
   "Statement": [
     {
       "Action": ["log:ListProject"],
       "Resource": ["acs:log:*:*:project/*"],
       "Effect": "Allow"
     }，
     {
       "Action": [
         "log:Get*",
         "log:List*"
       ],
       "Resource": "acs:log:*:*:project/<指定的Proejct名称>/*",
       "Effect": "Allow"
     }
   ]
 }

资源列表
动作列表

十. 使用sdk的常见问题

  1. 上传数据时候如果有time字段，这个时间必须在当前基点[-7 天~15 分钟]范围内，否则会返回400错误。
  2. 日志消费接口是直接读loghub的，可以直接用速度快，日志查询读的是索引，要开通索引才能用速度慢。
  3. 索引查询做全量查询速度不是非常快，建议先用 GetHistograms 取得日志分布区间，再用 GetLogs一个区间一个区间去取数据，取数据的时候要检查IsCompleted()是不是true，否则查询结果不准确需要重试，GetLogs最大每次只能返回100条数据。
  1. / ↩
上一篇：【转】Darwin Streaming Server 核心代码分析


下一篇：Kubernetes弹性伸缩全场景解读（五） - 定时伸缩组件发布与开源