mongodb日志服务器方案

描述

目前要做的是多台服务器上的程序日志(如订购日志,交易日志,接口是否成功等)汇总到1个mongodb服务器,每日大约1亿的量,然后有图表实时展现,和报表展现日志信息

注意:

没有把所有日志放入1张表里面,因为日志插入很频繁会导致锁表,二是量大了影响查询速度。没有考虑用分片,因为针对我们的业务查询,分片没得分表效率高。用上了mongodb的副本集来保证服务器稳定运行 和 主从库读写分离来提高效率。

方案

1:简化入库,使用log4j配置把log4j日志以统一的json格式直接存入到mogodb

2:建立4张表

a:总表(全部日志)【单独建个库来保存,这样防止写入全局锁影响查询】

b:小时临时表:

格式:2013122106 注:2013年12月21日6时log4j写入的日志汇总

小时表:(crontab或者quartz定时统计前一小时临时表的业务所需数据,如某小时交易总量,成功率,各种聚合值等)

c:建立固定集合来存放最近2小时的数据。大小固定,效率高,自动会替换老的数据【随时在插入数据,所以会影响查询,建议放到mongodb的内存数据库和固定集合,提升效率】

d:天表(小时表的汇总)

业务处理

1小时内图标实时展现(固定集合能满足)

当天图表实时展现(小时表+固定集合能满足)

表报统计(小时表或者天表,有需求+月表或者年表)

遇到问题

mongodb使用import导入数据速度不稳定,所以如果导入数据有时间要求的话,建议使用程序批导入,

mongodb对插入会出现锁表,locked集合,影响集合查询, 不要把log4j的日志直接写入总表,在统计小时业务聚合信息,因为总表数量大了,效率很慢。建议log4j按小时写入的临时集合,在临时集合中统计小时业务数据到小时表

上一篇:使用Linux的Crontab定时执行PHP脚本


下一篇:linux下crontab定时执行本地脚本和定时访问指定url