大数据||日志文件数据存储、收集、预处理和分析

项目实战之四日志文件数据存储、收集、预处理和分析

日志文件:
每天的文件安装【日期】存放在对应的文件夹中
一天之内只产生一个文件,以每天零点为准

收集数据

&&程序
 put hdfs
* flume
* shell 脚本

处理数据

&& 预处理
 * mr
 * hive 
&& 处理 需要对结果集,进行处理,数据格式(json,导入到RDBMS)
 * mr
 * 时间格式
 2015-09-12T17:23:45
 * hive

展示数据

报表
Jfreechar

上一篇:详解Qt5.12.9属性表控件:QtPropertyBrowser的使用示例/折叠/展开/小数位数/QSS样式/标题修改/选中行号等(1)


下一篇:带你读《Java程序设计与计算思维》之一:计算思维与Java设计初步体验