需求：
用spark来进行数据ETL：
-
清洗：
- 去除json数据中的废弃字段
- 过滤json格式不正确的脏数据
- 过滤日志中的account及deviceid全为空的记录
- 过滤日志中缺少关键字段（properties/eventid/sessionid缺一不可）的记录
- 过滤日志中不符合时间段的记录（由于app上报日志可能的延迟，有数据延迟到达）
- 对于web端日志，过滤爬虫请求数据（通过useragent标识来分析）
-
转换：
-
将json打平，解析成扁平结构，主要是里面json的事件日志
-
session分割：
- 对于web端日志，按天然session分割，不需要处理
- 对app日志，由于使用了登录保持技术，导致app进入后台很长时间后，再恢复前台，依然是同一个session，不符合session分析定义，需要按事件间隔切割（业内通用：30分钟）
- 对于wx小程序日志，与app类似，session有效期很长，需要按事件间隔时间切割
-
数据规范处理：
- boolean字段，在数据中有使用1/0/-1标识的，也有使用true/false表示的，统一为Y/N/U
- 字符串类型字段，在数据中有空串，有null值，统一为null值（这个很重要，会影响计算）
- 日期格式统一：2020/9/2 2020-9-2 20200902等都统一变成YYYY-MM-dd
-
集成：
- gps坐标解析为省、市 、县信息，方便后续的地域维度分析
- 若gps找不到的地域信息，使用ip进行解析
- id_mapping：为每个用户生成一个全局唯一标识（给匿名访问，绑定到一个id上，漏斗、留存、session）
操作实现：
测试：