- 数据产生和上报流程
- 1)客户端定时采集----->数据加密----->数据传至日志服务器上----->数据解密----->日志落地磁盘
- 2)可以考虑数据压缩
- 基于IDEA+Maven构建多Module本地开发环境
- 1)多Module带来的好处:GitHub - apache/spark: Apache Spark - A unified analytics engine for large-scale data processing
- 发现每个子工程下面都有一个pom.xml
- 单独将一个完整的项目,拆成不同的模块,这样在开发的过程中可以各司其职
- 比如说,A是开发某一个子模块的,A只用开发自己的部分,B只要将A的依赖加进去,就可以协作开发了。
- 2)多Module项目构建
- 打开IDEA
- 选择Maven
- Project SDK:1.8 version 1.8.0_152
- 不选 Create from archetype
- 点击next
- Groupid:com.imooc,bigdata
- Artifactld:spark
- Version:1.0
- 点击next
- project name:spark
- project location:C:\Users\jieqiong\IdeaProjects\spark-train-v1
- module name:spark
- project format:.idea(directory based)
- 点击 finish
- Spring Boot快速入门
- 基于Spring Boot构建日志服务
- 日志上报功能开发
- 日志上报全流程本地测试
- 日志上报全流程服务器测试