大数据Spark实时处理--数据采集(构建日志服务器)

  • 数据产生和上报流程
  • 1)客户端定时采集----->数据加密----->数据传至日志服务器上----->数据解密----->日志落地磁盘
  • 2)可以考虑数据压缩

 

  • 基于IDEA+Maven构建多Module本地开发环境
  • 1)多Module带来的好处:GitHub - apache/spark: Apache Spark - A unified analytics engine for large-scale data processing
  • 发现每个子工程下面都有一个pom.xml
  • 单独将一个完整的项目,拆成不同的模块,这样在开发的过程中可以各司其职
  • 比如说,A是开发某一个子模块的,A只用开发自己的部分,B只要将A的依赖加进去,就可以协作开发了。
  • 2)多Module项目构建
  • 打开IDEA
  • 选择Maven
  • Project SDK:1.8 version 1.8.0_152
  • 不选 Create from archetype
  • 点击next
  • Groupid:com.imooc,bigdata
  • Artifactld:spark
  • Version:1.0
  • 点击next
  • project name:spark
  • project location:C:\Users\jieqiong\IdeaProjects\spark-train-v1
  • module name:spark
  • project format:.idea(directory based)
  • 点击 finish

 

 

  • Spring Boot快速入门

 

  • 基于Spring Boot构建日志服务

 

  • 日志上报功能开发

 

  • 日志上报全流程本地测试

 

  • 日志上报全流程服务器测试
上一篇:手机端 图片的移动缩放旋转兼容touch


下一篇:pycharm每次打开py文件都要设置python解释器?