实时GMV需求思路
1.需求分析
交易额(GMV): 日GMV,月GMV,季度GMV,年GMV!
GMV(毛销售额)的计算,不同的企业有不同的计算标准!
业界普遍的计算: 将每日订单的成交(订单生成)总额的总和,统计得到日GMV!
需要的数据: 每日生成的订单
订单属于业务数据!
生成: 用户通过APP下单,下单时向业务服务器(web应用)发送下单请求,web应用处理请求,将用户的订单数据,写入到Mysql!
在mysql中模拟业务数据,模拟下单!
计算的过程: 对每日生成的每笔订单的订单金额进行sum求和
2.需求处理流程
①在mysql中模拟订单数据的生成
②将生成的订单数据实时采集到kafka,使用canal!
③使用SparkStreaming的app,将kafka中的数据写入hbase
在hbase中建表
在app中创建一个样例类,和表的属性对应
从kafka中获取数据流,封装为bean
使用phoenix写入到hbase
④发布数据接口
根据要求的 url连接和期望的数据规范使用 MVC范式开发数据接口发布的web应用
⑤可视化,启动dw-chart应用,进行可视化