广告系统中的大数据处理 | 宋慧庆

什么是大数据?

从具备4V(Volume,Velocity,Variety,Value)特征的大量数据中挖掘用户的潜在价值。

广告系统中的大数据处理 | 宋慧庆

广告系统中的大数据处理 | 宋慧庆

广告系统的数据来源

  • DSP监听数据(主要是ssp,adx渠道)
  • 广告主数据
  • 广告投放过程中收集的数据
  • 购买/通过交换得到的第三方数据
  • 运营商合作数据


精准广告的系统特点

  • 数据量巨大(广告本身的数据,定向数据,用户特征数据,广告展示环境的特征数据)
  • 响应速度要求特别快
  • 实时性要求特别高(广告数据,定向数据,用户特征数据,广告展示环境的特征数据等实时性)
  • 系统可用性要求特别高(柔性降级,可扩展性)


PC广告与移动广告的区别

  • 交互方式的不同
  • 使用位置的不同
  • 用户标识的不同
  • 展现形式的不同
  • 网络环境的不同
  • 受众定向的不同


精准广告中数据的主要应用

  • DMP
  • 人群/用户画像
  • 个性化创意/推荐引擎
广告系统中的大数据处理 | 宋慧庆
广告系统中的大数据处理 | 宋慧庆
广告系统中的大数据处理 | 宋慧庆

大数据处理分析技术介绍

  • 储存/缓存
  • 计算
  • 算法/规则


储存/缓存

  • Tair/redis2 -> ssdb/redis3 -> aerospike
  • Kafka/DL
  • Mongodb/hbase
  • Hadoop
  • Mysql


计算


  • Hive/mr
  • Storm
  • Spark Streaming


算法/规则

  • 协同过滤(UserCF/ItemCF)
  • 文本相似/图片相似
  • 关联规则(支持度和置信度)
  • 逻辑回归模型
  • 兴趣时间衰减
  • 规则引擎(DNA)


心得体会

  • 做工程不易,且做且珍惜(技术+管理+工匠精神)
  • 建立PDCA效果验证闭环
  • 每一个做技术的都应该有崇高的理想,技术只是手段

分享者简介:宋慧庆,时趣互动 移动广告架构师 十余年互联网老司机,具有多年互联网广告系统研发经验,负责研发个性化动态创意系统,用户画像标签系统以及大数据治理;对编程语言有浓厚的兴趣。
上一篇:20170203L07-04老男孩linux运维实战培训-expect命令脚本语言应用实战指南(含3个生产实战案例)


下一篇:Tree-CNN:一招解决深度学习中的「灾难性遗忘」