开发者学堂课程【MaxCompute 行业应用及调优：基于 MaxCompute 构建 Noxmobi 全球化精准营销系统】学习笔记，与课程紧密联系，让用户快速学习知识。

课程地址：https://developer.aliyun.com/learning/course/88/detail/1346

基于 MaxCompute 构建 Noxmobi 全球化精准营销系统

内容简介：

一、行业及公司背景介绍

二、广告业务和系统

三、相关技术及 MaxCompute 应用

四、遇到的问题

 

一、行业及公司背景介绍

数字营销含义：

全球广告市场规模约6000亿，其中约30%为互联网和移动互联网广告。

数字营销、互联网广告、在线广告、计算广告、程序化广告……。解决如何在互联网媒体上投放广告的问题。

广告主(需求方) :如何成本更低，效果更好。效果如何定义，品牌 or 效果媒体(供应方) :如何收益更高，长期or短期。

中间商:连接供需，赚差价.规模效应和垄断。

数字营销，应用最新的互联网技术来提高效率。

广告主:减少浪费，让最合适的人看到广告。

媒体:把广告位卖给最需要的人。

中间商:高效撮合交易。

 

二、广告业务和系统

广告业务的主要流程，广告系统的架构和我们的演进过程。

 

三、相关技术及 MaxCompute 应用

相关技术应用介绍:流式计算、高线计算、标签抽取、Targeling、CTR 规估、Pacing。

 

相关技术介绍

(一)流式计算 Spark Streaming 应用

主要解决实时报表和部分实时特征的计算问题

1、要求：

必须稳定，7x24小时

可按受秒级延迟

可根招吞吐量横向扩展

存在高要全球聚合的任务

2、方案：

Spark Streaming +Kata + Rds +Redis

原始日志压缩流式回传

中心节点部署，方便开发

3、问题：

稳定性和扩展性都高度依赖高速通道

(二)离线计算 MaxCompute 应用

解决各类数据计算问题，BI数据、广告报表、反作弊、标签抽取、特征数据计算、统一 用户标识、爬虫数据处理等。

从自建 Hadoop 集群，到EMR按量付费集群，再到 MaxCompute.

 

优势:

再也不用运维集群了

计算速度更快

真正按量付费，成本大幅降低

SQL 开发效事高、调试方便，资料足够

有一个还行的调度系统

直接享受大公司待遇

数据导入导出方案:

优先用数据同步服务，流式数据用 sdk ,实在不行就写脚本+tunnel

 

(三)特征计算和标签抽取

大部分特征和标签使用 SQL 计算

定义特征，最近-周内活跃天数， 则有0~7的取值定义标签规则，例如:

一周内活跃天、1天、2~3天、 4~5天、 6-7天的分别是不活跃、低活跃、中活跃、高活跃、极高活跃用户。

做好定义，然后就是展现SQL技巧的时候了

多用 with,注意代码风格

优先使用内建函数，无法满足的时候考虑使用 UDF、UDAF. UDTF,还不行或者跑的太慢的时候使用 MapReduce,比如对一大批特征做等频高散化。

向未实现平台化，还需写代码，好像有个服务能实现上面的功能，待试用

 

(四)Targeting

相对于把特征输入模型而言，标签式 Targeting 主要是

方便人来操作，使用投放人的经验来优化。

Look-alike 方式的定向为寻找相似的人，种于用户为正

例，从所有用户中找到正例概率较大的人群。

 

(五)Ctr预估

预估转化事，可能是 ctr. CVT 或 ctr'cvr 等

Ecpma ctr* price

Ecpm 为本次广告展现的收益期望值，将指导绝大部分投放相关策略。

Online model

Deep leaming

 (六)Pacing

不止考虑单次展现的收益，而要在单次竞价时考虑对

全局收益的影响。

通过对流量分层和分时的统计和预估，用数学方法来

保证收益最大化。

方案来源于 Yahoo

四、遇到的问题

在实践中遇到了一些问题，有一些解决了，有一些还没有全球化部署。