基于日志服务的GrowthHacking(1):数据埋点和采集(APP、Web、邮件、短信、二维码埋点技术)

基于日志服务的GrowthHacking(1):数据埋点和采集(APP、Web、邮件、短信埋点技术)

数据质量决定运营分析的质量

在上文中,我们介绍了GrowthHacking的整体架构,其中数据采集是整个数据分析的基础,只有有了数据,才能进行有价值的分析;只有高质量的数据,才能驱动高质量的运营分析.可以说,数据质量决定了运营质量。

在实际生产中,我们常常面临数据采集的痛点:

  1. 数据分散在各处,有服务器日志,有前端日志,有APP日志。
  2. 各种端的日志,采集方式迥异,要投入大量研发资源,才能覆盖所有的平台。
  3. 收集、处理、清洗、标注数据,需要投入巨大的精力,80%的精力浪费在了这些前置步骤上。
  4. 不同端的数据格式千奇百怪,缺乏一种统一的数据规范。

从分析需求推演数据源

通常,我们要分析拉新的的转化率,产品的留存率,以及用户推荐和最终付费相关的所有指标,每种类型的指标对应的渠道如下图所示。

基于日志服务的GrowthHacking(1):数据埋点和采集(APP、Web、邮件、短信、二维码埋点技术)

以拉新为例, 通常我们可选择的渠道有社交媒体(微信、微博), 线上推送(邮件、短信),内容营销(博客、微信公众号),广告(广告联盟),线下推广(二维码)。每一种渠道的表现如何,需要用数据证明。每一种渠道的数据采集方式各不相同。接下来将逐个介绍。

埋点规范

杂乱无章的数据,价值等于0!如果各个渠道的数据各不相同,那么我们在分析时,就有很大一部分精力浪费在整理数据上。为了保证数据的质量,我们需要制定出一份埋点的协议,保证在采集数据时,能够采集到完整的信息。

基于日志服务的GrowthHacking(1):数据埋点和采集(APP、Web、邮件、短信、二维码埋点技术)

在日志采集中,一般包含两部分信息:事件和属性。下文以Web埋点为例,详细介绍web埋点包含的内容。

Web埋点

web埋点可用于在博客前端追踪用户的访问情况。

Web埋点规范

  • 属性信息:

    • 设备信息:

      1. DeviceId:设备标识。 在首次加载js时,在cookie中添加唯一id。
      2. 屏幕长宽
      3. 设备类别。
    • 用户信息:

      1. uid:用户id,用户唯一标识。
      2. session id:会话id,一次会话定义为连续的操作。
      3. 首次登陆时间。
      4. 会话开始时间。
    • 软件信息:

      1. 语言
      2. os
      3. user agent
      4. 网站title
      5. 网站host
      6. 网站网址

Web埋点技术:

日志服务提供了Web Tracking技术,可以直接在网页上嵌入一个一个透明图片,当网页发生曝光时,会自动发送日志到日志服务。

埋点样例:

![](https://yunlei-statics.cn-hangzhou.log.aliyuncs.com/logstores/blog-tracking/track_ua.gif?APIVersion=0.6.0&blog=${标题名称}&src=yunqi&author=${author})

Web Tracking 本质上是一个http GET请求,不仅可以用来采集曝光时间,还可以用来采集一些事件信息。通过在前端嵌入js sdk的方式,通过js采集用户的行为动作,并且通过js sdk发送到日志服务。

嵌入js sdk的样例:

<script type="text/javascript" src="loghub-tracking.js" async></script>

采集事件样例:

var logger = new window.Tracker('${host}','${project}','${logstore}');
logger.push('customer', 'zhangsan');
logger.push('product', 'iphone 6s');
logger.push('price', 5500);
logger.logger(); //发送日志
logger.push('customer', 'lisi');
logger.push('product', 'ipod');
logger.push('price', 3000);
logger.logger();

iOS埋点

开发者可在iOS应用中,嵌入日志服务的iOS SDK,*灵活的采集所需要的事件日志, SDK分为Swift和Objective-C版本。

Android埋点

Android SDK 类似于iOS SDK ,可以嵌入Android APP中,采集事件信息。

小程序埋点

在小程序中,可以参考Web的采集方式,嵌入js sdk,通过js事件采集内容,并且通过js sdk把数据发送到日志服务。

<script type="text/javascript" src="loghub-tracking.js" async></script>

邮件打开率和转化率埋点

邮件打开率

参考web tracking技术,在邮件的html内容中,添加一个img标签,该img标签是一个1X1的空白图片,用户看不到该图片。当邮件被打开时,会自动发送一条日志到日志服务:

<img src="https://yunlei-statics.cn-hangzhou.log.aliyuncs.com/logstores/blog-tracking/track_ua.gif?APIVersion=0.6.0&title=${邮件标题}&src=yunqi&author=${author})">

当日志采集到日志服务端后,可以参考本系列的分析文章,进行分析。

邮件转化率

运营同学可能在邮件中嵌入了一些链接,邀请用户注册、登录、访问某个功能。为了追踪用户是否打开了这个链接,我们需要在web tracking上封装一层。把真实的链接B封装起来,先跳转到A,在A记录下日志后,再跳转到真实地址B。

基于日志服务的GrowthHacking(1):数据埋点和采集(APP、Web、邮件、短信、二维码埋点技术)

例如一下案例:

  1. 在邮件中,我们需要跳转到https://promotion.aliyun.com/ntms/act/logdoclist.html
  2. 把上述链接url encode编码:https%3a%2f%2fpromotion.aliyun.com%2fntms%2fact%2flogdoclist.html。
  3. 通过中间服务器跳转,把上述编码的url,作为redirect参数传递:http://47.96.36.117/go.php?redirect=https%3a%2f%2fpromotion.aliyun.com%2fntms%2fact%2flogdoclist.html
  4. 在中间服务器上,调用web tracking,记录日志到日志服务,同时返回302跳转到真实的链接。

通过以上方式记录的跳转日志,可以分析营销邮件的转化率。

短信营销埋点

短信营销类似于邮件营销,在短信中,嵌入链接,追踪链接的打开率。短信相比于邮件特殊的地方在于,短信有字数限制,因此需要在短信中使用短域名,那么整体架构变成了这样:

基于日志服务的GrowthHacking(1):数据埋点和采集(APP、Web、邮件、短信、二维码埋点技术)

在这个方案中,真实的链接经过三次跳转,第一次跳转到短域名服务器,第二次跳转到中间服务器,在中间服务器上记录日志,第三次跳转到真实的目标地址。

二维码扫描率追踪

二维码是线下营销的利器,通过扫描二维码可以快速转化。二维码本质上是一串文字的编码,通常是一个url,因此我们可以采用类似邮件追踪的办法,把真实的url进行编码,经过中间服务器的跳转,记录下来二维码的扫描次数。

基于日志服务的GrowthHacking(1):数据埋点和采集(APP、Web、邮件、短信、二维码埋点技术)

中间链接http://47.96.36.117/go.php?redirect=https%3a%2f%2fpromotion.aliyun.com%2fntms%2fact%2flogdoclist.html生成的二维码:

基于日志服务的GrowthHacking(1):数据埋点和采集(APP、Web、邮件、短信、二维码埋点技术)

真实链接生成的二维码:

基于日志服务的GrowthHacking(1):数据埋点和采集(APP、Web、邮件、短信、二维码埋点技术)

上述两个二维码的目标地址是一致的,但第一个二维码给我们机会,能够记录下来用户扫码的记录,无疑可以帮助我们判断运营活动的效果。

总结

本文介绍了常见的渠道的埋点技术,每一种渠道的数据分析,请关注本系列文章。

上一篇:云上的Growth hacking之路,打造产品的增长引擎


下一篇:Mac实用技巧:使用终端在macOS Big Sur Finder中锁定文件!