数据应用场景之标签管理体系

一、标签简介

标签概念

标签,最初用来对实物进行分类和标记,例如标明物品的品名、重量、体积、用途等简要信息。后来逐渐流行到数据行业,用来标记数据,对数据快速分类获取和分析。

标签特点

精确描述定位和搜索,具有生命周期的特性,可以计算,配置和规则化处理。可以用标签来描述各种结构和非结构化[文档、图片、视频等]的数据,从而使这些内容被高效的管理。

  • 描述特征:标签[手机颜色],特征[红色,白色];
  • 描述规则:标签[活跃用户],规则[每日登陆,产生交易];

标签价值

  • 精细运营的基础,有效提高流量精准和效率。
  • 帮助产品快速定位需求数据,进行精准分析;
  • 能帮助客户更快切入到市场周期中;
  • 深入的预测分析数据并作出及时反应;
  • 基于标签的开发智能推荐系统;
  • 基于某类下的数据分析,洞察行业特征;

标签的核心价值,或者说最常用的场景:实时智能推荐,精准化数字营销。

二、标签定义

数据应用场景之标签管理体系

属性标签

属性标签是描述基本特征,不需要行为产生,也不是基于规则引擎分析,例如基于用户实名认证信息,获取:性别,生日,出生日期等特征。变动频率极小,且精准性较高。

行为标签

通过不同业务渠道埋点,捕捉用户的行为数据,基于这些数据分析,形成结果描述的标签,例如:分析用户「网购平台」,得到的结果拼多多,淘宝,京东,天猫等。这些都是需要通过行为数据来判断的标签。

规则标签

规则下分析出来的标签,更多是基于产品或者运营角度来看,例如电商平台需要对会员等级超过5级,且近7天活跃的会员发一次福利,这里就涉及两个标签应用:1.「会员等级」基于什么规则判断;2.「近7天活跃」如何判断,是基于登录,还是产生交易行为,这些都要可以动态配置,然后基于规则引擎把结果生成。基于动态的规则配置,经过计算和分析,生成描述的标签,也就是规则标签。

拟合标签

拟合类标签极具复杂性,通过对多种标签智能组合分析,给出预测描述,或者直接给出进阶定义,例如所谓的读心术,即通过多个特征,眼神信息,判断人的心理活动。在机器学习中有一句话:通过长期对用户行为的判断和学习,机器可能比用户还了解用户。

三、标签管理体系

层级分类

标签管理的基本手段,通常以行业来分:金融,教育,娱乐等;通过多级分类细化管理。

基础标签

即数据的关键标签,特点精确扁平,不可再细分,用来精确的描述数据,类似元数据。当使用多个标签组合描述数据特征,就会形成结构化的表管理。

标签值类型

值类型:数字,字典,布尔,日期,文本框,自定义等,是对标签具体值的管理。例如标签「性别」,标签值「男.女.未知」,这种典型通过罗列字典来描述的场景。

四、标签生产流程

1、基础流程

数据应用场景之标签管理体系

数据采集

数据采集的渠道相对较多,比如同一APP内的各种业务线:购物、支付、理财、外卖、信息浏览等等。通过数据通道传输到统一的数据聚合平台。有了这些海量日志数据的支撑,才具有数据分析的基础条件。不管是数据智能,深度学习,算法等都是建立在海量数据的基础条件上,这样才能获取具有价值的分析结果。

数据加工

结合如上业务,通过对海量数据的加工,分析和提取,获取相对精准的用户标签,这里还有关键的一步,就是对已有的用户标签进行不断的验证和修复,尤其是规则类和拟合类的相关标签。

标签库

通过标签库,管理复杂的标签结果,除了复杂的标签,和基于时间线的标签变,标签数据到这里,已经具有相当大的价值,可以围绕标签库开放一些收费服务,例如常见的,用户在某电商APP浏览某些商品,可以在某信息流平台看到商品推荐。大数据时代就是这么令人感觉智能和窒息。

标签业务

数据走了一大圈转换成标签,自然还是要回归到业务层面,通过对标签数据的用户的分析,可以进行精准营销,和智能推荐等相关操作,电商应用中可以提高成交量,信息流中可以更好的吸引用户。

应用层

把上述业务开发成服务,集成到具有的应用层面,不断提升应用服务的质量,不断的吸引用户,提供服务。当然用户的数据不断在应用层面产生,在转到数据采集服务中,最终形成完整的闭环流程。

2、数据聚合池

  • 基于IDmapping技术,置换唯一标识[uid];
  • 基于uid关联标签,放入计算池;
  • 相同的uid携带的标签会以贪吃蛇的方式运行;
  • 不断丰富该uid下携带的标签内容;

以此方式丰富标签的场景,产生更大的数据价值;

五、源代码地址

GitHub·地址
https://github.com/cicadasmile
GitEE·地址
https://gitee.com/cicadasmile
上一篇:数据仓库组件:Hive环境搭建和基础用法


下一篇:Google App Engine 中通过自定义Django的filter解决时区问题