销量预测和用户行为的分析--基于ERP的交易数据

写在前面:

这段时间一直都在看一些机器学习方面的内容,其中又花了不少时间在推荐系统这块,然后自己做了一套简单的推荐系统,但是跑下来的结果总觉得有些差强人意,我在离线实验中得到Precision,Recall一般都只有15%左右,比起通常的机器学习算法动不动就90%以上的指标,这个我觉得显然是太低了,我觉得可能有如下理由导致的:

  1. 数据不完整,目前能拿到的数据也就是ERP里面的交易数据和各种主数据,但是在我看来,交易数据的权重在各种其他类型的数据中应该是最重要的,至少也是排在前列的,可能也是我的一厢情愿。
  2. 业务领域没有考虑周全,少了某些重要的参数未加入到模型中去,我想这个才是最重要的,数据分析的前提就是对业务有很深的领悟,才能做出较好的结果
  3. 技能欠缺

再说下本人公司背景,公司的业务是B2B类型,公司有接近10万个产品的量,用户比物品少,1万左右,其中还有大量的不活跃用户。后来经过多方面思考后,打算先暂停推荐系统,换一种思路,咱不推荐了,推荐关注在给用户推荐之前未曾购买过的产品,但是就我们行业来说,我会主观的认为一般B2B的业务,客户也即公司,他们的兴趣爱好是基本固定的,不会像人一样这么的善变,所以从这个角度来思考的话,推荐系统也许就不是那么特别的重要的(我知道此刻肯定有N个人要反驳我了)

因为我认为交易数据的重要性,所以我就仅仅从交易数据入手,来分析出用户的购买行为,或者某个物品的被购买行为。所以才有了这次项目的展开:

目的:

通过本项目,希望能在以下方面提供给销售,市场部门以及管理团队决策的参考:

  1. 预估某个用户的未来会需要购买的物品,可以进而预测该用户的销量
  2. 发现某个用户可能存在的交易流失行为,发现潜在风险
  3. 预测某个物品未来可能会被那些用户购买
  4. 预测某个物品未来可能会流失那些用户,发现潜在风险
  5. 提供解释理由为什么可以预测

通过以上的结果,可以提前有针对性的对客户或者物品进行各种活动。

概念须知

概念

解释

数据

SAP中的订单交易数据,客户主数据,物料主数据

训练数据(TrainData)

用来将整个数据划分一部分来作为算法的训练集

测试数据(TestData)

用来将整个数据划分另外一部分作为测试数据,通过测试数据来测试算法的各项性能指标

预测结果

在训练数据集上预测出来的结果集合

关键评价指标

推荐结果

在训练数据上找到的所有推荐结果数

命中条目(hit)

预测结果中的集合恰好在测试集合中的数目

准确率/查准率(precision)

命中条目占预测结果中的比率,可以理解为真的预测正确的结果占所有预测结果有多少

召回率/查全率(recall)

命中条目占测试结果中的比例,可以理解为所有全部为正确的结果到底有多少真的被预测正确了

潜在风险数(这个以及下面的两个是我自己瞎造的概念)

在训练中,可能存在有风险的数据(用户-物品为一条数据),这些数据往往需要用户去找原因,确定是否真的存在风险

误差预估数

潜在风险数中的数据在测试数据中已经发生了交易,所以认为是估计有误差,这个数从商业上讲应该要越大越好,因为他们最终都还是有交易行为了

误差风险率

误差预估数/潜在风险数

基于用户的分析的报告

使用客户XXXX有限公司作为测试:
  1. 选择时间区间:20150101-201601231,该用户的所有买过的物品的交易数据作为训练数据
  2. 选择时间区间:20170101-20170519,该用户的所有买过的物品的交易数据作为测试数据
  3. 各项指标如下:

指标

结果值

说明

训练数据集(不同物料编号数目)

2425

该用户在这段时间内共买过2425个不同编号的物品

推荐结果

458

在训练数据上算出来的可以给该用户推荐的物品数目

测试数据集

839

该用户在测试集这段时间内购买了839个不同编号的物品

命中结果

220

代表算法预测成功了220个物品该用户会去购买的

准确率

48%

召回率

26%

潜在风险数

313

该用户可能会消失的交易数码,例如用户不再买某一个产品了,需要业务来判断是否真的有风险

误差预估数

189

说明在潜在风险中313个里面,其中有189个是没有风险的

误差风险率

60%

189/313,这个值越高越说明风险越小

对于算法来说,使用不同的参数会产生不同的结果,本次实验采用的参数是比较乐观的估计,这会导致算出来的潜在风险数较小,命中数目较高,准率较低。但具体怎么调节参数,需要结合具体业务场景。

基于物品的分析

使用物品YYYYY:
  1. 选择时间区间:20150101-201601231,该用户的所有买过的物品的交易数据作为训练数据
  2. 选择时间区间:20170101-20170519,该用户的所有买过的物品的交易数据作为测试数据
  3. 各项指标如下:

指标

结果值

说明

训练数据集(不同用户编号数目)

122

解释同基于用户分析相似

推荐结果

28

测试数据集

80

命中结果

24

准确率

86%

召回率

30%

潜在风险数

73

误差预估数

45

误差风险率

62%

结果说明:

至少从各项KPI指标来看,都是要明显高于推荐系统中的指标的,特别是基于物品的分析准确率高达86%,当时看到这个数的时候第一反应就是到底哪里出错了?经过各种代码的Review发现是没问题的,其实也验证了我的前面的说法,企业客户的兴趣爱好不会随便发生变化的。

补充说明

  1. 考虑到机器性能,还不能在单机上跑所有的用户和所有的物品的分析结果,目前以本实验的用户和物品一起分析所占用的时间为20秒。如果10万条物品记录来跑的话,可想而知会需要话多长的时间
  2. 本项目是采用Python来开发的
  3. 此预测系统其实可以和推荐系统进行一个很好的结合,来发挥出更大的功效,提高分析的智能性,例如可以检查流失的交易是否是转移到了类似商品上去,等

最后:

这是目前的第二篇博客,还是对于怎么编辑博客的样式一无所知,最后只能跑到Word文档里面来写,然后贴在博客上了,写博客真是一件很辛苦的事情. 如果你对具体模型有兴趣,我就接着继续写技术上是怎么实现的.

上一篇:C# Task中的Func, Action, Async与Await的使用


下一篇:Java (PO,VO,DAO,BO,POJO,DTO) 几种对象解释