Spark 频繁模式挖掘

Spark - Frequent Pattern Mining

官方文档:https://spark.apache.org/docs/2.2.0/ml-frequent-pattern-mining.html

挖掘频繁项、项集、子序列或者其他子结构通常是大规模数据分析的第一步,这也是近些年数据挖掘领域的活跃研究话题;

目录:

  • FP-Growth

FP-Growth

FP-Growth算法基于这篇论文,“FP”的意思就是频繁模式,提供一个处理后的数据集,FP-Growth第一步是计算项的频率,同时标识频繁项,因为一些目的与类似Apriori算法在设计上有不同之处,FP-Growth第二步是使用一个后缀树(FP树)结构在没有生成显示候选集的情况下进行编码转换,生成候选集通常是代价高昂的,第二步之后,可以通过FP树来提取项集的频率,在spark.mllib中,实现了一个并行版本的FP-Growth算法,叫做PFP,PFP基于后缀转换来分配FP树的生长工作,因此相对比单机版本更有扩展性;

spark.ml的FP-Growth实现了以下超参数:

  • minSupport:一个项集被定义为频繁的最小支持度,如果一个项在5次事务中出现3次,那么它的支持度就是3/5=0.6;
  • minConfidence:生成关联规则的最小可信度,可信度用于指示一个关联规则多久被发现为真,例如,如果项集X出现了4次,X和Y同时发生了2次,那么关联规则X=>Y的可信度就是2/4=0.5,这个参数不会影响频繁项集的挖掘,但是会影响从频繁项集中生成关联规则;
  • numPartitions:使用多少分区来分配任务,默认不设置该参数,使用输入数据集的分区数;

FPGrowthModel提供如下属性:

  • freqItemsets:DataFrame格式的频繁项集数据;
  • associationRules:生成的可信度大于minConfidence的关联规则,同样是DataFrame格式;
  • transform;
from pyspark.ml.fpm import FPGrowth

df = spark.createDataFrame([
    (0, [1, 2, 5]),
    (1, [1, 2, 3, 5]),
    (2, [1, 2])
], ["id", "items"])

fpGrowth = FPGrowth(itemsCol="items", minSupport=0.5, minConfidence=0.6)
model = fpGrowth.fit(df)

# Display frequent itemsets.
model.freqItemsets.show()

# Display generated association rules.
model.associationRules.show()

# transform examines the input items against all the association rules and summarize the
# consequents as prediction
model.transform(df).show()
上一篇:机器学习(十一):FP增长(FP-growth)


下一篇:利用tensorflow生成的pb模型推理会出现电脑自动重启和OOM的问题