算法简介
通过构建随机森林,为变量进行编码:
- 首先训练一个随机森林的模型
- 按照决策树的分叉,每个叶节点都会占用一个位置,比如下图就共有4个叶节点,因此最大的编码长度是4
- 如果这个特征A的值a,既可以匹配到第1个叶节点的位置,也可以到第3个叶节点的位置,那么这个值的编码就是[1,0,1,0]
- 依次编码,得到结果
RandomTreesEmbedding:https://scikit-learn.org/stable/modules/generated/sklearn.ensemble.RandomTreesEmbedding.html
代码示例
import numpy as np
import pandas as pd
from sklearn.ensemble import RandomTreesEmbedding
dataframe = pd.DataFrame(np.random.random(size=(100, 5)))
# 建模
tree_embedding = RandomTreesEmbedding(
n_estimators=10, max_depth=3, random_state=0).fit(dataframe.values)
# 转换
spare_embedding = tree_embedding.transform(dataframe)
encode_array = spare_embedding.toarray() # 得到numpy的结果
print(encode_array.shape)
参考文章
3 uses for random decision trees / forests you (maybe) didn’t know about:https://blog.davidvassallo.me/2019/08/06/3-uses-for-random-decision-trees-forests-you-maybe-didnt-know-about/