设计思路
输出结果
1、结果输出
2、FE后的字段
Item_Identifier
Item_Weight
Item_Fat_Content
Item_Visibility
Item_Type
Item_MRP
Outlet_Identifier
Outlet_Establishment_Year
Outlet_Size
Outlet_Location_Type
Outlet_Type
id
3、衍生字段案例具体实现过程
T1、选择的基字段(1个)
['id','Item_Identifier','Item_Weight','Outlet_Identifier','Outlet_Establishment_Year', 'Outlet_Size']
(1)、生成的所有衍生字段
id
Item_Identifier
Item_Weight
Outlet_Identifier
outlet.Outlet_Establishment_Year
outlet.Outlet_Size
outlet.COUNT(bigmart)
outlet.MODE(bigmart.Item_Identifier)
outlet.NUM_UNIQUE(bigmart.Item_Identifier)
outlet.MAX(bigmart.Item_Weight)
outlet.MEAN(bigmart.Item_Weight)
outlet.MIN(bigmart.Item_Weight)
outlet.SKEW(bigmart.Item_Weight)
outlet.STD(bigmart.Item_Weight)
outlet.SUM(bigmart.Item_Weight)
(2)、父衍生字段—outlet.COUNT(bigmart)
outlet.COUNT(bigmart)字段意义：是根据Outlet_Identifier字段内10个子类别的整体个数，分别进行填充设计。
outlet.COUNT(bigmart)字段内容：根据该字段的下拉列表可知，标记为1550的个数有4650个，是因为在Outlet_Identifier字段内，OUT035、OUT046、OUT049三个子类别均有1550个，所以，以上结果比较巧。
(3)、子衍生字段的具体字段分析
outlet.MODE(bigmart.Item_Identifier) 字段的分析过程
T2、选择的基字段(2个)
['Item_Identifier','Item_Weight','Item_Fat_Content','Outlet_Identifier','Outlet_Establishment_Year', 'Outlet_Size']
id
Item_Identifier
Item_Weight
Item_Fat_Content
Outlet_Identifier
outlet.Outlet_Establishment_Year
outlet.Outlet_Size
outlet.COUNT(bigmart)
outlet.MODE(bigmart.Item_Identifier)
outlet.NUM_UNIQUE(bigmart.Item_Identifier)
outlet.MAX(bigmart.Item_Fat_Content)
outlet.MEAN(bigmart.Item_Fat_Content)
outlet.MIN(bigmart.Item_Fat_Content)
outlet.SKEW(bigmart.Item_Fat_Content)
outlet.STD(bigmart.Item_Fat_Content)
outlet.SUM(bigmart.Item_Fat_Content)
outlet.MAX(bigmart.Item_Weight) outlet.MEAN(bigmart.Item_Weight) outlet.MIN(bigmart.Item_Weight) outlet.SKEW(bigmart.Item_Weight) outlet.STD(bigmart.Item_Weight) outlet.SUM(bigmart.Item_Weight)
核心代码
#2.2、特征衍生
#(1)、创建一个实体集EntitySet：实体集是一种包含多个数据帧及其之间关系的结构。
ftES = ft.EntitySet(id = 'sales')
#(2)、规范化实体集：
ftES.normalize_entity(base_entity_id='bigmart',
new_entity_id='outlet',
index = 'Outlet_Identifier',
additional_variables = ['Outlet_Establishment_Year', 'Outlet_Size',
# 'Outlet_Location_Type', 'Outlet_Type',
])
#(3)、利用dfs函数自动创建新特征并输出
feature_matrix, feature_names = ft.dfs(entityset=ftES,target_entity = 'bigmart',
max_depth = 2,
# verbose = 1, n_jobs = -1,
)
print('feature_names: \n',len(feature_names),feature_names)
print('feature_matrix:',feature_matrix.shape,type(feature_matrix),'\n',feature_matrix.iloc[:,:10].head())
feature_matrix.to_csv('%sfeature_matrix.csv'%date)
feature_matrix = feature_matrix.reindex(index=data_all['id']) # reindex()函数，重新把列/行根据columns/index参数指定字段顺序整理一遍
feature_matrix = feature_matrix.reset_index() # reset_index()函数，重新设置dataframe的index，范围为0~len（df）
feature_matrix.to_csv('%sfeature_matrix2reset_index01.csv'%date)