20210322_23期_心跳检测_Task03_特征工程

三、特征工程

20210322_23期_心跳检测_Task03_特征工程

这里写目录标题

来源

Datewhle23期__数据挖掘心跳检测 :
https://github.com/datawhalechina/team-learning-data-mining/tree/master/HeartbeatClassification
作者:鱼佬、杜晓东、张晋、王皓月、牧小熊、姚昱君、杨梦迪

论坛地址:http://datawhale.club/t/topic/1574

import pandas as pd
import numpy as np
import tsfresh as tsf
from tsfresh import extract_features, select_features
from tsfresh.utilities.dataframe_functions import impute

1 特征工程

  • 特征工程可以提高模型的上限,而特征处理是特征工程的核心部分,sklearn提供了较为完整的特征处理方法,包括数据预处理、特征选择、特征构造、归一化、标准化、one-hot编码、降维等。

20210322_23期_心跳检测_Task03_特征工程

图片来源 :https://www.jianshu.com/p/7066558bd386

2 载入数据及预处理

2.1 载入数据

path = 'C:/Users/GJX/Desktop/Datawhale-学习/23期/心电图/data/'
train = pd.read_csv(path+'train.csv')
test = pd.read_csv(path+'testA.csv')
train.head()

20210322_23期_心跳检测_Task03_特征工程

2.2 数据预处理

  • 将心电信号拆开,并将宽表转长表
  • 也可用pandas中pivot_table ,melt完成
# 对心电特征进行行转列处理,同时为每个心电信号加入时间步特征time
train_heartbeat_df = train["heartbeat_signals"].str.split(",", expand=True).stack()
train_heartbeat_df = train_heartbeat_df.reset_index()
train_heartbeat_df = train_heartbeat_df.set_index("level_0")
train_heartbeat_df.index.name = None
train_heartbeat_df.rename(columns={"level_1":"time", 0:"heartbeat_signals"}, inplace=True)
train_heartbeat_df["heartbeat_signals"] = train_heartbeat_df["heartbeat_signals"].astype(float)

train_heartbeat_df

20210322_23期_心跳检测_Task03_特征工程


# 将处理后的心电特征加入到训练数据中,同时将训练数据label列单独存储
train_label = train["label"]
train = train.drop("label", axis=1)
train = train.drop("heartbeat_signals", axis=1)
train = train.join(train_heartbeat_df)    #连接训练集和处理后的df

train
  • pandas.DataFrame.join(other, on=None, how=’left’, lsuffix=”, rsuffix=”, sort=False)
  • other:【DataFrame,或者带有名字的Series,或者DataFrame的list】如果传递的是
    Series,那么其name属性应当是一个集合,并且该集合将会作为结果DataFrame的列名
  • on:【列名称,或者列名称的list/tuple,或者类似形状的数组】连接的列,默认使用索引连接
  • how:【{‘left’, ‘right’, ‘outer’, ‘inner’}, default: ‘left’】连接的方式,默认为左连接
  • lsuffix:【string】左DataFrame中重复列的后缀
  • rsuffix:【string】右DataFrame中重复列的后缀
  • sort:【boolean, default False】按照字典顺序对结果在连接键上排序。如果为False,连接键的顺序取决于连接类型(关键字)。

3 使用 tsfresh 进行时间序列特征处理

3.1 tsfresh

  • 特征提取extract_features

  • 特征过滤:过滤掉没有意义的值(NaN),保留有意义的特征;降维;

  • 特征提取和过滤同时进行extract_relevant_features(timeseries, y, column_id='id', column_sort='time')
    案例 :https://github.com/blue-yonder/tsfresh/tree/master/notebooks

3.2 特征提取

from tsfresh import extract_features

# 特征提取
train_features = extract_features(train, column_id='id', column_sort='time')
train_features

  • 电脑带不动,以下为文档结果:
id		sum_values		abs_energy		mean_abs_change		mean_change 	...
0			38.927945			18.216197			0.019894					-0.004859			...
1			19.445634			7.705092			0.019952					-0.004762			...
2			21.192974			9.140423			0.009863					-0.004902			...
...		...						...						...								...						...
99997	40.897057			16.412857			0.019470					-0.004538			...
99998	42.333303			14.281281			0.017032					-0.004902			...
99999	53.290117			21.637471			0.021870					-0.004539			...

100000 rows × 779 columns

3.3 特征选择

from tsfresh.utilities.dataframe_functions import impute

# 去除抽取特征中的NaN值
impute(train_features)
id		sum_values		abs_energy		mean_abs_change		mean_change 	...
0			38.927945			18.216197			0.019894					-0.004859			...
1			19.445634			7.705092			0.019952					-0.004762			...
2			21.192974			9.140423			0.009863					-0.004902			...
...		...						...						...								...						...
99997	40.897057			16.412857			0.019470					-0.004538			...
99998	42.333303			14.281281			0.017032					-0.004902			...
99999	53.290117			21.637471			0.021870					-0.004539			...

100000 rows × 779 columns
  • 接下来,按照特征和响应变量之间的相关性进行特征选择,这一过程包含两步:首先单独计算每个特征和响应变量之间的相关性,然后利用Benjamini-Yekutieli procedure进行特征选择,决定哪些特征可以被保留。
from tsfresh import select_features

# 按照特征和数据label之间的相关性进行特征选择
train_features_filtered = select_features(train_features, data_train_label)

train_features_filtered
id		sum_values		fft_coefficient__attr_"abs"__coeff_35		fft_coefficient__attr_"abs"__coeff_34		...
0			38.927945			1.168685																0.982133																...
1			19.445634			1.460752																1.924501																...
2			21.192974			1.787166																2.1469872																...
...		...						...																			...																			...
99997	40.897057			1.190514																0.674603																...
99998	42.333303			1.237608																1.325212																...
99999	53.290117			0.154759																2.921164																...

100000 rows × 700 columns

可以看到经过特征选择,留下了700个特征。

参考资料

  1. https://www.jianshu.com/p/7066558bd386 特征工程介绍
  2. http://joyfulpandas.datawhale.club/Content/ch6.html pandas教程
  3. https://www.codetd.com/article/3219752 tsfresh
上一篇:arcpy检查图斑不合理分割面


下一篇:论文笔记 DXSLAM: A Robust and Efficient Visual SLAM System with Deep Features