机器学习训练营--快来一起挖掘幸福感吧

2024-03-22 23:45:34

文章目录

前言
一、赛题理解
二、探索性数据分析（EDA）& 特征工程
三、建模调参 & 模型融合
四、参考文献

前言

本学习笔记为阿里云天池龙珠计划机器学习训练营的学习内容，学习链接为：
https://tianchi.aliyun.com/specials/promotion/aicampml

比赛链接：快来一起挖掘幸福感！

友情提醒： 本人刚开始学机器学习，有些地方可能不太成熟，参考了一些论坛的笔记，能写出来全靠各位大佬的无私分享，希望对你有所帮助！

一、赛题理解

1.1 实验环境

阿里云天池的实验环境，先把数据集导入DSW。

1.2 背景介绍

比赛的数据使用的是官方的《中国综合社会调查（CGSS）2015 年度调查问卷（居民问卷）》文件中的调查结果中的数据，其共包含有139个维度的特征，包括个体变量（性别、年龄、地域、职业、健康、婚姻与政治面貌等等）、家庭变量（父母、配偶、子女、家庭资本等等）、社会态度（公平、信用、公共服务）等特征。

赛题要求利用给出的 139 维的特征， 8000 余组数据进行对于个人幸福感的预测（预测值为1，2，3，4，5，其中1代表幸福感最低，5代表幸福感最高）。

1.3 数据信息

happiness_index.xlsx： 142行，5列，本赛题具体字段介绍，包含每个变量对应的问卷题目，以及变量取值的含义。用得上的其实是139维的特征。

happiness_submit.csv ： 2969行，2列，平台提交结果示例文件。
happiness_survey_cgss2015.pdf： 中国综合社会调查（CGSS）2015 年度调查问卷（居民问卷）
happiness_test_abbr.csv ： 2969行，41列，精简版数据。
happiness_test_complete.csv ： 2969行，139列，完整版数据。
happiness_train_abbr.csv ： 8001行，42列，精简版数据。
happiness_train_complete.csv ： 8001行，140列，完整版数据。

在这里，我用的是完整版数据。

1.4 评价指标

最终的评价指标为均方误差MSE，

提交的均方误差越小，代表结果越好。

二、探索性数据分析（EDA）& 特征工程

2.1 为什么要做探索性数据分析

了解数据
– 数据类型大小(需要什么配置,参赛代价大不大)…
– 数据是否干净(明显错误的数据,例如身高5m…)
– 标签是什么类型的,是否需要格式转换?..（DataFrame.info()）
为数据建模做准备
– 线下验证集的构建,是否可能会穿越?（观察数据分布情况）
– 是否存在某些奇异的现象？为特征工程做准备:例如时序的周期变化现象

2.2 探索性数据分析要看哪些数据，看什么

1. 数据集大小,字段类型：数据多大,每个字段是什么类型的
2. 缺失值的情况：缺失是否严重,是否缺失有特殊含义
3. 特征之间是否冗余：比如身高用cm表示和m表示就存在冗余
4. 是否存在时间信息：潜在的穿越问题
5. 标签的分布：是否类别分布不平衡等
6. 训练集测试集的分布：测试集中有的字段很多特征训练集没有
7. 单变量/多变量分布：熟悉特征的分布情况，和标签的关系

2.3 数据预处理

导入包

import os
import time 
import pandas as pd
import numpy as np
import seaborn as sns
from sklearn.linear_model import LogisticRegression
from sklearn.svm import SVC, LinearSVC
from sklearn.ensemble import RandomForestClassifier
from sklearn.neighbors import KNeighborsClassifier
from sklearn.naive_bayes import GaussianNB
from sklearn.linear_model import Perceptron
from sklearn.linear_model import SGDClassifier
from sklearn.tree import DecisionTreeClassifier
from sklearn import metrics
from datetime import datetime
import matplotlib.pyplot as plt
from sklearn.metrics import roc_auc_score, roc_curve, mean_squared_error,mean_absolute_error, f1_score
import lightgbm as lgb
import xgboost as xgb
from sklearn.ensemble import RandomForestRegressor as rfr
from sklearn.ensemble import ExtraTreesRegressor as etr
from sklearn.linear_model import BayesianRidge as br
from sklearn.ensemble import GradientBoostingRegressor as gbr
from sklearn.linear_model import Ridge
from sklearn.linear_model import Lasso
from sklearn.linear_model import LinearRegression as lr
from sklearn.linear_model import ElasticNet as en
from sklearn.kernel_ridge import KernelRidge as kr
from sklearn.model_selection import  KFold, StratifiedKFold,GroupKFold, RepeatedKFold
from sklearn.model_selection import train_test_split
from sklearn.model_selection import GridSearchCV
from sklearn import preprocessing
import logging
import warnings

warnings.filterwarnings('ignore') #消除warning

#导入数据
train = pd.read_csv("happiness_train_complete.csv", parse_dates=['survey_time'],encoding='latin-1') 
test = pd.read_csv("happiness_test_complete.csv", parse_dates=['survey_time'],encoding='latin-1') #latin-1向下兼容ASCII

#观察数据大小
train.shape

test.shape

#简单查看数据
train.head()

#查看数据是否缺失
train.info(verbose=True,null_counts=True)

output:

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 8000 entries, 0 to 7999
Data columns (total 140 columns):
 #   Column                Non-Null Count  Dtype         
---  ------                --------------  -----         
 0   id                    8000 non-null   int64         
 1   happiness             8000 non-null   int64         
 2   survey_type           8000 non-null   int64         
 3   province              8000 non-null   int64         
 4   city                  8000 non-null   int64         
 5   county                8000 non-null   int64         
 6   survey_time           8000 non-null   datetime64[ns]
 7   gender                8000 non-null   int64         
 8   birth                 8000 non-null   int64         
 9   nationality           8000 non-null   int64         
 10  religion              8000 non-null   int64         
 11  religion_freq         8000 non-null   int64         
 12  edu                   8000 non-null   int64         
 13  edu_other             3 non-null      object        
 14  edu_status            6880 non-null   float64       
 15  edu_yr                6028 non-null   float64       
 16  income                8000 non-null   int64         
 17  political             8000 non-null   int64         
 18  join_party            824 non-null    float64       
 19  floor_area            8000 non-null   float64       
 20  property_0            8000 non-null   int64         
 21  property_1            8000 non-null   int64         
 22  property_2            8000 non-null   int64         
 23  property_3            8000 non-null   int64         
 24  property_4            8000 non-null   int64         
 25  property_5            8000 non-null   int64         
 26  property_6            8000 non-null   int64         
 27  property_7            8000 non-null   int64         
 28  property_8            8000 non-null   int64         
 29  property_other        66 non-null     object        
 30  height_cm             8000 non-null   int64         
 31  weight_jin            8000 non-null   int64         
 32  health                8000 non-null   int64         
 33  health_problem        8000 non-null   int64         
 34  depression            8000 non-null   int64         
 35  hukou                 8000 non-null   int64         
 36  hukou_loc             7996 non-null   float64       
 37  media_1               8000 non-null   int64         
 38  media_2               8000 non-null   int64         
 39  media_3               8000 non-null   int64         
 40  media_4               8000 non-null   int64         
 41  media_5               8000 non-null   int64         
 42  media_6               8000 non-null   int64         
 43  leisure_1             8000 non-null   int64         
 44  leisure_2             8000 non-null   int64         
 45  leisure_3             8000 non-null   int64         
 46  leisure_4             8000 non-null   int64         
 47  leisure_5             8000 non-null   int64         
 48  leisure_6             8000 non-null   int64         
 49  leisure_7             8000 non-null   int64         
 50  leisure_8             8000 non-null   int64         
 51  leisure_9             8000 non-null   int64         
 52  leisure_10            8000 non-null   int64         
 53  leisure_11            8000 non-null   int64         
 54  leisure_12            8000 non-null   int64         
 55  socialize             8000 non-null   int64         
 56  relax                 8000 non-null   int64         
 57  learn                 8000 non-null   int64         
 58  social_neighbor       7204 non-null   float64       
 59  social_friend         7204 non-null   float64       
 60  socia_outing          8000 non-null   int64         
 61  equity                8000 non-null   int64         
 62  class                 8000 non-null   int64         
 63  class_10_before       8000 non-null   int64         
 64  class_10_after        8000 non-null   int64         
 65  class_14              8000 non-null   int64         
 66  work_exper            8000 non-null   int64         
 67  work_status           2951 non-null   float64       
 68  work_yr               2951 non-null   float64       
 69  work_type             2951 non-null   float64       
 70  work_manage           2951 non-null   float64       
 71  insur_1               8000 non-null   int64         
 72  insur_2               8000 non-null   int64         
 73  insur_3               8000 non-null   int64         
 74  insur_4               8000 non-null   int64         
 75  family_income         7999 non-null   float64       
 76  family_m              8000 non-null   int64         
 77  family_status         8000 non-null   int64         
 78  house                 8000 non-null   int64         
 79  car                   8000 non-null   int64         
 80  invest_0              8000 non-null   int64         
 81  invest_1              8000 non-null   int64         
 82  invest_2              8000 non-null   int64         
 83  invest_3              8000 non-null   int64         
 84  invest_4              8000 non-null   int64         
 85  invest_5              8000 non-null   int64         
 86  invest_6              8000 non-null   int64         
 87  invest_7              8000 non-null   int64         
 88  invest_8              8000 non-null   int64         
 89  invest_other          29 non-null     object        
 90  son                   8000 non-null   int64         
 91  daughter              8000 non-null   int64         
 92  minor_child           6934 non-null   float64       
 93  marital               8000 non-null   int64         
 94  marital_1st           7172 non-null   float64       
 95  s_birth               6282 non-null   float64       
 96  marital_now           6230 non-null   float64       
 97  s_edu                 6282 non-null   float64       
 98  s_political           6282 non-null   float64       
 99  s_hukou               6282 non-null   float64       
 100 s_income              6282 non-null   float64       
 101 s_work_exper          6282 non-null   float64       
 102 s_work_status         2565 non-null   float64       
 103 s_work_type           2565 non-null   float64       
 104 f_birth               8000 non-null   int64         
 105 f_edu                 8000 non-null   int64         
 106 f_political           8000 non-null   int64         
 107 f_work_14             8000 non-null   int64         
 108 m_birth               8000 non-null   int64         
 109 m_edu                 8000 non-null   int64         
 110 m_political           8000 non-null   int64         
 111 m_work_14             8000 non-null   int64         
 112 status_peer           8000 non-null   int64         
 113 status_3_before       8000 non-null   int64         
 114 view                  8000 non-null   int64         
 115 inc_ability           8000 non-null   int64         
 116 inc_exp               8000 non-null   float64       
 117 trust_1               8000 non-null   int64         
 118 trust_2               8000 non-null   int64         
 119 trust_3               8000 non-null   int64         
 120 trust_4               8000 non-null   int64         
 121 trust_5               8000 non-null   int64         
 122 trust_6               8000 non-null   int64         
 123 trust_7               8000 non-null   int64         
 124 trust_8               8000 non-null   int64         
 125 trust_9               8000 non-null   int64         
 126 trust_10              8000 non-null   int64         
 127 trust_11              8000 non-null   int64         
 128 trust_12              8000 non-null   int64         
 129 trust_13              8000 non-null   int64         
 130 neighbor_familiarity  8000 non-null   int64         
 131 public_service_1      8000 non-null   int64         
 132 public_service_2      8000 non-null   int64         
 133 public_service_3      8000 non-null   int64         
 134 public_service_4      8000 non-null   int64         
 135 public_service_5      8000 non-null   float64       
 136 public_service_6      8000 non-null   int64         
 137 public_service_7      8000 non-null   int64         
 138 public_service_8      8000 non-null   int64         
 139 public_service_9      8000 non-null   int64         
dtypes: datetime64[ns](1), float64(25), int64(111), object(3)
memory usage: 8.5+ MB

#查看label分布
y_train_=train["happiness"]
y_train_.value_counts()

#将-8换成3
y_train_=y_train_.map(lambda x:3 if x==-8 else x)

#重新查看label分布
y_train_.value_counts()

#让label从0开始
y_train_=y_train_.map(lambda x:x-1)
#train和test连在一起
data = pd.concat([train,test],axis=0,ignore_index=True)
#全部数据大小
data.shape

#处理时间特征
data['survey_time'] = pd.to_datetime(data['survey_time'],format='%Y-%m-%d %H:%M:%S')
data["weekday"]=data["survey_time"].dt.weekday
data["year"]=data["survey_time"].dt.year
data["quarter"]=data["survey_time"].dt.quarter
data["hour"]=data["survey_time"].dt.hour
data["month"]=data["survey_time"].dt.month

#把一天的时间分段
def hour_cut(x):
    if 0<=x<6:
        return 0
    elif  6<=x<8:
        return 1
    elif  8<=x<12:
        return 2
    elif  12<=x<14:
        return 3
    elif  14<=x<18:
        return 4
    elif  18<=x<21:
        return 5
    elif  21<=x<24:
        return 6

    
data["hour_cut"]=data["hour"].map(hour_cut)

#做问卷时候的年龄
data["survey_age"]=data["year"]-data["birth"]

#让label从0开始
data["happiness"]=data["happiness"].map(lambda x:x-1)

#去掉三个缺失值很多的
data=data.drop(["edu_other"], axis=1)
data=data.drop(["happiness"], axis=1)
data=data.drop(["survey_time"], axis=1)

#是否入党
data["join_party"]=data["join_party"].map(lambda x:0 if pd.isnull(x)  else 1)

#出生的年代
def birth_split(x):
    if 1920<=x<=1930:
        return 0
    elif  1930<x<=1940:
        return 1
    elif  1940<x<=1950:
        return 2
    elif  1950<x<=1960:
        return 3
    elif  1960<x<=1970:
        return 4
    elif  1970<x<=1980:
        return 5
    elif  1980<x<=1990:
        return 6
    elif  1990<x<=2000:
        return 7
    
data["birth_s"]=data["birth"].map(birth_split)

#收入分组
def income_cut(x):
    if x<0:
        return 0
    elif  0<=x<1200:
        return 1
    elif  1200<x<=10000:
        return 2
    elif  10000<x<24000:
        return 3
    elif  24000<x<40000:
        return 4
    elif  40000<=x:
        return 5
 

    
data["income_cut"]=data["income"].map(income_cut)

#填充数据
data["edu_status"]=data["edu_status"].fillna(5)
data["edu_yr"]=data["edu_yr"].fillna(-2)
data["property_other"]=data["property_other"].map(lambda x:0 if pd.isnull(x)  else 1)
data["hukou_loc"]=data["hukou_loc"].fillna(1)
data["social_neighbor"]=data["social_neighbor"].fillna(8)
data["social_friend"]=data["social_friend"].fillna(8)
data["work_status"]=data["work_status"].fillna(0)
data["work_yr"]=data["work_yr"].fillna(0)
data["work_type"]=data["work_type"].fillna(0)
data["work_manage"]=data["work_manage"].fillna(0)
data["family_income"]=data["family_income"].fillna(-2)
data["invest_other"]=data["invest_other"].map(lambda x:0 if pd.isnull(x)  else 1)

#填充数据
data["minor_child"]=data["minor_child"].fillna(0)
data["marital_1st"]=data["marital_1st"].fillna(0)
data["s_birth"]=data["s_birth"].fillna(0)
data["marital_now"]=data["marital_now"].fillna(0)
data["s_edu"]=data["s_edu"].fillna(0)
data["s_political"]=data["s_political"].fillna(0)
data["s_hukou"]=data["s_hukou"].fillna(0)
data["s_income"]=data["s_income"].fillna(0)
data["s_work_exper"]=data["s_work_exper"].fillna(0)
data["s_work_status"]=data["s_work_status"].fillna(0)
data["s_work_type"]=data["s_work_type"].fillna(0)

data=data.drop(["id"], axis=1)

X_train_ = data[:train.shape[0]]
X_test_  = data[train.shape[0]:]

X_train_.shape

X_test_.shape

target_column = 'happiness'
feature_columns=list(X_test_.columns) 
feature_columns