1 import pandas as pd
2 import numpy as np
3 from sklearn.cluster import KMeans
4 import matplotlib.pyplot as plt
5
6
7 def stand_sca(data):
8 """
9 标准差标准化
10 :param data:原数据
11 :return: 标准差之后的数据
12 """
13 data = (data - data.mean()) / data.std()
14
15 return data
16
17
18 def box_analysis(data):
19 """
20 箱线图分析去除异常值
21 :param data: 原数据---series
22 :return: bool数组
23 """
24 # 上四分位数
25 qu = data.quantile(q=0.75)
26 # 下四分位数
27 ql = data.quantile(q=0.25)
28 # 计算四分位间距
29 iqr = qu - ql
30
31 # 上限
32 up = qu + 1.5 * iqr
33 # 下限
34 low = ql - 1.5 * iqr
35
36 bool_index = (data < up) & (data > low)
37
38 return bool_index
39
40
41 # 1、了解航空公司现状以及 航空用户的价值
42 # 6w+ 样本 44个特征 ----> LRFMC
43 # 2、数据处理
44 # （1）缺失值处理
45 # 删除法
46 # (2) 筛选相关特征---构建最终的特征
47 # LRFMC <----筛选出能够构建这5个特征的相关特征
48 # （3）异常值处理
49 # 3sigma 原则 或者 box_analysis
50 # （4）标准化处理
51 # 标准差标准化
52 # 3、k-means实现航空用户的聚类
53 # sklearn
54 # 4、结果展示
55 # 绘制雷达图
56 # 5、输出结论
57 # 营销策略
58
59 def build_data():
60 """
61 构建原始数据
62 :return: 原始数据
63 """
64 # 1、加载数据
65 air_data = pd.read_csv("./air_data.csv", encoding="ansi")
66 # print("air_data:\n", air_data)
67 # print("air_data 的列索引名称:\n", air_data.columns)
68
69 return air_data
70
71
72 def deal_data(air_data):
73 """
74 数据处理
75 :param air_data:原始数据
76 :return: 数据处理之后的结果
77 """
78 # 2、数据清洗
79 # 缺失值、异常值
80 # 检测缺失值
81 res_null = pd.isnull(air_data).sum()
82 # print("缺失值检测结果：", res_null)
83
84 # 处理缺失值
85 # （1）丢弃票价为空的记录 # SUM_YR_1 SUM_YR_2两列
86 # ----可以理解保留票价不为空
87 bool_index_1 = air_data.loc[:, "SUM_YR_1"].notnull()
88 bool_index_2 = air_data.loc[:, "SUM_YR_2"].notnull()
89 # 个人认为 只有两列票价都不为空，票价才不为空
90 bool_index = bool_index_1 & bool_index_2
91 air_data = air_data.loc[bool_index, :]
92 # (2)丢弃票价为0，折扣不为0，飞行里程 > 0 的数据--->丢弃航空公司没有盈利的数据
93 # 保留盈利的数据
94 # 保留票价 > 0，折扣 > 0，飞行里程 > 0
95 # 个人认为只要有一列票价>0,票价就>0
96 bool_id_1 = air_data.loc[:, "SUM_YR_1"] > 0
97 bool_id_2 = air_data.loc[:, "SUM_YR_2"] > 0
98
99 # 折扣> 0
100 bool_id_3 = air_data.loc[:, "avg_discount"] > 0
101
102 # 飞行里程>0
103 bool_id_4 = air_data.loc[:, "SEG_KM_SUM"] > 0
104
105 bool_id = (bool_id_1 | bool_id_2) & bool_id_3 & bool_id_4
106
107 air_data = air_data.loc[bool_id, :]
108
109 res_null = pd.isnull(air_data).sum()
110 # print("缺失值检测结果：", res_null)
111
112 # 先筛选特征
113 # LRFMC
114 # 筛选 入会时间、窗口结束时间、最后乘坐飞机距离窗口结束的时长,乘坐飞机次数、飞行里程、折扣系数
115 air_data = air_data.loc[:, ["FFP_DATE", "LOAD_TIME", "LAST_TO_END", "FLIGHT_COUNT", "SEG_KM_SUM", "avg_discount"]]
116
117 # 构建LRFMC五个特征
118 air_data.loc[:, "FFP_DATE"] = pd.to_datetime(air_data.loc[:, "FFP_DATE"])
119 air_data.loc[:, "LOAD_TIME"] = pd.to_datetime(air_data.loc[:, "LOAD_TIME"])
120 # 获取时间差--单位是day
121 air_data.loc[:, "L_days"] = air_data.loc[:, "LOAD_TIME"] - air_data.loc[:, "FFP_DATE"]
122 # 获取相差天数 的数值
123 air_data.loc[:, "L_days"] = [i.days for i in air_data.loc[:, "L_days"]]
124 # 获取具体的月数--即L
125 air_data.loc[:, "L"] = np.ceil(air_data.loc[:, "L_days"] / 30)
126 # print(air_data.loc[:, "L"])
127 # 构建R --- LAST_TO_END 这个时长应该是天数
128 # print(air_data.loc[:, "LAST_TO_END"])
129 air_data.loc[:, "R"] = np.ceil(air_data.loc[:, "LAST_TO_END"] / 30)
130 # print("air_data.loc[:, "R"]:\n",air_data.loc[:, "R"])
131
132 air_data.loc[:, "F"] = air_data.loc[:, "FLIGHT_COUNT"]
133
134 air_data.loc[:, "M"] = air_data.loc[:, "SEG_KM_SUM"]
135
136 air_data.loc[:, "C"] = air_data.loc[:, "avg_discount"]
137
138 air_data = air_data.iloc[:, -5:]
139 # print("最终的数据：\n", air_data)
140
141 # 异常值处理
142 for column in air_data.columns:
143 bool_ = box_analysis(air_data.loc[:, column])
144 air_data = air_data.loc[bool_, :]
145
146 # 标准化数据
147 air_data = stand_sca(air_data)
148
149 print("标准化之后的数据：\n", air_data)
150
151 return air_data
152
153
154 def km_fit(air_data, k):
155 """
156 k-means训练数据，并进行用户聚类
157 :param air_data: 数据
158 :param k: 聚类的类别数目
159 :return:
160 """
161 # 1、创建算法实例
162 km = KMeans(n_clusters=k)
163 # 2、训练数据
164 km.fit(air_data)
165 # 3、预测
166 y_predict = km.predict(air_data)
167
168 # 获取聚类中心
169 center = km.cluster_centers_
170
171 return y_predict, center
172
173
174 def show_res(center, feature_num):
175 """
176 绘制雷达图
177 :param center:聚类中心
178 :param feature_num: 特征的数量
179 :return:
180 """
181 # 1、创建画布
182 # 绘制雷达图 需要用到极坐标
183 fig = plt.figure()
184 # 修改RC参数，来让其支持中文
185 plt.rcParams['font.sans-serif'] = 'SimHei'
186 plt.rcParams['axes.unicode_minus'] = False
187 # polar 开启极坐标
188 fig.add_subplot(1, 1, 1, polar=True)
189 # 2、绘图
190 # 准备数据
191 # 准备角度数据
192 angle = np.linspace(start=0, stop=2 * np.pi, num=feature_num, endpoint=False)
193 print(angle)
194 # 闭合角度
195 angle = np.concatenate((angle, [angle[0]]))
196 # print(angle)
197 for i in range(center.shape[0]):
198 # print(center[i, 0])
199 # 闭合数据
200 data = np.concatenate((center[i, :],[center[i, 0]]))
201 plt.polar(angle, data)
202
203 # 设置刻度
204 plt.xticks(angle[:-1],["L","R","F","M","C"])
205
206 # 增加图例
207 plt.legend(["第一类用户","第二类用户","第三类用户","第四类用户","第五类用户"])
208 # 保存图片
209 plt.savefig("./航空用户聚类分析结果雷达图展示.png")
210 # 3、展示
211 plt.show()
212
213
214 def main():
215 """
216 主函数
217 :return:
218 """
219 # 1、构建原始数据
220 air_data = build_data()
221 # 2、数据处理
222 air_data = deal_data(air_data)
223 # 3、构建聚类模型进行用户聚类
224 # 确定聚类的类别数目
225 k = 5
226 y_predict, center = km_fit(air_data, k)
227 print("预测值为：\n", y_predict)
228 print("聚类中心为：\n", center)
229
230 # 4、结果展示
231 show_res(center, center.shape[1])
232
233
234 if __name__ == '__main__':
235 main()