20个常用的函数方法
1.读取数据
marketing = pd.read_csv("DirectMarketing.csv") groceries = pd.read_csv("Groceries_dataset.csv") df = pd.read_csv("Churn_Modelling.csv" #只想展示一部分，比方说其中几行的数据 df = pd.read_csv("Churn_Modelling.csv", nrows = 5000) df.shape (5000,14)
# 其中几列的数据,例如下面的代码选中“Gender”、“Age”以及“Tensure”等几列
df1 = pd.read_csv("Churn_Modelling.csv", usecols=[‘Gender‘, ‘Age‘, ‘Tenure‘, ‘Balance‘])
2.查看缺失值
groceries.isna().sum()
Member_number 0
Date 0
itemDescription 0
dtype: int64
3. 填充缺失值
# 这里用的是众数来填充，当然也可以用平均数mean，中位数median groceries[‘itemDescription‘].fillna(value=groceries[‘itemDescription‘].mode()[0], inplace=True) # 或者是用"fillna"这个方法 groceries["Date"].fillna(method = "ffill", inplace = True) # 假若我们想把这些缺失值给抹去，也很好来操作，使用“drop”方法，#“inplace=True”表明原数组内容直接被改变 groceries.drop(axis = 0, how = ‘any‘, inplace = True)
4. 查看某一列的数据类型
# 首先我们来查看一下数据集当中每一列的数据类型 groceries.dtypes Member_number int64 Date object itemDescription object dtype: object # 我们看到的是，“Date”这一列的数据类型是“object”，我们可以通过#“astype”这个方法来改变这一列的数据类型 groceries[‘Date‘] = groceries[‘Date‘].astype("datetime64") #当然还有“to_datetime”这个方法来尝试 groceries[‘Date‘] = pd.to_datetime(groceries[‘Date‘]) #通过里面的参数“parse_dates”来改变这一列的数据类型 groceries = pd.read_csv("Groceries_dataset.csv", parse_dates=[‘Date‘]) groceries.dtypes Member_number int64 Date datetime64[ns] itemDescription object dtype: object
5. 筛选出数据
"""通常来说有很多种方式方法来筛选数据以得出我们想要的结果，比方说我们可以通过一些逻辑符号“==”、“！=”或者是“>”“<”等方式,例如下面的代码便是挑选出“itemDescription”等于是“pip fruit”的数据""" groceries[groceries["itemDescription"] == "pip fruit"].head()
"""当然还有“isin”这个方法来从一定的范围内选出数据，我们能够传入一个列表，在列表中注明我们要筛选的数据，例如下面的代码，我们筛选出“Member_number”在这些范围当中的数据""" groceries[groceries.Member_number.isin([3737, 2433, 3915, 2625])].head()
# “query”这个方法也可以帮助到我们 groceries.query(‘3000 < Member_number < 5000‘).head()
# “where”这个方法也行 groceries[[‘Member_number‘,‘Date‘, ‘itemDescription‘]].where(groceries[‘Member_number‘] > 2500, 0).head()
6. 排除数据
#“~”符号用来表明我们需要筛选出不再我们给定的范围之内的数据，比方说下#面的代码我们筛选出“Member_number”不再这些范围当中的数据 groceries[~groceries.Member_number.isin([3737, 2433, 3915, 2625])].head()
7. 数据统计
#“value_counts”方法是被使用最广泛的工具，在数据统计和计数当中，计算#一下该列当中每大类的离散值出现的频率 marketing["OwnHome"].value_counts() Own 516 Rent 484 Name: OwnHome, dtype: int64 #我们将其中的参数“normalize”改成“True”，它也将以百分比的形式出现， marketing.Catalogs.value_counts(normalize=True) 12 0.282 6 0.252 24 0.233 18 0.233 #除此之外，我们也可以用“nunique”这个方法来查看某一列离散值当中有#几大类，例如下面的代码中“OwnHome”这一列只有两大类 marketing["OwnHome"].nunique() 2
8. 将某一列作为索引
"""一般数据集中的索引大家可以理解为就是“行数”，也就是“第一行”、“第二行”，当然我们可以通过“set_index”这个方法来将任意某一列设置为我们需要的索引，比方说数据集中的“Date”字段被设置成了索引""" groceries.set_index(‘Date‘, inplace=True)
9. 重新设置索引
# 我们可以通过“reset_index”来重新设置索引，例如下面的数据集的索引并不#是连续的 groceries.reset_index(drop=True, inplace=True)
10. 关于“loc”和“iloc”
# “loc”方法和“iloc”方法用法想类似，其中比较重要的一点是“loc”方法一般可以接受标签，例如 groceries.loc[:,["Member_number", "Date"]].head()
# 而“iloc”里面要是放标签的话，则会报错，一般“iloc”里面放的则是索引 # 取第一列和第二列两列的数据 groceries.iloc[:,[0, 1]].head()
11. 提取“月份”和“年份”
# 我们可以通过“dt”这个方法来提取时间类型的数据中的年份和月份，例如 groceries[‘Year‘] = groceries[‘Date‘].dt.year groceries[‘Month‘] = groceries[‘Date‘].dt.month
12. 去除某几列的数据
#要是碰到我们想去除掉某几列的数据的时候，可以使用“drop”方法，例如，我#们去除掉“Year”和“Month”这两列 groceries.drop([‘Year‘,‘Month‘], axis=1, inplace=True)
13. 增加某几列的数据
# 要是想在数据集当中增加几列的时候，我们可以使用“insert”方法，例如，我#们再第一列和第二列的位置插入“Month”数据和“Year”的数据 year = groceries[‘Date‘].dt.year month = groceries[‘Date‘].dt.month groceries.insert(1, ‘Month‘, month) groceries.insert(2, ‘Year‘, year)
14. 排名统计
# 我们可以为某一列数据做一个排名，使用“rank”这个方法 groceries[‘Member_number_rank‘] = groceries[‘Member_number‘].rank(method = ‘first‘, ascending = False).astype(‘int‘)
15. 展示小数点后面的几位小数
# 数据集当中对于浮点型的数字，小数点后面可能仍然会有很多的数字，我们可以通过“round”方法来进行调整，例如我们保留一位小数 df.round(1).head()
16. 基于字符串去筛选数据
# 我们有时候需要基于字符串去进行数据的筛选，例如，我们要筛选出下面的数据集当中顾客的名字是以“Mi”开头的顾客，我们可以这么来做 df[df[‘Surname‘].str.startswith(‘Mi‘)].head()
17. 基于字符串的长度来筛选数据
# 有时候我们也可以通过字符串的长度来筛选数据，例如我们通过下面的代码筛选出“itemDescription”这个字段长度大于20的数据 groceries[groceries.itemDescription.str.len() > 20].head()
18. 对离散值类型的数据进行分离
#“Date”这一列当中的数据是字符串，然后我们可以通过“split”这个方法来进行字符串的分离，例如下面的代码将“Date”这一列当中的月份数据给分离出来了 groceries[‘Month‘] = groceries[‘Date‘].str.split(‘-‘, expand=True)[1]
19. 画图
# 我们可以在已有数据集的基础上，通过“plot”这个方法以及里面的参数“kind”来进行可视化，例如我们想要话直方图的话 df[‘Balance‘].plot(kind=‘hist‘, figsize=(10,6), title=‘Customer Balance‘)
20. 标注重点
# 有时候可能需要对数据集当中某些数据打标签，表上颜色来显示其重要性，在“Pandas”模块中有“style”这个方法可以使用，例如下面的代码将“Salary”以及“Catalogs”这两列的最大值标出来了 df_new.style.highlight_max(axis = 0, color = "yellow")