1. Pandas 基础
Pandas 是一个帮助你处理和分析数据的工具
安装 Pandas
pip install pandas导入 Pandas，我们用 pd 来代替 Pandas 的全称，这样以后写代码的时候更简洁
import pandas as pd建 Series 和 DataFrame
Pandas 最基本的两个数据结构是 Series 和 DataFrame。Series 是一维的，类似于列表或数组；而 DataFrame 是二维的，类似于电子表格
# 创建一个 Series（就像 Excel 中的一列数据）
data = pd.Series([10, 20, 30, 40])
# 创建一个 DataFrame（像 Excel 表格，有行有列）
data_dict = {'Name': ['Alice', 'Bob', 'Charlie'], 'Age': [25, 30, 35]}
df = pd.DataFrame(data_dict)基本的数据操作
如何查看、操作 DataFrame 的数据
# 查看前几行数据
print(df.head()) # 默认查看前5行
# 查看数据信息，了解数据的详细信息，比如有多少列，每一列的类型
print(df.info())
# 统计摘要，了解数值列的统计信息（比如平均值、最大值等）
print(df.describe())2. 数据索引与选取
我们可以通过标签、位置索引以及布尔条件来选取数据
# 设你有一个带名字和年龄的表格，如何只看年龄列
# 通过标签选取列
age_column = df['Age'] # 这样就得到了年龄这列
# 如果你想看某一行，比如第一个人是谁
# 通过行列位置选取
first_row = df.iloc[0] # iloc 用来按位置选取，0 表示第一行
# 条件筛选
adults = df[df['Age'] > 30]布尔索引与条件筛选
可以根据条件快速提取特定的数据
# 查找年龄大于30的人
adults = df[df['Age'] > 30]3. 数据清洗与处理
缺失值处理
在实际数据集中，经常会遇到缺失值
# 统计每一列有多少缺失值
print(df.isnull().sum())
# 填充缺失值 用 0 填充这些空的地方
df.fillna(value=0, inplace=True)
# 删除缺失值
df.dropna(inplace=True)数据类型转换
有时我们需要将数据类型进行转换
# 将列转换为日期格式
df['Date'] = pd.to_datetime(df['Date'])重命名与重复值处理
可以对 DataFrame 中的列进行重命名，或去除重复的行
# 重命名列
df.rename(columns={'Age': 'Years'}, inplace=True)
# 删除重复值
df.drop_duplicates(inplace=True)4. 数据聚合与分组操作
Pandas 的 groupby 和聚合函数可以帮助我们对数据进行分组和汇总，简化数据分析的工作
# 比如你需要根据某个条件对数据进行分组，比如想知道每个年龄段的平均工资是多少
# 按年龄分组，并计算平均数
grouped = df.groupby('Age').mean()
# 聚合操作
aggregated = df.groupby('Age').agg({'Salary': ['mean', 'max']})数据透视表
类似 Excel 的数据透视表功能，可以用于复杂的多维数据分析
# 创建透视表
pivot_table = df.pivot_table(values='Salary', index='Department', columns='Age', aggfunc='mean')5. 数据可视化
可以与 Matplotlib 和 Seaborn 集成（后出文讲解，这个知道他是可视化工具就可以啦），实现数据的可视化
import matplotlib.pyplot as plt
# 简单的折线图
df['Age'].plot(kind='line')
plt.show()
# 使用 Seaborn 进行高级可视化
import seaborn as sns
sns.boxplot(x=df['Age'])
plt.show()6. 数据处理技巧
数据归一化与标准化
有时为了让不同的数据更好地比较，我们就会对数据进行归一化或标准化。举例，如果年龄的范围是 20 到 60 岁，就可以把它“压缩”到 0 和 1 之间
数据归一化和标准化是常见的预处理步骤，以保证模型收敛速度更快，效果更好
# 数据归一化
df['Normalized_Age'] = (df['Age'] - df['Age'].min()) / (df['Age'].max() - df['Age'].min())
# 数据标准化
df['Standardized_Age'] = (df['Age'] - df['Age'].mean()) / df['Age'].std()特征工程中的 Pandas 操作
特征工程非常重要（以后写），Pandas 可以快速进行数据转换和特征创建
# 创建新的特征列
df['Age_Squared'] = df['Age'] ** 2
# 处理分类变量
df = pd.get_dummies(df, columns=['Category'])7. 实战里的操作
假设你有一个大规模的数据集，需要对其进行处理并应用到深度学习模型中
这里是一些常见的操作
# 从大文件中逐块读取数据
chunk_size = 10000
for chunk in pd.read_csv('large_dataset.csv', chunksize=chunk_size):
# 对每个数据块进行处理
processed_chunk = process_data(chunk)因为当你处理非常大的数据集时，你可能没办法一次性加载所有数据。所以你需要把数据按块加载，并分批处理
数据清洗与特征工程
在预处理深度学习数据集时清洗数据和生成有效特征
# 清洗数据
df_cleaned = df.dropna()
# 生成新特征
df_cleaned['interaction_feature'] = df_cleaned['Feature1'] * df_cleaned['Feature2']