下面零碎的16部分代码是Task1中的3个任务的代码实现。在本文的后面放置代码的输出部分。
第一部分：代码实现
''' df = pd.read_csv(r'C:\Users\DELL\Desktop\动手学习数据分析\hands-on-data-analysis-master\第一单元项目集合\train.csv') #print(df.head(3)) 输出前三行 '''
- chunk分块
'''
2、设置chunksize参数，来控制每次迭代数据的大小
chunker = pd.read_csv(r'C:\Users\DELL\Desktop\动手学习数据分析\hands-on-data-analysis-master\第一单元项目集合\train.csv',chunksize=5)
for piece in chunker:
#print(type(piece))
#<class 'pandas.core.frame.DataFrame'>
#print(piece) #按块输出
'''
- 换列名
'''
#3.换成中文咯，且没有省略号
pd.set_option('display.max_columns',1000)
pd.set_option('display.width', 1000)
pd.set_option('display.max_colwidth',1000)
df = pd.read_csv(r'C:\Users\DELL\Desktop\动手学习数据分析\hands-on-data-analysis-master\第一单元项目集合\train.csv',
names=['乘客ID','是否幸存','舱位等级','姓名','性别','年龄','兄弟姐妹','父母子女','船票','票价','客舱','登船港口'],index_col='乘客ID',header=0)
print(df.head())
'''
- 基本信息，第一行，第二行以及是否为空
''' #4.查看数据基本信息 df.info() 前几行print(df.head(1)) 后几行print(df.tail(1)) 判断前五行是否为空print(df.isnull().head()) '''
- 文件保存
'''
#5.文件保存df.to_csv('train_chinese.csv')
'''
- pandas中的两种数据结构
'''
#6.df的series与dataframe
sdata = {'Ohio': 35000, 'Texas': 71000, 'Oregon': 16000, 'Utah': 5000}
example_1 = pd.Series(sdata)
print(example_1)
data = {'state': ['Ohio', 'Ohio', 'Ohio', 'Nevada', 'Nevada', 'Nevada'],
'year': [2000, 2001, 2002, 2001, 2002, 2003],'pop': [1.5, 1.7, 3.6, 2.4, 2.9, 3.2]}
example_2 = pd.DataFrame(data)
print(example_2)
'''
- 对列进行分析
''' #7.df.columns分析栏，此外可以用e变量赋值哦。 df=pd.read_csv(r'train_chinese.csv') print(df.head(3)) e=df.columns print(e) '''
- 读取特定列
''' #8.读取特定列 df=pd.read_csv(r'train_chinese.csv') a=df['舱位等级'].head(3) print(a) '''
- 删除与测试集不同的部分
''' #9.删除列，测试集与训练集不同的列 del test_1['a'] '''
- 隐藏无关紧要的列
''' #10.隐藏列，更容易清晰的观察其他元素 p=test_1.drop(['PassengerId','Name','Age','Ticket'],axis=1).head(3) print(p) '''
- 筛选
''' #11.第100行 in[67] a=df.loc[[100],["舱位等级","性别"]] midage = df[(df['年龄']>10)& (df['年龄']<50)] midage = midage.reset_index(drop=True) p=midage.loc[[100],['舱位等级','性别']] rr=midage print(rr) print(p) print(a) '''
- loc方法
''' #12.loc方法 in[69] tt=midage.loc[[100,105,108],['舱位等级','姓名','性别']] print(tt) '''
- 各种排序
#13.导入数据，对示例数据排序，
frame = pd.DataFrame(np.arange(8).reshape((2,4)),
index=['2','1'],
columns=['d','a','b','c'])
print(frame)
print()
#行索引升序排列 (另外赋变量才行)
a=frame.sort_index()
print(a)
print()
#列索引升序排列 (axis可能是布尔类型)
b=frame.sort_index(axis=1)
print(b)
#列索引降序排列
c=frame.sort_index(axis=1,ascending=False)
print(c)
d=frame.sort_values(by=['a','c'])
print(d)
- 一个比较特殊的排序
#14.对泰坦尼克号数据按票价和年龄两列进行综合排序（降序排列） a=text.sort_values(by=['票价','年龄'],ascending=False).head(20) print(a) b=text.sort_values(by=['年龄','票价'],ascending=False).head(20) print(b) #先票价再年龄，先年龄再票价这两种情形是不一样的。 #很多内容见原书《利用python进行数据分析的第五章，算数运算与数据对齐》
- dataframe数据相加
#15.计算两个dataframe数据相加的结果
frame1_a=pd.DataFrame(np.arange(9.).reshape(3,3),
index=['one','two','three'],
columns=['a','b','c'])
print(frame1_a)
frame1_a=pd.DataFrame(np.arange(9.).reshape(3,3),
columns=['a','b','c'],
index=['one','two','three'])
print(frame1_a)
frame1_b=pd.DataFrame(np.arange(12.).reshape(4,3),
columns=['a','e','c'],
index=['first','one','two','second'])
print(frame1_b)
p=frame1_a+frame1_b
print(p)
frame1_b=pd.DataFrame(np.arange(12.).reshape(4,3),
columns=['o','e','c'],
index=['first','one','two','second']) #这里偷改了一下
print(frame1_b)
p=frame1_a+frame1_b
print(p)
- 一个比较有趣的点（对数据的逻辑化思考）
#16.计算最大值 print(max(text['兄弟姐妹']+text['父母子女']))#仔细思考，这个很有逻辑的
- describe() 函数！感觉很酷！
#17.describe()函数查看数据基本统计信息
frame2=pd.DataFrame([[1.4,np.nan],
[7.1,-4.5],
[np.nan,np.nan],
[0.75,-1.3]
],index=['a','b','c','d'],columns=['one','two'])
print(frame2)
print(frame2.describe())
print()
pp=text['票价'].describe()
print(pp)
第二部分：输出
由于输出框经过清空，于是无法找全。以下为部分输出。我所使用的编译环境是spyder(python 3.7)
first NaN NaN NaN NaN
one 3.0 NaN 7.0 NaN
second NaN NaN NaN NaN
three NaN NaN NaN NaN
two 9.0 NaN 13.0 NaN
o e c
first 0.0 1.0 2.0
one 3.0 4.0 5.0
two 6.0 7.0 8.0
second 9.0 10.0 11.0
a b c e o
first NaN NaN NaN NaN NaN
one NaN NaN 7.0 NaN NaN
second NaN NaN NaN NaN NaN
three NaN NaN NaN NaN NaN
two NaN NaN 13.0 NaN NaN
one two
a 1.40 NaN
b 7.10 -4.5
c NaN NaN
d 0.75 -1.3
one two
count 3.000000 2.000000
mean 3.083333 -2.900000
std 3.493685 2.262742
min 0.750000 -4.500000
25% 1.075000 -3.700000
50% 1.400000 -2.900000
75% 4.250000 -2.100000
max 7.100000 -1.300000
count 891.000000
mean 32.204208
std 49.693429
min 0.000000
25% 7.910400
50% 14.454200
75% 31.000000
max 512.329200
Name: 票价, dtype: float64
乘客ID 是否幸存 舱位等级 姓名 性别 年龄 兄弟姐妹 父母子女 船票 票价 客舱 登船港口 630 631 1 1 Barkworth, Mr. Algernon Henry Wilson male 80.0 0 0 27042 30.0000 A23 S 851 852 0 3 Svensson, Mr. Johan male 74.0 0 0 347060 7.7750 NaN S 493 494 0 1 Artagaveytia, Mr. Ramon male 71.0 0 0 PC 17609 49.5042 NaN C 96 97 0 1 Goldschmidt, Mr. George B male 71.0 0 0 PC 17754 34.6542 A5 C 116 117 0 3 Connors, Mr. Patrick male 70.5 0 0 370369 7.7500 NaN Q 745 746 0 1 Crosby, Capt. Edward Gifford male 70.0 1 1 WE/P 5735 71.0000 B22 S 672 673 0 2 Mitchell, Mr. Henry Michael male 70.0 0 0 C.A. 24580 10.5000 NaN S 33 34 0 2 Wheadon, Mr. Edward H male 66.0 0 0 C.A. 24579 10.5000 NaN S 54 55 0 1 Ostby, Mr. Engelhart Cornelius male 65.0 0 1 113509 61.9792 B30 C 456 457 0 1 Millet, Mr. Francis Davis male 65.0 0 0 13509 26.5500 E38 S 280 281 0 3 Duane, Mr. Frank male 65.0 0 0 336439 7.7500 NaN Q 438 439 0 1 Fortune, Mr. Mark male 64.0 1 4 19950 263.0000 C23 C25 C27 S 545 546 0 1 Nicholson, Mr. Arthur Ernest male 64.0 0 0 693 26.0000 NaN S 275 276 1 1 Andrews, Miss. Kornelia Theodosia female 63.0 1 0 13502 77.9583 D7 S 483 484 1 3 Turkula, Mrs. (Hedwig) female 63.0 0 0 4134 9.5875 NaN S 829 830 1 1 Stone, Mrs. George Nelson (Martha Evelyn) female 62.0 0 0 113572 80.0000 B28 NaN 252 253 0 1 Stead, Mr. William Thomas male 62.0 0 0 113514 26.5500 C87 S 555 556 0 1 Wright, Mr. George male 62.0 0 0 113807 26.5500 NaN S 570 571 1 2 Harris, Mr. George male 62.0 0 0 S.W./PP 752 10.5000 NaN S 170 171 0 1 Van der hoef, Mr. Wyckoff male 61.0 0 0 111240 33.5000 B19 S
第三部分：疑问与困惑
1.为什么前面要加一个r以及相对路径与绝对路径
2.非要Print(df.head(3))，即一定要通过print才能打印。
3.一个看pdf书的收获，结合最近在做的数据竞赛，下面这句话挺有共鸣。【做项目和工作过程中，遇到没有遇见的问题，要多查资料，使用google，了解业务逻辑和输入输出。】