18-09-27 pandas 学习02

如何系统的学习python 中有关数据分析和挖掘相关的库?
什么是系统的学习?系统的学习就是一个先搭建只是框架体系,然后不断填充知识看,不断更新迭代的过程。 Pandas,numpy,scipy,matplotlip,scikit-learn 就是知识框架体系中必备部分:
pandas 用来做数据处理,
numpy 用来做高纬度矩阵运算,
scipy 用来做科学计算,
matplotilib 用来做数据可视化,
scikit-learn 用来做数据挖掘与机器学习,它已经
覆盖了基本的算法,只需要调用即可, 上面这几个库也就搭建了做数据分析和挖掘的经典workflow;
拿到数据之后先做一个数据预处理(pandas + numpy+scipy)
接着会要对数据包含的特征做一些可视化输出(matplotlid)
之后需要提前特征和建模调参(numpy+scikit-learn),
有了模型与结果,最后归纳整理做presenttation 和report.
但目前数据挖掘竞赛比较火的技巧是模型融合 ,可以对很多模型进行融合,并且可以选择不同的模型融合方式
https://zhuanlan.zhihu.com/p/25836678 df == 任意的pandas DataFrame 数据框对象
s === 任意的pandans   Series 数组的对象
pandas 和numpy 是Python做数据分析最基础且最核心的库


# 一 Pandas 数据存取********************

import pandas as pd
import numpy as np
"""
读取文件:从文件名、URL、文件对象中加载数据 数据的导入 pd.read_csv(filename) #导入csv格式文件中的数据 默认分隔符为逗号
pd.read_table(filename)    # 导入有分隔符的文件(如TSY)中的数据 默认分隔符为\t(横向)
pd.read_excel   #导入读取excel文件中的数据
pd.read_sql(query,connection_object) #导入SQL 数据表/数据框中的数据
pd.read_json(json_string) #导入JSON格式的字符,URL地址或者文件中的数据
pd.read_html(url) #导入经过解析的RUL地址中包含的数据框(DataFrame)数据
pd.read_clipboard() #导入系统粘贴板里面的数据
pd.DataFrame(dict) #导入python 字典(dict)里面的数据,其中key 是数据框的表头,value是数据框的内容
更 多格式,通过在ipython中输入pd.read_*? 查看
读取文件函数主要参数:
sep 指定分隔符,可用正则表达式如’\s+’
header=None 指定文件无列名,默认列名失效
names 指定列名 原文件无列名时,可通过这种方式指定,比如: names=[‘username’, ‘phone’, ‘email’]
index_col 指定某列作为索引 比如 index_col = 0 指定0列为索引
skip_row 指定跳过某些行
na_values 指定某些字符串表示缺失值,比如 na_values=[‘None’, ‘null’] 将这些字符串作为NaN
parse_dates 指定某些列是否被解析为日期,布尔值或列表 数据的导出 df.to_csv(filename) #将数据框(DataFrame)中的数据导入csv格式的文件中
df.to_excel(filename) #将数据框(DataFrame)中的数据导入Excel 格式的文件中
df.to_sql(table_name,connection_object) #将数据框(DataFrame)中的数据导入SQL数据表/数据库中
df.to_josn(filename) #将数据框(DataFrame)中的数据导入JSON 格式的文件中
---------------------

python \r \t \n 各种转义字符[转]

转义字符 描述
\(在行尾时) 续行符
\\ 反斜杠符号
\’ 单引号
\” 双引号
\a 响铃
\b 退格(Backspace)
\e 转义
\000
\n 换行
\v 纵向制表符
\t 横向制表符
\r 回车
\f 换页
\oyy 八进制数yy代表的字符,例如:\o12代表换行
\xyy 十进制数yy代表的字符,例如:\x0a代表换行
\other 其它的字符以普通格式输出
"""

# pandas 可以存取多种介质类型的数据,例如 内存,文本,CSV,JSON,HTML,Excel,HDF5.SQL

# 1 读取数据相关的参数介绍
# 如果数据有中文,编码可以修改,默认是ascii,改为utf-8 # 写入不修改编码则读取时需要修改
# df.to_csv(
# "xx.csv",# 存入数据
# index=False,# 不存储行索引
# header=False # 不存储列索引
# encoding = "utf-8"
# ) # 2 读取CSV,文件内汉字等特殊符号时,csv 文件变为应为 utf-8(无BOM)可默认正常读取

# 如果编码为ANSI ,加参数 enconding="gbk",
# 数据内有逗号时,左右加应为半角双引号,可以正常解析
#
# pd.read_csv(
# "xxx.csv",#文件名
# sep = ",", #指定分隔符,csv 默认逗号,如果是table表格数据一般为 \t(横向制表符)
# usecols=[0,2,4], #读取指定的列
# nrows = 10, #读取前几行
# header = None,#不将第一行设为表头
# names = ["a","dd"], #不使用csv 表头,自定义表头
# encoding = "utf-8" #编码,需要根据文本编码修改,默认是utf-8,可以指定为GBK/ascii
# ) # 3合并时间列及自定义某列为行索引==的具体 解析 parse_dates={"date_time":["data","time"]
# files =  pd.read_csv(r"C:\Users\WY\Desktop\student2.csv")
# print(files)
# data time name age
# 0 20100101 10000 张三 18
# 1 20100101 230000 李,四 28
files1 = pd.read_csv(r"C:\Users\WY\Desktop\student2.csv",
parse_dates={"date_time":["data","time"]}, #合并两列 然后重新命名
)
# print(files1)
# date_time name age
# 0 2010-01-01 01:00:00 张三 18
# 1 2010-01-01 23:00:00 李,四 28 files2 = pd.read_csv(r"C:\Users\WY\Desktop\student2.csv",
parse_dates={"date_time":["data","time"]}, #合并两列 然后重新命名
index_col="date_time" #把这列设置为行索引 代替自动生成的数字 0 1 2(必须是这个date_time)
)
# print(files2)
# name age
# date_time
# 2010-01-01 01:00:00 张三 18
# 2010-01-01 23:00:00 李,四 28 # 4 Pandas 存取HDF5 暂时放置不太懂 ?????????????????

# 有中文,存储变得很大 很大啊
# files3 = pd.DataFrame.to_hdf(r"C:\Users\WY\Desktop\student2.h5",'w') #???
# files3 = pd.read_hdf(r"C:\Users\WY\Desktop\student2.h5",key='files3')
# print(files3) # 5 pandas 存取Excel(xlsx) # 5-1 读取Excel 数据
# na_values 指定某些字符串表示缺失值,比如 na_values=[‘None’, ‘null’] 将这些字符串作为NaN files4 = pd.read_excel(r"C:\Users\WY\Desktop\111.xlsx",
"Sheet1",index_col=None,na_values=["NA"],header=None #不将第一行设为表头(此时这是列索引)
) # print("file4",files4)
# file4 0 1
# 0 组长 王小1
# 1 组长 王小2
# 2 组长 王小3 # 以下是练习 详情去看我自己的博客关于查询的方法 冒号: 相当于行的取值
# data = files4[[0,1]] #取值前2列
# data = files4.loc[:,[0,1]] #取值前2列(标签索引)
# data = files4.iloc[:,[0,1]] #取值前2列(位置索引)
# data = files4.loc[:,0] #取值前1列
# data = files4.loc[0] #第一行的数据 # 5-2 写入Excel文件 会 把原文件福覆盖
# 需求以上取值所有人的名字
data = files4[[0]] #取第二列 另外还有两种方法
# print(data) data.to_excel(
r"C:\Users\WY\Desktop\222.xlsx",
"Sheet1",
header=False,
index=False #不存入行索引,列索引为index_col
) # 6 pandas 存取JSON数据

# 读取JSON # pd.read_json("XX.json") # 存入JSON
# data.to_json("xx.josn") # 7pandas 从剪贴板(内存)读取数据(当你想要剪切板中复制后的东西 这个就可以打印出来了)
# 多用于将网页内容转换为 DataFrame # data = pd.read_clipboard(header=None)
# print(data) # 8 pandas 可以直接从数据库总写入或读取DataFrame 数据
# 方法
# pd.read_sql() 查询数据库,返回DataFrame d对象数据
# pd.to_sql() 将DataFrame 对象数据插入数据库
# 注意:to_sql() 直接调用 INSERT 语句完成任务,因此数据数据的传输速度较慢,如果将一个大型
# DataFrame 数据写入数据库中,最好先导出CSV 文件然后再导入数据库中
"""
# 以下是复制过来连接数据库的
from sqlalchemy import create_engine # 连接MySQL数据库,需要安装Python连接库
# conda install -c anaconda pymysql dbconnect = 'pymysql' # MySQL连接库,根据使用的连接库修改名称,这里用pymysql
dbname = 'aaa' # 数据库名
dbusername = 'root' # 数据库用户名
dbpwd = 'root' # 数据库密码 # 连接数据库
conn = create_engine('mysql+' + dbconnect + '://' + dbusername + ':' + dbpwd + '@localhost:3306/' + dbname + '?charset=utf8') # 存取数据库数据 # 查询数据库 sql1 = 'SELECT * FROM ccc' df1 = pd.read_sql( # pd.io.sql.read_sql()的快捷方式
sql1, # sql语句
conn, # 数据库连接
index_col='id' # 选定某列做行索引,可选
)
df1 # 插入数据库 a pd.io.sql.to_sql(
a, # 插入的数据,注意格结构应和MySQL表一致
'ccc', # 表名
con=conn, # 数据库连接
if_exists='append', # 注释见下
index=False # 不将列索引插入数据库中,否则会出错 """ # 二 Pandas 统计分析 ********************

# pandas 数据的基本统计分析和numpy 的函数近似
"""
numpy.random.rand(a,dn) 函数根据给定维度生成[0,a)之间的数据,包含0,不包含a
dn表格每个维度 (几行)
返回值为指定维度的array
"""
dates = pd.date_range("20180927",periods=10) #获取最近10天的日期时间
# print(dates)
# DatetimeIndex(['2018-09-27', '2018-09-28', '2018-09-29', '2018-09-30',
# '2018-10-01', '2018-10-02', '2018-10-03', '2018-10-04',
# '2018-10-05', '2018-10-06'],
# dtype='datetime64[ns]', freq='D')
df = pd.DataFrame(np.random.randn(10,5),index=dates,columns=["a","b","c","d","e"])
# print(df) #随机生成0,10 之间的数据 但是以下 好像不是??????????
                   # a         b         c         d         e
# 2018-09-27 -0.258745 0.037599 0.721864 -0.211030 -1.059286
# 2018-09-28 -0.054321 1.128499 1.655691 0.224175 -0.772732
# 2018-09-29 -1.268385 0.432739 -1.279300 -1.473420 -1.611057
# 2018-09-30 -0.671130 0.432911 -0.471831 0.366561 -0.102837
# 2018-10-01 1.489147 0.195784 0.129284 -0.519119 -0.652858
# 2018-10-02 -0.525051 -0.147583 -0.393632 -0.607596 1.015660
# 2018-10-03 0.628974 -0.846290 -1.531452 1.029872 -1.886281
# 2018-10-04 -0.268511 -0.179644 -1.006786 0.468539 1.254019
# 2018-10-05 -0.349232 0.006306 -0.017473 0.978961 -0.101312
# 2018-10-06 -0.011932 -0.659007 -1.271695 -0.719069 0.232689
# print(df.describe()) #快速统计结果
# print(df.mean())#按列求平均值
# print(df.mean(1)) #按行求平均值 # ==
a1 = pd.Series([2,3,4,5],index=["a","b","c","d"])
# print(a1)
# a 2
# b 3
# c 4
# d 5
# dtype: int64 # b1 = pd.DataFrame(np.arange(4).reshape(1.4),index=["A","B","C","D"])
b1 = pd.DataFrame(np.arange(20).reshape(4,5),index=["A","B","C","D"])
# print(b1)
# 0 1 2 3 4
# A 0 1 2 3 4
# B 5 6 7 8 9
# C 10 11 12 13 14
# D 15 16 17 18 19 # print(a1.describe(),type(a1.describe()))
# count 4.000000
# mean 3.500000
# std 1.290994
# min 2.000000
# 25% 2.750000
# 50% 3.500000
# 75% 4.250000
# max 5.000000
# dtype: float64 <class 'pandas.core.series.Series'> # print(a1.describe()["mean"]) #3.5 # 返回横行的数据 ????????????
# print(b1.describe().loc["min"])
# print(b1.describe().loc[3]) #返回横行数据,series
# b.describe().loc['max']
# b.describe().iloc[7]
#
# #返回一列值,这里第2列
# b.describe()[2]
# #b.describe()[2]
# b.describe().loc[:,2]



#1读取所有数据
student = pd.read_csv("C:\\Users\\WY\\Desktop\\student2.csv") #和pd.io.parsers/read_csv
# print(student)
""" a,b
0 我不是毛2,我不是我2,哈哈哈哈2
1 我不是毛3,我不是我3,哈哈哈哈3
2 我不是毛4,我不是我4,哈哈哈哈4
3 我不是毛11,我不是我11,哈哈哈哈11
4 我不是毛22,我不是我22,哈哈哈哈22
5 我不是毛33,我不是我33,哈哈哈哈33
6 我不是毛44,我不是我44,哈哈哈哈44
"""
# 读取前5行 和后5行的数据
# print(student.head()) # 获取数据前五行的数据
# 出错了 不回了 ????????????文件的本身的问题 换了文件就好了 # print(student.tail()) #获取数据后5行的数据 # a,b
# 2 我不是毛4,我不是我4,哈哈哈哈4
# 3 我不是毛11,我不是我11,哈哈哈哈11
# 4 我不是毛22,我不是我22,哈哈哈哈22
# 5 我不是毛33,我不是我33,哈哈哈哈33
# 6 我不是毛44,我不是我44,哈哈哈哈44 # 3 查询指定的行 这里的ix 索引标签函数必须是中括号[]
# print(student.ix[[0,2,4]])
# a,b
# 0 我不是毛2,我不是我2,哈哈哈哈2
# 2 我不是毛4,我不是我4,哈哈哈哈4
# 4 我不是毛22,我不是我22,哈哈哈哈22 # 4 查询指定的列 卡主了 不知道列索引的用法
# print(stude????????????????????????????????????????????/ # print(student[["b"]].head()) # =================?????????????????????????????????不会 # 四、统计分析******** # pandas 模块维我们提供好了非常多的描述性分析的指标函数,如总和,均值
# 最大值、最小值等。我们来具体查看以下这些函数: # 首先随机生成三组数据 # np.random.seed(1234)
# d1 = pd.Series(2*np.random.normal(size=100)+3)
# d1 = pd.Series(2*np.random.normal(size=100))
# print(d1)
上一篇:当实体类中entity/DTO/VO等类中,有枚举值,应该怎么输出?


下一篇:Effective Java 第三版——16.在公共类中使用访问方法而不是公共属性