数据框(data.frame)是最常用的数据结构,用于存储二维表(即关系表)的数据,每一列存储的数据类型必须相同,不同数据列的数据类型可以相同,也可以不同,但是每列的行数(长度)必须相同。数据框的每列都有唯一的名字,在已创建的数据框上,用户可以添加计算列,这样,R引擎根据同一行的数据列,计算出表达式的值,并把该值作为计算列的值。数据框是数据分析中最重要的数据对象,必须熟练掌握数据框的操作。
一,创建数据框
创建数据框,常用的方式是:读取文件、读取关系表和使用函数创建,用户应根据实际的需要,选择合适的方式创建数据框。
1,读取文件
第一种方法是通过读取文件创建,常用的是用于读取文件的函数是read.table(),语法是如下所示:
read.table(file, header = FALSE, sep = "", quote = "\"'",
dec = ".", numerals = c("allow.loss", "warn.loss", "no.loss"),
row.names, col.names, as.is = !stringsAsFactors,
na.strings = "NA", colClasses = NA, nrows = -1,
skip = 0, check.names = TRUE, fill = !blank.lines.skip,
strip.white = FALSE, blank.lines.skip = TRUE,
comment.char = "#",
allowEscapes = FALSE, flush = FALSE,
stringsAsFactors = default.stringsAsFactors(),
fileEncoding = "", encoding = "unknown", text, skipNul = FALSE)
参数释义:
- file:读取数据的文件名和路径,文件名可以是文件的绝对路径名,或是相对路径名,如果文件名是相对路径名,那么文件名是基于当前的工作目录,当前的工作目录可以通过函数 getwd() 获取;
- header:逻辑值,文件的第一行是否包含列名;
- sep:用于指定字段(列)的分隔符,默认值是空字符,行的分隔符是回车和换行;
- quote:字符的引用符,只有当文本使用引用符,才被视为字符,设置为空字符,禁用引用符;
- dec:小数点符号;
- check.names:逻辑值,是否检查列名是否符合变量的命名规范;
- colClasses:用于指定列的数据类型;
- fill:逻辑值,当设置为TRUE时,如果行的列数不够,那么填充空白的字段;
- strip.white:逻辑值,只有当sep参数指定时,用于移除字符字段两端的空格;
- blank.lines.skip :逻辑值,当为TRUE时,跳过空白的数据行;
- encoding :字符串,用于指定字符的编码规则,常用的编码规则是UTF-8;
- nrows :整数值,能够读取的最大数据行数量;
- skip:整数值,从文件的开头,跳过一定数量的数据行,从下一行开始读取数据;
函数read.csv()是read.table()的包装函数,专门用于读取csv文件,例如:
df <- read.csv('D:/data.csv', check.names = FALSE, encoding = "UTF-8", blank.lines.skip = FALSE);
2,读取关系表数据
第二种方法是从关系型数据库执行SQL查询,根据查询结果创建数据框;当连接SQL Server数据库时,使用ODBC驱动程序连接数据库,R脚本引用RODBC包,调用odbcConnect连接,使用sqlQuery执行查询,获取查询结果填充数据框:
library(RODBC)
cn <- odbcConnect("data source")
df <- sqlQuery(cn,"TSQL Query")
odbcClose(cn)
3,使用函数创建
第三种方法是通过函数 data.frame()创建数据框,用户需要输入指定的数据填充数据框变量,函数data.frame()的参数row.names用于指定行的标识符,有三种指定行标识符的方式:
- 设置行的名称,为每一行命名,这样,可以通过行名称来索引观测;
- 把该参数设置为NULL,取消行的命名,R引擎会自动生成递增的整数序列作为行标识符,也就是所谓的行号;
- 也可以把行标识符设置为数据框的列名,这样,R引擎把该列的值作为行标识符,这相当于关系表的主键列。
例如,以下脚本通过指定行名称的方式来指定行标识符:
df <- data.frame(
c1=letters[:],
c2=c(:),
c3=runif()>0.5,
c4=c('r','g','b'),
row.names=c('r1','r2','r3')
)
打印数据框,数据框有两个维度,行和列:
> df
c1 c2 c3 c4
r1 a TRUE r
r2 b FALSE g
r3 c FALSE b
二,查看数据框的元数据
数据框本身存储列的名称、行名称、列数量、和行的数量等元数据。
1,查看列和行的名称
通过函数colnames()或names()返回数据框的列名称,通过函数rownames()返回数据框的行名称,
> colnames(df)
> names(df)
[] "c1" "c2" "c3" "c4"
> rownames(df)
[] "r1" "r2" "r3"
2,查看行和列的数量
通过函数nrow()或函数ncol(),返回数据框的行数或列),函数length()返回的结果和ncol()函数返回的结果相同。
> nrow(df)
[]
> ncol(df)
[]
三,索引数据框
索引数据框,使用中括号[]和下标来访问数据框,和索引向量一项,索引数据框的下标也有四种表示方式:正整数、负整数、逻辑值和名称(行或列的名称)。由于数据框是二维数据结构,有行和列,因此,下标的格式是[row,col], row是行下标,用于选择行;col是列下标,用于选择列。对于row和col,在索引数据框时,必须同时指定这两个下标:
- 第一个下标用于选择行,如果row是空白的,[ ,col] 表示选择所有的行;
- 第二个下标用于选择列,[row, ] 表示选择所有列。
索引数据框,也可以设置逻辑向量为下标,而逻辑向量可以由向量的表达式来获得,这使得数据框的索引较为复杂。不过,只要理解下标的四种表示方式,不过怎么组合,都不难掌握。
1,选择多列
例如,获得数据框的一个子集,索引数据框中的第一行和第二行,第二列和第三列的数据子集:
> df[:,:]
c2 c3
r1 TRUE
r2 FALSE
2,使用名称来索引数据框
如果只选择数据框的一列,可以使用:美元符号(&) + 列名称 来选择单列,在使用 下标和 [ ] 来选择行。
例如,通过美元符号$和列名来索引数据框的列c1,通过下标和[]来选取第二行和第三行:
> df$c1[:]
[] b c
Levels: a b c
从返回的结果中可以看到,R引擎把字符类型的列自动转换为因子类型来存储,可以使用as.character()函数把因子类型转换为字符类型的向量:
> as.character(df$c1[:])
[] "b" "c"
如果要引用单列的所有行,可以不对行进行过滤,使用 "&+ 列名", 返回该列的所有数据行,例如:
df$c1
使用这种方式索引数据框,得到的是向量,其行为和普通的向量相同,支持向量运算。
3,下标为逻辑向量
逻辑向量,通常是由向量的条件表达式计算得到的,例如:
> df$c2>
[] FALSE TRUE TRUE
查看逻辑向量的元素值,为TRUE的位置刚好是数据框c2列中大于1的行,因此,可以通过这种方式,按照特定的条件获取数据框的子集,例如,获取数据框中c2列大于1的数据行:
> df[df$c2>, ]
c1 c2 c3 c4
r2 b FALSE g
r3 c TRUE b
当然,也可以使用逻辑运算符,组合多个条件,获得满足条件的所有数据行,例如:
df[df$c2> & df$c, ]
4,小标为列名
当使用两个中括号时,第一个中括号内指的是列名,包括所有数据行:
df['c1']
第二个中括号是行选择器:
> df['c1'][df['c2']>1]
[] "b" "c"
举个例子,第一个中括号索引c2列的所有的行,第二个中括号对行进行筛选,只选择c2的值<=2的行:
df[,'c2'][df[,'c2']<=2]
四,获取数据框的子集
从数据框中按照特定的条件获取子集,这实际上是根据特定列的值,来限制返回的观测的数量。
1,通过设置行索引获取子集
这是利用数据框的下标为逻辑向量来过滤数据行,由于索引数据框,需要多次书写数据框的名称,df[df$c2<= df | c3, ] ,十分麻烦,为了简化流程,可以使用函数with()或within(),这样,可以省略数据框名称和$符号,例如:
> with(df,df[c2<=|c3,])
c1 c2 c3 c4
r1 a FALSE r
r2 b TRUE g
2,通过subset()函数获取子集
函数subset()用于获取数据框的子集,第一个参数(x)是数据框;第二个参数(subset)是逻辑表达式,用于过滤数据行;第三个参数(select)是投影的数据列,用于选择的特定的列。
subset(x, subset, select, drop = FALSE)
例如,从df中获取c2不大于2,返回第二列和第三列的结果:
> subset(df,c2<=,c(:))
c2 c3
r1 TRUE
r2 FALSE
五,数据框的基本操作
操纵数据框,例如,选择子集(subset),合并数据框,排序数据框,添加或修改数据列,把数据值排名等,最终把数据转换成相应的形式,用于数据分析,本节只简单分享操纵数据框的方法。
1,添加列和行
使用rbind()函数向数据框中添加一行或多行数据,也就是说,按行纵向扩展;使用cbind()函数向数据框中添加一列或多列数据,也就是说,按列横向扩展。
2,合并数据框
使用merge9)函数合并数据框,merge()函数的作用类似于SQL语言中的连接(Join)操作,用于把两个数据框,按照特定的数据列做连接操作,函数的定义如下:
merge(x, y,
by = intersect(names(x), names(y)), by.x = by, by.y = by,
all = FALSE, all.x = all, all.y = all,
sort = TRUE,
suffixes = c(".x",".y"),...)
参数注释:
- x,y 参数:指定合并的两个数据框;
- by参数:字符串,指定合并列,当两个数据框有相同的数据列名字时,merge函数将按照同名的数据列名称合并;
- by.x,by.y 参数:字符串,分别指定数据框的合并列,用于指定merge函数将按照数据框x和y的哪些数据列进行合并;
- all:逻辑值,完全显示两个数据框的所有数据行,当合并列的值不存在于数据框x或y中,该数据框的列值显示为NA;
- all.x,all.y:逻辑值,指定完全显示的数据框,例如,当折merge函数的all.x=TRUE,all.y=FALSE是,合并的结果把数据框x的数据列全部显示,如果合并列的值不存在于数据框y,那么y的其他数据列显示为NA。
- sort:逻辑值,指定是否对结果排序;
- suffixes:为非合并列添加后缀;
例如,创建两个数据框,按照df1的数据列x,和数据框df2的数据列m,对这两个数据框执行合并操作:
> df1=data.frame(x=c('a','c','e'),y=:)
> df2=data.frame(m=c('a','c','f'),n=:)
> merge(df1,df2,by.x='x',by.y='m')
x y n
a
c
>
> merge(df1,df2,by.x='x',by.y='m',all=TRUE)
x y n
a
c
e NA
f NA
2,添加和替换列
方法1:直接对数据框的数据列进行赋值,来实现对数据框的数据列的添加或替换:
df1[,'z'] <- c('z1','z2','z3')
df1$z <- c('z1','z2','z3')
方法2:使用with参数,with函数(with(data, expr))接受一个数据框对象和要计算的表达式作为输入参数,with函数返回值是表达式的值,with函数只能添加或修改一个数据列:
df1 <- with(df1,{z=c('z1','z2','z3')})
方法3:使用within函数,within函数(within(data, expr))接受一个数据框对象和要计算的表达式作为输入参数,within函数返回的是更新后的数据框对象,within函数可以在大括号中添加多个表达式,能够一次操作多个数据列:
df1 <- within(df1,{z=c('z1','z2','z3')} )
方法4:使用plyr包中的mutate函数,该函数用于向数据框中添加数据列或转换已经存在的数据列,接受一个数据框对象,和多个”name=value“对,返回修改后的数据框对象:
df1 <- df1 %>% mutate(z=c('z1','z2','z3'))
3,排序
order()函数能够对数据框进行排序,order(x)函数:返回第i个元素是x中元素在排序之后的序号,对数据框进行排序时,可以分两步进行下去,第一步获取行的序号,第二部按照行号查询数据框:
> y_order <- order(df1[,'y'])
> df1[y_order,]
还有一个方法,使用dplyr包中的arrange函数,只用一行就能实现对数据框的排序:
arrange(df1,y)
4,排名
rank()函数可以为数据框中的列进行排名,不过rank()函数只能作用于向量,只能返回向量元素的排名:
rank(x, na.last = TRUE, ties.method = c("average", "first", "last", "random", "max", "min"))
操作数据框,在数据分析中占用很大的比重,后续,我们再深入探讨。