R语言编程艺术(5)R语言编程进阶

本文对应《R语言编程艺术》

第14章:性能提升:速度和内存;

第15章:R与其他语言的接口;

第16章:R语言并行计算

=========================================================================

性能提升:速度和内存

要使R代码运行速度更快,有以下建议:

  1. 通过向量化的方式优化、使用字节码编译等;
  2. 将代码中最消耗CPU的核心部分用编译型语言编写,如C或C++;
  3. 将代码用某种并行的方式编写。

消除显示循环:

采用向量化提升速度,因为采用显示循环涉及多次函数调用和迭代,耗费时间,而向量化函数内部是用编译型语言实现,因此会提升速度。

常用的加速代码的向量化函数:ifelse() /which() /where() /any() /all() /cumsum() /cumprod()等函数;用于矩阵的rowSums() /colSums()等函数;用于穷举所有组合问题的combn() /outer() /lower.tri() /upper.tri() /expand.grid()等函数。

尽管apply()可以消除显式循环,但它实际上是用R而不是C实现的,因此它通常并不能加速代码,只是使代码更加紧凑。然而,其他的apply函数,如lapply(),对于加速代码是非常有帮助的。

利用Rprof()来寻找代码的瓶颈:

首先调用Rprof()来开启监视器,然后运行代码,再调用带NULL参数的Rprof()来结束监视。最后,调用summaryRprof()来查看结果。

内存管理:

数据分块:read.table()函数的skip参数设置,可以分块读取数据。

R软件包的内存管理:RMySQL,提供R与MySQL的接口,将选择数据的操作放在数据库端;biglm包,可以在非常大的数据集上进行回归和广义线性模型的分析;ff包,通过将数据存放在硬盘上来回避内存的限制;bigmemory包,功能类似,但它不仅可以将数据存储在硬盘上,还可以将数据保存在机器的主内存中,这对于多核的机器而言是一个理想的选择。

=========================================================================

R与其他语言的接口

能被R调用的C/C++函数:

一般而言,这样做的目的是提升程序的性能;另一个原因是使用特殊的I/O操作(例如R使用的TCP协议速度不如C/C++使用的UDP协议)。

接口可以通过.C()或.Call()实现。.Call()提供了更全面的功能,但使用它需要对R的内部结构有所了解。

注意:C语言中,二维数组是按行进行存储的,而在R中则是按列存储;C语言下标是从0开始,而在R中是从1开始。

从Python调用R:

Python缺少内置的统计和数据处理功能,可以通过R来弥补。

RPy是一个Python模块,允许在Python中使用R。如果希望有额外的性能提升,则可以考虑与NumPy共同使用。

语法:R中的对象(函数)名冠上r.前缀。

注意:Python的语法中没有波浪号,因此在指定模型表达式时需要使用字符串;

需要一个数据框来包含数据;

如果R的函数名中带有英文句点,那么需要在Python中改为下划线。

>>> r.library(‘lattice’)
>>> r.assign(‘a’, a)
>>> r.assign(‘b’, b)
>>> r(‘g <- expand.grid(a, b)’)
>>> r(‘g$Var3 <- g$Var1^2 + g$Var1 * g$Var2’)
>>> r(‘wireframe(Var3 ~ Var1 + Var2, g)’)
>>> r(‘plot(wireframe(Var3 ~ Var1 + Var2, g))’)

=========================================================================

R语言并行计算

Snow包简介:主要过程:

  1. 加载代码
  2. 加载snow包
  3. 创建snow集群
  4. 建立相关的邻接矩阵
  5. 在创建的集群上针对邻接矩阵运行代码

OpenMP包:

利用R调用并行化的C

常用指令:

#pragma omp barrier

迭代型算法中常用,线程将在屏障处进行等待,直到每次迭代的结束

#pragma omp critical

{

// place one or more statements here

}

紧接着这一指令的代码块称为一个“关键区域”(critical section),意思是在这个区域中同时只允许一个线程执行这段代码

#pragma omp single

{

// place one or more statements here

}

紧接着这一指令的代码块将只被一个线程执行

简单并行(embarrassingly parallel):

指那些线程与线程之间不需要进行交互的并行方式,它们往往只需要将原始的程序稍加修改即可实现并行。这样,不仅编写简单,而且有着极地的通信开销。

静态和动态任务分配:

总体来说,动态任务分配因为有可能产生严重的缓存开销,因此实际上性能不如静态分配。

上一篇:编译 TensorFlow 的 C/C++ 接口


下一篇:R 语言学习笔记(1)——R 工作空间与输入输出