本节书摘来自华章出版社《R语言数据分析》一书中的第2章，第2.4节，作者盖尔盖伊·道罗齐（Gergely Daróczi），潘怡　译，更多章节内容可以访问云栖社区“华章计算机”公众号查看。

2.4　从其他在线来源获取数据

尽管readHTMLTable非常实用，但某些时候数据不是以结构化格式存放在表格中，更可能就是以HTML表形式存储。我们首先访问http://cran.r-project.org/web/views/WebTechnologies.html 来了解一下R包在相应的CRAN任务描述中列出的数据格式类型，如下图所示：

在这幅图中，我们看到了一个HTML列表，列出了包的名称，以及指向CRAN或GitHub的URL。要处理这样的HTML，我们首先要对HTML源有所了解才能对分析方法做确定。读者可以很容易地在Chrome或Firefox浏览器中完成这个任务：右键点击目录顶部的CRAN包标题，选择Inspect Element命令，将看到如下输出：

此时，我们已经得到了一个以ul（无序表）的HTML标签列出的相关R包，在标签h3后面就包括了CRAN packages字符串。

简而言之：

我们需要解析这个HTML文件

在search项找到第三级头

从其后的未排序的HTML表中获得所有表元素

这些工作也可以通过XML路径语言来完成，该语言拥有一种特殊的语法能通过查询来选择在XML/HTML文档中的节点。

更多有关R驱动的例子，请参考本书第4章，以及Springer.出版的Deborah Nolan和语句Duncan Temple Lang编著的《Use R！》系列。更多详细内容，请参考本书附录部分。

XPath初看起来很难理解，也很复杂。例如，待处理的表可以被如下语句描述：

让我再对此细化一下：

（1）我们正在查找一个h3标签，该标签的text属性为“CRAN packages”，我们需要在整个文本中查找有这些属性的特殊节点。

（2）following-siblings表达式代表了被选中的h3标签中所有同层子节点。

（3）过滤器仅查找ul的HTML标签。

（4）由于结果有好几个，我们仅通过index（1）挑选出第一个兄弟节点。

（5）然后从中挑选出所有li标签（表单元素）。

在R中重复类似操作：

And we have the character vector of the related 118 R packages：

使用XPath可以非常方便地在HTML文档中选择和搜索节点，xpathApply函数也提供了同样的功能。R将XPath函数的大多数功能都封装在了libxml中，以提供更高效和更方便的操作方法。不过我们也可以使用xpathSApply函数，该函数返回结果更加简化，它和XPath之间的差别就像lapply函数和sapply函数的差别一样。因此我们也可以按以下方式来保存unlist调用的结果：

细心的读者一定注意到了返回的结果列表是一个简单的字符向量，而原始的HMTL表单还包括了指向之前那些包的URL，那么这些内容跑到哪去了呢？

确切来说发生这种现象是由xmlValue函数的特点造成的，我们在样例的xpathSApply调用时从原始文档抽取节点信息时没有使用默认的NULL作为评价函数，因此函数仅简单地从每个不包含子节点的叶子节点中抽取原始文本数据，并得到了上面的结果。那么如果我们对包URL里面的内容更感兴趣怎么办呢？

调用不带任何指定fun的xpathSApply函数将返回所有原始子节点信息，这对我们并没有直接的帮助，也没必要对这些结果再应用一些常规表达式。函数xmlValue的帮助页面为我们提供了一些类似可以完成这些应用的函数，这里我们会毫不犹豫地选择xmlAttrs：

请注意样例中更新了path的信息，我们在这里选择的是所有的标签a而非其父标签li，和前面xmlValue函数的参数不同。在样例中，xmlAttrs的抽取参数是'href'，因此函数会对所有包含标签a的节点抽取属性及属性值。

有了这些基本函数，用户就能够从在线资源中获取任意公开的数据，当然在实际中实现的过程最后有可能会变得相对复杂。

另外一方面，由于数据获取经常受限于数据拥有者给定的版权范围，因此必须要首先确认这些可能的数据资源其相关的法律条文、使用条件等内容。除了法律事务，从数据供应商的技术角度去考虑数据的获取和抓取问题也是比较明智的，如果你在没有和管理员提前沟通的情况下对网站进行频繁的查询，则很有可能会被认为是在进行某种网络攻击，同时会给服务器带来不必要的负担。为了简化数据获取的问题，记得给查询设置合适的频率，例如，最少每个查询之间要相隔2秒，最好的方法则是从站点的robot.txt文件中了解Crawl-delay的大小，一般该文件会被放置在根目录下。大多数数据供应商也会对数据抓取给出一些指导意见，我们应该确保了解清楚关于下载速率的限制和频率。

某些时候，我们也有可能很幸运地找到一些现成的XPath筛选代码，那么就可以直接使用自带的R包，通过Web服务和主页下载数据。