一般成熟的网站都会有反爬虫策略，例如限制访问次数，限制访问 IP，动态显示数据等。爬虫和反爬虫就是一直相爱相杀地互相钳制。如果要通过爬虫来获取某些大型网站的数据，那是一件很费时费力的活。小白总遭遇过在趟过各种坑之前就被封 IP 或封账号的打击（呜呜~说的就是我）。
不过有一些公司心怀开放互联的态度，友好地给大家提供了 api 接口。这一篇博客将以豆瓣电影为例记录如何站在巨人（api）的肩膀上获取数据。不过豆瓣 api 现在貌似也逐渐收起来了，api key 也停止申请了，且用且珍惜了。
>> Required Packages
library(httr)
library(jsonlite)>> Get JSON
豆瓣电影的 url 还是很规律，比如说 id 为 27074316 的电影的 url 就是 https://movie.douban.com/subject/27074316 ， 但是 id 的排序并不是规律的。例如一部 2000 年上映的电影的 id 可能会大于 2010 年上映的电影的 id。
豆瓣电影的 id 范围大约为 1300000 到 27200000，但其中可能会有一部分无效的 id。如果需要获取所有豆瓣电影的数据，那么就要遍历所有 id。如果只是需要一部分的数据，就要用到 search key。
比如 id 为 27074316 的电影的 api resource url 是
https://api.douban.com/v2/movie/subject/27074316?apikey={your_api_key}
比如搜索 2018年电影的 api resource url 是
https://api.douban.com//v2/movie/search?q=2018?apikey={your_api_key}
在浏览器中输入上述 url (记得替换为你的 api key) 是可以看见返回的 json 的，而在 R 中要获取 json 就要用到 package httr 中的 GET 函数。如果返回 200 则表示请求成功。
url <- https://api.douban.com/v2/movie/subject/27074316
film_json <- GET(url, query = list(apikey="your_api_key"))
if(status_code(film_json) == 200)
message("success\n")>> Get Text
获取 json 后要读取里面需要的内容，例如获取电影名称，电影导演等：
film_data <- fromJSON(content(film_json, "text"))
title <- film_data$title
director <- film_data$directors$name %>% paste(collapse=",")json 在浏览器中的文字都是挤成一团的很不好辨认 key-value pairs。在 R console 中执行下面的代码就可以清晰看到各组合了：
toJSON(fromJSON(content(film_json, "text")), pretty=TRUE)>> Loop over IDs
上面有提到说如果要获取全部数据那么我们就要尝试遍历所有 id。目前豆瓣对于 api 的访问频率是有限制的，我了解到的是每分钟不超过 40 次。所以在两次访问之间要设置合理的时间差。
而且并不是每个 id 都一定有对应的页面，因此在遍历的过程中还要剔除无效 id。这时候就可以用上 tryCatch 法器了。
basic_url <- "https://api.douban.com/v2/movie/subject/"
film <- data.frame()
for (ii in 1:100){ #just for example not real id
Sys.sleep(runif(1,1,2)) # set time interval
tryCatch(
{
url <- paste0(basic_url, ii)
film_json <- GET(url, query = list(apikey="your_api_key"))
if(status_code(film_json) != 200)
next
film <- rbind(film, getFilmInfo(film_json,ii)) #user-defined function
},
error = function(cond) {
message("Here's the original error message:")
message(cond)
message("\n")
}
)
}
以上只是抛砖引玉，而除了豆瓣以外还有很多可用的 api （可以上 Github 查一查），多加利用哦，数据就是生产力 ！