SC@SDUSC

##学会分析ajax请求 目前爬虫抓取页面内容针对ajax请求有两种主流方式：

• 一种是模拟浏览器将页面完全绘制出来，比如可以利用htmlunit。这种方式存在一个问题就是效率低，因为页面中的所有ajax都会被请求，而且需要解析所有的js代码。gecco可以通过自定义downloader来实现这种方式
• 还一种就是需要哪些ajax就执行哪些，这就要开发人员分析网页中的ajax请求，获得请求的地址，比如抓取JD的商品价格的地址@Ajax(url="http://p.3.cn/prices/mgets?skuIds=J_[code]")。而且这个地址之后可能会变。

这两种方式都有各自的优缺点，gecco通过扩展都支持，本人还是更倾向于使用第二种方式。

下面说说怎么分析页面中的ajax请求，还是要利用chrome的开发者模式，network选项可以看到页面中的所有请求：

 可以看到请求的地址是：http://p.3.cn/prices/get?type=1&area=1_2805_2855&pdtk=&pduid=836516317&pdpin=&pdbp=0&skuid=J_1861098&callback=cnp。我们去掉其他参数只留下商品的代码，发现一样可以访问，http://p.3.cn/prices/get? skuid=J_1861098就是我们要请求的地址。

##gecco的其他一些有用的特性

• gecco支持页面中的定义的全局javascript变量的提取，如页面中定义的var变量。
• gecco支持分布式抓取，通过redis管理startRequest实现分布式抓取。