生活中遇到了问题，想去成都买个房，那哪个区域性价比高肯定要考虑一番了，最粗暴直接的就是看租售比，遂打算去链家网爬上各个小区的卖房单价和租房单价比上一比，python写爬虫无疑是最流行的了，但最近在研究node，感觉写个爬虫强化一下node姿势水平还是挺不错的。开整。
首先http请求工具和dom解析工具是必不可少的，严谨的说是对于像我这样的菜鸟是必不可少的，http请求工具我选了 request，主流的还有 superagent 可选，dom解析 cheerio 应该是不二选择了，接口和 jquery 一样一样的。如果没接触过请先自行了解这两个库。
基本环境先搭建好，这个不在讨论范围，
github：https://github.com/huanqingli/node-web-spider
1. 第一步我们先看抓一个网页是啥样的：
router.get('/sell_price', (req, res, next) => {
request({
url:'http://cd.lianjia.com/ershoufang/pg1ng1nb1l1/',
headers: {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_2) AppleWebKit/537.3 (KHTML, like Gecko) Chrome/55.0.2883.9 Safari/537.3'
} }, function (error, response, body) {
if (!error && response.statusCode == 200) {
res.send(body)
}
})
}
不出所料的话，你访问本机 sell_price 路由的时候链家对应的页面就会出现了。
其中有两点要说明，有的时候你不带User-Agent，网站会拒绝你的请求，chrome开发工具network里面随便找个连接，把里面User-Agent给考出来贴上，有备无患。
链家是UTF-8编码，就没啥说法了，但是比如网易，它是gb2312编码的，你拿过来就成火星文了，此时需要搞个解码工具，iconv-lite应该是主流了。我去爬了下网易，要注意一点，request拿过来的时候已经帮你按UTF-8解码了，你需要request时候设置encoding: null（与设置url同级），拿回来个buffer，再用iconv-lite解码。
2. 第二步我们抓过来是要获取里面的有用信息的，具体到我的目的，就是房价，面积，小区名等，
var $=cheerio.load(body); 以后，你用 jQuery 怎么取值就用 cheerio 怎么取值，比如说：
$('.sellListContentlia.img').eq(i).attr('href') 一个页面有30个房源，这就拿到了第 i 个房源的连接，进而去获取房源详细信息。我抓了两次试了试，发现 IP 被拦住了，说我访问太频繁，要认证。其实大多数网站都有这个限制，这就不爽了，怎么办，找代理。
3. 代理是这么爬下来的：
router.get('/proxy',(req, res, next) => {
function checkProxy(proxy) {
return request({
url: 'http://cd.lianjia.com/ershoufang/pg1ng1nb1l1/',
proxy: "http://" + proxy['ip'] + ":" + proxy['port'],
timeout: 5000, //2s没有返回则视为代理不行
headers: {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_2) AppleWebKit/537.3 (KHTML, like Gecko) Chrome/55.0.2883.9 Safari/537.3'
}
}, function (error, response, body) {
if(!error) {
if (response.statusCode == 200) {
console.log(response.request['proxy']['href'], "useful!");
Ip.create({proxyIp:response.request['proxy']['href']}); //Ip是mogoose建立的数据库模块储存Ip
} else {
console.log(response.request['proxy']['href'], "failed!");
}
}
});
}
request({
url:'http://www.xicidaili.com/nn/1',
headers: {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_2) AppleWebKit/537.3 (KHTML, like Gecko) Chrome/55.0.2883.9 Safari/537.3'
} }, function (error, response, body) {
if (!error && response.statusCode == 200) {
var $ = cheerio.load(body);
var trs = $("#ip_list tr");
for(var i=1;i<trs.length;i++){
var proxy = {};
var tr = trs.eq(i);
var tds = tr.children("td");
proxy['ip'] = tds.eq(1).text();
proxy['port'] = tds.eq(2).text();
var speed = tds.eq(6).children("div").attr("title");
speed = speed.substring(0, speed.length-1);
var connectTime = tds.eq(7).children("div").attr("title");
connectTime = connectTime.substring(0, connectTime.length-1);
if(speed <= 5 && connectTime <= 1) { //用速度和连接时间筛选一轮
checkProxy(proxy);
}
}
}
})
});
还是熟悉的配方还是同样的味道，从http://www.xicidaili.com/nn爬下代理信息，筛选一遍存到数据库。
4. 存了二十几个能用的代理，开始爬售房连接吧：
var urlsArray = []; const pageNum = 100; const housePerPage = 30; router.get('/sell_price', (req, res, next) => { function saveUrl(url) { return Url.create({sellUrl:url}) //Url是mogoose建立的数据库模块储存售房连接 } var allHouseUrls = async function (ips) { var j=1 ; while(j<= pageNum){ await new Promise( function (resolve, reject) { request({ url:'http://cd.lianjia.com/ershoufang/pg'+j+'ng1nb1l1/', proxy: ips[Math.floor(Math.random()*ips.length)].proxyIp, timeout: 5000, headers: { 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_2) AppleWebKit/537.3 (KHTML, like Gecko) Chrome/55.0.2883.9 Safari/537.3' } }, function (error, response, body) { if (!error && response.statusCode == 200) { console.log(ips[Math.floor(Math.random()*ips.length)].proxyIp); var $ = cheerio.load(body); for(let i=0;i<housePerPage;i++){ if($('.sellListContent li a.img').eq(i).attr('href')&&urlsArray.indexOf($('.sellListContent li a.img').eq(i).attr('href'))==-1){ urlsArray.push($('.sellListContent li a.img').eq(i).attr('href')); saveUrl($('.sellListContent li a.img').eq(i).attr('href')); } } j+=1; resolve() } else{ console.log(error); resolve() } }) } ) } }; Ip.find({},function (err, ips) { allHouseUrls(ips); }) }); module.exports = router;
要说明的就两点，取到代理 ip 后，每次请求随机一个ip，如果请求失败（事实证明失败率很高免费代理并不是很可靠），本次循环作废，重新随机一个 ip 再请求。如此进行下去，n长时间后终于成功发送了100个请求，请求了3000个连接。可想而知成功发送3000个请求将是一场灾难。转战安居客，每个页面可以获得50条房屋数据而且不限ip！
async，awaite，Promise用作异步控制，node7.6以上默认支持，还有其他好多异步方案可选，怎么着都行。
5. 爬安居客代码如下：
router.get('/sell_price', (req, res, next) => {
var allHouseInfo = async function (area) {
var j=1 ;
while(j<= pageNum){
await new Promise(
function (resolve, reject) {
request({
url:'http://chengdu.anjuke.com/sale/'+area+'/b54-p'+j,
// proxy: ips[Math.floor(Math.random()*ips.length)].proxyIp,
// timeout: 2000,
headers: {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_2) AppleWebKit/537.3 (KHTML, like Gecko) Chrome/55.0.2883.9 Safari/537.3'
} }, function (error, response, body) {
if (!error && response.statusCode == 200) {
var $ = cheerio.load(body);
var lists = $('#houselist-mod li');
for(var i=0;i<lists.length;i++){
var info = {
area:lists.eq(i).find('.details-item').children('span').eq(0).text().slice(0,-2),
price:lists.eq(i).find('.details-item').children('span').eq(2).text().slice(0,-4),
year:lists.eq(i).find('.details-item').children('span').eq(4).text().slice(0,4),
garden:lists.eq(i).find('.details-item').eq(1).children('span').attr('title').split('[')[0].slice(0,-2)
};
Sell.create(info);
// console.log(info)
}
j+=1;
resolve()
} else{
console.log(error);
resolve()
}
})
}
)
}
};
allHouseInfo("gaoxin");
allHouseInfo("wuhou");
allHouseInfo("qingyang");
allHouseInfo("jinjiang");
allHouseInfo("chenghua");
allHouseInfo("jinniu");
allHouseInfo("longquanyi");
});
没有新东西，爬了12000条房屋数据，也就是2秒钟的事，存在数据库里备用。就写到这，后面的事儿就是数据分析啦。