node.js+mongodb 爬虫

2023-08-22 21:40:16

demo截图：

本demo爬瓜子二手车北京区的数据 (注:需要略懂 node.js / mongodb 不懂也没关系因为我也不懂啊~~~)

之所以选择爬瓜子二手车网站有两点：

一、网站无需登录，少做模拟登录；

二、数据链接没有加密，直接可以用；

网上很多node.js爬虫的栗子

但大多是一个页面的栗子，很少跟数据库结合的所以我这个栗子是糖炒的

我的基本思路是这样的

1、先在mongodb里存所有页的链接地址的集合

2、在根据这些链接地址一个一个的把详细信息爬下来

第一步在搜索页找到翻页的规律

像搜索页北京区第一页就是

https://www.guazi.com/bj/buy/o1/

第二页

https://www.guazi.com/bj/buy/o2/

规律就是

https://www.guazi.com/bj/buy/o + number

然后第一页的时候你就可以知道最多50页

这样你就可以循环这些链接在把每个页面的车的详情链接存到mongodb的集合里

第二步读mongodb的集合找出所有的链接循环链接爬详情页数据

项目目录:

目录讲解：

reptile.js //爬所有链接的;

carinfo.js //爬车辆详情页;

package.json //配置文件

package.json:

 {

   "name": "sell-car",

   "version": "1.0.0",

   "description": "",

   "main": "index.js",

   "scripts": {

     "test": "echo \"Error: no test specified\" && exit 1"

   },

   "author": "",

   "license": "ISC",

   "devDependencies": {

     "cheerio": "^0.22.0",

     "mongoose": "^4.7.1"

   }

 }

reptile.js 存mongodb集合在cmd执行的 node reptile.js

 'use strict';

 var http = require('https');                      //node https 模块;

 var cheerio = require('cheerio');                 //解析html模块；

 var mongoose = require('mongoose');               //操作mongodb数据库模块;

 mongoose.connect('mongodb://localhost/car');      //链接数据库;

 var num = 0;                                      //当前第几页;

 var maxNum = 0;                                   //最大页数;

 var url = 'https://www.guazi.com/bj/buy/o';       //瓜子二手车搜索页北京区；  

 var PersonSchema = new mongoose.Schema({          //json的结构;

       address:String   //定义一个属性name，类型为String

     });

 var sellCar = mongoose.model('sell_car', PersonSchema );   //创建model

 fetchPage(url+1);           //主程序开始运行

 function fetchPage(x) {     //封装了一层函数

     startRequest(x);

 }

 function startRequest(x) {

     //采用http模块向服务器发起一次get请求

     http.get(x, function (res) {   

         var html = '';             //用来存储请求网页的整个html内容

         var titles = [];

         res.setEncoding('utf-8');  //防止中文乱码

         //监听data事件，每次取一块数据

         res.on('data', function (chunk) { 

             html += chunk;

         });

         //监听end事件，如果整个网页内容的html都获取完毕，就执行回调函数

         res.on('end', function () {

             var $ = cheerio.load(html);   //采用cheerio模块解析html

             var $a_src = $('.imgtype');   //读取出当前搜索页每辆车详情的地址;

             $a_src.each(function(i,obj){   //循环每地址链接存入数据库;

                 var _src = $(obj).attr('href');

                 var carHref = new sellCar({ address: _src });  //存入mongodb;

                 carHref.save(function (err) {

                   if (err) {

                     console.log(err);

                   }

                 });

              })

          num++;  //页码增加;

          if( num == 1 ){         //判断是第一次，给最大页数赋值;

             maxNum = $('.pageLink li').eq($('.pageLink li').length-2).find('span').text();

          }

          if( num == maxNum ){    //页数等于最大页数等值程序;

            return ;

          }

          fetchPage(url+num);

        });

     });

 }

carinfo.js 车辆详情在cmd执行 node carinfo.js

 'use strict';

 var http = require('https');                    //node https 模块;

 var cheerio = require('cheerio');               //解析html模块；

 var mongoose = require('mongoose');             //操作mongodb数据库模块;

 mongoose.connect('mongodb://localhost/car');    //链接数据库;    

 var readCarPer = new mongoose.Schema({          //json的结构;

       address:String

     });

 var PersonSchema = new mongoose.Schema({        //定义json类型;

         info:String,                  //车；

         money:String,                 //价钱;

         phone:String,                 //电话号码;

         time:String,                  //上牌时间;

         mileage:String,               //公里数;

         gearbox:String,               //变速箱;

         emission:String,              //排放标准;

         location:String,              //上牌地;

         imgs:Array                    //图片;

     });

 var num = 0;

 var readCar = mongoose.model('sell_cars',readCarPer);

 var sellCarInfo = mongoose.model('sell_carInfo', PersonSchema );

 var json = null;

 var url = 'https://www.guazi.com';    //补链接前边的链接;

 var time = null;                      //间隔时间;

 var maxNum = 0;                       

 readCar.find({},function(err, character){   //查找数据;

     console.log('成功读取地址');              

     if(err){

         console.log(err);

     }else{

         json = character;

         maxNum = json.length;

         calls();

     }

 })

 function calls(){

    num++;

    if( num > maxNum ){      //判断是否霸区成功;

         console.log('数据爬去完成~~~');

         return false;

    }

    clearTimeout(time);

    var lu = json[num].address;

    time = setTimeout(function(){

         fetchPage(url+lu);      //主程序开始运行

    },5000);

 }

 function fetchPage(x) {     //封装了一层函数

     startRequest(x);

 }

 function startRequest(x) {

     console.log(x);

      //采用http模块向服务器发起一次get请求

     http.get(x, function (res) {   

         var html = '';        //用来存储请求网页的整个html内容

         var titles = [];

         res.setEncoding('utf-8'); //防止中文乱码

         //监听data事件，每次取一块数据

         res.on('data', function (chunk) { 

             html += chunk;

         });

         //监听end事件，如果整个网页内容的html都获取完毕，就执行回调函数

         res.on('end', function () {

             var $ = cheerio.load(html); //采用cheerio模块解析html

             var info = $('.dt-titletype').text()                    //车名；

             var money =  $('.numtype').text();                      //钱；

             var phone = $('.teltype').eq(0).text();                 //电话

             var time = $('.assort li').eq(0).find('b').text();      //上牌时间

             var mileage = $('.assort li').eq(1).find('b').text();   //里程数

             var gearbox = $('.assort li').eq(2).find('b').text();   //变速箱

             var emission = $('.assort li').eq(3).find('b').text();  //排放标准

             var location = $('.assort li').eq(4).find('b').text();  //上牌地

             var $imgs = $('.dt-pictype img');

             var imgs = [];

             $imgs.each(function(i,obj){                             //图片循环赋值;

                 var img_src = $(obj).attr('data-original');

                 imgs.push(img_src);

             });

             var carInfos = new sellCarInfo({      //保存数据;

                 info:info,

                 money:money,

                 phone:phone,

                 time:time,

                 mileage:mileage,

                 gearbox:gearbox,

                 emission:emission,

                 location:location,

                 imgs:imgs

             });

             carInfos.save(function (err) {

               if (err) {

                 console.log(err);

               } else {

                 console.log('成功数据！~~~');

                 calls();

               }

             });

        });

     });

 }

当时爬数据的截屏:

后记：

这里我没说 mongodb 安装、启动、设置存储地址是因为 mongodb本身在window和mac其实是不一样的所以需要你自己在找找别的文章看看怎么配置(注：window跑真的挺蛋疼的。。。。欢迎去感受一下)

这个栗子的第一个条件就是你要现在cmd里跑起来mongodb 要不剩下的都是白瞎

简单的mongodb的增删改查看看菜鸟教程就行实在不行用Robomongo图形界面也行

说一个小问题

就是我在爬搜索的车辆链接的时候因为下一页设置的间隔时间比较短原本2000条的数据最后只爬下来1160,所以爬车辆详情的时候把间隔调成了5秒需要注意一下;

如图：

参考资料:

小小石头的那些事儿 : http://blog.csdn.net/yezhenxu1992/article/details/50820629

菜鸟教程 : http://www.runoob.com/mongodb/mongodb-tutorial.html

码农公寓

相关文章