node.js爬取数据并定时发送HTML邮件

2021-06-29 02:54:23

　　node.js是前端程序员不可不学的一个框架，我们可以通过它来爬取数据、发送邮件、存取数据等等。下面我们通过koa2框架简单的只有一个小爬虫并使用定时任务来发送小邮件！

　　首先我们先来看一下效果图

　　差不多就是这样，其实之前已经有人做了类似的东西，我也只是想自己操作一遍，练习一下koa2框架，async+await，以及爬虫、定时器和发送邮件。下面我将带着各位刚刚学习node的小童鞋进入这个世界。

1.我们先来看一看这个项目用到的框架和依赖

koa2框架--基于Node.js平台的下一代web开发框架，也就是我们的开发载体
ejs--嵌入式JavaScript模板引擎
superagent--客户端请求代理模块
cheerio--抓取网页数据模块
node-schedule--任务调度器模块（定时器）
nodemailer--邮件发送模块

　　差不多就是这些模块，首先来初始化koa2项目,并进入目录

npm install -g koa-generator

koa2 test_koa

cd test_koa

　　然后安装各种依赖

npm install ejs superagent cheerio node-schedule nodemailer --save

2.编辑ejs模板

　　因为我们要展示最近三天的编号、天气、温度、污染程度、以及one网站的图片、图片来源和鸡汤。所以按照我们想要表现的数据编写ejs模板。这里我们留下待使用的数据接口，想要详细学习请点击ejs官方网站。

3.接下来我们编写util工具方法集

　　首先引入方法需要的依赖

const cheerio = require('cheerio');

const superagent = require('superagent');

const nodemailer = require('nodemailer');

　　具体是做什么的上面已经提及

1.首先编写爬虫爬取one网站的页面，然后获取第一张图片也就是今天的图片。

module.exports.getOneData = async (url) => {

  return new Promise( resolve => {

    superagent.get(url).end((err,res)=>{

      if(err){

        return err

      }

      let $ = cheerio.load(res.text);

      let selectItem = $('#carousel-one .carousel-inner .item');

      let todayOne = selectItem[0];

      let todayOneData = {

        imgUrl: $(todayOne).find('.fp-one-imagen').attr('src'),

        type: $(todayOne).find('.fp-one-imagen-footer').text().replace(/(^\s*)|(\s*$)/g,""),

        text: $(todayOne).find('.fp-one-cita').text().replace(/(^\s*)|(\s*$)/g,""),

      }

      resolve(todayOneData)

    })

  })

}

　　因为superagent.get(url).end方法是一个异步的方法，所以我们使用async方法返回一个Promise对象，superagent.get(url)中的url为客户端请求代理模块路径。end方法中有两个参数，第一返回错误，第二个是获取的网页结果对象，res.text就是网页源码。接下来使用cheerio模块转化整个网页源代码成jquery模式。

let $ = cheerio.load(res.text);

　　之后分别获取图片路径、图片来源和鸡汤文

imgUrl: $(todayOne).find('.fp-one-imagen').attr('src'),

type: $(todayOne).find('.fp-one-imagen-footer').text().replace(/(^\s*)|(\s*$)/g,""),

text: $(todayOne).find('.fp-one-cita').text().replace(/(^\s*)|(\s*$)/g,""),

　　并封装成对象，.replace(/(^\s*)|(\s*$)/g,"")是清除文本的前后导空格。

2.然后爬取天气预报网站的页面。

　　这个原理和上面的一样就不多做解释，直接贴代码

module.exports.getWeatherData = async (url) => {

  return new Promise( resolve => {

    superagent.get(url).end((err,res)=>{

      if(err){

        return err

      }

      let $ = cheerio.load(res.text);

      let arr = [];

      $('.table_day7').each((index,item)=>{

        if (index < 3) {

          arr.push({

            day: $(item).find('dd:nth-of-type(1)').text(),

            air: $(item).find('dd:nth-of-type(2) b').text(),

            icon: "http:"+$(item).find('dd:nth-of-type(3) img').attr("src"),

            weather: $(item).find('dd:nth-of-type(4)').text(),

            temp: $(item).find('dd:nth-of-type(5)').text().replace(/℃/g,"°"),

          })

        }

      })

      resolve(arr)

    })

  })

}

3.接下来我们编写方法，发送email的天数

module.exports.getDateIndex = () => Math.ceil((new Date().getTime() - 1553085879604) / ( 24 * 60 * 60 *1000 ));

　　先生成一个当天的时间戳，我这里是1553085879604，然后通过这个时间戳计算是第几天发送信息，这个很简单。

4.当天的日期

　　这个也不用说，直接贴代码

module.exports.getToday = () => new Date().getFullYear() + " / " + new Date().getMonth() + " / " + new Date().getDate();

5.我们使用nodemailer模块发送

module.exports.sendEmail = (html) => {

  nodemailer.createTestAccount(() => {

    let transporter = nodemailer.createTransport({

      service: 'qq',

      port: 568,

      secure: false,

      auth: {

        user: '1149967915@qq.com',

        pass: '这里填写你自己的SMTP授权码'

      }

    });

    let mailOptions = {

      from: '"郭志强" <1149967915@qq.com>',

      to: '15045160109@163.com',

      subject: '一碗鸡汤趁热喝！',

      html: html

    };

    transporter.sendMail(mailOptions, (error, info) => {

      if (error) {

        return console.log(error);

      }

      console.log('发送成功----', info.accepted[0], new Date());

    });

  });

}

　　这里需要注意的是auth的pass不是密码，而是SMTP授权码，想知道怎么得到SMTP授权码的点这里。上面这五个方法基本就够了。

4.在项目根目录下创建schedule.js并调用定时器方法

　　这里我们写一个定时器并且调用上面写的方法，首先引入依赖

const schedule = require('node-schedule');

const fs = require('fs');

const path = require('path');

const ejs = require('ejs');

　　接下来引入util工具库中的方法

const { getOneData, getWeatherData, getDateIndex, getToday, sendEmail } = require('./util/index');

　　在调用getOneData方法和getWeatherData方法时。

const oneUrl = "http://wufazhuce.com";

const weatherUrl = "http://www.tianqi.com/beijing/7/";

const oneData = await getOneData(oneUrl);

const weatherData= await getWeatherData(weatherUrl);

　　像上面这样写显然是不合理的，我们并不需要等待getOneData方法执行完才去执行getWeatherData。node社区从不会辜负我们，我们可以采取await Promise.all方法同时执行这两个异步方法。之后是获取ejs模板，并通过接口渲染数据。

const template = ejs.compile(fs.readFileSync(path.resolve(__dirname, 'views/index.ejs'), 'utf8'));

　　最后调用sendEmail方法发送邮件。

sendEmail(html)

　　schedule定时任务模块就不多讲，详情请看点击这里，下面贴上schedule.js所有代码

const schedule = require('node-schedule');

const fs = require('fs');

const path = require('path');

const ejs = require('ejs');

const { getOneData, getWeatherData, getDateIndex, getToday, sendEmail } = require('./util/index');

module.exports = function () {

  //定时任务

  schedule.scheduleJob('0 0 7 * * *', async () => {

    const oneUrl = "http://wufazhuce.com";

    const weatherUrl = "http://www.tianqi.com/beijing/7/";

    const [oneData, weatherData] = await Promise.all([getOneData(oneUrl), getWeatherData(weatherUrl)]);

    const dateIndex = getDateIndex();

    const today = getToday();

    const template = ejs.compile(fs.readFileSync(path.resolve(__dirname, 'views/index.ejs'), 'utf8'));

    let ejsModelObject = {

      oneData: oneData,

      weatherData: weatherData,

      dateIndex: dateIndex,

      today: today,

    }

    const html = template(ejsModelObject);

    sendEmail(html)

  });

}

　　到这里就可以收工了，你也可以给心爱人送上暖心的邮件，这就*发挥了。感谢大家支持，喜欢就收藏吧。博客园同步更新。

原创博客：转载请注明node.js爬取数据并定时发送HTML邮件

码农公寓