利用nodejs内置模块http解析网址。
let http = require('http');
http.get("http://www.baidu.com", (res1) => {
res1.setEncoding('utf-8');//设置编码格式
res1.on('data', (res2) => {
console.log(res2)
})
})
利用request模块解析网址。其中需要用iconv-lite 模块来对抓取的网站数据的编码格式进行设置。
let request = require('request');
let iconv = require("iconv-lite");//解决编码格式
request.get("https://www.ygdy8.com/html/gndy/oumei/list_7_2.html", { encoding: null }, (error, response, body) => {
console.log("error:", error);
// const buf = iconv.dncode(body, 'gb2312');//要改变编码的内容,以及原内容的编码格式
// const html = buf.toString('utf8');//要转换的编码格式
// console.log(html);
console.log(iconv.decode(body, 'gb2312').toString());//上面代码的简写
})
抓取的部分结果如下: