利用node.js写一个爬取知乎妹纸图的小爬虫
前言
说起写node爬虫的原因，真是羞羞呀。一天，和往常一样，晚上吃过饭便刷起知乎来，首页便是推荐的你见过最漂亮的女生长什么样？,点进去各种漂亮的妹纸爆照啊！！!,看的我好想把这些好看的妹纸照片都存下来啊！一张张点击保存，就在第18张得时候，突然想起。我特么不是程序员么，这种手动做的事，怎么能做，不行我不能丢程序员的脸了，于是便开始这次爬虫之旅。
原理
初入爬虫的坑，没有太多深奥的理论知识，要获取知乎上帖子中的一张图片，我把它归结为以下几步。
- 准备一个url(当然是诸如你见过最漂亮的女生长什么样？😄)
- 获取这个url的html内容，并分析其中的dom结构，遍历找到这些漂亮的妹纸图片url
- 获取图片内容
- 将图片内容写入本地文件
开始动手
大概知道原理之后我们就可以开干了
准备一个url
这个最简单了，去知乎随便一搜就是一大把，我们以
为例子，先来分析一下这个页面的dom结构,其实很简单，知乎的一个页面中会包含很多种类型的图片，有头像，用户评价上传的图片啥的。基本上在noscript种都可以找到对应的图片地址。
获取这个url的html内容,并且拿到当前页面noscript中的img链接
这一步我们需要会点简单的nodejs的知识，以及用到一个库叫cheerio,这个库具体是用来做什么的，详细请移步cheerio。
简单来说就是可以在命令行中使用jQuery来搜索遍历获取相应的元素。
那么怎样才能获取这个帖子的html呢
使用nodejs的https模块
var https = require('https')
getAllHtml (url, callback) {
let sHtml = '',
_this = this;
https.get(url, (res) => {
res.on('data', (data) => {
sHtml += data;
});
res.on('end', () => {
callback.bind(_this, sHtml)();
})
}).on('error', (err) => {
console.log(err);
});
}通过以上操作拿到网站的html之后，便是遍历出我们需要的图片地址来了
filterHtml (sHtml, filePath) {
let $ = cheerio.load(sHtml), // 将上一步拿到的网站html传入cheerio.load，便得到类似于包装过的jQuery对象，可以像jQuey的选择器一样来选择元素
$Imgs = $('noscript img'),
imgData = [],
_this = this;
$Imgs.each((i, e) => {
let imgUrl = $(e).attr('src'); //取出对应的url
imgData.push(imgUrl);
// 将url传入开始下载
_this.downloadImg(imgUrl, _this.filePath,
function (err) {
console.log(imgUrl + 'has be down');
});
});
console.log(imgData);
}有了图片的url，如何下载到本地呢？
我们需要使用request这个库，简单的调用一下api再结合node原生写文件的api。
downloadImg (imgUrl, filePath, callback) {
let fileName = this.parseFileName(imgUrl);
request(imgUrl).pipe(fs.createWriteStream('./' + filePath + '/'+fileName)).on('close', callback && callback);
}到这里就大功告成了，是不是很简单!!!已经将源码上传，欢迎大家下载查看。
gitHub地址：https://github.com/qianlongo/node-small-crawler
本地下载地址：http://xiazai.jb51.net/201705/yuanma/node-small-crawler(jb51.net).rar
总结
以上就是这篇文章的全部内容了，希望本文的内容对大家学习或者使用node.js能带来一定的帮助，如果有疑问大家可以留言交流，谢谢大家对脚本之家的支持。
相关文章
这篇文章主要介绍了node.js中的模块系统，帮助大家更好的理解和学习node.js框架，感兴趣的朋友可以了解下2020-09-09
本篇文章主要介绍了Nodejs+Socket.io实现通讯实例代码，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2017-02-02
这篇文章主要介绍了koa2 从入门到精通，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-07-07
这篇文章主要给大家介绍了关于NodeJs入门教程之定时器和队列的相关资料，文中通过示例代码以及图文介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧2019-03-03
这篇文章主要介绍了Node.js Domain 模块实例代码，代码简单易懂，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下2020-03-03
node.js中的http.request.end方法使用说明
这篇文章主要介绍了node.js中的http.request.end方法使用说明,本文介绍了http.request.end的方法说明、语法、接收参数、使用实例和实现源码,需要的朋友可以参考下2014-12-12
npm install -g @vue/cli常见问题解决汇总
这篇文章主要给大家介绍了关于npm install -g @vue/cli常见问题解决的相关资料,文中通过实例代码将解决的方式介绍的非常详细,对遇到这个问题的朋友具有一定的参考学习价值,需要的朋友可以参考下2022-08-08
本篇文章主要介绍了NodeJS仿WebApi路由示例，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2017-02-02
这篇文章主要介绍了如何用nodejs给C#写一个数据表的实体类生成工具，对nodejs感兴趣的同学，可以参考下2021-05-05
这篇文章主要介绍了如何利用Node.js做简单的图片爬取，爬虫的主要目的是收集互联网上公开的一些特定数据，本文介绍用于网络抓取的node.js包，完成一个简单的爬虫案例来爬取网页上图片并下载到本地2022-06-06
最新评论