基于node.js实现爬虫的讲解
更新时间：2019年02月18日 16:49:09 作者：Inside_Zhang
今天小编就为大家分享一篇关于基于node.js实现爬虫的讲解，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧
1. cheerio 与 request
- request：模拟客户端行为，对页面进行请求
- cheerio：对服务器端返回的页面进行解析；
var cheerio = require('cheerio');
var request = require('request');
var startUrl = 'http://www.baidu.com'
request(startUrl, function(err, response) {
if (err) {
console.log(err);
}
var $ = cheerio.load(response.body);
var title = $('title').text();
console.log(title);
}
2. 认识 cheerio
获取 element 位置
通过 class 属性进行匹配：
var $=cheerio.load('<div class="container"></div>');
$('.container')
取其链接：<a class="downbtn" href="http://mov.bn.netease.com/mobilev/2013/1/F/G/S8KTEF7FG.mp4" id="M8KTEKR84" target="_blank"></a>
$('a.downbtn').attr('href')
某一页面下的全部可链接：
var url =
var $ = cheerio.load(data);
$("a.downbtn").each(function(i, e) {
console.log($(e).attr("href"));
});
console.log("done");
} else {
console.log("error");
}
总结
以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，谢谢大家对脚本之家的支持。如果你想了解更多相关内容请查看下面相关链接
相关文章
这篇文章主要介绍了如何利用Node.js做简单的图片爬取，爬虫的主要目的是收集互联网上公开的一些特定数据，本文介绍用于网络抓取的node.js包，完成一个简单的爬虫案例来爬取网页上图片并下载到本地2022-06-06
这篇文章主要介绍了node学习笔记之读写文件与开启第一个web服务器操作,结合实例形式分析了nodejs文件读写及创建web服务接收request请求与处理相关操作技巧,需要的朋友可以参考下2019-05-05
这篇文章主要给大家介绍了关于Node.js中 __dirname使用的相关资料，文中介绍的非常详细，对大家具有一定的参考学习价值，需要的朋友们下面来一起看看吧。2017-06-06
本篇文章主要介绍了node中使用es5/6以及支持性与性能对比，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2017-08-08
在Node.js中使用jQuery的做法，需要先安装jquery，npm install jquery ,安装后的版本是 3.1.0,本文介绍的非常详细，具有参考借鉴价值，感兴趣的朋友一起看下吧2016-08-08
本篇文章主要介绍了nodejs后台集成ueditor富文本编辑器的实例，具有一定的参考价值，有兴趣的可以了解一下2017-07-07
这篇文章主要为大家介绍了Nestjs自定义注解实现接口权限控制详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2022-12-12
这篇文章主要介绍了nodejs登录接口之密码错误限制次数(含代码)，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-10-10
这篇文章主要介绍了node.js中的fs.lchownSync方法使用说明,本文介绍了fs.lchownSync的方法说明、语法、接收参数、使用实例和实现源码,需要的朋友可以参考下2014-12-12
这篇文章主要给大家介绍了关于利用Node.js批量抓取高清妹子图片的相关资料，文中通过示例代码介绍的非常详细，需要的朋友们可以直接将代码复制进行使用，下面随着小编来一起学习学习吧2018-08-08
最新评论