如何用Node写页面爬虫的工具集
最近做了几个写爬虫的小项目（从页面端到APP端的都有），在网上搜寻了一番好用的爬虫工具，做了个工具集整理：
Puppeteer
简介
Puppeteer 是一个Node库，它提供了一个高级 API 来通过 DevTools协议控制Chromium或Chrome。简单点说，就是使用Node命令控制一个无需渲染至用户界面的浏览器。
与使用 PhantomJS 搭配 Python 进行爬虫抓取类似，其原理也是去完全地模拟一个浏览器进行页面的渲染，从而抓取其中某些特定的内容。
特性
Puppeteer 可以完整地模拟一个浏览器的行为，并且可以进行截图、拦截浏览器请求、获取Cookie、通过Node注入JS代码等操作，使用Chrome浏览器开发者工具能做到的，Puppeteer也能做到。
使用起来也十分的简单，以下是官方的例子：
const puppeteer = require('puppeteer');
(async () => {
const browser = await puppeteer.launch();
const page = await browser.newPage();
await page.goto('https://example.com');
await page.screenshot({path: 'example.png'});
await browser.close();
})();
在GitHub上放了一份自己写的使用Puppeteer获取微博cookie的代码，欢迎查看：
https://github.com/SP-Lyu/puppeteer_weibo_cookie/blob/master/index.js
由于 Puppeteer 基于Chromium，每次都需要载入页面再进行页面分析，性能十分有限，下面提到的 cheerio 则可以从另一层面解决这个问题。
文档
cheerio
cheerio 是一个轻型灵活，类jQuery的对HTML元素分析操作的工具。在进行一些server端渲染的页面以及一些简单的小页面的爬取时， cheerio 十分好用且高效。
特性
cheerio 包括了jQuery的核心子集，意味着可以直接使用jQuery的API进行元素的操控，官方的例子：
const cheerio = require('cheerio')
const $ = cheerio.load('<h2 class="title">Hello world</h2>')
$('h2.title').text('Hello there!')
$('h2').addClass('welcome')
$.html()
//=> <h2 class="title welcome">Hello there!</h2>
自己写的获取某个网站的所有a链接：
const cheerio = require('cheerio');
const get = function(){/*HTTP get请求...*/}
(async ()=>{
const html = await get(`http://example.com`);
const $ = cheerio.load(html);
const $dom_arr = $('a');
$dom_arr.each((index, elem)=>{
const url = $(elem).attr('href') || '';
console.log(url);
});
})();
文档
Auto.js
国人开发的，使用js编写代码操作Android设备的自动化工具，对于爬取某些加固措施较好的APP来说十分有用，而且有非常完善的文档以及社区，十分良心。
使用Auto.js进行设备自动化操作，再通过代理进行请求数据的获取，能绕开加固中难以破解的加密串。
特性
作为爬虫工具，好处有：
- 采用JavaScript作为脚本语言开发，JS开发者0成本接入；
- 兼容性良好，大多数任务不需要root权限；
- 自带界面分析工具，方便定位需要操作的元素。
从Auto.js载入某个APP，并点击进入某个频道的例子：
// 声明环境
auto();
// 设备常亮
device.keepScreenDim();
// 调起APP
launchApp('头条');
sleep(10000);
// 找到某个频道，并点击进入
var rect = text('视频').findOnce().bounds();
var x = rect.centerX();
var y = rect.centerY();
click(x, y);
// 点击进入详情，使用代理抓取并处理请求...
...
文档
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
相关文章
NodeJS 基于 Dapr 构建云原生微服务应用快速入门教程
Dapr 是一个可移植的、事件驱动的运行时，它使任何开发人员能够轻松构建出弹性的、无状态和有状态的应用程序，并可运行在云平台或边缘计算中，它同时也支持多种编程语言和开发框架，本文重点介绍NodeJS云原生微服务应用，感兴趣的朋友一起看看吧2022-07-07
最近在学习nodejs，知道了如何用nodejs创建一个简单的小项目。例如如何创建一个服务器啦，例如http.createServer,还有根据不同的请求路径来设置路由选择啦，模块引入，创建模块啦，下面这篇文章主要介绍了node.js中url模块的相关资料,需要的朋友可以参考下。2017-02-02
Node 文件查找优先级及 Require 方法文件查找策略
这篇文章主要介绍了Node文件查找优先级及Require方法文件查找策略。文章围绕主题展开详细的内容介绍，具有一定的参考价值，需要的小伙伴可以参考一下2022-09-09
这篇文章主要介绍了node连接mysql,并操作mysql方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2024-09-09
本文主要介绍了NodeJs支付宝移动支付签名及验签的方法，具有一定的参考价值，下面跟着小编一起来看下吧2017-01-01
这篇文章主要为大家介绍一下Node.js安装及环境配置方法，这也是脚本之家小编发现的比较详细的教程了，从安装到配置都很详细，想学习Node.js的朋友可以参考一下2017-09-09
我一直对学习Node.js比较感兴趣。这是一个Java平台的服务器端编程 ，它允许开发人员在服务器编写Java代码，并且有许多CentOS的用户正努力学习这个语言的开发环境。这正是我想做这个教程的目的。2016-11-11
这篇文章主要为大家介绍了Nest.js系列学习之初识nest项目框架及服务,有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2023-02-02
这篇文章主要介绍了如何在node环境实现“get数据解析”代码实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-07-07
使用基于Node.js的构建工具Grunt来发布ASP.NET MVC项目
这篇文章主要介绍了使用基于Node.js的构建工具Grunt来发布ASP.NET MVC项目的教程,自动化构建工具Grunt具有编译压缩单元测试等功能,十分强大,需要的朋友可以参考下2016-02-02
最新评论