脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 网络编程 → JavaScript → node.js → puppeteer爬取网站并抓出404

使用puppeteer爬取网站并抓出404无效链接

 更新时间：2018年12月20日 15:03:17   作者：赵阳阳  
自动化技术可以帮助我们做自动化测试，本篇文章主要介绍了使用puppeteer爬取网站并抓出404无效链接，可以检查出无效链接，需要的朋友们下面随着小编来一起学习学习吧

检查网页无效链接

前言

自动化技术可以帮助我们做自动化测试，同样也可以帮助我们完成别的事情，比如今天我们要做的检查网站404无效链接。

原理

实现这样的功能，大致分为以下步骤： 1.打开官网首页，获取页面上所有的链接。 2.添加规则对这些链接过滤，把外链去掉。 3.遍历访问这些链接，打开打开其中的每一个链接，检查是否为404，如果是距离下来。 4.重复执行1，2，3。直到把整个网站所有的链接都遍历完。

准备

CukeTest 一款可以专业的编辑自动化脚本的工具。cuketest.com/

puppeteer 一个非常流行自动化库。https://github.com/GoogleChrome/puppeteer

实现

CukeTest中新建一个项目。

删掉features目录。新建一个demo.js文件。

安装puppeteer

npm install puppeteer --save

主要方法讲解

pupputeer内置监听事件，可以很快拿到每个请求的响应结果。

puppeteer可以创建Chromium实例。创建方式如下：

let puppeteer = require('puppeteer'); 
browser = await puppeteer.launch({ headless: true });
page = await browser.newPage();
await browser.close();

puppeteer 提供事件监听，可以监听到每个页面的响应状态，为每个请求添加响应事件，如果响应状态码为404，记录到文件中。

page.on('response',(res)=>{
 // console.log("res.url", res.url(), res.status())
 let url = res.url();
 if(res.status()==404){
  linktoFile(url, brokenlinkFile);
 }else{
  if(isvaildUrl(url)){
   linktoFile(url,validUrlFilePath);
  }
  
 } 
})

puppeteer抓取页面上所有的链接

await page.goto(url);
//获取所有的link
const hrefs = await page.evaluate(
 () => Array.from(document.body.querySelectorAll('a[href]'), ({ href }) => href)
);

将链接记录到文件或者从文件读取链接的方法

let filetoLinks = function (filepath) {
 if (!fs.existsSync(filepath)) {
  fs.writeFileSync(filepath);
 }
 let data = fs.readFileSync(filepath, 'utf-8')
 let links = data.trim().split('\n');
 return links;
}

let linktoFile = function (link, filepath) {
 let foundLinks = filetoLinks(filepath);
 if (!foundLinks.includes(link)) {
  fs.appendFileSync(filepath, link + '\n');
 }
}

最终代码

let puppeteer = require('puppeteer');
const fs = require('fs');
const path = require('path');


const host = 'http://www.xxxx.cn/'; // 被测网站
const visitedFile = 'visitedUrl.txt'; //浏览过的页面
const visitedFilePath = path.join(__dirname, visitedFile);
const brokenlinkFile = 'brokenLink.txt'; //404链接
const brokenlinkFilePath = path.join(__dirname, brokenlinkFile);

const validUrlFile = 'validUrlFile.txt'; //可用的链接
const validUrlFilePath = path.join(__dirname,validUrlFile);

let browser;
let page;

function isvaildUrl(url){
 return url.startsWith(host) && !url.includes('/#');
}

async function run() {
 browser = await puppeteer.launch({ headless: true });

 page = await browser.newPage();
 page.on('response',(res)=>{
  // console.log("res.url", res.url(), res.status())
  let url = res.url();
  let currenturl = page.url()
  if(res.status()==404){
   linktoFile(currenturl+"=="+url, brokenlinkFilePath);
  }else{
   if(isvaildUrl(url)){
    linktoFile(url,validUrlFilePath);
   }
   
  } 
 })

 await visitPage(browser,page, host);

 await browser.close();

}

async function visitPage(browser,page, url) {
 // if (!isvaildUrl(url)) return;
 await page.goto(url);
 //获取所有的link
 const hrefs = await page.evaluate(
  () => Array.from(document.body.querySelectorAll('a[href]'), ({ href }) => href)
 );

 for (const href of hrefs) {
  //数据清洗
  if (isvaildUrl(href) && href !== host) {
   
   //符合条件的link
   // linktoFile(href, visitedFilePath);
   let res = await page.goto(href);
   
   if (res && res.status() == 404) {
    linktoFile(href, brokenlinkFilePath);
   } else {
    let visitedlinks = filetoLinks(visitedFilePath);
    if(!visitedlinks.includes(href)){
     linktoFile(href, visitedFilePath);
     await visitPage(browser,page,href);
     
    }
    
   }

   let links = filetoLinks(visitedFilePath);
   if (!links.includes(href)) {
    await visitPage(browser,page, href);
   }
  }
 }
}

let filetoLinks = function (filepath) {
 if (!fs.existsSync(filepath)) {
  fs.writeFileSync(filepath);
 }
 let data = fs.readFileSync(filepath, 'utf-8')
 let links = data.trim().split('\n');
 return links;
}

let linktoFile = function (link, filepath) {
 let foundLinks = filetoLinks(filepath);
 if (!foundLinks.includes(link)) {
  fs.appendFileSync(filepath, link + '\n');
 }
}

run();

运行

点击 【运行】按钮即可运行。 同样，在CukeTest中也支持命令行执行，执行命令为

cuke --runjs demo.js

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

相关文章

  • nodejs获取表单数据的三种方法实例

    nodejs获取表单数据的三种方法实例

    在开发中经常需要获取form表单的数据,这篇文章主要给大家介绍了关于nodejs获取表单数据的三种方法,方法分别是form表单传递、ajax请求传递以及表单序列化,需要的朋友可以参考下
    2021-06-06
  • electron原理，以及electron生成可执行文件的方法实例分析

    electron原理，以及electron生成可执行文件的方法实例分析

    这篇文章主要介绍了electron原理，以及electron生成可执行文件的方法,结合实例形式分析了electron原理以及electron生成可执行文件的具体操作步骤、实现方法与相关注意事项,需要的朋友可以参考下
    2023-04-04
  • nodejs脚本centos开机启动实操方法

    nodejs脚本centos开机启动实操方法

    在本篇文章里小编给大家整理的是关于nodejs脚本centos开机启动实操方法，有兴趣的朋友们参考下。
    2020-03-03
  • 深入探究node之Transform

    深入探究node之Transform

    这篇文章主要介绍了深入探究node之Transform，本文深入内部阐述Transform的运行机理及使用技巧，有兴趣的可以了解一下
    2017-07-07
  • Mongoose实现虚拟字段查询的方法详解

    Mongoose实现虚拟字段查询的方法详解

    这篇文章主要给大家介绍了关于Mongoose实现虚拟字段查询的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面跟着小编来一起学习学习吧。
    2017-08-08
  • nodejs基于WS模块实现WebSocket聊天功能的方法

    nodejs基于WS模块实现WebSocket聊天功能的方法

    这篇文章主要介绍了nodejs基于WS模块实现WebSocket聊天功能的方法,结合实例形式分析了nodejs使用WS模块进行WebSocket通信实现聊天功能的具体操作技巧,需要的朋友可以参考下
    2018-01-01
  • node网页分段渲染详解

    node网页分段渲染详解

    按照常理，我们渲染一张网页，必定是网页全部拼装完毕，然后生成HTML字符串，传送至客户端。这也意味着，如果一张网页处理的有快有慢的话，必须串行等到所有的逻辑都处理完毕。后端才能进行返回。
    2016-09-09
  • Node.js API详解之 Error模块用法实例分析

    Node.js API详解之 Error模块用法实例分析

    这篇文章主要介绍了Node.js API详解之 Error模块用法,结合实例形式分析了Node.js API中Error模块相关功能、函数、用法及操作注意事项,需要的朋友可以参考下
    2020-05-05
  • 基于socket.io和node.js搭建即时通信系统

    基于socket.io和node.js搭建即时通信系统

    socket.IO是一个websocket库，包括了客户端的js和服务器端的nodejs。官方地址：http://socket.io
    2014-07-07
  • npm install常见报错以及问题详解

    npm install常见报错以及问题详解

    npm install总是一言难尽,下面这篇文章主要给大家介绍了关于npm install常见报错以及问题的相关资料,文中通过图文以及实例代码介绍的非常详细,需要的朋友可以参考下
    2023-02-02

最新评论