脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 网络编程 → JavaScript → node.js → nodejs开发资讯爬虫

使用 Node.js 开发资讯爬虫流程

 更新时间：2018年01月07日 10:24:08   投稿：mrr  
这篇文章主要介绍了使用 Node.js 开发资讯爬虫流程,爬虫流程概括下来就是把目标网站的HTML下载到本地再进行数据提取。具体内容详情大家参考下本文

最近项目需要一些资讯，因为项目是用 Node.js 来写的，所以就自然地用 Node.js 来写爬虫了

项目地址：github.com/mrtanweijie… ，项目里面爬取了 Readhub 、 开源中国 、 开发者头条 、 36Kr 这几个网站的资讯内容，暂时没有对多页面进行处理，因为每天爬虫都会跑一次，现在每次获取到最新的就可以满足需求了，后期再进行完善

爬虫流程概括下来就是把目标网站的HTML下载到本地再进行数据提取。

一、下载页面

Node.js 有很多http请求库，这里使用 request ，主要代码如下： 

requestDownloadHTML () {
 const options = {
  url: this.url,
  headers: {
  'User-Agent': this.randomUserAgent()
  }
 }
 return new Promise((resolve, reject) => {
  request(options, (err, response, body) => {
  if (!err && response.statusCode === 200) {
   return resolve(body)
  } else {
   return reject(err)
  }
  })
 })
 }

使用 Promise 来进行包装，便于后面使用的时候用上 async/await 。因为有很多网站是在客户端渲染的，所以下载到的页面不一定包含想要的HTML内容，我们可以使用 Google 的 puppeteer 来下载客户端渲染的网站页面。众所周知的原因，在 npm i 的时候 puppeteer 可能因为需要下载Chrome内核导致安装会失败，多试几次就好了：） 

puppeteerDownloadHTML () {
 return new Promise(async (resolve, reject) => {
  try {
  const browser = await puppeteer.launch({ headless: true })
  const page = await browser.newPage()
  await page.goto(this.url)
  const bodyHandle = await page.$('body')
  const bodyHTML = await page.evaluate(body => body.innerHTML, bodyHandle)
  return resolve(bodyHTML)
  } catch (err) {
  console.log(err)
  return reject(err)
  }
 })
 }

当然客户端渲染的页面最好是直接使用接口请求的方式，这样后面的HTML解析都不需要了，进行一下简单的封装，然后就可以像这样使用了： #滑稽 ：）

await new Downloader('http://36kr.com/newsflashes', DOWNLOADER.puppeteer).downloadHTML()

二、HTML内容提取

HTML内容提取当然是使用神器 cheerio 了， cheerio 暴露了和 jQuery 一样的接口，用起来非常简单。浏览器打开页面 F12 查看提取的页面元素节点，然后根据需求来提取内容即可 

readHubExtract () {
 let nodeList = this.$('#itemList').find('.enableVisited')
 nodeList.each((i, e) => {
  let a = this.$(e).find('a')
  this.extractData.push(
  this.extractDataFactory(
   a.attr('href'),
   a.text(),
   '',
   SOURCECODE.Readhub
  )
  )
 })
 return this.extractData
 }

三、定时任务

cron 每天跑一跑 
function job () {
 let cronJob = new cron.CronJob({
 cronTime: cronConfig.cronTime,
 onTick: () => {
  spider()
 },
 start: false
 })
 cronJob.start()
}

四、数据持久化

数据持久化理论上应该不属于爬虫关心的范围，用 mongoose ，创建Model 

import mongoose from 'mongoose'
const Schema = mongoose.Schema
const NewsSchema = new Schema(
 {
 title: { type: 'String', required: true },
 url: { type: 'String', required: true },
 summary: String,
 recommend: { type: Boolean, default: false },
 source: { type: Number, required: true, default: 0 },
 status: { type: Number, required: true, default: 0 },
 createdTime: { type: Date, default: Date.now }
 },
 {
 collection: 'news'
 }
)
export default mongoose.model('news', NewsSchema)

基本操作

import { OBJ_STATUS } from '../../Constants'
class BaseService {
 constructor (ObjModel) {
 this.ObjModel = ObjModel
 }

 saveObject (objData) {
 return new Promise((resolve, reject) => {
  this.ObjModel(objData).save((err, result) => {
  if (err) {
   return reject(err)
  }
  return resolve(result)
  })
 })
 }
}
export default BaseService

资讯

import BaseService from './BaseService'
import News from '../models/News'
class NewsService extends BaseService {}
export default new NewsService(News)

愉快地保存数据

await newsService.batchSave(newsListTem)

更多内容到Github把项目clone下来看就好了。

总结

您可能感兴趣的文章:

相关文章

  • Node.js+Socket.io实现双人在线五子棋对战

    Node.js+Socket.io实现双人在线五子棋对战

    这篇文章主要为大家详细介绍了Node.js+Socket.io实现双人在线五子棋对战，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2022-05-05
  • node连接mysql,并操作mysql方式

    node连接mysql,并操作mysql方式

    这篇文章主要介绍了node连接mysql,并操作mysql方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2024-09-09
  • 浅谈Node 调试工具入门教程

    浅谈Node 调试工具入门教程

    这篇文章主要介绍了浅谈Node 调试工具入门教程，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
    2018-03-03
  • Nodejs搭建wss服务器教程

    Nodejs搭建wss服务器教程

    这篇文章主要为大家详细介绍了Nodejs搭建wss服务器的相关资料，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2017-05-05
  • Node.js之网络通讯模块实现浅析

    Node.js之网络通讯模块实现浅析

    本篇文章主要介绍了Node.js之网络通讯模块实现浅析，具有一定的参考价值，有兴趣的可以了解一下。
    2017-04-04
  • node.js结合webSocket实现聊天室

    node.js结合webSocket实现聊天室

    于Node.js和WebSocket的聊天室,主要包括前端页面,主要是用户操作的页面,还包括后台数据通信以及逻辑处理,具有一定的参考价值,感兴趣的可以了解一下
    2023-08-08
  • NodeJs中的VM模块详解

    NodeJs中的VM模块详解

    这篇文章主要介绍了NodeJs中的VM模块详解,本文讲解了什么是VM？ 、VM模块的runInThisContext、runInThisContext方法等内容,需要的朋友可以参考下
    2015-05-05
  • 我的Node.js学习之路（一）

    我的Node.js学习之路（一）

    这是一篇专门Node.js初学者学习笔记。该笔记将通过具体实例，教你一步步开始Node.js之旅。
    2014-07-07
  • Node.js多文件Stream合并,串行和并发两种模式的实现方式

    Node.js多文件Stream合并,串行和并发两种模式的实现方式

    这篇文章主要介绍了Node.js多文件Stream合并,串行和并发两种模式的实现方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2023-10-10
  • npm设置同时从多个包源加载包的方法

    npm设置同时从多个包源加载包的方法

    本文主要介绍了npm 设置同时从多个包源加载包的方法，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2021-09-09

最新评论