脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 网络编程 → JavaScript → node.js → Node.js抓取中文网页乱码解决

Node.js抓取中文网页乱码问题和解决方法

 更新时间：2015年02月10日 09:54:50   投稿：junjie  
这篇文章主要介绍了Node.js抓取中文网页乱码问题和解决方法,本文讲解了使用一些开源库解决抓取中出现的乱码问题,需要的朋友可以参考下

Node.js 抓取非 utf-8 的中文网页时会出现乱码问题，比如网易的首页编码是 gb2312，抓取时会出现乱码

复制代码 代码如下:

var request = require('request') 
var url = 'http://www.163.com'

request(url, function (err, res, body) { 
    console.log(body)
})


可以使用 iconv-lite 来解决

安装

复制代码 代码如下:

npm install iconv-lite 

同时我们顺带把 user-agent 修改一下，以防网站屏蔽：
复制代码 代码如下:

var originRequest = require('request') 
var iconv = require('iconv-lite') 
var headers = { 
  'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.65 Safari/537.36'
}

function request (url, callback) { 
  var options = {
    url: url,
    encoding: null,
    headers: headers
  }
  originRequest(options, callback)
}

request(url, function (err, res, body) { 
    var html = iconv.decode(body, 'gb2312')
    console.log(html)
})

乱码问题解决

使用 cheerio 解析 HTML

cheerio 可以简单粗暴的理解为服务器端 jQuery 选择器，有了它，比正则要更加直观许多

安装

复制代码 代码如下:

npm install cheerio 
request(url, function (err, res, body) { 
    var html = iconv.decode(body, 'gb2312')
    var $ = cheerio.load(html)
    console.log($('h1').text())
    console.log($('h1').html())
})

输出如下
复制代码 代码如下:

网易
网易

那么问题来了，$('h1').html() 输出的代码是经过 Unicode 编码的，网易变成了网易，给我们的字符处理带来了一些麻烦

解决 cheerio .html() 「乱码」问题
查阅文档可知，可以关闭这个转换实体编码的功能

复制代码 代码如下:

var $ = cheerio.load(html) 

改成
复制代码 代码如下:

var $ = cheerio.load(html, {decodeEntities: false})

即可，完整代码如下：
复制代码 代码如下:

var originRequest = require('request') 
var cheerio = require('cheerio') 
var iconv = require('iconv-lite') 
var headers = { 
  'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.65 Safari/537.36'
}

function request (url, callback) { 
  var options = {
    url: url,
    encoding: null,
    headers: headers
  }
  originRequest(options, callback)
}

var url = 'http://www.163.com'

request(url, function (err, res, body) { 
    var html = iconv.decode(body, 'gb2312')
    var $ = cheerio.load(html, {decodeEntities: false})
    console.log($('h1').text())
    console.log($('h1').html())
})

您可能感兴趣的文章:

相关文章

  • 异步JavaScript编程中的Promise使用方法

    异步JavaScript编程中的Promise使用方法

    这篇文章主要介绍了异步JavaScript编程中的Promise使用方法,包含Ajax的结合操作等问题,需要的朋友可以参考下
    2015-07-07
  • 10个Node.js库帮助你优化代码和简化开发

    10个Node.js库帮助你优化代码和简化开发

    这篇文章主要介绍了10个Node.js库帮助你优化代码和简化开发，其中包括处理数组、对象、字符串库Lodash,缓存数据处理库Node-cache,解析、操作和格式化日期和时间库Moment.js,Redis操作库，发送电子邮件库Nodemailer
    2023-05-05
  • node.js环境搭建图文详解

    node.js环境搭建图文详解

    Node.js 是一个让 JavaScript 运行在服务端的开发平台，小编在空闲时间就研究nodejs的相关知识，下面是本文给大家带来的node.js环境搭建教程图解，感兴趣的朋友跟随小编一起学习吧
    2018-09-09
  • Node.js net模块功能及事件监听用法分析

    Node.js net模块功能及事件监听用法分析

    这篇文章主要介绍了Node.js net模块功能及事件监听用法,结合实例形式分析了net模块功能及事件监听相关操作技巧,需要的朋友可以参考下
    2019-01-01
  • 详解如何使用koa实现socket.io官网的例子

    详解如何使用koa实现socket.io官网的例子

    这篇文章主要介绍了详解如何使用koa实现socket.io官网的例子，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
    2018-11-11
  • node-red教程之dashboard简介与输入型仪表板控件的使用

    node-red教程之dashboard简介与输入型仪表板控件的使用

    Node-red支持自定义节点，当然也就支持自定义图形化的节点。也有优秀的开发者把自己建立的图形化节点无偿分享。这里给出一个股票界面的例子，让大家看一看优秀的node-red界面能做到什么样子
    2022-01-01
  • Node.js（安装，启动，测试）

    Node.js（安装，启动，测试）

    这里主要介绍基于windows平台上最简单方便的安装方式，启动以及简单测试
    2014-06-06
  • websocket结合node.js实现双向通信的示例代码

    websocket结合node.js实现双向通信的示例代码

    本文主要介绍了websocket结合node.js实现双向通信的示例代码，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2023-02-02
  • 教你如何用Node实现API的转发（某音乐）

    教你如何用Node实现API的转发（某音乐）

    这篇文章主要介绍了教你如何用Node实现API的转发（某音乐），文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2019-09-09
  • Node.js使用Sharp.js进行图像处理的实践与技巧

    Node.js使用Sharp.js进行图像处理的实践与技巧

    Sharp.js 是一个高性能的 Node.js 图像处理库,基于 C 语言编写的 libvips 库封装而来,提供了便捷、高效的图片编辑与转换功能,以下是对 Sharp.js 的深入解析,包括全方位实践与技巧,需要的朋友可以参考下
    2024-08-08

最新评论