Node.js抓取网站中文乱码解决办法

 更新时间:2023年02月18日 15:04:53   作者:zihanzy  
这篇文章主要介绍了Node.js抓取网站中文乱码解决办法,需要的朋友可以参考下

问题:Node.js抓取网站中文乱码

async function getHtml(){
    let res = await axios.get(publicPath+"/pic/")
    console.log(res)
}

如上代码,axios默认是以utf8的方式去解码html
由于原网页的编码方式是gb2312 控制台打印中文乱码

_G��ԭ��_����ͼƬ��</b></a> </h3>\r\n' +
'<p> ������ĩ�ա������ף��ܽ��׵�һ����־�ϸ裬����ĩ�ռ��������ף�G����������ͼƬ�ף��׳���Ϊ�����Ǹ����ϴ��� ���������
����������Σ����Ÿ��Լ�һЩ��������Ҫ�ñ��˰�����������״ݻ١��ܽ�������һ�ײ�ͬ����... </p>\r\n' +
`<span class="spanimg1">���ࣺ

Node.js抓取网站中文乱码解决办法

stream尝试了很多种方式都无效,最后想到流请求

我们以流的方式去请求网页,因为流都是二进制数据,当我们获取到所有的二进制数据后,将其以原网页的编码方式去解码即可!

步骤
1.引入 iconv-lite
npm i iconv-lite

const axios = require('axios')
const cheerio = require('cheerio')
const iconv = require('iconv-lite')
//封装请求html方法
async function getHtml(url){
    let res = await axios.get(
         url,{
         responseType: 'stream'
    })
    return new Promise(resolve=>{
        let chunks = []
        res.data.on('data',chunk=>{
            chunks.push(chunk)
        })
        res.data.on('end',()=>{
            let buffer = Buffer.concat(chunks)
            let str = iconv.decode(buffer,'gb2312')
            resolve(str)
        }) 
    })
}

getHtml用于发送流请求
在函数内部封装了promise,
promise里面的res.data是一个可读流当获取到流数据时,我们及将其添加到chunks数组。
流数据获取完毕后,将二进制数据连接,并设置解码方式为gb2312
最好用cheerio封装一下

async function getData(){
    const html = await getHtml(publicPath+"/pic/")
    const $ = cheerio.load(html)
    console.log($.html())
}
getData()

解码后的数据

七里香》吉他谱,周杰伦的经典代表作品,七里香吉他六线谱,原调bE选调C,CAPO夹三品,完整版共五张弹唱图
片谱。感谢老姚吉他编配,并同步《七里香》吉他弹唱教学视频,琴友们可以跟随老师的示范讲解练习起来。 曲... </p>
<span class="spanimg1">分类: <a href="/geshou/Cdiaodanchangpu_1258_1.html" rel="external nofollow"  target="_blank">C调弹唱谱</a>  <a href="/geshou/jitajiaoxueshipin_5348_1.html" rel="external nofollow"  target="_blank">吉他教学视频</a>  </span> <span class="spanimg2">来源:未知 </span> <span class="spanimg3">2020-12-25</span>

以上就是Node.js抓取网站中文乱码解决办法的详细内容,更多关于Node.js抓取网站中文乱码解决办法的资料请关注脚本之家其它相关文章!

相关文章

  • 详解如何在Node.js的httpServer中接收前端发送的arraybuffer数据

    详解如何在Node.js的httpServer中接收前端发送的arraybuffer数据

    这篇文章主要介绍了详解如何在Node.js的httpServer中接收前端发送的arraybuffer数据,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2018-11-11
  • Node.js API详解之 string_decoder用法实例分析

    Node.js API详解之 string_decoder用法实例分析

    这篇文章主要介绍了Node.js API详解之 string_decoder用法,结合实例形式分析了Node.js API中string_decoder的功能、用法及操作注意事项,需要的朋友可以参考下
    2020-04-04
  • 深入了解 Node的多进程服务实现

    深入了解 Node的多进程服务实现

    本文主要介绍了Node的多进程服务实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2022-06-06
  • node封装一个控制台进度条插件​​​​​​​详情

    node封装一个控制台进度条插件​​​​​​​详情

    这篇文章主要介绍了node封装一个控制台进度条插件​​​​​​​详情,文章围绕主题展开详细的内容介绍,具有一定的参考价值,需要的小伙伴可以参考一下
    2022-08-08
  • nodejs切换版本使用最新教程(不需要卸载重装)

    nodejs切换版本使用最新教程(不需要卸载重装)

    有时候需要运行不同的项目,node版本不一致会导致不少问题,特别是最新版本对应的一些插件,由于语法等原因导致不一定兼容低版本,这样运行低版本环境的项目的时候很多坑,这篇文章主要给大家介绍了关于nodejs切换版本使用(不需要卸载重装)的相关资料,需要的朋友可以参考下
    2022-11-11
  • 分析node事件循环和消息队列

    分析node事件循环和消息队列

    node的好处毋庸置疑,事件驱动,异步非阻塞I/O,以及处理高并发的能力深入人心,因此大家喜欢用node做一些小型后台服务或者作为中间层和其他服务配合完成一些大型应用场景。
    2021-06-06
  • node.js事件循环机制及与js区别详解

    node.js事件循环机制及与js区别详解

    这篇文章主要为大家介绍了node.js事件循环机制及与js区别详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2022-09-09
  • Node.js 使用 gRPC从定义到实现过程详解

    Node.js 使用 gRPC从定义到实现过程详解

    gRPC是一个高性能、开源的远程过程调用(RPC)框架,由 Google 开发,它支持多种编程语言,旨在简化和优化分布式系统中的服务通信,本文给大家介绍Node.js 使用 gRPC从定义到实现过程,感兴趣的朋友跟随小编一起看看吧
    2024-07-07
  • 详解nodejs爬虫程序解决gbk等中文编码问题

    详解nodejs爬虫程序解决gbk等中文编码问题

    本篇文章主要介绍了nodejs爬虫程序解决gbk等中文编码问题,解决了网页的编码与nodejs默认编码不一致造成的乱码问题,有兴趣的可以了解一下
    2017-04-04
  • node安装及环境变量配置详细教程

    node安装及环境变量配置详细教程

    在很多前端项目中都需要配置node的环境变量,下面这篇文章主要给大家介绍了关于node安装及环境变量配置的相关资料,文中通过图文介绍的非常详细,需要的朋友可以参考下
    2022-07-07

最新评论