Node.js抓取网站中文乱码解决办法
问题:Node.js抓取网站中文乱码
async function getHtml(){ let res = await axios.get(publicPath+"/pic/") console.log(res) }
如上代码,axios默认是以utf8的方式去解码html
由于原网页的编码方式是gb2312
控制台打印中文乱码
_G��ԭ��_����ͼƬ��</b></a> </h3>\r\n' + '<p> ������ĩ�ա������ף��ܽ���һ����־�ϸ裬����ĩ�ռ��������ף�G����������ͼƬ�ף��׳���Ϊ�����Ǹ����ϴ��� ��������� ����������Σ����Ÿ��Լ�һЩ��������Ҫ�ñ��˰�����������״ݻ١��ܽ�������һ�ײ�ͬ����... </p>\r\n' + `<span class="spanimg1">���ࣺ
Node.js抓取网站中文乱码解决办法
stream尝试了很多种方式都无效,最后想到流请求
我们以流的方式去请求网页,因为流都是二进制数据,当我们获取到所有的二进制数据后,将其以原网页的编码方式去解码即可!
步骤
1.引入 iconv-litenpm i iconv-lite
const axios = require('axios') const cheerio = require('cheerio') const iconv = require('iconv-lite') //封装请求html方法 async function getHtml(url){ let res = await axios.get( url,{ responseType: 'stream' }) return new Promise(resolve=>{ let chunks = [] res.data.on('data',chunk=>{ chunks.push(chunk) }) res.data.on('end',()=>{ let buffer = Buffer.concat(chunks) let str = iconv.decode(buffer,'gb2312') resolve(str) }) }) }
getHtml用于发送流请求
在函数内部封装了promise,
promise里面的res.data
是一个可读流当获取到流数据时,我们及将其添加到chunks数组。
流数据获取完毕后,将二进制数据连接,并设置解码方式为gb2312
最好用cheerio封装一下
async function getData(){ const html = await getHtml(publicPath+"/pic/") const $ = cheerio.load(html) console.log($.html()) } getData()
解码后的数据
七里香》吉他谱,周杰伦的经典代表作品,七里香吉他六线谱,原调bE选调C,CAPO夹三品,完整版共五张弹唱图 片谱。感谢老姚吉他编配,并同步《七里香》吉他弹唱教学视频,琴友们可以跟随老师的示范讲解练习起来。 曲... </p> <span class="spanimg1">分类: <a href="/geshou/Cdiaodanchangpu_1258_1.html" rel="external nofollow" target="_blank">C调弹唱谱</a> <a href="/geshou/jitajiaoxueshipin_5348_1.html" rel="external nofollow" target="_blank">吉他教学视频</a> </span> <span class="spanimg2">来源:未知 </span> <span class="spanimg3">2020-12-25</span>
以上就是Node.js抓取网站中文乱码解决办法的详细内容,更多关于Node.js抓取网站中文乱码解决办法的资料请关注脚本之家其它相关文章!
相关文章
详解如何在Node.js的httpServer中接收前端发送的arraybuffer数据
这篇文章主要介绍了详解如何在Node.js的httpServer中接收前端发送的arraybuffer数据,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧2018-11-11Node.js API详解之 string_decoder用法实例分析
这篇文章主要介绍了Node.js API详解之 string_decoder用法,结合实例形式分析了Node.js API中string_decoder的功能、用法及操作注意事项,需要的朋友可以参考下2020-04-04
最新评论