脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 网络编程 → JavaScript → node.js → nodejs爬虫遇到的乱码问题汇总

nodejs爬虫遇到的乱码问题汇总

 更新时间：2017年04月07日 08:42:44   作者：村中少年  
这篇文章主要给大家汇总介绍了作者再制作nodejs爬虫遇到的乱码问题，有相同问题的小伙伴可以参考下

上一篇文章中使用nodejs程序解析了网页编码为gbk,gb2312,以及utf-8的情况，这里面有三种特殊的乱码情况需要单独的说明一下.

1，网页编码为utf-8,但是解析为乱码，代表网站为www.guoguo-app.com。

这个问题真是个逗逼问题，查看网页源码中给出的编码方式为utf8，如下：

<meta charset="UTF-8">
<title>查快递</title>

由于解析出来的始终是乱码，我就抓包看了下，报文中的编码方式为gbk，果然我使用gbk的方式之后，得到的不再是乱码了。淘宝为了反爬虫也是操碎了新，但是我也很好奇这种方式是怎么实现的，知道的告诉我。

GET / HTTP/1.1
Host: www.guoguo-app.com
Connection: close

HTTP/1.1 200 OK
Date: Thu, 06 Apr 2017 01:56:23 GMT
Content-Type: text/html;charset=GBK
Transfer-Encoding: chunked
Connection: close
Vary: Accept-Encoding
Vary: Accept-Encoding
Content-Language: zh-CN
Server: Tengine/Aserver

1，网页编码为utf-8,解析为乱码情况二，代表网站http//andersonjiang.blog.sohu.com/

单纯的查看网页源码看不出任何毛病，于是我又抓了一次包，得到如下情形：

GET / HTTP/1.1
Host: andersonjiang.blog.sohu.com
Connection: close

HTTP/1.1 200 OK
Content-Type: text/html; charset=GBK
Transfer-Encoding: chunked
Connection: close
Server: nginx
Date: Thu, 06 Apr 2017 02:10:33 GMT
Vary: Accept-Encoding
Expires: Thu, 01 Jan 1970 00:00:00 GMT
RHOST: 192.168.110.68@11177
Pragma: No-cache
Cache-Control: no-cache
Content-Language: en-US
Content-Encoding: gzip
FSS-Cache: MISS from 13539701.18454911.21477824
FSS-Proxy: Powered by 9935166.11245896.17873234

andersonjiang.blog.sohu.com这个网站同时采用了Transfer-Encoding: chunked传输编码和Content-Encoding: gzip内容编码功能，由于nodejs爬虫没有gzip解包功能，因此该网站提取不到任何字段，即title和charset等。要想提取此类网站则要添加gzip解包功能。

下面两个网站www.cr173.com以及www.csdn.net是正常的抓包情况。

GET / HTTP/1.1
Host: www.cr173.com
Connection: close

HTTP/1.1 200 OK
Expires: Thu, 06 Apr 2017 02:42:20 GMT
Date: Thu, 06 Apr 2017 02:12:20 GMT
Content-Type: text/html
Last-Modified: Thu, 06 Apr 2017 00:52:42 GMT
ETag: "96a4141970aed21:0"
Cache-Control: max-age=1800
Accept-Ranges: bytes
Content-Length: 158902
Accept-Ranges: bytes
X-Varnish: 1075189606
Via: 1.1 varnish
X-Via: 1.1 dxxz46:4 (Cdn Cache Server V2.0), 1.1 oudxin15:1 (Cdn Cache Server V2.0)
Connection: close
GET / HTTP/1.1
Host: www.csdn.net
Connection: close

HTTP/1.1 200 OK
Server: openresty
Date: Thu, 06 Apr 2017 02:18:59 GMT
Content-Type: text/html; charset=utf-8
Content-Length: 99363
Connection: close
Vary: Accept-Encoding
Last-Modified: Thu, 06 Apr 2017 02:10:02 GMT
Vary: Accept-Encoding
ETag: "58e5a37a-18423"
Accept-Ranges: bytes

3，网页编码为其他形式的编码，解析为乱码，例如：

（1）编码为Big5，代表网站为 www.ruten.com.tw， www.ctgoodjobs.hk

（2）编码为Shift_JIS，代表网站为www.vector.co.jp，www.smbc.co.jp

（3）编码为windows-12，代表网站为www.tff.org，www.pravda.com.ua

（4）编码为EUC-JP，代表网站为www.showtime.jp

（5）编码为EUC-KR ，代表网站为www.incruit.com，www.samsunghospital.com，

由于iconv-lite的说明中支持如下的编码方式：

Currently only a small part of encodings supported:

 All node.js native encodings: 'utf8', 'ucs2', 'ascii', 'binary', 'base64'.
 Base encodings: 'latin1'
 Cyrillic encodings: 'windows-1251', 'koi8-r', 'iso 8859-5'.
 Simplified chinese: 'gbk', 'gb2313'.

Other encodings are easy to add, see the source. Please, participate
因此对于上述出现的网页编码，只有自己添加解码方式加以解决了。

总之要写一个通用的爬虫程序还有很长的路要走。

您可能感兴趣的文章:

相关文章

  • 基于Node.js的http模块搭建HTTP服务器

    基于Node.js的http模块搭建HTTP服务器

    这篇文章主要为大家介绍了基于Node.js的http模块来搭建HTTP服务器的示例过程详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步
    2022-02-02
  • Nodejs中解决cluster模块的多进程如何共享数据问题

    Nodejs中解决cluster模块的多进程如何共享数据问题

    本篇文章主要介绍了Nodejs中解决cluster模块的多进程如何共享数据问题，有需要的可以了解一下。
    2016-11-11
  • node.js连接mysql与基本用法示例

    node.js连接mysql与基本用法示例

    这篇文章主要介绍了node.js连接mysql与基本用法,结合实例形式分析了nodejs中mysql模块的安装、引入、创建连接、sql语句执行等相关操作技巧,需要的朋友可以参考下
    2019-01-01
  • 从零学习node.js之模块规范（一）

    从零学习node.js之模块规范（一）

    Node.js是一个基于谷歌浏览器JavaScript执行环境建立的一个平台，让JavaScript可以脱离客户端浏览器运行，让 JavaScript具有服务器语言的能力。从本文开始我们进行学习node.js，这篇文章主要介绍的是node.js中模块规范的相关资料,需要的朋友可以参考下。
    2017-02-02
  • Nodejs实战心得之eventproxy模块控制并发

    Nodejs实战心得之eventproxy模块控制并发

    本篇文章给大家分享我的nodejs实战心得，如何使用eventproxy模块控制并发，感兴趣的朋友可以参考下
    2015-10-10
  • Node.js如何响应Ajax的POST请求并且保存为JSON文件详解

    Node.js如何响应Ajax的POST请求并且保存为JSON文件详解

    这篇文章主要介绍了关于Node.js是如何响应Ajax的POST请求并且保存为JSON文件的相关资料，文中介绍的很详细，对大家具有一定的参考价值，需要的朋友们下面来一起看看吧。
    2017-03-03
  • Node.js使用MySQL连接池的方法实例

    Node.js使用MySQL连接池的方法实例

    这篇文章主要介绍了Node.js使用MySQL连接池的方法,结合具体实例形式分析了nodejs操作mysql连接池的相关模块安装、连接、查询等使用技巧,需要的朋友可以参考下
    2018-02-02
  • 基于游标的分页接口实现代码示例

    基于游标的分页接口实现代码示例

    这篇文章主要给大家介绍了关于基于游标的分页接口实现的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2018-11-11
  • Mac下通过brew安装指定版本的nodejs教程

    Mac下通过brew安装指定版本的nodejs教程

    今天小编就为大家分享一篇Mac下通过brew安装指定版本的nodejs教程，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2018-05-05
  • 详解nodejs中express搭建权限管理系统

    详解nodejs中express搭建权限管理系统

    本篇文章主要介绍了详解express搭建权限管理系统，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
    2017-09-09

最新评论