python使用chardet判断字符串编码的方法

 更新时间:2015年03月13日 10:24:18   作者:liuli  
这篇文章主要介绍了python使用chardet判断字符串编码的方法,涉及Python编码的技巧,具有一定参考借鉴价值,需要的朋友可以参考下

本文实例讲述了python使用chardet判断字符串编码的方法。分享给大家供大家参考。具体分析如下:

最近利用python抓取一些网上的数据,遇到了编码的问题。非常头痛,总结一下用到的解决方案。

linux中vim下查看文件编码的命令 set fileencoding
python中一个强力的编码检测包 chardet ,使用方法非常简单。linux下利用pip install chardet实现简单安装

import chardet
f = open('file','r')
fencoding=chardet.detect(f.read())
print fencoding

fencoding输出格式 {'confidence': 0.96630842899499614, 'encoding': 'GB2312'} ,只能判断是否为某种编码的概率。比较准确的结果了。输入参数为str类型。

了解python中str的编码后可以利用decode和encode来实现编码的转换。

一般流程是str利用decode方法根据str的编码将其解码为unicode字符串类型,然后利用encode根据特定的编码将unicode字符串类型转换为特定的编码。python中str和unicode属于两种不同的类型,如下。

一般情况下window默认编码gbk,linux默认编码utf8
python编程中 系统编码,python编码,文件编码 的概念。

系统编码:默认写源码的编辑器的编码方式。它代表源码文件内的所有内容都是根据词方式编码成二进制码流。存入到磁盘中的。linux下通过locale命令查看。

python编码:指python内设置的解码方式。如果不设定的话,python默认的是ascii解码方式。如果python源代码文件中不出现中文的话,这个地方怎么设定应该不会问题。

设定方法:在源码文件开头(一定是第一行):#-*-coding:UTF-8-*-,源码文件的设置解码方式是UTF-8 或者 

import sys
reload(sys)
sys.setdefaultencoding('UTF-8')

文件编码:文本的编码方式,linux下vim利用set fileencoding查看。

一般情况下输出乱码的原因就是 没有按照系统解码的方式进行编码。

比如print s, s类型为str,linux系统下系统默认编码为utf8编码,s在输出前就应该编码为utf8。如果s为gbk编码就应该这样输出。print s.decode('gbk').encode('utf8')才能输出中文。

window下面情况相同,window默认编码为gbk编码,所以s输出前必须编码为gbk。

python处理中一般处理unicode类型。这样输出前直接编码即可。

希望本文所述对大家的Python程序设计有所帮助。

相关文章

  • Python Django路径配置实现过程解析

    Python Django路径配置实现过程解析

    这篇文章主要介绍了Python Django路径配置实现过程解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-11-11
  • python基于xmlrpc实现二进制文件传输的方法

    python基于xmlrpc实现二进制文件传输的方法

    这篇文章主要介绍了python基于xmlrpc实现二进制文件传输的方法,实例分析了xmlrpclib模块的使用技巧,需要的朋友可以参考下
    2015-06-06
  • Python list sort方法的具体使用

    Python list sort方法的具体使用

    list.sort()方法是Python的列表方法,用于对原列表进行排序。本文详细的介绍了list.sort的具体使用,具有一定的参考价值,感兴趣的可以了解一下
    2021-12-12
  • Python中的字典及其使用方法

    Python中的字典及其使用方法

    这篇文章主要介绍了Python中的字典及其使用方法,包括使用字典(添加、删除、修改等操作)、遍历字典以及字典与列表之间的嵌套使用具有一定的参考价值,需要的小伙伴可以参考一下
    2022-03-03
  • pygame库实现移动底座弹球小游戏

    pygame库实现移动底座弹球小游戏

    这篇文章主要为大家详细介绍了pygame库实现移动底座弹球小游戏,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2019-11-11
  • 详解python的变量缓存机制

    详解python的变量缓存机制

    这篇文章主要介绍了python的变量缓存机制,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2021-01-01
  • 使用Python和Pygame轻松实现播放音频播放器

    使用Python和Pygame轻松实现播放音频播放器

    在这个数字化时代,音频和音乐已成为我们日常生活的一部分,不管是为了放松、学习还是工作,一个好的音乐播放器总是必不可少的,所以本文给大家介绍了用Python和Pygame制作自己的音频播放器,感兴趣的朋友可以参考下
    2024-01-01
  • Python3如何在服务器打印资产信息

    Python3如何在服务器打印资产信息

    这篇文章主要介绍了Python3如何在服务器打印资产信息,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-08-08
  • Flask接口签名sign原理与实例代码浅析

    Flask接口签名sign原理与实例代码浅析

    这篇文章主要介绍了Flask接口签名sign原理与实例代码,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习吧
    2023-02-02
  • 5 分钟读懂Python 中的 Hook 钩子函数

    5 分钟读懂Python 中的 Hook 钩子函数

    这篇文章主要介绍了5 分钟掌握 Python 中的 Hook 钩子函数,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-12-12

最新评论