python用于url解码和中文解析的小脚本(python url decoder)

更新时间：2013年08月11日 13:40:20 作者：

这篇文章主要介绍了python用于url解码和中文解析的代码，需要的朋友可以参考下

 
# -*- coding: utf8 -*- 
#! python 
print(repr("测试报警，xxxx是大猪头".decode("UTF8").encode("GBK")).replace("\\x","%")) 

注意第一个 decode("UTF8") 要与文件声明的编码一样。

最开始对这个问题的接触，来自于一个Javascript解谜闯关的小游戏，某一关的提示如下：

刚开始的几关都是很简单很简单的哦～～这一关只是简单的字符串变形而已…..

后面是一大长串开头是%5Cu4e0b%5Cu4e00%5Cu5173%5Cu7684这样的字符串。
这种东西以前经常在浏览器的地址栏见到，就是一直不知道怎么转换成能看懂的东东，
网上google了一下，结合python的url解码和unicode解码，解决方式如下:

复制代码代码如下:

import urllib escaped_str="%5Cu4e0b%5Cu4e00%5Cu5173%5Cu7684%5Cu9875%5Cu9762%5Cu540d%5Cu5b57%5Cu662f%5Cx20%5Cx69%5Cx32%5Cx6a%5Cx62%5Cx6a%5Cx33%5Cx69%5Cx34%5Cx62%5Cx62%5Cx35%5Cx34%5Cx62%5Cx35%5Cx32%5Cx69%5Cx62%5Cx33%5Cx2e%5Cx68%5Cx74%5Cx6d"
print urllib.unquote(escaped_str).decode('unicode-escape') 

最近，我对firefox的autoproxy插件中的gfwlist中的中文词汇（用过代理的同学们，你们懂的）产生了兴趣，然而这些网址都是用url编码的，比如http://zh.wikipedia.org/wiki/%E9%97%A8，需要使用正则表达式将被url编码的中文字符提取出来，写了个小脚本如下：

复制代码代码如下:

import urllib 
import re 
with open("listfile","r") as f: 
    for url_str in f: 
        match=re.compile("((%\w{2}){3,})").findall(url_str) 
        #汉字url编码的样式是：百分号+2个十六进制数，重复3次 

        if match!=None: 
            #如果匹配成功，则将提取出的部分转换为中文 
            for trans in match: 
                print urllib.unquote(trans[0]), 

然而这个脚本仍有一些缺点，对于列表文件中的某些中文字符仍然不能正常解码，比如下面这几行测试代码

复制代码代码如下:

import urllib 
a="http://zh.wikipedia.org/wiki/%BD%F0%B6"
b="http://zh.wikipedia.org/wiki/%E9%97%A8"
de=urllib.unquote 
print de(a),de(b) 

输出结果就是前者可以正确解码，而后者不可以，个人觉得原因可能和big5编码有关，如果谁知道什么解决办法，还请告诉我一下~

以下是补充：

de(a).decode(“gbk”,”ignore”)
de(b).decode(“utf8″,”ignore”)

這樣你可以得到這些字串的unicode編碼。

你用的unquote不是decoder, 你需要作必要的decode和encode。我一直用utf8作我默認環境的，我覺得你大概用的gbk吧，所以後者的解碼你那邊失敗了。猜編碼是很累的事情，如果大家都用utf8倒也好，但是有些人習慣了gb。

http://yac163.svn.sourceforge.net/viewvc/yac163/trunk/yac163-nox/Pic.py?revision=198&view=markup

參考我這個很古老code裡面的#102-147行給每個decode和encode調用加上(…,”ignore”)。

复制代码代码如下:

def strdecode( string,charset=None ):
     if isinstance(string,unicode):
         return string
     if charset:
         try:
             return string.decode(charset)
         except UnicodeDecodeError:
             return _strdecode(string)
     else:
         return _strdecode(string)

def _strdecode(string):
try:

         return string.decode('utf8')
     except UnicodeDecodeError:
         try:
             return string.decode('gb2312')
         except UnicodeDecodeError:
             try:

                 return string.decode('gbk')
             except UnicodeDecodeError:
                 return string.decode('gb18030')

def strencode( string,charset=None ):
     if isinstance(string,str):
         return string
     if charset:
         try:
             return string.encode(charset)
         except UnicodeEncodeError:
             return _strencode(string)
     else:
         return _strencode(string)
def _strencode(string):

     try:
         return string.encode('utf8')
     except UnicodeEncodeError:
         try:
             return string.encode('gb2312')
         except UnicodeEncodeError:
             try:
                 return string.encode('gbk')
             except UnicodeEncodeError:
                 return string.encode('gb18030')

您可能感兴趣的文章:

url
decoder

Matplotlib绘制混淆矩阵的实现
对于机器学习多分类模型来说，其评价指标除了精度之外，常用的还有混淆矩阵和分类报告，下面来展示一下如何绘制混淆矩阵，这在论文中经常会用到。感兴趣的可以了解一下
2021-05-05
python3 下载网络图片代码实例
这篇文章主要介绍了python3 下载网络图片代码实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2019-08-08
Python 关于模块和加载模块的实现
这篇文章主要介绍了Python 关于模块和加载模块的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2021-03-03
全面剖析Python的Django框架中的项目部署技巧
这篇文章主要全面剖析了Python的Django框架的部署技巧,包括Fabric等自动化部署和建立单元测试等方面,强烈推荐！需要的朋友可以参考下
2015-04-04
python实现定制交互式命令行的方法
这篇文章主要介绍了python实现定制交互式命令行的方法,需要的朋友可以参考下
2014-07-07
Python实现破解猜数游戏算法示例
这篇文章主要介绍了Python实现破解猜数游戏算法,简单描述了猜数游戏的原理,并结合具体实例形式分析了Python破解猜数游戏的相关实现技巧,需要的朋友可以参考下
2017-09-09
python文本数据处理学习笔记详解
这篇文章主要为大家详细介绍了python文本数据处理学习笔记，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2019-06-06
基于Tensorflow高阶读写教程
今天小编就为大家分享一篇基于Tensorflow高阶读写教程，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2020-02-02
Python实现Sqlite将字段当做索引进行查询的方法
这篇文章主要介绍了Python实现Sqlite将字段当做索引进行查询的方法,涉及Python针对sqlite数据库索引操作的相关技巧,需要的朋友可以参考下
2016-07-07
Python海龟绘图详解
python2.6版本中后引入的一个简单的绘图工具，叫做海龟绘图(Turtle Graphics),出现在1966年的Logo计算机语言。海龟绘图（turtle库）是python的内部模块,使用前导入即可。本文就带大家深入了解一下海龟绘图，快来跟随小编一起学习吧
2021-12-12