python中urllib模块用法实例详解

更新时间：2014年11月19日 11:29:06 投稿：shichen2014

这篇文章主要介绍了python中urllib模块用法,以实例形式详细分析了python中urllib模块代替PHP的curl操作方法,具有不错的借鉴价值,需要的朋友可以参考下

本文实例讲述了python中urllib模块用法。分享给大家供大家参考。具体分析如下：

一、问题：

近期公司项目的需求是根据客户提供的api，我们定时去获取数据，之前的方案是用php收集任务存入到redis队列，然后在linux下做一个常驻进程跑某一个php文件，该php文件就一个无限循环，判断redis队列，有就执行，没有就break.

二、解决方法：

最近刚好学了一下python, python的urllib模块或许比php的curl更快，而且简单. 贴一下代码

复制代码代码如下:

#_*_ coding:utf-8 _*_

import sys

reload(sys)

sys.setdefaultencoding( "utf-8" )

import os

import json

from urllib import urlopen

doc = urlopen("http://xxxx?webid=1&tid=901&cateid=101").read()

doc = json.loads(doc)

print doc

print doc.keys()

print doc["msg"]

print doc['data']

print doc['ret']

发现第一次访问所需要的时间为[Finished in 3.0s]
而第二次访问的时间为[Finished in 0.2s]
可见python的urllib模块是加有缓存的
urllib/2用法典型的例子

复制代码代码如下:

    import urllib2
    import cookielib
    import urllib

    class Hi_login:
        def __init__(self):
            cookie = cookielib.CookieJar()
            self.cookie = urllib2.HTTPCookieProcessor(cookie) ##### 生成cookie ###

        def login(self,user,pwd):
            url='http://passport.baidu.com/?login'
            postdata=urllib.urlencode({
          'mem_pass':'on',

          'password':pwd
           'Submit':'',
          'tpl':'sp',
          'tp_reg':'sp',
          'u' :'http://hi.baidu.com',
          'username':user})
            ### proxy_support = urllib2.ProxyHandler({"http":"http://ahad-haam:3128"}) 然后加入opener方法里####
            opener = urllib2.build_opener(self.cookie) ### 使用cookie ###
            headers = { ####### dict结构，可以加入x-forward-for甚至refer等 #######
           'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}
            urllib2.install_opener(opener)
            request = urllib2.Request(url,urllib.urlencode(postdata),headers = headers)
            urllib2.urlopen(request)
    if __name__=='__main__':
       pwd='123456'
       user='xiaofu'
       test=Hi_login()
       test.login(user,pwd)

假如访问需要认证的页面比如nagios监控页面等，

复制代码代码如下:

    import urllib2

    password_mgr = urllib2.HTTPPasswordMgrWithDefaultRealm()

    url = "http://202.1.x.y/nagios"

    password_mgr.add_password(None, url, user='abc',passwd='xxxxxx')

    handler = urllib2.HTTPBasicAuthHandler(password_mgr)

    opener = urllib2.build_opener(handler)

    urllib2.install_opener(opener)

    f=urllib2.urlopen(url)

    print f.code

返回结果200，否则就是401认证错误

希望本文所述对大家的Python程序设计有所帮助。

您可能感兴趣的文章:

numpy.bincount用于复数权重的方法
numpy.bincount是NumPy库中的一个函数,它用于计算整数数组中每个值的出现次数,numpy.bincount函数在统计整数数组中每个值的出现次数或权重和时非常有用,本文给大家介绍numpy.bincount如何用于复数权重,感兴趣的朋友跟随小编一起看看吧
2023-11-11
Python数据分析之 Pandas Dataframe合并和去重操作
这篇文章主要介绍了Python数据分析之 Pandas Dataframe合并和去重操作，文章基于python的相关资料展开详细的内容介绍，需要的小伙伴可以参考一下
2022-05-05
Python并发爬虫常用实现方法解析
这篇文章主要介绍了Python并发爬虫常用实现方法解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2020-11-11
python实现从一组颜色中找出与给定颜色最接近颜色的方法
这篇文章主要介绍了python实现从一组颜色中找出与给定颜色最接近颜色的方法,涉及Python操作rgb格式颜色的技巧,非常具有实用价值,需要的朋友可以参考下
2015-03-03
Python 的矩阵传播机制Broadcasting和矩阵运算
这篇文章主要介绍了Python 的矩阵传播机制Broadcasting和矩阵运算,文章围绕主题展开详细的内容介绍，具有一定的参考价值，需要的小伙伴可以参考一下
2022-06-06
python点击鼠标获取坐标（Graphics）
这篇文章主要为大家详细介绍了python点击鼠标获取坐标，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2019-08-08
Python搭建Spark分布式集群环境
这篇文章主要介绍了Spark分布式集群环境搭建基于Python版，Apache Spark 是一个新兴的大数据处理通用引擎，提供了分布式的内存抽象。100 倍本文而是使用三台电脑来搭建一个小型分布式集群环境安装,需要的朋友可以参考下
2019-07-07
Python3模拟curl发送post请求操作示例
这篇文章主要介绍了Python3模拟curl发送post请求操作,结合实例形式分析了Python3使用Request请求模拟curl发送post相关操作技巧,需要的朋友可以参考下
2019-05-05
Python使用while循环花式打印乘法表
今天小编就为大家分享一篇关于Python使用while循环花式打印乘法表，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧
2019-01-01
Python实战练习之终于对肯德基下手
读万卷书不如行万里路，学的扎不扎实要通过实战才能看出来，本篇文章手把手带你爬下肯德基的官网,大家可以在过程中查缺补漏，看看自己掌握程度怎么样
2021-10-10

python中urllib模块用法实例详解

相关文章

最新评论

大家感兴趣的内容

最近更新的内容

常用在线小工具