Python实现的批量下载RFC文档

 更新时间:2015年03月10日 11:17:52   投稿:junjie  
这篇文章主要介绍了Python实现的批量下载RFC文档,本文直接给出实现代码,需要的朋友可以参考下

RFC文档有很多,有时候在没有联网的情况下也想翻阅,只能下载一份留存本地了。
看了看地址列表,大概是这个范围:
http://www.networksorcery.com/enp/rfc/rfc1000.txt
...
http://www.networksorcery.com/enp/rfc/rfc6409.txt

哈哈,很适合批量下载,第一个想到的就是迅雷……
可用的时候发现它只支持三位数的扩展(用的是迅雷7),我想要下的刚好是四位数……
郁闷之下萌生自己做一个的想法!
这东西很适合用python做,原理很简单,代码也很少,先读为快。
代码如下:

复制代码 代码如下:

#! /usr/bin/python
'''
  File      : getRFC.py
  Author    : Mike
  E-Mail    : Mike_Zhang@live.com
'''
import urllib,os,shutil,time

def downloadHtmlPage(url,tmpf = ''):
    i = url.rfind('/')
    fileName = url[i+1:]
    if tmpf : fileName = tmpf
    print url,"->",fileName
    urllib.urlretrieve(url,fileName)
    print 'Downloaded ',fileName   
    time.sleep(0.2)
    return fileName
   
# http://www.networksorcery.com/enp/rfc/rfc1000.txt
# http://www.networksorcery.com/enp/rfc/rfc6409.txt
if __name__ == '__main__':
    addr = 'http://www.networksorcery.com/enp/rfc'   
    dirPath = "RFC"
    #startIndex = 1000
    startIndex = int(raw_input('start : '))
    #endIndex = 6409
    endIndex = int(raw_input('end : '))
    if startIndex > endIndex :
        print 'Input error!'       
    if False == os.path.exists(dirPath):
        os.makedirs(dirPath)   
    fileDownloadList = []
    logFile = open("log.txt","w")
    for i in range(startIndex,endIndex+1):
        try:           
            t_url = '%s/rfc%d.txt' % (addr,i)
            fileName = downloadHtmlPage(t_url)
            oldName = './'+fileName
            newName = './'+dirPath+'/'+fileName
            if True == os.path.exists(oldName):
                shutil.move(oldName,newName)
                print 'Moved ',oldName,' to ',newName
        except:
            msgLog = 'get %s failed!' % (i)
            print msgLog
            logFile.write(msgLog+'\n')
            continue
    logFile.close()

除了RFC文档,这个程序稍加修改也可以做其它事情:比如批量下载MP3、电子书等等。

好,就这些了,希望对你有帮助。

相关文章

  • python使用xlrd与xlwt对excel的读写和格式设定

    python使用xlrd与xlwt对excel的读写和格式设定

    最近在用python处理excel表的时候出现了一些问题,所以想着记录下最后的实现方式和问题解决方法。方便自己或者大家在有需要的时候参考借鉴,下面这篇文章主要就介绍了python使用xlrd与xlwt对excel的读写和格式设定的相关资料,一起来学习学习吧。
    2017-01-01
  • 利用pyecharts实现地图可视化的例子

    利用pyecharts实现地图可视化的例子

    今天小编就为大家分享一篇利用pyecharts实现地图可视化的例子,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-08-08
  • pytorch实现MNIST手写体识别

    pytorch实现MNIST手写体识别

    这篇文章主要为大家详细介绍了pytorch实现MNIST手写体识别,使用全连接神经网络,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2020-02-02
  • Python OpenCV图像处理之图像滤波特效详解

    Python OpenCV图像处理之图像滤波特效详解

    图像滤波按图像域可分为两种类型:邻域滤波和频域滤波。按图像频率滤除效果主要分为两种类型:低通滤波和高通滤波。本文将通过案例为大家详细介绍一下OpenCV中的图像滤波特效,需要的可以参考一下
    2022-02-02
  • pytorch 多个反向传播操作

    pytorch 多个反向传播操作

    这篇文章主要介绍了pytorch 多个反向传播操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2021-05-05
  • python3.7 的新特性详解

    python3.7 的新特性详解

    这篇文章主要介绍了python3.7 的新特性详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-07-07
  • 神经网络python源码分享

    神经网络python源码分享

    这篇文章主要介绍了神经网络python源码分享,具有一定借鉴价值,需要的朋友可以参考下。
    2017-12-12
  • Ubuntu 下 vim 搭建python 环境 配置

    Ubuntu 下 vim 搭建python 环境 配置

    这篇文章主要介绍了Ubuntu 下 vim 搭建python环境配置,需要的朋友可以参考下
    2017-06-06
  • Pycharm安装scrapy及初始化爬虫项目的完整步骤

    Pycharm安装scrapy及初始化爬虫项目的完整步骤

    因为入门python以来一直使用pycharm,所以对着黑白的DOS不习惯,所以此次来实现使用pycharm进行实现使用scrapy框架,下面这篇文章主要给大家介绍了关于Pycharm安装scrapy及初始化爬虫项目的完整步骤,需要的朋友可以参考下
    2022-08-08
  • Pandas之groupby( )用法笔记小结

    Pandas之groupby( )用法笔记小结

    这篇文章主要介绍了Pandas之groupby( )用法笔记小结,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-07-07

最新评论