使用python下载大型文件显示进度条和下载时间的操作代码

 更新时间:2022年11月01日 09:19:40   作者:安替-AnTi  
大家都知道下载大型文件时存在一个问题,那就是内存使用量迅速上升,可能会造成电脑卡死,所以我们需要换一个方式进行下载,这篇文章主要介绍了使用python下载大型文件的方法显示进度条和下载时间,需要的朋友可以参考下

推荐阅读

Python 给下载文件显示进度条和下载时间的实现

requets普通方法

下载大型文件时,我们一般都是这样下载的

import requests
url = ""
r = requests.get(url)
with open('1.mp4', 'wb') as f:
    f.write(r.content)

这样下载大型文件时存在一个问题,那就是内存使用量迅速上升,可能会造成电脑卡死。所以我们需要换一个方式进行下载

流下载

我们可以使用文本流进行下载.
requests模块中有一个这样的方法Response.iter_content()
Response响应对象的一个方法

iter_content(chunk_size=1, decode_unicode=False)

在响应数据上进行重做。当stream=True设置在请求上时,这可以避免立即将内容读入内存以获得大响应。块大小是它应该读入内存的字节数。这不一定是每个返回的项目的长度,因为解码可以进行。

chunk_size必须是类型 int 或 None。值为None时会因stream的值而异。stream-True将读取数据的字块大小与接收的区块相同。如果stream=False,则数据将作为单个块返回。

如果decode_unicode设置为真,响应内容将根据使用最佳编码进行解码。

需要在get请求上设置参数stream为True,它不会立即开始下载,当使用iter_content遍历内容或访问内容属性时才开始下载。

代码实现:

url = ""
r = requests.get(url, headers=header, stream=True)
with open('1.mp4', "wb") as f:
        for chunk in r.iter_content(chunk_size=1024):
            if chunk:
                f.write(chunk)

加个进度条模块

# 进度条模块
def progressbar(url,path):
    if not os.path.exists(path):   # 看是否有该文件夹,没有则创建文件夹
         os.mkdir(path)
    start = time.time() #下载开始时间
    response = requests.get(url, stream=True) #stream=True必须写上
    size = 0    #初始化已下载大小
    chunk_size = 1024  # 每次下载的数据大小
    content_size = int(response.headers['content-length'])  # 下载文件总大小
    try:
        if response.status_code == 200:   #判断是否响应成功
            print('Start download,[File size]:{size:.2f} MB'.format(size = content_size / chunk_size /1024))   #开始下载,显示下载文件大小
            filepath = path+'\name.extension name'  #设置图片name,注:必须加上扩展名
            with open(filepath,'wb') as file:   #显示进度条
                for data in response.iter_content(chunk_size = chunk_size):
                    file.write(data)
                    size +=len(data)
                    print('\r'+'[下载进度]:%s%.2f%%' % ('>'*int(size*50/ content_size), float(size / content_size * 100)) ,end=' ')
        end = time.time()   #下载结束时间
        print('Download completed!,times: %.2f秒' % (end - start))  #输出下载用时时间
    except:

现原理其实很简单,我们一般下载东西使用的requests.get(url).content的方法下载来的文件是二进制文件,我们只要通过for循环每次下载1024kb,到最后获取文件的总大小,即可完成我们的功能实现了!.

参考文献

https://blog.csdn.net/m0_46778548/article/details/121180585

https://blog.csdn.net/weixin_43347550/article/details/105248223

到此这篇关于使用python下载大型文件的方法显示进度条和下载时间的文章就介绍到这了,更多相关python下载文件显示进度条和下载时间内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • python使用Paramiko模块实现远程文件拷贝

    python使用Paramiko模块实现远程文件拷贝

    这篇文章主要为大家详细介绍了python使用Paramiko模块实现远程文件拷贝,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2019-04-04
  • Python 虚拟环境的价值和常用命令详解

    Python 虚拟环境的价值和常用命令详解

    在实际项目开发中,我们通常会根据自己的需求去下载各种相应的框架库,如Scrapy、Beautiful Soup等,但是可能每个项目使用的框架库并不一样,或使用框架的版本不一样,今天给大家分享下Python 虚拟环境的价值和常用命令,感兴趣的朋友一起看看吧
    2022-05-05
  • 详解如何列出已安装的Python包

    详解如何列出已安装的Python包

    处理 Python 项目可能需要列出已安装的 Python 包,以便管理依赖项、检查更新或与其他人共享项目需求,在这篇文章中,我们将研究多种用于列出系统上安装的 Python 包的技术
    2023-10-10
  • python 把文件中的每一行以数组的元素放入数组中的方法

    python 把文件中的每一行以数组的元素放入数组中的方法

    下面小编就为大家分享一篇python 把文件中的每一行以数组的元素放入数组中的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-04-04
  • 安装不同版本的tensorflow与models方法实现

    安装不同版本的tensorflow与models方法实现

    这篇文章主要介绍了安装不同版本的tensorflow与models方法实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2021-02-02
  • ndarray的转置(numpy.transpose()与A.T命令对比分析)

    ndarray的转置(numpy.transpose()与A.T命令对比分析)

    这篇文章主要介绍了ndarray的转置(numpy.transpose()与A.T命令对比分析),具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2023-02-02
  • Python列表元素常见操作简单示例

    Python列表元素常见操作简单示例

    这篇文章主要介绍了Python列表元素常见操作,结合简单示例形式分析了Python针对列表元素的打印、添加、删除、修改、排序等相关操作技巧与注意事项,需要的朋友可以参考下
    2019-10-10
  • python如何实现word批量转HTML

    python如何实现word批量转HTML

    这篇文章主要介绍了python如何实现word批量转HTML,帮助大家更好的理解和学习python,感兴趣的朋友可以了解下
    2020-09-09
  • 详解在Python中创建条形图追赶动画

    详解在Python中创建条形图追赶动画

    动画是使可视化更具吸引力和用户吸引力的好方法。它帮助我们以有意义的方式展示数据可视化。Matplotlib是一个非常流行的数据可视化库,通常用于数据的图形表示以及使用内置函数的动画。本文将用Matplotlib绘制条形图追赶动画,需要的可以参考一下
    2022-03-03
  • Python中Matplotlib绘图保存图片时调节图形清晰度或分辨率的方法

    Python中Matplotlib绘图保存图片时调节图形清晰度或分辨率的方法

    有时我们在使用matplotlib作图时,图片不清晰或者图片大小不是我们想要的,这篇文章主要给大家介绍了关于Python中Matplotlib绘图保存图片时调节图形清晰度或分辨率的相关资料,需要的朋友可以参考下
    2024-05-05

最新评论