Python 工具类实现大文件断点续传功能详解

 更新时间:2021年11月08日 15:02:55   作者:剑客阿良_ALiang  
用python进行大文件下载的时候,一旦出现网络波动问题,导致文件下载到一半。如果将下载不完全的文件删掉,那么又需要从头开始,如果连续网络波动,是不是要头秃了。本文提供断点续传下载工具方法,希望可以帮助到你

依赖

os、sys、requests

工具代码

废话不多说,上代码。

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
"""
Created on Sat Oct 23 13:54:39 2021
@author: huyi
"""
 
import os
import sys
 
import requests
 
 
 
def download(url, file_path):
    # 重试计数
    count = 0
    # 第一次请求是为了得到文件总大小
    r1 = requests.get(url, stream=True, verify=False)
    total_size = int(r1.headers['Content-Length'])
 
    # 判断本地文件是否存在,存在则读取文件数据大小
    if os.path.exists(file_path):
        temp_size = os.path.getsize(file_path)  # 本地已经下载的文件大小
    else:
        temp_size = 0
        
    # 对比一下,是不是还没下完
    print(temp_size)
    print(total_size)
    
    # 开始下载
    while count < 10:
        if count != 0:
            temp_size = os.path.getsize(file_path)
        # 文件大小一致,跳出循环
        if temp_size >= total_size:
            break
        count += 1
        print(
            "第[{}]次下载文件,已经下载数据大小:[{}],应下载数据大小:[{}]".format(
                count, temp_size, total_size))
        # 重新请求网址,加入新的请求头的
        # 核心部分,这个是请求下载时,从本地文件已经下载过的后面下载
        headers = {"Range": f"bytes={temp_size}-{total_size}"}
        # r = requests.get(url, stream=True, verify=False)
        r = requests.get(url, stream=True, verify=False, headers=headers)
 
        # "ab"表示追加形式写入文件
        with open(file_path, "ab") as f:
            if count != 1:
                f.seek(temp_size)
            for chunk in r.iter_content(chunk_size=1024 * 64):
                if chunk:
                    temp_size += len(chunk)
                    f.write(chunk)
                    f.flush()
                    ###这是下载实现进度显示####
                    done = int(50 * temp_size / total_size)
                    sys.stdout.write("\r[%s%s] %d%%" % (
                        '█' * done, ' ' * (50 - done), 100 * temp_size / total_size))
                    sys.stdout.flush()
        print("\n")
 
    return file_path

代码说明:

1、重试次数可以自己修改,按照需求来,我这边是10次。

2、增加了进度条的打印,别问,好看就完了。

验证一下,我们准备个文件下载服务。上文件服务代码。代码对flask、gevent有依赖。

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
"""
Created on Sat Oct 23 19:53:18 2021
@author: huyi
"""
 
from flask import Flask, request, make_response, send_from_directory
from gevent.pywsgi import WSGIServer
from gevent import monkey
 
# 将python标准的io方法,都替换成gevent中的同名方法,遇到io阻塞gevent自动进行协程切换
monkey.patch_all()
app = Flask(__name__)
 
@app.route("/download", methods=['GET'])
def download_file():
    get_data = request.args.to_dict()
    file_path = get_data.get('fileName')
 
    response = make_response(
        send_from_directory('/Users/huyi/Movies/Videos',file_path,as_attachment=True))
    response.headers["Content-Disposition"] = "attachment; filename={}".format(
        file_path.encode().decode('latin-1'))
    return response
 
if __name__ == '__main__':
    WSGIServer(('0.0.0.0', 8080), app).serve_forever()

启动文件下载服务,测试下载代码

download('http://localhost:8080/download?fileName=test.mp4', '/Users/huyi/Downloads/test.mp4')

首先我们下载一部分,然后关闭,模拟下载一半的情况。

重新执行一下,把剩下的执行

OK,验证通过。

总结

断点续传的这部分代码,你可以好好理解一下原理,其实不复杂。还是不明白可以私信我。

如果本文对你有帮助,请点个赞支持一下吧。

到此这篇关于Python 工具类实现大文件断点续传功能详解的文章就介绍到这了,更多相关Python 文件下载内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • 对django 2.x版本中models.ForeignKey()外键说明介绍

    对django 2.x版本中models.ForeignKey()外键说明介绍

    这篇文章主要介绍了对django 2.x版本中models.ForeignKey()外键说明介绍,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-03-03
  • python用fsolve、leastsq对非线性方程组求解

    python用fsolve、leastsq对非线性方程组求解

    这篇文章主要为大家详细介绍了python用fsolve、leastsq对非线性方程组进行求解,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-12-12
  • Python timeit模块的使用实践

    Python timeit模块的使用实践

    timeit 模块是 Python 标准库中的模块,无需安装,直接导入就可以使用。这篇文章主要介绍了Python timeit模块的使用,需要的朋友可以参考下
    2020-01-01
  • Python定义二叉树及4种遍历方法实例详解

    Python定义二叉树及4种遍历方法实例详解

    这篇文章主要介绍了Python定义二叉树及4种遍历方法,结合实例形式较为详细的分析了二叉树的概念、原理,以及Python定义与遍历二叉树相关操作技巧,需要的朋友可以参考下
    2018-07-07
  • 对Pytorch中nn.ModuleList 和 nn.Sequential详解

    对Pytorch中nn.ModuleList 和 nn.Sequential详解

    今天小编就为大家分享一篇对Pytorch中nn.ModuleList 和 nn.Sequential详解,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-08-08
  • Python基础学习之深浅拷贝问题及递归函数练习

    Python基础学习之深浅拷贝问题及递归函数练习

    在实际工作中,经常涉及到数据的传递。这篇文章主要为大家介绍了Python的一些基础学习:深拷贝与浅拷贝问题、递归函数的练习,需要的朋友可以参考一下
    2021-12-12
  • TensorFlow实现从txt文件读取数据

    TensorFlow实现从txt文件读取数据

    今天小编就为大家分享一篇TensorFlow实现从txt文件读取数据,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-02-02
  • Python函数的参数类型和使用技巧详解

    Python函数的参数类型和使用技巧详解

    这篇文章主要介绍了Python函数的参数类型和使用技巧详解,函数指通过专门的代码组织,用来实现特定功能的代码段,具有相对的独立性,可以被其他代码重复调用,需要的朋友可以参考下
    2023-08-08
  • numpy中np.c_和np.r_的用法解析

    numpy中np.c_和np.r_的用法解析

    本文主要介绍了numpy中np.c_和np.r_的用法解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2023-03-03
  • python 如何使用requests下载文件

    python 如何使用requests下载文件

    这篇文章主要介绍了python 如何使用requests下载文件,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2022-02-02

最新评论