python 文件下载之断点续传的实现

 更新时间:2021年11月08日 15:06:04   作者:不侠居  
用python进行文件下载的时候,一旦出现网络波动问题,导致文件下载到一半。如果将下载不完全的文件删掉,那么又需要从头开始,如果连续网络波动,是不是要头秃了。本文提供断点续传下载工具方法,希望可以帮助到你

1.前序

当下载突然断开后,断点续传就需要了,继续前面下载的内容下载。解决了不需要重复下载

2.技术原理

HTTP/1.1 开始支持断点续传,一般断点下载会用到 Range 和 Content-Range 实体头
Range是请求头,Content-Range是响应头

2.1 Content-Range

用于响应头中

语法:

Content-Length: <length>

2.2 Range

RangeHTTP 请求头表示服务器应返回的文档部分。可以同时用一个头请求多个部件,服务器可以在多部分文档中发回这些范围。如果服务器发回范围,则使用 206 部分内容进行响应。如果范围无效,服务器会返回 416 范围不可满足的错误。服务器还可以忽略标题,然后返回整个文档,并返回 200 状态代码。

语法:

Range: <unit>=<range-start>-
Range: <unit>=<range-start>-<range-end>
Range: <unit>=<range-start>-<range-end>, <range-start>-<range-end>
Range: <unit>=<range-start>-<range-end>, <range-start>-<range-end>, <range-start>-<range-end>
Range: <unit>=-<suffix-length>

unit:指定范围的单位,通常是bytes。
range-start:指示请求范围开始的给定单元中的整数。
range-end:给定单元中的整数,指示所请求范围的末尾。此值是可选的,如果省略,文档的末尾将被视为范围的末尾。
suffix-length:给定单位中的整数,指示要返回的文件末尾的单位数。

例子:
(1)从文件中请求三个范围。第一个范围为第200字节到第1000个字节的位置;第二个范围为第2000个字节位置到第6576个字节的位置;第三个范围为第19000字节位置之后的全部

Range: bytes=200-1000, 2000-6576, 19000-

(2)请求文件的前 500 和最后 500 字节。如果范围重叠,服务器可能会拒绝该请求。

Range: bytes=0-499, -500

3. 代码实现

import requests
import os
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.182 Safari/537.36'
}
file_path = './video/1.mp4' # 存储地址
url = 'https://v3-dy-o.zjcdn.com/410b9087e76fe2360e320463f8586ed8/6185ea7a/video/tos/cn/tos-cn-ve-15-alinc2/62427caf076b4d7d9dbbdbea98f97c9f/?a=6383&br=2690&bt=2690&cd=0%7C0%7C0&ch=26&cr=0&cs=0&cv=1&dr=0&ds=3&er=&ft=jal9w1-eTz7ThWR7Wlct&l=021636162458101fdbd400a040000000a70125e00000141b4be97&lr=all&mime_type=video_mp4&net=0&pl=0&qs=0&rc=M3U8bDw6ZmZsODMzNGkzM0ApPDY3Ozs7Mzw7NzY6N2g0aWdqNGVfcjRnZG5gLS1kLTBzczU2MV40Ly40NmAtLV8xLWI6Yw%3D%3D&vl=&vr='
r = requests.get(url,headers=header)
total_size = int(r.headers['Content-Length']) # 查看文件大小,并转换为整数类型
print(r.headers)
# 查看本地下载了多少
if os.path.exists(file_path):
    temp_size = os.path.getsize(file_path)  # 本地已经下载的文件大小
else:
    temp_size = 0

print('已下载:' + temp_size) 
print('总共需要下载:' + total_size)
header['Range'] = 'bytes={}-'.format(temp_size) # 向头加入Range信息
print(header) # 打印头信息
r = requests.get(url, headers=header, stream=True)
with open(file_path, "ab") as f:
        for chunk in r.iter_content(chunk_size=1024):
            if chunk:
                temp_size += len(chunk)
                f.write(chunk)
                

现在不知到怎么做突然下载被停止后,数据能写入文件了,所以现在是手动模拟下载断开。

在写入文件中加入了一个判断,当文件下载了5M时停止下载,之后再删掉这段代码,在重新下载。

with open(file_path, "ab") as f:
        for chunk in r.iter_content(chunk_size=1024):
            if chunk:
                temp_size += len(chunk)
                f.write(chunk)
                if temp_size > 1024 *1024 * 5:
                    break

第一次下载

在这里插入图片描述


第二次下载

在这里插入图片描述

到此这篇关于python 文件下载之断点续传的实现的文章就介绍到这了,更多相关python 断点续传内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • 使用Python内置模块与函数进行不同进制的数的转换

    使用Python内置模块与函数进行不同进制的数的转换

    这篇文章主要介绍了使用Python内置模块与函数进行不同进制的数的转换,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-04-04
  • Python turtle.right与turtle.setheading的区别讲述

    Python turtle.right与turtle.setheading的区别讲述

    这篇文章主要介绍了Python turtle.right与turtle.setheading的区别,本文以turtle.right为例给大家详细介绍,需要的朋友可以参考下
    2022-03-03
  • django传值给模板, 再用JS接收并进行操作的实例

    django传值给模板, 再用JS接收并进行操作的实例

    今天小编就为大家分享一篇django传值给模板, 再用JS接收并进行操作的实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-05-05
  • 详解Python如何制作自动发送微信的程序

    详解Python如何制作自动发送微信的程序

    这篇文章主要介绍了如何利用Python中的apscheduler和pyautogui模块,制作一个自动发送微信的程序。感兴趣的小伙伴可以跟随小编一起动手试一试
    2022-01-01
  • 一文详解Python中复合语句的用法

    一文详解Python中复合语句的用法

    复合语句是包含其它语句(语句组)的语句;它们会以某种方式影响或控制所包含其它语句的执行。通常,复合语句会跨越多行,虽然在某些简单形式下整个复合语句也可能包含于一行之内。本文就来讲讲Python中复合语句的使用
    2022-07-07
  • python 生成xml文件,以及美化的实例代码

    python 生成xml文件,以及美化的实例代码

    这篇文章主要介绍了python 生成xml文件,以及美化的实例代码,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2021-04-04
  • Django的Modelforms用法简介

    Django的Modelforms用法简介

    这篇文章主要介绍了Django的Modelforms用法简介,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-07-07
  • 写了个监控nginx进程的Python脚本

    写了个监控nginx进程的Python脚本

    接上一文用iptables让SSH服务对陌生人说不。还是有点担心这个学期内,nginx可能会因为系统各种原因而出现异常退出,导致Web服务暂停。所以,又来了一个方案
    2012-05-05
  • python使用Matplotlib画条形图

    python使用Matplotlib画条形图

    这篇文章主要为大家详细介绍了python使用Matplotlib画条形图,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-09-09
  • Python+Appium新手教程

    Python+Appium新手教程

    这篇文章主要介绍了Python+Appium的新手教程,内容很详细,文章末尾还带有测试的小练习,适合新手小白,如果有需要的朋友可以参考下
    2021-04-04

最新评论