Golang 使用http Client下载文件的实现方法
更新时间：2019年07月10日 17:45:28 作者：夕阳醉了半边天
今天小编就为大家分享一篇Golang 使用http Client下载文件的实现方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
之前使用beego的http库的时候，有的情况需要下载文件。beego是能实现，但就是有点问题:不支持回调，没法显示下载速度,这在日常开发中是不可忍受的。
看了下beego的实现主要是使用了io.copy函数,于是就深入的看了下实现原理，发现挺简单的，于是就根据io.copy原理实现的一个简单的下载器
//定义要下载的文件
var durl = "https://dl.google.com/go/go1.10.3.darwin-amd64.pkg";
//解析url
uri, err := url.ParseRequestURI(durl)
if err != nil {
panic("网址错误")
}
正常的一个流程先看看Url有没有错误
filename := path.Base(uri.Path)
log.Println("[*] Filename " + filename)
使用path.Base取出url的文件名称，这里有个可能会出现bug的地方:如果这个网址是302跳转过去的话是没法取出跳转过后的文件名称。
取文件名称这步可以再发送http请求的时候 client.CheckRedirect定义一个函数取出文件名次即可。
client := http.DefaultClient; client.Timeout = time.Second * 60 //设置超时时间 resp, err := client.Get(durl)
创建一个httpClient,另外这个客户端的Timeout是设置读取数据的时候多少时间算超时。
我这里比较推崇用Do方法传递一个Reqeust过去，应为有的url需要校验http头之类的,你问我为啥不用一个字懒。
raw := resp.Body defer raw.Close() reader := bufio.NewReaderSize(raw, 1024*32);
其实说实话不太清楚bufio能不能真正的加快htpp读取速度，没有做过跟不用bufio的对比。但是为了心理上的安心就加上去了
file, err := os.Create(filename)
if err != nil {
panic(err)
}
writer := bufio.NewWriter(file)
同上也不太确定bufio能对文件写入增加多少速度
buff := make([]byte, 32*1024)
written := 0
go func() {
for {
nr, er := reader.Read(buff)
if nr > 0 {
nw, ew := writer.Write(buff[0:nr])
if nw > 0 {
written += nw
}
if ew != nil {
err = ew
break
}
if nr != nw {
err = io.ErrShortWrite
break
}
}
if er != nil {
if er != io.EOF {
err = er
}
break
}
}
if err != nil {
panic(err)
}
}()
这个源码是我直接复制io.copyBuffer函数的只是做了一些简单的修改理解大概意思就行
//间隔时间
spaceTime := time.Second * 1
//定时器
ticker := time.NewTicker(spaceTime)
//上次读取数据大小
lastWtn := 0
stop := false
for {
select {
case <-ticker.C:
//这次读取的文件大小-上次读取的数据大小=速度
speed := written - lastWtn
log.Printf("[*] Speed %s / %s \n", bytesToSize(speed), spaceTime.String())
if written-lastWtn == 0 {
ticker.Stop()
stop = true
break
}
lastWtn = written
}
if stop {
break
}
}
这段代码堵塞住程序，然后定时器按照间隔时间来计算速度。这里可能会出现bug的地方就是在间隔时间内没有读取到数据的时候回直接跳出循环。现在这个时间点非常困，写个blog已经困的要死了以后有空把这个bug解决了吧
func bytesToSize(length int) string {
var k = 1024 // or 1024
var sizes = []string{"Bytes", "KB", "MB", "GB", "TB"}
if length == 0 {
return "0 Bytes"
}
i := math.Floor(math.Log(float64(length)) / math.Log(float64(k)))
r := float64(length) / math.Pow(float64(k), i)
return strconv.FormatFloat(r, 'f', 3, 64) + " " + sizes[int(i)]
}
这个函数是我从我个人的php项目中转换过来的
2018/08/17 00:24:50 [*] Filename go1.10.3.darwin-amd64.pkg 2018/08/17 00:24:51 [*] Speed 9.000 MB / 1s 2018/08/17 00:24:52 [*] Speed 11.125 MB / 1s 2018/08/17 00:24:53 [*] Speed 11.125 MB / 1s 2018/08/17 00:24:54 [*] Speed 10.562 MB / 1s 2018/08/17 00:24:55 [*] Speed 11.187 MB / 1s 2018/08/17 00:24:56 [*] Speed 11.109 MB / 1s 2018/08/17 00:24:57 [*] Speed 11.109 MB / 1s 2018/08/17 00:24:58 [*] Speed 11.141 MB / 1s 2018/08/17 00:24:59 [*] Speed 11.172 MB / 1s 2018/08/17 00:25:00 [*] Speed 11.141 MB / 1s 2018/08/17 00:25:01 [*] Speed 8.453 MB / 1s 2018/08/17 00:25:02 [*] Speed 6.385 MB / 1s 2018/08/17 00:25:03 [*] Speed 0 Bytes / 1s
这是最终的运行结果，然后我再把全部的源码放在下面就去睡了。
package main
import (
"net/http"
"log"
"time"
"net/url"
"path"
"os"
"io"
"bufio"
"math"
"strconv"
)
var durl = "https://dl.google.com/go/go1.10.3.darwin-amd64.pkg";
func main() {
uri, err := url.ParseRequestURI(durl)
if err != nil {
panic("网址错误")
}
filename := path.Base(uri.Path)
log.Println("[*] Filename " + filename)
client := http.DefaultClient;
client.Timeout = time.Second * 60 //设置超时时间
resp, err := client.Get(durl)
if err != nil {
panic(err)
}
if resp.ContentLength <= 0 {
log.Println("[*] Destination server does not support breakpoint download.")
}
raw := resp.Body
defer raw.Close()
reader := bufio.NewReaderSize(raw, 1024*32);
file, err := os.Create(filename)
if err != nil {
panic(err)
}
writer := bufio.NewWriter(file)
buff := make([]byte, 32*1024)
written := 0
go func() {
for {
nr, er := reader.Read(buff)
if nr > 0 {
nw, ew := writer.Write(buff[0:nr])
if nw > 0 {
written += nw
}
if ew != nil {
err = ew
break
}
if nr != nw {
err = io.ErrShortWrite
break
}
}
if er != nil {
if er != io.EOF {
err = er
}
break
}
}
if err != nil {
panic(err)
}
}()
spaceTime := time.Second * 1
ticker := time.NewTicker(spaceTime)
lastWtn := 0
stop := false
for {
select {
case <-ticker.C:
speed := written - lastWtn
log.Printf("[*] Speed %s / %s \n", bytesToSize(speed), spaceTime.String())
if written-lastWtn == 0 {
ticker.Stop()
stop = true
break
}
lastWtn = written
}
if stop {
break
}
}
}
func bytesToSize(length int) string {
var k = 1024 // or 1024
var sizes = []string{"Bytes", "KB", "MB", "GB", "TB"}
if length == 0 {
return "0 Bytes"
}
i := math.Floor(math.Log(float64(length)) / math.Log(float64(k)))
r := float64(length) / math.Pow(float64(k), i)
return strconv.FormatFloat(r, 'f', 3, 64) + " " + sizes[int(i)]
}
以上这篇Golang 使用http Client下载文件的实现方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要为大家介绍了Go类型安全的HTTP请求示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2022-06-06
你在开发或者面试过程中，有没有遇到过 海量数据需要查重，缓存穿透怎么避免等等这样的问题呢？下面这个东西超棒，好好了解下，面试过关斩将，凸显你的不一样2022-10-10
今天小编就为大家分享一篇golang http连接复用方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-07-07
这篇文章主要介绍了go-cqhttp环境配置,包括go-cqhttp安装及简单介绍，本文结合示例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2022-09-09
这篇文章主要为大家详细介绍了Golang如何基于epoll实现最简单网络通信框架，文中的示例代码讲解详细，感兴趣的小伙伴可以跟随小编一起学习学习2023-06-06
Golang是一门非常流行的编程语言,在很多领域都有着广泛的应用,在开发过程中,很多时候我们需要将函数作为参数传递给其他函数,这时候就需要用到golang中的.()用法,本文将详细介绍golang中.()的使用方法,需要的朋友可以参考下2023-08-08
本文主要介绍了go连接mysql的项目实践，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2023-03-03
这篇文章主要介绍了解决goland新建项目文件名为红色的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-12-12
Golang是一种强大的编程语言,它的并发性和高性能使其成为开发GUI桌面应用的理想选择,Golang提供了丰富的标准库和第三方库,可以轻松地创建跨平台的GUI应用程序,通过使用Golang的GUI库,开发人员可以快速构建具有丰富用户界面和交互功能的应用程序,需要的朋友可以参考下2023-10-10
JWT提供了一种强大而灵活的方法来处理Web应用程序中的身份验证和授权,本教程将引导您逐步实现Go应用程序中的JWT身份验证过程,感兴趣的朋友跟随小编一起看看吧2024-03-03
最新评论