脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → Golang → Go语言HTTP请求

Go语言HTTP请求流式写入body的示例代码

 更新时间：2020年06月03日 09:28:11   作者：mokeyWie  
这篇文章主要介绍了Go语言HTTP请求流式写入body,本文通过示例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下

背景

最近在开发一个功能时，需要通过 http 协议上报大量的日志内容，但是在 Go 标准库里的 http client 的 API 是这样的：

http.NewRequest(method, url string, body io.Reader)

body 是通过 io.Reader 接口来传递，并没有暴露一个 io.Writer 接口来提供写入的办法，先来看看正常情况下怎么写入一个 body ，示例：

需要先把要写

buf := bytes.NewBuffer([]byte("hello"))
http.Post("localhost:8099/report","text/pain",buf)

入的数据放在 Buffer 中，放内存缓存着，但是我需要写入 大量 的数据，如果都放内存里肯定要 OOM 了，http client 并没有提供 流式写入 的方法，我这么大的数据量直接用 Buffer 肯定是不行的，最后在 google 了一番之后找到了解决办法。

使用 io.pipe

调用 io.pipe() 方法会返回 Reader 和 Writer 接口实现对象，通过 Writer 写数据， Reader 就可以读到，利用这个特性就可以实现流式的写入，开一个协程来写，然后把 Reader 传递到方法中，就可以实现 http client body 的流式写入了。

代码示例：

pr, rw := io.Pipe()
// 开协程写入大量数据
go func(){
 for i := 0; i < 100000; i++ {
 rw.Write([]byte(fmt.Sprintf("line:%d\r\n", i)))
 }
 rw.Close()
}()
// 传递Reader
http.Post("localhost:8099/report","text/pain",buf)

源码阅读 目的

了解 go 中 http client 对于 body 的传输是如何处理的。

开始

在构建 Request 的时候，会断言 body 参数的类型，当类型为 *bytes.Buffer 、 *bytes.Reader 、 *strings.Reader 的时候，可以直接通过 Len() 方法取出长度，用于 Content-Length 请求头，相关代码net/http/request.go#L872-L914 ：

if body != nil {
 switch v := body.(type) {
 case *bytes.Buffer:
 req.ContentLength = int64(v.Len())
 buf := v.Bytes()
 req.GetBody = func() (io.ReadCloser, error) {
  r := bytes.NewReader(buf)
  return ioutil.NopCloser(r), nil
 }
 case *bytes.Reader:
 req.ContentLength = int64(v.Len())
 snapshot := *v
 req.GetBody = func() (io.ReadCloser, error) {
  r := snapshot
  return ioutil.NopCloser(&r), nil
 }
 case *strings.Reader:
 req.ContentLength = int64(v.Len())
 snapshot := *v
 req.GetBody = func() (io.ReadCloser, error) {
  r := snapshot
  return ioutil.NopCloser(&r), nil
 }
 default:
 }
 if req.GetBody != nil && req.ContentLength == 0 {
 req.Body = NoBody
 req.GetBody = func() (io.ReadCloser, error) { return NoBody, nil }
 }
}

在链接建立的时候，会通过 body 和上一步中得到的 ContentLength 来进行判断，如果 body!=nil 并且 ContentLength==0 时，可能就会启用 Chunked 编码进行传输，相关代码 net/http/transfer.go#L82-L96  ：

case *Request:
 if rr.ContentLength != 0 && rr.Body == nil {
 return nil, fmt.Errorf("http: Request.ContentLength=%d with nil Body", rr.ContentLength)
 }
 t.Method = valueOrDefault(rr.Method, "GET")
 t.Close = rr.Close
 t.TransferEncoding = rr.TransferEncoding
 t.Header = rr.Header
 t.Trailer = rr.Trailer
 t.Body = rr.Body
 t.BodyCloser = rr.Body
 // 当body为非nil，并且ContentLength==0时，这里返回-1
 t.ContentLength = rr.outgoingLength()
 // TransferEncoding没有手动设置，并且请求方法为PUT、POST、PATCH时，会启用chunked编码传输
 if t.ContentLength < 0 && len(t.TransferEncoding) == 0 && t.shouldSendChunkedRequestBody() {
 t.TransferEncoding = []string{"chunked"}
 }

验证(一)

按照对源码的理解，可以得知在使用 io.pipe() 方法进行流式传输时，会使用 chunked 编码进行传输，通过以下代码进行验证：

服务端

func main(){
 http.HandleFunc("/report", func(writer http.ResponseWriter, request *http.Request) {

 })
 http.ListenAndServe(":8099", nil)
}

客户端

func main(){
 pr, rw := io.Pipe()
 go func(){
 for i := 0; i < 100; i++ {
  rw.Write([]byte(fmt.Sprintf("line:%d\r\n", i)))
 }
 rw.Close()
 }()
 http.Post("localhost:8099/report","text/pain",buf)
}

先运行服务端，然后运行客户端，并且使用 WireShake 进行抓包分析，结果如下：

可以看到和预想的结果一样。

验证(二)

在数据量大的时候 chunked 编码会增加额外的开销，包括编解码和额外的报文开销，能不能不用 chunked 编码来进行 流式传输 呢？通过源码可以得知，当 ContentLength 不为 0 时，如果能预先计算出待传输的 body size ，是不是就能避免 chunked 编码呢？思路就到这，接着就是写代码验证：

服务端

func main(){
 http.HandleFunc("/report", func(writer http.ResponseWriter, request *http.Request) {

 })
 http.ListenAndServe(":8099", nil)
}

客户端

count := 100
line := []byte("line\r\n")
pr, rw := io.Pipe()
go func() {
 for i := 0; i < count; i++ {
 rw.Write(line)
 }
 rw.Close()
}()
// 构造request对象
request, err := http.NewRequest("POST", "http://localhost:8099/report", pr)
if err != nil {
 log.Fatal(err)
}
// 提前计算出ContentLength
request.ContentLength = int64(len(line) * count)
// 发起请求
http.DefaultClient.Do(request)

抓包结果：

可以看到确实直接使用的 Content-Length 进行传输，没有进行 chunked 编码了。

总结

本文的目的主要是记录 go 语言中 http client 如何进行流式的写入，并通过阅读源码了解 http client 内部对 body 的写入是如何进行处理的，通过两个验证可以得知，如果能提前计算出 ContentLength 并且对性能要求比较苛刻的情况下，可以通过手动设置 ContentLength 来优化性能。

到此这篇关于Go语言HTTP请求流式写入body的文章就介绍到这了,更多相关Go语言HTTP请求内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

相关文章

  • 用Go写一个轻量级的ssh批量操作工具的方法

    用Go写一个轻量级的ssh批量操作工具的方法

    这篇文章主要介绍了用Go写一个轻量级的ssh批量操作工具的方法，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
    2018-02-02
  • Go语言使用singleflight解决缓存击穿

    Go语言使用singleflight解决缓存击穿

    在构建高性能的服务时,缓存是优化数据库压力和提高响应速度的关键技术,但使用缓存也会带来一些问题,其中就包括缓存击穿,下面我们就来看看Go语言中如何使用singleflight解决缓存击穿问题吧
    2024-03-03
  • golang gorm框架数据库的连接操作示例

    golang gorm框架数据库的连接操作示例

    这篇文章主要为大家介绍了golang gorm框架数据库操作示例，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步早日升职加薪
    2022-04-04
  • 一文带大家了解Go语言中的内联优化

    一文带大家了解Go语言中的内联优化

    内联优化是一种常见的编译器优化策略，通俗来讲，就是把函数在它被调用的地方展开，这样可以减少函数调用所带来的开销，本文主要为大家介绍了Go中内联优化的具体使用，需要的可以参考下
    2023-05-05
  • GoLand 使用自定义包的实现步骤

    GoLand 使用自定义包的实现步骤

    包是Go语言中代码组成和代码编译的主要方式,本文主要介绍了GoLand 使用自定义包的实现步骤,具有一定的参考价值,感兴趣的可以了解一下
    2024-06-06
  • golang 函数返回chan类型的操作

    golang 函数返回chan类型的操作

    这篇文章主要介绍了golang 函数返回chan类型的操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2021-04-04
  • 重学Go语言之数组的具体使用详解

    重学Go语言之数组的具体使用详解

    Go的数组是一种复合数据类型，在平时开发中并不常用，更常用的是切片(slice)，可以把切片看作是能动态扩容的数组，切片的底层数据结构就是数组，所以数组虽不常用，但仍然有必要掌握
    2023-02-02
  • golang中数组与切片的区别详析

    golang中数组与切片的区别详析

    数组是固定长度,常量,切片长度是可以改变,所以是一个可变的数组,下面这篇文章主要给大家介绍了关于golang中数组与切片区别的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下
    2022-11-11
  • Golang并发之RWMutex的用法详解

    Golang并发之RWMutex的用法详解

    在 Go 语言中，RWMutex 是一种读写互斥锁的实现，它提供了一种简单有效的方式来管理对共享资源的并发访问。本文就来和大家详细聊聊RWMutex的用法吧
    2023-04-04
  • 如何利用Golang写出高并发代码详解

    如何利用Golang写出高并发代码详解

    今天领导问起为什么用Golang,同事回答语法简单,语言新,支持高并发。那高并发到底如何实现，下面这篇文章主要给大家介绍了关于如何利用Golang写出高并发代码的相关资料，文中通过示例代码介绍的非常详细，需要的朋友可以参考借鉴，下面来一起看看吧。
    2017-09-09

最新评论