golang HTTP 服务器 处理 日志/Stream流的操作
目前，我开发 HTTP 服务， 用的是 beego框架， 方便了很多。
但是， 有时候，还是会遇到一些 特殊的场景。
比如： 过滤日志。
这应该是一种典型的stream，同时数据量也适中， 不会有人，为了这个， 就用一些很重的框架。
可以这样直观的描述这个 逻辑
其他组件 产生 log
||
\ /
我的组件，业务处理
||
\ /
用户， http client
这种情景下， 有几个特殊点：
1. 难以用 string，或者 byte 数组 收集数据
2. 数据Source 端，不断的有数据产生
3. 数据缓冲，如果占有的 内存太多， 可能导致 服务崩溃
通常情况下，我们准备好数据， 然后调用Beego框架的方法，将数据发送到客户端，就不管了。
而如果，我们需要根据处理的情况，多次写数据到客户端，该怎么办呢？
首先，对于 这种简单的 流数据， golang 提供了一个 结构。
pipeReader, pipeWriter := io.Pipe()
这个方法的原型是这样的
func Pipe() (*PipeReader, *PipeWriter)
它返回紧密相连的一对 Reader 和 Writer。 他们的“生命周期”相同。
任何 写到 Writer中的数据， 直接流到了Reader中。这个 和 Linux 命令行中 “管道 |” 很像。
我们先开个goroutine 接收 日志数据
go func () {
for {
var log []byte
//log =
pipeWriter.Write(log)
//break;
}
pipeWriter.CloseWithError(io.EOF)
}
主逻辑中， 处理日志
defer pipeReader.Close()
rr := bufio.NewReader(io.Reader(pipeReader))
for {
line, err := rr.ReadBytes('\n')
if io.EOF == err {
break
}
........
}
最后， 输出到客户端
var out []byte ctl.Ctx.ResponseWriter.Write(out) ctl.Ctx.ResponseWriter.Flush()
总结：
iopipe 直接 对接了 日志输出， 缓冲很小，
处理后的结果， 直接输出到 http 客户端。
尤其是第二点，很重要，我在处理这个逻辑的时候， 发现服务器，有几次意外崩溃，后来，才意识到，beego的controller 如果缓冲 处理后的数据，有可能仍然占有大量内存。
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。如有错误或未考虑完全的地方，望不吝赐教。
相关文章
Go语言追求简洁优雅，所以，Go语言不支持传统的 try…catch…finally 这种异常，因为Go语言的设计者们认为，将异常与控制结构混在一起会很容易使得代码变得混乱，今天给大家介绍golang panic及处理机制，需要的朋友参考下吧2021-08-08
Golang服务请求调度是一种使用Go语言实现的服务请求管理方法,本文主要介绍了Golang服务的请求调度的实现,具有一定的参考价值,感兴趣的可以了解一下2023-08-08
将一个值从一种类型转换到另一种类型,便发生了类型转换,在go可以分为断言、强制、显式类型转换,本文就详细的介绍一下这就几种转换方式,具有一定的参考价值,感兴趣的可以了解一下2023-09-09
Go中的格式化字符串fmt.Sprintf()和fmt.Printf()使用示例
这篇文章主要为大家介绍了Go中的格式化字符串fmt.Sprintf()和fmt.Printf()使用示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2023-06-06
本文内容我们将解释连接池背后是如何工作的，并探索如何配置数据库能改变或优化其性能。文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2021-12-12
这篇文章主要介绍了Go语言 go程释放操作(退出/销毁)，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2021-04-04
这篇文章主要介绍了部署Go语言项目的 N 种方法(小结)，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-11-11
golang 输出重定向:fmt Log,子进程Log,第三方库logrus的详解
这篇文章主要介绍了golang 输出重定向:fmt Log,子进程Log,第三方库logrus的详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-12-12
这篇文章主要介绍了golang中strconv.ParseInt函数用法,实例分析了strconv.ParseInt函数将字符串转换为数字的简单使用方法,需要的朋友可以参考下2016-07-07
本文主要介绍了Go处理JSON数据的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2023-02-02
最新评论