为什么 Golang 的 http.ResponseWriter 执行会被延迟？

Question

我试图在请求接收后立即发送页面响应，然后处理一些内容，但是我发现响应并没有按照代码顺序“先”被发送。在现实生活中，我有一个用于上传Excel表格的页面，这个表格会保存到数据库中，需要花费一定时间（50,0000+行），我希望更新用户进度。以下是一个简化的示例；（根据您拥有的RAM大小，您可能需要将几个零添加到计数器中以查看结果）

package main

import (
    "fmt"
    "net/http"
)

func writeAndCount(w http.ResponseWriter, r *http.Request) {
    w.Write([]byte("Starting to count"))

    for i := 0; i < 1000000; i++ {

        if i%1000 == 0 {
            fmt.Println(i)
        }
    }
    w.Write([]byte("Finished counting"))

}

func main() {
    http.HandleFunc("/", writeAndCount)
    http.ListenAndServe(":8080", nil)

}

- MoishAsh

---

如果您正在使用默认的 http.ResponseWriter，您可以尝试使用 Flush()：https://golang.org/pkg/net/http/#Flusher - abhink

相关 https://dev59.com/hWIk5IYBdhLWcg3wbdnx - user4466350

Answer 1

HTTP协议的最初概念是一个简单的请求-响应服务器-客户端计算模型。没有流式或“连续”客户端更新支持。客户端必须首先联系服务器以获取某种信息。

此外，由于大多数Web服务器会缓存响应直到完全准备好（或达到某个限制-通常是缓冲区大小），因此您向客户端写入（发送）的数据不会立即传输。

为了解决这个“限制”，开发了几种技术，使服务器能够通知客户端有关更改或进度的情况，例如HTTP长轮询、HTTP流、HTTP/2服务器推送或Websockets。您可以在此答案中阅读更多相关内容：是否存在真正的http服务器推送？

因此，要实现您想要的功能，您必须绕过HTTP协议的原始“边界”。

如果您想定期发送数据或将数据流式传输到客户端，则必须告诉服务器。最简单的方法是检查传递给您的http.ResponseWriter是否实现了http.Flusher接口（使用type assertion），如果是，则调用其Flusher.Flush()方法将发送任何缓冲数据到客户端。

使用http.Flusher只是解决方案的一半。由于这是HTTP协议的非标准用法，通常还需要客户端支持才能正确处理此问题。

首先，您必须通过设置ContentType=text/event-stream响应标头来让客户端知道响应的“流式传输”特性。

接下来，为了避免客户端缓存响应，请确保还设置了Cache-Control=no-cache。

最后，为了让客户端知道您可能不会将响应作为单个单位发送（而是作为定期更新或流式传输），因此客户端应保持连接保持活动状态并等待进一步的数据，请设置Connection=keep-alive响应标头。

一旦设置了上述响应标头，您可以开始长时间工作，并且每当您想要更新客户端有关进度的信息时，请编写一些数据并调用Flusher.Flush()。

让我们看一个简单的例子，它做到了“正确”：

func longHandler(w http.ResponseWriter, r *http.Request) {
    flusher, ok := w.(http.Flusher)
    if !ok {
        http.Error(w, "Server does not support Flusher!",
            http.StatusInternalServerError)
        return
    }

    w.Header().Set("Content-Type", "text/event-stream")
    w.Header().Set("Cache-Control", "no-cache")
    w.Header().Set("Connection", "keep-alive")

    start := time.Now()
    for rows, max := 0, 50*1000; rows < max; {
        time.Sleep(time.Second) // Simulating work...
        rows += 10 * 1000
        fmt.Fprintf(w, "Rows done: %d (%d%%), elapsed: %v\n",
            rows, rows*100/max, time.Since(start).Truncate(time.Millisecond))
        flusher.Flush()
    }
}

func main() {
    http.HandleFunc("/long", longHandler)
    panic(http.ListenAndServe("localhost:8080", nil))
}

现在，如果您在浏览器中打开http://localhost:8080/long，您将看到每秒钟输出“增长”：

Rows done: 10000 (20%), elapsed: 1s
Rows done: 20000 (40%), elapsed: 2s
Rows done: 30000 (60%), elapsed: 3s
Rows done: 40000 (80%), elapsed: 4.001s
Rows done: 50000 (100%), elapsed: 5.001s

请注意，使用SSE时，您应该将更新“打包”到SSE帧中，即您应该以"data:"前缀开始它们，并以2个换行符"\n\n"结束每个帧。

“文献”和进一步阅读/教程

了解更多关于维基百科上的服务器发送事件。

查看Golang HTML5 SSE示例。

查看使用它的客户端代码的Golang SSE服务器示例。

查看w3school.com的服务器发送事件-单向消息传递教程。

- icza

---

非常感谢您详细的回答，我已经尝试了您的解决方案，但是在我的看来，它似乎只有在完成循环后才会执行一次flush操作，因为它会一次性显示所有的“Rows done:”消息，而不是每10,000行计数就显示一次。如果将time.Sleep增加到10 * time.Second，则这更加明显。 - MoishAsh

@MoishAsh 对我来说，它的工作效果与预期相符。您使用哪个客户端/浏览器？ - icza

我使用Chrome，现在也测试了Firefox，两者都会在延迟后一次性打印所有消息。 - MoishAsh

@MoishAsh 如果我把沉睡时间改为10秒，这个方法对我也有效；接着我就可以在浏览器窗口中每隔10秒看到一行新的内容出现。 - icza

我在Sophos防火墙后面，这导致浏览器显示问题。链接 - MoishAsh

Answer 2

你可以检查ResponseWriter是否是http.Flusher，如果是，则强制刷新至网络：

if f, ok := w.(http.Flusher); ok {
    f.Flush()
}

然而，请注意这是一个非常不寻常的HTTP处理程序。像终端一样将进度消息流式传输到响应中存在几个问题，特别是如果客户端是Web浏览器。

您可能需要考虑与HTTP性质更相适应的内容，例如立即返回202 Accepted响应，并提供一个唯一标识符，客户端可以使用后续调用您的API来检查处理状态。

- Adrian

---

如果我理解正确，flush 是用于更新响应的，但是我有一个问题，即使最初的响应也不会立即执行，因此 w.WriteHeader(http.StatusAccepted) 仍然会延迟。 - MoishAsh

写入器会缓存您写入的任何内容。Flush会导致它在自动执行之前将缓冲区中的内容发送到客户端。 - Adrian

如果响应头尚未写入网络，则 Flush 将使用任何缓冲的响应正文数据写入响应头（包括使用 w.WriteHeader 设置的状态）。 - Charlie Tumahai

在Go 1.20或更高版本中，请使用ResponseController.Flush而不是此答案中显示的类型断言。 - Charlie Tumahai