Go客户端程序在TIME_WAIT状态下生成了大量的套接字

Question

Go客户端程序在TIME_WAIT状态下生成了大量的套接字

httpgoclienttime-wait

12

我有一个Go程序，它使用多个goroutine生成大量的HTTP请求。运行一段时间后，程序会输出一个错误：connect: cannot assign requested address。

在使用netstat检查时，我看到了高数量（28229）的TIME_WAIT连接。

当goroutine数量为3时，TIME_WAIT套接字的数量过高，当数量为5时导致崩溃。

我在Docker下运行Ubuntu 14.4和go version 1.7。

这是Go程序。

package main

import (
        "io/ioutil"
        "log"
        "net/http"
        "sync"
)
var wg sync.WaitGroup
var url="http://172.17.0.9:3000/";
const num_coroutines=5;
const num_request_per_coroutine=100000
func get_page(){
        response, err := http.Get(url)
        if err != nil {
                log.Fatal(err)
        } else {
                defer response.Body.Close()
                _, err =ioutil.ReadAll(response.Body)
                if err != nil {
                        log.Fatal(err)
                }
        }

}
func get_pages(){
        defer wg.Done()
        for i := 0; i < num_request_per_coroutine; i++{
                get_page();
        }
}

func main() {
        for i:=0;i<num_coroutines;i++{
                wg.Add(1)
                go get_pages()
        }
        wg.Wait()
}

这是服务器程序：

package main

import (
    "fmt"
    "net/http"
    "log"
)
var count int;
func sayhelloName(w http.ResponseWriter, r *http.Request) {
    count++;
    fmt.Fprintf(w,"Hello World, count is %d",count) // send data to client side
}

func main() {
    http.HandleFunc("/", sayhelloName) // set router
    err := http.ListenAndServe(":3000", nil) // set listen port
    if err != nil {
        log.Fatal("ListenAndServe: ", err)
    }
}

- yigal

2

TIME_WAIT是关闭连接后正常的TCP状态。你在这里究竟想要测试什么？ - JimB

JimB，我正在尝试对Web服务器http://172.17.0.9:3000/进行压力测试，并希望仅使用一台客户机来完成。我知道这是可能的，因为如果将num_coroutines设置为2，则没有问题。但我想使用多个协程。 - yigal

你的服务器连接开启和关闭得太快了。你测试的服务器是否预期重用http/1.1连接，还是在每个请求后关闭连接？ - JimB

JimB，服务器程序非常简单 - 我添加到了问题中。我不认为它正在使用保持连接。 - yigal

不，服务器默认使用http/1.1。问题部分原因是服务器太简单，没有真正做任何工作，并且基准测试“hello world”并不能证明任何事情，因为客户端和服务器一样被测试，同时还有来自操作系统和网络堆栈的混淆问题。（也请参见https://dev59.com/iF0a5IYBdhLWcg3waYGM）。 - JimB

在“TIME_WAIT是关闭连接后正常的TCP状态”的回答中，添加了更多的上下文：https://serverfault.com/a/23395/117206 - Brent Bradburn

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- JimB · Accepted Answer

默认的http.Transport打开和关闭连接太快了。由于所有连接都是到同一主机：端口组合，您需要增加MaxIdleConnsPerHost以匹配您的num_coroutines值。否则，传输将频繁关闭额外的连接，只会立即重新打开。

您可以在默认传输上全局设置此选项：

http.DefaultTransport.(*http.Transport).MaxIdleConnsPerHost = numCoroutines

或者当您创建自己的传输时

t := &http.Transport{
    Proxy: http.ProxyFromEnvironment,
    DialContext: (&net.Dialer{
        Timeout:   30 * time.Second,
        KeepAlive: 30 * time.Second,
    }).DialContext,
    MaxIdleConnsPerHost:   numCoroutines,
    MaxIdleConns:          100,
    IdleConnTimeout:       90 * time.Second,
    TLSHandshakeTimeout:   10 * time.Second,
    ExpectContinueTimeout: 1 * time.Second,
}

类似问题：Go http.Get、并发和“连接被对等方重置”