为什么在Linux上非阻塞TCP connect()有时会变得非常缓慢?

9

我正在编写一个TCP服务器,并尝试测量其速度。但是,我发现在测量connect()调用的速度时可能存在一个根本性问题:如果我以非阻塞方式连接,那么在几秒钟后,connect()操作会变得非常缓慢。以下是Python示例代码:

#! /usr/bin/python2.4
import errno
import os
import select
import socket
import sys
import time

def NonBlockingConnect(sock, addr):
  #time.sleep(0.0001)  # Fixes the problem.
  while True:
    try:
      return sock.connect(addr)
    except socket.error, e:
      if e.args[0] not in (errno.EINPROGRESS, errno.EALREADY):
        raise
      os.write(2, '^')
      if not select.select((), (sock,), (), 0.5)[1]:
        os.write(2, 'P')

def InfiniteClient(addr):
  while True:
    sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM, 0)
    sock.setblocking(0)
    sock.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
    # sock.connect(addr)
    NonBlockingConnect(sock, addr)
    sock.close()
    os.write(2, '.')

def InfiniteServer(server_socket):
  while True:
    sock, addr = server_socket.accept()
    sock.close()

server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM, 0)
server_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
server_socket.bind(('127.0.0.1', 45454))
server_socket.listen(128)

if os.fork():  # Parent.
  InfiniteServer(server_socket)
else:
  addr = server_socket.getsockname()
  server_socket.close()
  InfiniteClient(addr)

使用NonBlockingConnect,大多数connect()操作都很快,但每隔几秒钟就会发生一个需要至少2秒钟的connect()操作(由输出中连续5个P字母表示)。使用sock.connect而不是NonBlockingConnect,所有connect操作似乎都很快。
如何摆脱这些慢速的connect()呢?
我正在运行带有标准PAE内核的Ubuntu Karmic桌面版。
Linux narancs 2.6.31-20-generic-pae #57-Ubuntu SMP Mon Feb 8 10:23:59 UTC 2010 i686 GNU/Linux

如果使用strace -f ./conn.py没有延迟,这很奇怪。

如果我取消注释非常快的time.sleep仍然没有延迟,这也很奇怪。

在我的Ubuntu Hardy系统上没有延迟,这也很奇怪。

所有这些系统都受到影响(运行Ubuntu Karmic、Ubuntu Hardy、Debian Etch):

Linux narancs 2.6.31-20-generic-pae #57-Ubuntu SMP Mon Feb 8 10:23:59 UTC 2010 i686 GNU/Linux
Linux t 2.6.24-grsec #1 SMP Thu Apr 24 14:15:58 CEST 2008 x86_64 GNU/Linux
Linux geekpad 2.6.24-24-generic #1 SMP Fri Sep 18 16:49:39 UTC 2009 i686 GNU/Linux

以下的Debian Lenny系统不受影响,这很奇怪:

Linux t 2.6.31.5 #2 SMP Thu Nov 5 15:33:05 CET 2009 i686 GNU/Linux

提供信息,如果我使用AF_UNIX套接字,则没有延迟。

提供信息,如果我使用C语言实现客户端,我会得到相同的行为:

/* by pts@fazekas.hu at Sun Apr 25 20:47:24 CEST 2010 */
#include <arpa/inet.h>
#include <errno.h>
#include <fcntl.h>
#include <netinet/in.h>
#include <stdio.h>
#include <string.h>
#include <sys/select.h>
#include <sys/socket.h>
#include <unistd.h>

static int work(void) {
  fd_set rset;
  fd_set wset;
  fd_set eset;
  socklen_t sl; 
  struct timeval timeout;
  struct sockaddr_in sa;
  int sd, i, j;
  long l;
  sd = socket(AF_INET, SOCK_STREAM, 0);
  if (sd < 0) {
    perror("socket");
    return 2;
  }
  l = fcntl(sd, F_GETFL, 0);
  if (l < 0) {
    perror("fcntl-getfl");
    close(sd);
    return 2;
  }
  if (0 != fcntl(sd, F_SETFL, l | O_NONBLOCK)) {
    perror("fcntl-setfl");
    close(sd);
    return 2;
  }
  memset(&sa, '\0', sizeof(sa));
  sa.sin_family = AF_INET;
  sa.sin_port = htons(45454);
  sa.sin_addr.s_addr = inet_addr("127.0.0.1");
  while (0 != connect(sd, (struct sockaddr*)&sa, sizeof sa)) {
    if (errno != EAGAIN && errno != EINPROGRESS && errno != EALREADY) {
      perror("connect");
      close(sd);
      return 2;
    }
    FD_ZERO(&rset);
    FD_ZERO(&wset);
    FD_ZERO(&eset);

    j = 0;
    do {
      timeout.tv_sec = 0;
      timeout.tv_usec = 100 * 1000;  /* 0.1 sec */
      FD_SET(sd, &wset);
      FD_SET(sd, &eset);
      i = select(sd + 1, &rset, &wset, &eset, &timeout);
      if (i < 0) {
        perror("select");
        close(sd);
        return 2;
      }  
      if (++j == 5) {
        (void)write(2, "P", 1);
        j = 0;
      }
    } while (i == 0);
    sl = sizeof i;
    if (0 != getsockopt(sd, SOL_SOCKET, SO_ERROR, &i, &sl)) {
      perror("getsockopt");
      close(sd);
      return 2;
    }
    if (i != 0) {
      if (i == ECONNRESET) {
        (void)write(2, "R", 1);
        close(sd);
        return -3;
      }
      fprintf(stderr, "connect-SO_ERROR: %s\n", strerror(i));
      close(sd);
      return 2;
    }
  }
  close(sd);
  return 0;
}

int main(int argc, char**argv) {
  int i;
  (void)argc;
  (void)argv;
  while ((i = work()) <= 0) (void)write(2, ".", 1);
  return i;
}
2个回答

1

考虑到睡眠和strace会导致问题消失,看起来是一些调度问题,即服务器进程没有被调度以接受连接。尽管在2秒的时间内不调度服务器是非常长的时间。

也许像latencytop这样的工具可以帮助揭示正在发生的事情。我认为你只能在Karmic(2.6.31)上运行它,因为其他内核太旧了。


1
服务器进程确实被调度了。当我在服务器进程中执行非阻塞accept() + select()时,select()会超时返回。所以1.服务器执行非阻塞accept(); 2.服务器执行select(timeout=3) 3.客户端执行非阻塞connect(); 4.服务器执行select(timeout=3); 5.两个select()都会超时返回。因此,服务器想要接受连接,客户端想要连接,那么为什么每500次才会发生连接呢? - pts

1
你确定是 connect() 调用变慢了吗?在大多数库中,DNS解析通常都是阻塞的。请检查是否始终使用IP地址会有所不同。

我正在运行我在问题中包含的代码。那里没有DNS解析。 - pts
请注意,如果host不像一个IP地址,sock.connect((host,port))将会愉快地解析它。 - Javier
1
我知道 sock.connect((host, port)) 会解析 host。但在我的情况下,这完全不相关,在问题的示例代码中,我使用 IP 地址,但仍然很慢。此外,我使用 strace 分析了程序,它没有尝试任何 DNS 解析或其他明显缓慢的操作。 - pts

网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接