当客户端连接处于打开状态时关闭Netty服务器

Question

我正在尝试关闭一个有开放连接的Netty服务器，但它却一直挂起。下面是我的操作步骤：

1. 在一台机器上启动服务器，在另一台机器上启动客户端。 2. 从客户端向服务器发送消息，并收到响应。 3. 使用Ctrl-C关闭服务器。

我在服务器上注册了一个关闭钩子，它会关闭ChannelGroup并在ServerBootstrap上调用releaseExternalResources方法（实际上我使用的是protobuf-pro-duplex库的DuplexTcpServerBootstrap）。无论如何，关闭钩子会在关闭时被正确地调用，但它从未返回。当我查看线程转储以了解正在发生的情况时，可以看到两个有趣的堆栈：

   java.lang.Thread.State: TIMED_WAITING (parking)
    at sun.misc.Unsafe.park(Native Method)
    - parking to wait for  <0x00000006b0890950> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject)
    at java.util.concurrent.locks.LockSupport.parkNanos(LockSupport.java:226)
    at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.awaitNanos(AbstractQueuedSynchronizer.java:2082)
    at java.util.concurrent.ThreadPoolExecutor.awaitTermination(ThreadPoolExecutor.java:1433)
    at org.jboss.netty.util.internal.ExecutorUtil.terminate(ExecutorUtil.java:103)
    at org.jboss.netty.channel.socket.nio.AbstractNioWorkerPool.releaseExternalResources(AbstractNioWorkerPool.java:80)
    at org.jboss.netty.channel.socket.nio.NioServerSocketChannelFactory.releaseExternalResources(NioServerSocketChannelFactory.java:162)
    at org.jboss.netty.bootstrap.Bootstrap.releaseExternalResources(Bootstrap.java:319)
    at com.googlecode.protobuf.pro.duplex.server.DuplexTcpServerBootstrap.releaseExternalResources(DuplexTcpServerBootstrap.java:132)
    at com.xxx.yyy.node.NodeServer$2.run(NodeServer.java:104)
    at java.lang.Thread.run(Thread.java:722)

这是一个永远不会返回的关闭钩子线程。下面是另一个似乎在等待通道的线程：

   java.lang.Thread.State: RUNNABLE
    at sun.nio.ch.EPollArrayWrapper.interrupt(Native Method)
    at sun.nio.ch.EPollArrayWrapper.interrupt(EPollArrayWrapper.java:274)
    at sun.nio.ch.EPollSelectorImpl.wakeup(EPollSelectorImpl.java:193)
    - locked <0x00000006b0896660> (a java.lang.Object)
    at java.nio.channels.spi.AbstractSelector$1.interrupt(AbstractSelector.java:210)
    at java.nio.channels.spi.AbstractSelector.begin(AbstractSelector.java:216)
    at sun.nio.ch.EPollSelectorImpl.doSelect(EPollSelectorImpl.java:80)
    at sun.nio.ch.SelectorImpl.lockAndDoSelect(SelectorImpl.java:87)
    - locked <0x00000006b08964a8> (a sun.nio.ch.Util$2)
    - locked <0x00000006b0896498> (a java.util.Collections$UnmodifiableSet)
    - locked <0x00000006b0890d20> (a sun.nio.ch.EPollSelectorImpl)
    at sun.nio.ch.SelectorImpl.select(SelectorImpl.java:98)
    at org.jboss.netty.channel.socket.nio.SelectorUtil.select(SelectorUtil.java:52)
    at org.jboss.netty.channel.socket.nio.AbstractNioWorker.run(AbstractNioWorker.java:208)
    at org.jboss.netty.channel.socket.nio.NioWorker.run(NioWorker.java:38)
    at org.jboss.netty.util.ThreadRenamingRunnable.run(ThreadRenamingRunnable.java:102)
    at org.jboss.netty.util.internal.DeadLockProofWorker$1.run(DeadLockProofWorker.java:42)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1110)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:603)
    at java.lang.Thread.run(Thread.java:722)

我正在使用在Linux上使用Java 7.04的Netty 3.4.6.Final。谢谢！

祝好， Frank。

- frank.durden

---

你能发布你的关闭挂钩代码吗？ - Nicholas

Answer 1

我曾经在裸的Netty客户端/服务器中遇到相同的“问题”。问题在于，关闭服务器通道并不会关闭为接受的客户端连接创建的打开通道。必须显式地在服务器中跟踪客户端通道。可以使用通道组和将客户端通道添加到该组的处理程序来完成此操作。

当涉及关闭服务器时，应该以类似批处理的方式关闭组中的所有通道，而不仅仅是一个服务器通道（也可以放入通道组中）。

在用户指南中有出色的文档（9.关闭应用程序）：http://static.netty.io/3.5/guide/ 和 ChannelGroup API 文档（使用 ChannelGroup 简化关闭过程）：http://static.netty.io/3.5/api/org/jboss/netty/channel/group/ChannelGroup.html

- Horst Dehmer

Answer 2

我曾经遇到同样的问题并解决了它。

你需要同步关闭所有 EventLoopGroup，然后关闭端口。

完全关闭可能需要4-5秒钟。

以下是示例代码（我认为你应该制作一个简单的 GUI，包含 开始 和 停止 按钮来测试它）：

public class ReusePortServer {
    private final int port;
    ChannelFuture f;
    EventLoopGroup group;
    EpollEventLoopGroup bossGroup;
    EpollEventLoopGroup workerGroup;


    public ReusePortServer(int port) {
        this.port = port;
    }

    public void start() throws Exception {

        group = new EpollEventLoopGroup();

        bossGroup = new EpollEventLoopGroup();
        workerGroup = new EpollEventLoopGroup();

        ServerBootstrap b = new ServerBootstrap();
        b.group(bossGroup, workerGroup)
                .channel(EpollServerSocketChannel.class)
                .option(EpollChannelOption.SO_REUSEPORT, true)
                .childHandler(new ChannelInitializer<SocketChannel>() {
                    @Override
                    public void initChannel(SocketChannel ch) throws Exception {
                        ch.pipeline().addLast(new ReusePortHandler());
                    }
                });

        f = b.bind(port).sync();
        log(String.format("%s started and listen on %s", ReusePortServer.class.getName(), f.channel().localAddress()));
    }

    private final static SimpleDateFormat datefmt = new SimpleDateFormat("HH:mm:ss ");

    public static void log(final String msg) {
        System.out.print(datefmt.format(new Date()));
        System.out.println(msg);
        System.out.flush();
    }

    public void stop() {
        System.out.println("ReusePortServer.stop");
        try {
            // shutdown EventLoopGroup
            bossGroup.shutdownGracefully().sync();
            workerGroup.shutdownGracefully().sync();
            f.channel().closeFuture().sync();   // close port

        } catch (InterruptedException e) {
            e.printStackTrace();
        }
    }

    public static void main(final String[] args) throws Exception {
        int port = 12345;
        new ReusePortServer(port).start();
    }
}

注意：您可以将EpollEventLoopGroup更改为任何您想要的EventLoopGroup。

- thangdc94

Answer 3

Netty服务器关闭

1. 关闭服务器通道
2. 关闭boss和worker执行器
3. 释放服务器引导资源

示例代码

ChannelFuture cf = serverChannel.close();
cf.awaitUninterruptibly();
bossExecutor.shutdown();
workerExecutor.shutdown();
thriftServer.releaseExternalResources();

- Jini Kim