Linux中是否有sendfile的异步版本？

Question

Linux中是否有sendfile的异步版本？

4

io_getevents通知机制乍一看似乎非常能胜任，因此我希望找到可以与之配合使用的东西。但是我还没有找到合适的东西。在Windows上，这很容易：只有TransmitFile，它可以异步（重叠）工作，并且如果需要的话，可以使用一些通知机制（IOCP、事件）。在Linux上肯定也有相应的等效物，对吧？或者说，为了让我的问题更具体一些，我该如何在Linux上创建一个高效的文件服务器？

- purefanatic

如果套接字是非阻塞的，那么sendfile也是如此（它将报告在套接字的“缓冲区”中计划发送多少数据）。您需要轮询套接字以查看何时可以继续sendfile操作（参见epoll）... 或者更好的办法是使用一个为您完成此操作的库。 - Myst

@Myst Mh，当我想到异步I/O时，我会考虑到那些可以在任意时间开始并在完成时得到通知的操作。但是使用epoll+sendfile，我必须首先等待发送缓冲区可用，然后调用sendfile将一定数量的数据复制到这些缓冲区（同步执行！），反复进行该过程。 - purefanatic

1

另外，我读到了即使在使用非阻塞套接字时，sendfile可能仍然会阻塞的情况，并且可以通过使用readahead来解决这个问题：http://brad.livejournal.com/2228488.html。这引入了更复杂的应用程序设计和更多的延迟，因为在实际工作之前需要进行多次上下文切换。我并不真正满意整个“非阻塞”方法。 - purefanatic

@Myst 好的，但是sendfile文档有些误导。它明确说：“如果传输成功，返回写入到out_fd的字节数。”此外，非阻塞的send/recv必须同步复制，没有其他方法。但这不是重点。例如，我想同时进行多个发送操作。我认为使用非阻塞套接字+epoll是不可能的，对吗？使用真正的异步I/O，我可以排队一些头部，然后是实际的文件数据。操作系统可以在适当时候开始发送我的头部，并及时预取文件数据。 - purefanatic

是的，你可能是对的。我发现 epoll 在应用设计和性能方面都有一定的局限性。我觉得内核异步 I/O API 更吸引人，但似乎还不支持 sendfile。 - purefanatic

显示剩余2条评论

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Anon · Accepted Answer

哎呀，对于您来说，在Linux上没有什么是容易的，几乎任何事情都可能在错误的情况下被阻塞（甚至包括io_submit）。回答您的问题（标题和正文中）：

(2019) Linux没有提供sendfile的系统级异步版本（Linux不是Windows或FreeBSD）。有一篇优秀的文章涵盖了sendfile阻塞、注意事项和想法，在TANK分布式日志问题中。其中指出lighttpd提出了一个“异步”sendfile的hack，但它很复杂并使用线程。
在Linux上创建高效的文件服务器需要不同的思维方式，与Windows不同。看看NGINX关于如何在Linux上加速的博客文章或这个Scylla关于不同I/O访问方法的博客文章，以了解其中的权衡取舍。

这就是现实...

未来（2020年及以后）的解决方案

有一个建议是，一些未来的Linux内核（晚于5.5，因为在撰写本文时已经更新到了5.5-rc7）可以通过io_uring实现异步sendfile，如果io_uring获得对splice()的支持...