使用多个网络接口卡广播UDP数据包

13

我正在为一个非实时Linux相机控制器构建一个嵌入式系统。我在让网络按照我的预期工作方面遇到了问题。这个系统有3个NIC,1个100base-T和2个千兆端口。我将较慢的那个连接到相机上(因为它只支持这种速度),而更快的两个则是点对点连接到其他机器上。我的目标是从相机中获取图像,进行一些处理,然后使用UDP广播到其他NIC。

以下是我的网络配置:

eth0: addr: 192.168.1.200 Bcast 192.168.1.255 Mask: 255.255.255.0(这是100base-t)
eth1: addr: 192.168.2.100 Bcast 192.168.2.255 Mask: 255.255.255.0
eth2: addr: 192.168.3.100 Bcast 192.168.3.255 Mask: 255.255.255.0

图像通过专有协议从eth0传入,因此它是原始套接字。我可以将其广播到eth1或eth2。但是当我尝试依次将其广播到两个以上时,eth0会出现很多网络故障和错误。

我使用以下方式初始化UDP套接字:

sock2=socket(AF_INET,SOCK_DGRAM,IPPROTO_UDP); // Or sock3
sa.sin_family=AF_INET;
sa.sin_port=htons(8000);
inet_aton("192.168.2.255",&sa.sin_addr); // Or 192.168.3.255
setsockopt(sock2, SOL_SOCKET, SO_BROADCAST, &broadcast, sizeof(broadcast));
bind(sock2,(sockaddr*)&sa,sizeof(sa));

sendto(sock2,&data,sizeof(data),0,(sockaddr*)&sa,sizeof(sa)); // sizeof(data)<1100 bytes
我为每个套接字分别执行此操作,并单独调用sendto。当我只执行其中一个操作时,一切正常。但当我尝试在两个套接字上发送时,eth0开始收到错误的数据包。
对此有何想法?这是配置错误吗?还有更好的方法吗?
编辑: 感谢所有帮助,我一直在尝试一些事情并进一步研究这个问题。问题似乎并不严格属于广播。我用单播命令替换了广播代码,它具有相同的行为。我认为我更加理解行为,但不知道如何修复它。
以下是发生的情况。在eth0上,我应该每50毫秒获得一次图像。当我在eth1(或2)上传输图像时,传输图像需要约1.5毫秒。当我同时在eth1和eth2上发送时,需要约45毫秒,并偶尔跳至90毫秒。当这超过50毫秒时间窗口时,eth0的缓冲区开始构建。当缓冲区满时,我会丢失数据包。
因此我的修订问题是,为什么从一个以太网端口变成两个端口就会从1.5毫秒变成45毫秒?
以下是我的初始化代码:
sock[i]=socket(AF_INET,SOCK_DGRAM,IPPROTO_UDP);
sa[i].sin_family=AF_INET;
sa[i].sin_port=htons(8000);
inet_aton(ip,&sa[i].sin_addr);

//If Broadcasting
char buffer[]="eth1" // or eth2
setsockopt(sock[i],SOL_SOCKET,SO_BINDTODEVICE,buffer,5);
int b=1;
setsockopt(sock[i],SOL_SOCKET,SO_BROADCAST,&b,sizeof(b));

这是我的发送代码:

for(i=0;i<65;i++) {
  sendto(sock[0],&data[i],sizeof(data),0,sa[0],sizeof(sa[0]));
  sendto(sock[1],&data[i],sizeof(data),0,sa[1],sizeof(sa[1]));
}

这很基础。

有什么想法吗?非常感谢您的帮助!

保罗


你的第二个sendto是否使用了相同未修改的sa - Hasturkun
我的意思是,第2-3行中设置的sa是否直接在sendto中使用,还是会被重新设置? - Hasturkun
2
旁边的问题:为什么使用广播而不是组播? - John Zwinck
这些网卡是在不同的线路上吗?如果它们在同一条线上,掩码被设置为广播会混淆其他网卡。增加掩码足够以显示区分的IP地址。 - wallyk
增加接收缓冲区大小,这样就可以解决数据包丢失的问题。 - Karoly Horvath
显示剩余6条评论
3个回答

1
很久以前,我找到了我的问题的答案,所以我想把它放在这里,以防其他人也遇到同样的问题。
两个千兆以太网端口实际上是通过PCI桥接器连接到PCI Express总线上。PCI Express总线是内置于主板上的,但它是连接到卡上的PCI总线。该桥和总线没有足够的带宽来快速发送图像。只启用一个NIC时,数据被发送到缓冲区,对我来说看起来非常快,但实际上需要更长的时间才能通过总线,从卡上输出,并传输到电线上。第二个NIC较慢,因为缓冲区已满。尽管更改缓冲区大小掩盖了问题,但它并没有真正加快数据的发送速度,我仍然在第三个NIC上丢失数据包。
最终,100Base-T卡实际上是集成在主板上的,因此具有更快的总线,导致总体带宽比千兆端口更快。通过将摄像机切换到千兆线和将其中一个千兆线切换到100Base-T线,我能够满足要求。
奇怪。

1
在这个问题真正解决之前,一个解决办法可能是创建一个eth1 + eth2的桥接,并将数据包发送到该桥接上。 这样一来,内核内存只需要映射一次而不是每个镜像映射两次。

1

也许你的UDP堆栈内存不足了?

(1) 检查/proc/sys/net/ipv4/udp_mem(详见man 7 udp),确保第一个数字至少是图像大小的8倍。这将设置系统中所有UDP套接字的内存。

(2) 确保发送套接字的每个套接字缓冲区都足够大。使用setsockopt(sock2, SOL_SOCKET, SO_SNDBUF, image_size*2)在两个套接字上设置发送缓冲区。您可能需要增加/proc/sys/net/core/wmem_max中允许的最大值。详见man 7 socket

(3) 您还可以增加接收套接字的RX缓冲区。向.../rmem_max写入一个大数字,然后使用SO_RCVBUF来增加接收缓冲区的大小。


网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接