如何从DatagramPackets混合多个现场语音音频流？

Question

我正在开发一个项目，希望添加按键式对讲功能，我的客户端是Android，服务器端使用Java。我的方法是从AudioRecord发送bytes到服务器，然后将其广播给连接的客户端。

我的问题在于混合处理同时发送的不同客户端的data时遇到麻烦。

以下是我在服务器上尝试过的方法：

static boolean status = true;
static int port = 1938;
static byte[] mixed_audio;
static byte[][] all_bytes;
static int client_count = 0;
static DatagramSocket socket;
static ArrayList<InetAddress> addresses;
public static void main(String args[]) throws Exception {

    DatagramSocket serverSocket = new DatagramSocket(port);    
    System.out.println("Listening. . .");    
    addresses = new ArrayList<>();

    for(int x = 0; x < args.length; x++){
        if(args[x].equals("-p")){
            port = Integer.parseInt(args[x+1]);
        }
    }

    byte[] receiveData = new byte[1400];

    DatagramPacket receivePacket = new DatagramPacket(receiveData,
            receiveData.length);

    socket = new DatagramSocket();

    while (status == true) {
        all_bytes = new byte[1400][1400];
        mixed_audio = new byte[1400];
        serverSocket.receive(receivePacket);        
        int a = addresses.indexOf(receivePacket.getAddress());
        if(a < 0 ){
            addresses.add(receivePacket.getAddress());            
        }
        client_count++;        
        all_bytes[client_count] = receivePacket.getData();
       new Thread(new ReceiveData(receivePacket.getData(), receivePacket.getAddress())).start();

    }
}

public static class ReceiveData implements Runnable{

    byte[] data;
    InetAddress address;

    public ReceiveData(byte[]  b, InetAddress address){
        this.data = b;
        this.address = address;
    }

    @Override
    public void run() {

        try {
            for(int i = 0; i < 1400; i++){
                for(int j = 0; j < 1400; j++){
                    mixed_audio[j] += all_bytes[i][j];
                }
            } 

            if(client_count > 1){
                int c=0;
                for(int x = 0; x < 1400; x++){
                    mixed_audio[x]  = (byte) (mixed_audio[x] / client_count + 1);
                }
            }else{
                mixed_audio = data;
            }
            client_count--;

            for(InetAddress add: addresses){

                if(add != address){
                    DatagramPacket packet;
                    packet = new DatagramPacket(mixed_audio, mixed_audio.length, add, port);
                    socket.send(packet);

                }

            }


        } catch (IOException ex) {
            //Logger.getLogger(TeraMix.class.getName()).log(Level.SEVERE, null, ex);
        }

    }

}

当只有一个客户端在通话时，音频输出清晰，但是当多个客户端同时开始通话时，音频输出变得非常不清晰。

我还尝试了使用我的混音音频算法在计算机上的文件上，并且它效果很好。我需要混合由不同客户端同时发送的数据包。

我需要在不同的线程上处理客户端吗？我做错了吗？ 这方面是否有更好的方法？ 请在此指导我。谢谢！

- dranreb dino

Answer 1

我不知道你是否已经调试过数据包合并的过程，但是根据我的阅读，问题在于每个接收到的数据包都会生成自己的线程，然后发送当前合并的数据包。

例如，如果有三个客户端 A、B 和 C，发送数据包 1 和 2，则合并如下：

- A1 in -> A1 out - B1 in -> B1，或者 A1+B1 out - C1 in -> C1，或者 B1+C1 或者 A1+B1+C1 out - A2 in -> A2 或者 C1+A2 或者 ... - B2 in -> B2 或者 A2+B2 或者 ... - C2 in -> C2 或者 B2+C2 或者 ...

在这个简化的例子中，它将发送六个数据包，而不是理想的两个数据包 - A1+B1+C1 和 A2+B2+B2？

显然，这需要一些小心谨慎才能使合并顺利进行，特别是我确定数据包不会完全同步到达 - 毕竟这是 UDP。

假设可以基于“合并所有当前客户端的数据包”来工作，只有当现在已经有所有客户端的数据包，或者某个客户端的第二个数据包到达，或者在采样率超时后触发发送线程，这可能有效。

不过，这可能会导致接收和发送线程之间争用 all_bytes。如果内存/GC开销可能是一个问题，那么将当前 all_bytes 传递给 ReceiveData 可运行对象，直到足够的数据包到达，然后启动一个新的对象来读取更多数据包，或者至少循环数组会更好。

- df778899