使用boost::asio发送Protobuf消息

Question

我正在尝试使用Google Protocol Buffers和boost::asio在C++中编写客户端。

我的问题是，我不知道如何将protobuf消息传递给asio。 我现在有这个：

// set up *sock - works
PlayerInfo info;
info.set_name(name);
// other stuff

现在我知道以下内容是错误的，但我还是会发布它：

size_t request_length = info.ByteSize();
boost::asio::write(*sock, boost::asio::buffer(info, request_length));

我已经知道需要将我的消息以不同的方式打包到缓冲区中，但是如何实现？

总的来说，我很难弄清楚boost::asio的工作原理。有一些教程，但它们通常只涵盖发送标准数据格式，例如整数，这可以直接使用。我觉得我的问题是序列化，但另一方面我了解到protobuf应该为我完成这项工作......现在我感到困惑 ;)

谢谢您的帮助！

--> Daniel Gehriger提供了解决方案，非常感谢！

- adi64

Answer 1

我对Google的Protocol buffer不是很了解，但可以尝试以下方法：

PlayerInfo info;
info.set_name(name);
// ...

boost::asio::streambuf b;
std::ostream os(&b);
info.SerializeToOstream(&os);

boost::asio::write(*sock, b);

- Daniel Gehriger

---

为了能够可靠地在另一端读取PlayerInfo对象，您需要向流中添加一些更多的信息。Protobuf不会直接嵌入对象类型到流中。我认为它也不包含长度，但我需要查看文档。顺便说一句，ASIO不知道对象；它只处理字节。在阅读示例和文档时要记住这一点。 - Dan

@adi64：太好了！也许你可以在问题中提到这一点，以防对其他人有用。 - Daniel Gehriger

@adi64 - 感谢您的贡献！但我想说的是，您提到还需要事先发送大小。这部分代码可能会很有用。 - Daniel Gehriger

@Daniel Gehriger：啊，现在我明白你的意思了；提前添加大小只在我的特定情况下很重要，因为接收服务器（我没有编写）期望在实际数据包之前发送4个大小字节。因此，如果您配置服务器依赖于boost::asio的数据包信息，则可以完美地发送protobuf消息而无需任何大小选项。 - adi64

大小前缀数据包是每个人在网络通信中首先尝试的方法，当世界干净时它可以工作。但请注意，如果您需要重新同步流（即，您不确定自己在哪里），它无法帮助您摆脱麻烦。这就是为什么强大的协议通常依赖于分隔符，尽管转义可能会有些麻烦的原因。 - jma

Answer 2

我刚开始使用Google Protocol Buffers (protobuf)，在计算机网络上发送（和接收）消息时遇到了问题。

与Java API不同，C++ API没有writeDelimitedTo方法可以发送带有分隔符的protobuf消息。 没有分隔符，我们还必须发送消息的大小，以便能够在接收端反序列化它。

C++ API提供了::google::protobuf::io::CodedOutputStream类，定义在头文件google/protobuf/io/coded_stream.h中。

以下源代码演示了如何通过Boost.Asio通过线路发送分隔的protobuf消息。该示例使用UDP。由于我在WWW上没有找到可用的示例，因此在此共享。

#include "boost/asio.hpp"
#include "google/protobuf/io/coded_stream.h"
#include "google/protobuf/io/zero_copy_stream_impl.h"

using ::boost::asio::ip::udp;

int main() {
  PlayerInfo message;
  message.set_name("Player 1");
  // ...

  const boost::asio::ip::address_v4 kIpAddress = boost::asio::ip::address_v4::loopback();
  const unsigned short kPortNumber = 65535;

  try {
    boost::asio::io_service io_service;
    udp::socket socket(io_service, boost::asio::ip::udp::v4());

    udp::endpoint endpoint(kIpAddress, kPortNumber);
    boost::system::error_code error;

    boost::asio::streambuf stream_buffer;
    std::ostream output_stream(&stream_buffer);

    {
      ::google::protobuf::io::OstreamOutputStream raw_output_stream(&output_stream);
      ::google::protobuf::io::CodedOutputStream coded_output_stream(&raw_output_stream);
      coded_output_stream.WriteVarint32(message.ByteSize());

      message.SerializeToCodedStream(&coded_output_stream);
      // IMPORTANT: In order to flush a CodedOutputStream it has to be deleted,
      // otherwise a 0 bytes package is send over the wire.
    }
  }

  size_t len = socket.send_to(stream_buffer.data(), endpoint, 0, error);

  if (error && error != boost::asio::error::message_size) {
    throw boost::system::system_error(error);
  }

  std::cout << "Sent " << len << " bytes data to " << kIpAddress.to_string() << "." << std::endl;
} catch (const std::exception& ex) {
  std::cerr << ex.what() << std::endl;
}

在撰写本文时，我还发现了以下两个问题：

• Google Protocol Buffers：C++的parseDelimitedFrom和writeDelimitedTo
• boost::asio::streambuf是否为空？

两者都与此问题相关，并包含（部分）答案。希望我的回答对你有用。

- Florian Wolters

Answer 3

• 使用asio::streambuf来存储数据（也可以包括自定义头部）
• 然后使用boost::smart_ptr::local_shared_ptr()用于单线程或std::shared_ptr委托数据的所有者。

然后在任何时间发送它，例如：

boost::local_shared_ptr<asio::streambuf> wbuf;
asio::async_write(sock, *wbuf, [&, wbuf](const asio::error_code &ec, std::size_t len){});

- vrqq