有没有一种方法可以使用Cereal/C++为std::map指定更简单的JSON序列化和反序列化方式?

11

我正在开发的项目是一个C++应用程序,管理大量自定义硬件设备。该应用程序具有用于客户端的套接字/端口接口(如 GUI)。每种设备类型都有其自己明确定义的 JSON 模式,我们可以使用 Cereal 进行序列化处理。

但是该应用程序还需要解析来自客户端的入站 JSON 请求。请求的一部分指定设备筛选参数,类似于 SQL 的“WHERE”子句,在其中所有表达式都是 ANDed 在一起。例如:

"filter": { "type": "sensor", "status": "critical" }

这意味着客户想对每个处于“critical”状态的“sensor”设备执行操作。表面上,使用C ++实现过滤参数的方法似乎是使用std :: map。但是当我们尝试使用Cereal反序列化对象时失败了。而且当我们序列化硬编码的过滤器映射时,它看起来像这样:

"filter": [
   { "key": "type", "value": "sensor" },
   { "key": "status", "value": "critical" }
]

现在我明白为什么Cereal支持这种冗长的映射序列化方式了。毕竟,映射的键可以是非字符串类型。但在这种情况下,键就是一个字符串。

我不太想重新编写我们的接口规范,并让我们的客户端生成明显非典型的JSON来满足Cereal。我对Cereal还很陌生,我们卡在这个点上了。有没有办法告诉Cereal将此过滤器解析为std::map?或者,我可能是在错误地询问它。是否有其他STL容器应该进行反序列化?


两个简短的问题 - 你是否期望输入总是存储在一个JSON对象中?你可能已经注意到,cereal使用JSON数组来处理可变大小的容器。另外,如果你无法控制这个,那么你有办法知道查询返回的JSON对象中有多少个名称-值对吗? - Azoth
@Azoth,是的,协议被定义为JSON格式。而且,没有预定义的键值对数量 - 这就是重点。我怀疑Cereal在这一点上不起作用,我们将选择其他反序列化过滤器的方法。 - Lee Jenkins
1个回答

10
首先,让我解释一下为什么 cereal 输出的风格比您想要的更冗长。cereal 的设计是为了与任意序列化存档兼容,并采取了中庸之道,以满足它们所有的需求。想象一下,如果键类型比字符串或算术类型更加复杂,我们该如何以简单的方式进行序列化,例如 "key" : "value"
此外,请注意 cereal 期望成为其读取的任何数据的创始者。
虽然如此,使用cereal实现你想要的完全是可能的,但还有一些障碍需要克服:最大的障碍是你所需的输入在JSON对象中序列化了一些未知数量的键值对,而不是一个JSON数组。cereal旨在在处理可以容纳可变数量元素的容器时使用JSON数组,因为这在其使用的底层rapidjson解析器中是最合理的。其次,cereal目前不希望将名称-值对中的名称实际加载到内存中 - 它只将其用作组织工具。

废话不多说,这里是一个完全可行的解决方案(可以更加优雅),对于你的问题只需要对cereal进行非常少量的更改(实际上使用了即将在cereal 1.1中推出的更改,当前版本为1.0):

将以下函数添加到JSONInputArchive中:

//! Retrieves the current node name
/*! @return nullptr if no name exists */
const char * getNodeName() const
{
  return itsIteratorStack.back().name();
}

您可以为一对字符串编写 std::map(或无序的,取决于您的喜好)序列化的特化版本。请确保将其放置在cereal命名空间中,以便编译器可以找到它。此代码应存在于您自己的文件中:
namespace cereal
{
  //! Saving for std::map<std::string, std::string>
  template <class Archive, class C, class A> inline
  void save( Archive & ar, std::map<std::string, std::string, C, A> const & map )
  {
    for( const auto & i : map )
      ar( cereal::make_nvp( i.first, i.second ) );
  }

  //! Loading for std::map<std::string, std::string>
  template <class Archive, class C, class A> inline
  void load( Archive & ar, std::map<std::string, std::string, C, A> & map )
  {
    map.clear();

    auto hint = map.begin();
    while( true )
    {
      const auto namePtr = ar.getNodeName();

      if( !namePtr )
        break;

      std::string key = namePtr;
      std::string value; ar( value );
      hint = map.emplace_hint( hint, std::move( key ), std::move( value ) );
    }
  }
} // namespace cereal

虽然这不是最优雅的解决方案,但它确实很有效。我留下了所有通用模板,但上面所写的只适用于JSON归档文件。将类似的getNodeName()添加到XML归档文件中可能也能让它在那里工作,但显然对于二进制归档文件来说没有意义。

为了使其更清晰,您需要在适用于它的归档文件周围放置enable_if。您还需要修改cereal中的JSON归档文件,以便与可变大小的JSON对象一起使用。要了解如何执行此操作,请查看cereal在获取SizeTag进行序列化时如何设置存储状态。基本上,您必须使归档文件不打开数组,而是打开一个对象,然后创建自己的loadSize()版本,该版本将查看对象的大小(在rapidjson术语中,这将是一个Member)。


要看到上述内容的效果,请运行以下代码:

int main()
{
  std::stringstream ss;
  {
    cereal::JSONOutputArchive ar(ss);
    std::map<std::string, std::string> filter = {{"type", "sensor"}, {"status", "critical"}};

    ar( CEREAL_NVP(filter) );
  }

  std::cout << ss.str() << std::endl;

  {
    cereal::JSONInputArchive ar(ss);
    cereal::JSONOutputArchive ar2(std::cout);

    std::map<std::string, std::string> filter;

    ar( CEREAL_NVP(filter) );
    ar2( CEREAL_NVP(filter) );
  }

  std::cout << std::endl;
  return 0;
}

你将得到:

{
    "filter": {
        "status": "critical",
        "type": "sensor"
    }
}
{
    "filter": {
        "status": "critical",
        "type": "sensor"
    }
}

1
我正在尝试测试这个,但是遇到了一些问题。第一个问题是在我们的头文件中,JSONInputArchive没有成员itsIteratorStack。数据成员列表如下:private: ReadStream itsReadStream; //!< Rapidjson write stream std::vector itsValueStack; //!< Stack of values rapidjson::Document itsDocument; //!< Rapidjson document我冒险尝试将itsValueStack替换为itsIteratorStack,但编译器会抱怨name - Lee Jenkins
1
啊,不太习惯StackOverflow的注释限制。在我的替换后编译器出现错误: /usr/local/include/cereal/archives/json.hpp:327:39: error: ‘const value_type’ has no member named ‘name’ return itsValueStack.back().name();我怀疑有两个可能性,(1)版本差异(我无法确定我们使用的cereal的版本 - 标识符没有出现在头文件中),或者(2)也许缺少另一部分代码,例如嵌套在JSONInputArchive内部的class Iterator的name() 方法。 - Lee Jenkins
1
你是否正在使用最新版本的cereal?1.0版本于一两天前发布,包含大量更改:https://github.com/USCiLab/cereal/releases。 - Azoth
2
它可以工作了!我们不得不将我们的谷类头文件升级到1.0,然后它就可以工作了。非常感谢您的帮助! - Lee Jenkins

网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接