我正在评估一些NoSQL实现(目前是RavenDB和MongoDB),作为解决存储/检索无模式数据的特定需求的手段。我想了解一下是否应该朝着NoSQL的方向寻找,或者是否有其他(可能更简单)的选择。
基本上,我们有一个软件产品(除其他外),它定义了一个基本域模型,其中包含几个相关实体,每个实体都有许多属性(键/值)。当我们发布给客户时,我们与他们一起设置属性和值,这基本上是系统的配置。这很简单,因为设计在前期已知,所以我们不需要任何动态实现即可完成并使其执行(我们将使用关系数据库管理系统)。虽然属性事先不知道,但这也不是问题,因为该系统的这部分基本上围绕属性模型展开。
问题在于,对于不同的客户,在我们发布并进入生产之后,我们发现需要查询特定集合的属性数据,而我们在编译和发布代码(以及在为客户配置属性之前)时对此一无所知。我们基本上需要从属性映射中生成数据,然后可以存储该数据(我们不会预先知道其结构),并以我们无法预测的方式稍后进行查询。目前的想法是,我们可以创建钩子来处理并允许我们插入库(可能通过MEF)来创建数据,以便将其存储,然后在需要时进行查询(通常是为了创建其他数据/属性,而不是用于报告)。
(请注意,创建钩子和插入库是一个单独的问题,并且不打算成为本问题的一部分。)
常见情况可能是:“我想知道在过去的10天中,xxx发生了多少次”。因此,我将创建一个插件,该插件将识别出xxx已经发生,并将其写入数据存储器中并带有日期/时间。然后,我将创建另一个插件(可能在同一个DLL中),该插件将执行查询,并向模型添加一个名为“CountOfxxxInLast10Days”的属性。
另一个场景可能是创建可配置查找。因此,我可能会有一个在启动时运行的插件,用于创建/更新一个查找数据表,该表可以将一个属性值转换为另一个属性值,或者(更可能)将一系列值转换为查找值。因此,转换插件可以添加一个具有列bottom_value、top_value和multiplier的表,并且查询插件将使用属性值查询表,例如“SELECT multiplier FROM table WHERE [attribute_value] BETWEEN bottom_value AND top_value”。结果可能会将结果添加到名为“Multiplier”的属性中。
在某些情况下,旧数据可以在指定的一段时间后被清除。在上述第一个场景中,可能希望从存储器/缓存中删除早于十天的数据。
在其他情况下,数据需要被永久保存,就像上面第二种情况一样。这些数据可以在启动时重新创建,而不是存储在永久性存储器中。
附加要求:
基本上,我们有一个软件产品(除其他外),它定义了一个基本域模型,其中包含几个相关实体,每个实体都有许多属性(键/值)。当我们发布给客户时,我们与他们一起设置属性和值,这基本上是系统的配置。这很简单,因为设计在前期已知,所以我们不需要任何动态实现即可完成并使其执行(我们将使用关系数据库管理系统)。虽然属性事先不知道,但这也不是问题,因为该系统的这部分基本上围绕属性模型展开。
问题在于,对于不同的客户,在我们发布并进入生产之后,我们发现需要查询特定集合的属性数据,而我们在编译和发布代码(以及在为客户配置属性之前)时对此一无所知。我们基本上需要从属性映射中生成数据,然后可以存储该数据(我们不会预先知道其结构),并以我们无法预测的方式稍后进行查询。目前的想法是,我们可以创建钩子来处理并允许我们插入库(可能通过MEF)来创建数据,以便将其存储,然后在需要时进行查询(通常是为了创建其他数据/属性,而不是用于报告)。
(请注意,创建钩子和插入库是一个单独的问题,并且不打算成为本问题的一部分。)
常见情况可能是:“我想知道在过去的10天中,xxx发生了多少次”。因此,我将创建一个插件,该插件将识别出xxx已经发生,并将其写入数据存储器中并带有日期/时间。然后,我将创建另一个插件(可能在同一个DLL中),该插件将执行查询,并向模型添加一个名为“CountOfxxxInLast10Days”的属性。
另一个场景可能是创建可配置查找。因此,我可能会有一个在启动时运行的插件,用于创建/更新一个查找数据表,该表可以将一个属性值转换为另一个属性值,或者(更可能)将一系列值转换为查找值。因此,转换插件可以添加一个具有列bottom_value、top_value和multiplier的表,并且查询插件将使用属性值查询表,例如“SELECT multiplier FROM table WHERE [attribute_value] BETWEEN bottom_value AND top_value”。结果可能会将结果添加到名为“Multiplier”的属性中。
在某些情况下,旧数据可以在指定的一段时间后被清除。在上述第一个场景中,可能希望从存储器/缓存中删除早于十天的数据。
在其他情况下,数据需要被永久保存,就像上面第二种情况一样。这些数据可以在启动时重新创建,而不是存储在永久性存储器中。
附加要求:
- 数据存储/缓存可以在在线状态下进行备份和恢复
- 在发生崩溃的情况下,可以用最后一个备份替换/恢复
- 数据可以在机器重启等事件中存活
- 经过验证/生产测试的技术