14得票5回答
什么是Spark中的血统(Lineage)?

血统如何帮助重新计算数据? 例如,我有几个节点每个节点都在计算数据30分钟。如果其中一个节点在15分钟后失败了,我们是否可以使用血统重新计算已处理的15分钟数据,而无需再次耗费15分钟的时间?

8得票3回答
如何在Java代码中监控/检查数据/属性流动

我有一个使用案例,需要捕获从一个API到另一个API的数据流。例如,我的代码使用Hibernate从数据库读取数据,在数据处理期间我将一个POJO转换为另一个,并执行一些更多的处理,最后将其转换为最终结果Hibernate对象。简而言之,是像POJO1到POJO2到POJO3这样的东西。 在...