我正在开发一个用于传感器数据和预测分析的大数据解决方案。
我对大数据还比较陌生,但已经了解过lambda架构。
我考虑使用Cassandra数据库和Hadoop。
Cassandra是一个高可用性和分区容错性数据库,而Hadoop HDFS是一个用于大型分析作业的文件系统。
如果我从物联网设备接收数据,那么应该先将数据保存在Hadoop中,然后再保存到Cassandra中吗? Lambda架构将Hadoop置于批处理层,接收数据并将其发送到服务层的nosql数据库。
为什么数据需要首先存储在Hadoop中呢? 如果Hadoop包含原始数据,那么Cassandra中存储哪种数据?
流层现在不是重点。 我只想了解如何同时使用Cassandra和Hadoop。
Hadoop中的数据用于大规模分析,而Cassandra中应保存来自我的Hadoop作业的结果。
这是否意味着我可以在两个地方存储我的原始数据?如果仅仅大型分析作业对我的应用有用,那么我可以将原始数据存储在Cassandra和Hadoop中吗?
例子
如果我从物联网设备接收数据,那么应该先将数据保存在Hadoop中,然后再保存到Cassandra中吗? Lambda架构将Hadoop置于批处理层,接收数据并将其发送到服务层的nosql数据库。
为什么数据需要首先存储在Hadoop中呢? 如果Hadoop包含原始数据,那么Cassandra中存储哪种数据?
流层现在不是重点。 我只想了解如何同时使用Cassandra和Hadoop。
Hadoop中的数据用于大规模分析,而Cassandra中应保存来自我的Hadoop作业的结果。
这是否意味着我可以在两个地方存储我的原始数据?如果仅仅大型分析作业对我的应用有用,那么我可以将原始数据存储在Cassandra和Hadoop中吗?
例子
INSERT INTO temperature(weatherstation_id,event_time,temperature)
VALUES (’1234ABCD’,’2013-04-03 07:02:00′,’73F’);
如果这是我每分钟数千个插入的操作,我想要做一些大型工作,我可以使用Hadoop吗?
但是我也需要每个数据行用于我的应用程序,而不进行分析。Cassandra是否也存储它?