将数据导入Hadoop集群,然后使用该集群将数据导入Vertica/InfoBright数据仓库有什么意义?
所有这些供应商都在说“我们可以连接到Hadoop”,但我不明白这样做的意义。在Hadoop中存储并转移到InfoBright有什么好处?为什么不直接让应用程序将数据存储在Infobright/Vertica DW中呢?
谢谢!
将数据导入Hadoop集群,然后使用该集群将数据导入Vertica/InfoBright数据仓库有什么意义?
所有这些供应商都在说“我们可以连接到Hadoop”,但我不明白这样做的意义。在Hadoop中存储并转移到InfoBright有什么好处?为什么不直接让应用程序将数据存储在Infobright/Vertica DW中呢?
谢谢!
4) 运行报告。
然而,Hadoop的批处理导向使其适合执行定期安排的报告。组织现在可以针对原始数据运行报告,而不是针对摘要数据运行报告,从而保证最准确的结果。
Hadoop更像是一个平台而不是数据库。
把Hadoop看作支持许多文件类型查询的整洁文件系统。考虑到这一点,大多数人会将原始数据倒入Hadoop,并将其用作数据管道中的暂存层,在此期间它可以处理数据并将其推送到其他系统,如vertica或其他任何系统。您有几个优势,可以归纳为解耦。
因此,Hadoop正在成为大数据的存储平台。它简单、容错性强、可扩展性好,很容易提供和获取数据。因此,大多数厂商都试图向可能拥有Hadoop安装的公司推销产品。
非结构化数据本质上不适合加载到传统的数据仓库中。Hadoop MapReduce 作业可以从日志文件(例如)中提取结构,然后可以将其移植到您的 DW 以进行分析。Hadoop 是批处理,因此不适合分析查询处理。因此,您可以使用 Hadoop 处理数据以带来一些结构,然后通过可视化/SQL 层使其准备好查询。
像Greenplum DB这样的大规模并行数据库非常适合处理大量结构化数据。Hadoop则非常擅长处理更大量的非结构化数据,例如网站。
现在,许多有趣的分析将这两种类型的数据结合起来以获得洞察力。因此,这些数据库系统能够与Hadoop集成非常重要。
例如,您可以使用MapReduce在Hadoop集群上进行文本处理,直到您获得每个产品或其他内容的评分值。然后,该评分值可以由数据库用于将其与已经存储在数据库中的其他数据或从其他来源加载到数据库中的数据相结合。