有没有办法直接从Hadoop/HDFS（本地/本地集群）向Redshift和Bigquery加载数据？我需要将1TB的数据加载到Redshift和Bigquery中。因此，正在寻找有效的方法来完成这项任务。
谢谢。
谢谢。
从Hadoop/HDFS（本地/自有集群）直接将数据加载到Redshift和Bigquery
3
- roy
2个回答
1
你可以直接从Amazon EMR加载，但如果你使用本地的Hadoop集群，则必须将数据导出到S3并使用COPY命令从那里加载到Redshift中：
- novabracket
3
有关Bigquery的任何线索吗？ - roy
抱歉，我没有使用Bigquery的经验。 - novabracket
3类似回答：将您的数据以CSV或JSON格式导出到Google Cloud Storage，并从那里加载。否则，将数据流式传输到BigQuery，但由于已有1 TB的数据，我更喜欢通过GCS进行处理。 - Felipe Hoffa
1
你也可以使用支持Hadoop、Redshift、BigQuery、Google Cloud Storage和Amazon S3的ETL工具。
Talend for Big Data是一种支持所有这些不同数据源的ETL解决方案。
Talend for Big Data是一种支持所有这些不同数据源的ETL解决方案。
- YABADABADOU
网页内容由stack overflow 提供, 点击上面的可以查看英文原文，
原文链接
原文链接
- 相关问题
- 3 如何从Google BigQuery将数据加载到Google Cloud Bigtable
- 3 从BigQuery将大量数据加载到Python
- 6 从BigQuery将大量数据加载到Python/Pandas/Dask
- 4 将JSON数据加载到Google BigQuery的模式
- 4 使用Pyspark脚本将BigQuery中的表加载到Spark集群
- 3 如何编写Luigi工作流将数据从MySQL加载到Redshift？
- 6 使用Node.js将数据加载到Redshift
- 3 将 Avro 十进制数据加载到 BigQuery 中？
- 8 将Parquet文件加载到Redshift
- 4 将分区的ORC数据加载到BigQuery