将 Avro 十进制数据加载到 BigQuery 中？

Question

我有一个AVRO的hive表，其中一些列是十进制数。我知道Avro如何以逻辑类型格式存储十进制数据。但是当我将这些数据加载到BigQuery中时，BigQuery无法解析这些十进制数据，它会将它们视为垃圾值。我不知道如何将这些十进制数据加载到BigQuery中。任何帮助将不胜感激。

- Vishwanath Sharma

---

请您能否提交一个错误报告，并附上一个不包含PII的Avro文件样本，如果可能的话？ - Elliott Brossard

Answer 1

由于 AVRO_DECIMAL 类型是相对较新的添加项，因此 BigQuery 尚不支持它。以下是 issuetracker 的链接：https://issuetracker.google.com/issues/65641870

作为临时解决方法，您可以将小数数据转换为浮点表示形式，以便将其加载到 BigQuery 中。

- Michael Moursalimov

---

我们在结构体数组数据类型下有十进制数据类型，例如Array<<Struct<<decimal>>>>，在这种情况下，我们无法将其转换为其他类型。 - Vishwanath Sharma