从BigQuery加载数据到Redis

Question

我正在尝试将BigQuery中的数据加载到Redis中，经过过去3天阅读他们的文档后，我转向SO寻求帮助，因为我没有找到具体的内容。那么，从BigQuery加载多个查询结果（每个查询约有几百条记录）到Redis中的好方法是什么？是否有任何代码示例可以显示如何将结果集转换为适合加载到Redis中的键值对？我想使用Python来实现这个管道。请帮帮我，谢谢！

编辑：我们有一些数据集希望推送到Redis中，以便当用户运行查询时，它会在Redis中运行而不是在BigQuery中。我有一个片段，它将查询结果拉入Python中的数据框中。我无法找到用于加载此数据甚至将其转换为适合在Redis中使用的键值对的代码片段。这就是我需要帮助的部分。

- CodingInCircles

---

你能提供更多细节吗？例如，你尝试了什么？你参考的是哪些文档？你想要解决什么问题？ - Graham Polley

@GrahamPolley：请查看更新的问题。谢谢！ - CodingInCircles

根据更新的描述，我建议使用redis-py。您可以在这里找到文档(http://redis-py.readthedocs.io/en/latest/)和一些[示例](http://www.bogotobogo.com/python/python_redis_with_python.php)[链接](https://www.fullstackpython.com/blog/install-redis-use-python-3-ubuntu-1604.html)。 - Guillem Xercavins

Answer 1

1. 将BigQuery表格导出为新行分隔的JSON文件到GCS存储桶中
2. 使用由GCS对象更改触发的Google Cloud Function读取JSON文件当它发生更改时
3. 附加一个Serverless VPC连接器到Google Cloud Function，以便它可以运行Redis客户端。然后，它可以将文件内容写入Redis。

我最终将Redis键用于BigQuery行，但这些是你可以自己解决的细节。我在这里写了一篇完整的博客 https://www.futurice.com/blog/bigquery-to-memorystore

- Tom Larkworthy