从Azure事件中心记录所有消息的最简单方法

Question

我正在使用一个服务，该服务输出到Event Hub。

我们想要将该输出存储下来，以便每天由在Apache Spark上运行的批处理作业读取。基本上，我们想到的方法是将所有消息转储到Blob中。

最简单的从Event Hub捕获消息并存储到Blob Storage的方式是什么？

我们最初的想法是使用流分析作业，但它要求解析原始消息（CSV/JSON/Avro），而我们当前的格式不是这些格式之一。

更新：我们通过更改消息格式解决了此问题。我仍然想知道是否有任何低影响的方法将消息存储到Blob中。在流分析到达之前，EventHub是否有解决此问题的方法？

- Iain

---

如果您的事件中心序列化格式不是CSV/JSON/Avro，那么它是什么？ - GregGalloway

@GregGalloway - 实际上这是JSON，但带有C#接口名称的前缀。我们的C#代码会嗅探它以了解要将其反序列化为哪种类型。 - Iain

你看过这个链接吗？我不知道如何自动化每天运行或在Spark中解析JSON的最佳方法，但这似乎是研究的好起点，也许其他人可以发表评论：https://azure.microsoft.com/en-us/documentation/articles/hdinsight-apache-spark-csharp-apache-zeppelin-eventhub-streaming/ - GregGalloway

我认为我们需要一个长期存储所有数据的记录。我们可以使用Spark Streaming接收并立即写出来，但似乎过于繁琐，甚至比流式分析版本还要重。 - Iain

Answer 1

你可以编写自己的工作进程来读取EventHub中的消息并将它们存储到Blob存储中。由于EH上的消息会保留设定的保留天数，你不需要实时操作。读取EH的客户端负责通过跟踪EH消息分区ID和偏移量来管理已处理的消息。有一个C#库使这变得非常容易，并且能够很好地扩展: https://azure.microsoft.com/en-us/documentation/articles/event-hubs-csharp-ephcs-getstarted/

- Tim Benroeck

Answer 2

您可以使用 event-hubs-capture 将数据捕获到 Blob。

- Tany

---

哦，他们在 GA 此服务时将 Event Hubs Archive 更名为 Event Hubs Capture。谢谢。 - Iain

Answer 3

您也可以通过 Azure 函数（无服务器代码）执行此操作，该函数从事件中心触发器触发。

根据您的要求，如果您需要它没有的功能，例如保存为 GZIP 或写入更自定义的 blob 虚拟目录结构，则此方法可能比事件捕获功能更好。

https://learn.microsoft.com/en-us/azure/azure-functions/functions-bindings-event-hubs#trigger-usage

- Mr Fox SQL

Answer 4

Azure现在已经内置了此功能：事件中心归档（预览版）

- Iain