使用C#查询Apache Spark

Question

使用C#查询Apache Spark

c#.netapache-spark.net-sparkspark-dotnet

6

我想知道是否有一种方法可以使用C#编写查询以在Apache Spark上运行。我知道Spark SQL查询可以用Java / Scala / Python编写。是否有适用于C#的接口？

- Groot

在网上搜索它会给出什么结果？ - Shashank Shekhar

考虑使用 https://github.com/spark-jobserver/spark-jobserver - 并在 C# 中创建一个 REST 接口，将数据结构序列化为 JSON。我建议采用这种方法，因为 jobserver 提供了上下文，允许您返回并重复使用以前的数据框架。 - andrew.butkus

2

https://github.com/dotnet/spark 可以实现这个。 - cheerless bog

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- ayan guha · Answer 1

你到底想要实现什么？如果你想编写使用Spark API的程序，那么可能会很困难，因为只有Scala、Java和Python API是公开的。但是，如果你想查询Spark存储数据，那么你可以看到ThriftServer与Spark一起提供，并通过它传递你的查询。基本上，它应该支持任何JDBC连接（请参阅文档中的Beeline示例）。