我已经建立了一个API Web应用程序,发布在IIS服务器上。我试图配置Apache Flume来监听该Web API并将HTTP请求的响应保存在HDFS中,这是我需要监听的POST方法: [HttpPost] public IEnumerable<Data> obt...
我需要从某个来源读取数据流(在我的情况下是UDP流,但这并不重要),转换每个记录并将其写入HDFS。 对于这个目的,使用Flume或Flink有什么区别吗? 我知道可以使用自定义拦截器在Flume中转换每个事件。 但是我在Flink上还是新手,所以对我来说它看起来会做同样的事情。 应该...
无法使用Flume twitter代理流式读取和解析文件,无论是使用Java还是Avro工具。 我的要求是将avro格式转换为JSON格式。 使用任何一种方法时,都会出现异常:org.apache.avro.AvroRuntimeException: java.io.IOException:...