我正在使用Hortonworks Sandbox。
创建主题:
./kafka-topics.sh --create --zookeeper 10.25.3.207:2181 --replication-factor 1 --partitions 1 --topic lognew
追踪Apache访问日志目录:
tail -f /var/log/httpd/access_log |./kafka-console-producer.sh --broker-list 10.25.3.207:6667 --topic lognew
在另一个kafka bin终端上启动消费者:
./kafka-console-consumer.sh --zookeeper 10.25.3.207:2181 --topic lognew --from-beginning
Apache访问日志被发送到kafka主题 "lognew"。
我需要将它们存储到HDFS。
有关如何执行此操作的任何想法或建议。
提前致谢。
Deepthy