是否可能执行没有输入文件的Hadoop Streaming作业?
在我的用例中,我可以通过一个单独的mapper和执行参数为reducer生成必要的记录。目前,我正在使用一个带有一行的桩输入文件,我想删除这个要求。
我们有两个用例。
1)
- 我想从所有节点可用的网络位置分发加载到hdfs的文件。基本上,我将在mapper中运行ls并将输出发送到一小组reducers。
- 我们将运行适合于多个不同参数范围的几个模型。模型名称不会更改,并作为键传递给reducer,而要运行的测试列表在mapper中生成。