是否可能执行没有输入文件的Hadoop Streaming作业？
在我的用例中，我可以通过一个单独的mapper和执行参数为reducer生成必要的记录。目前，我正在使用一个带有一行的桩输入文件，我想删除这个要求。
我们有两个用例。
1）
- 我想从所有节点可用的网络位置分发加载到hdfs的文件。基本上，我将在mapper中运行ls并将输出发送到一小组reducers。
- 我们将运行适合于多个不同参数范围的几个模型。模型名称不会更改，并作为键传递给reducer，而要运行的测试列表在mapper中生成。