想知道在Amazon Sagemaker BlazingText中是否可以使用多个文件作为数据集。
我正在尝试在文本分类模式下使用它。
看起来这是不可能的,至少在文件模式下不行,但不知道管道模式是否支持。我不想把所有的训练数据放在一个文件中,因为如果是由EMR集群生成的,我需要事后合并它,这很繁琐。
谢谢!
想知道在Amazon Sagemaker BlazingText中是否可以使用多个文件作为数据集。
我正在尝试在文本分类模式下使用它。
看起来这是不可能的,至少在文件模式下不行,但不知道管道模式是否支持。我不想把所有的训练数据放在一个文件中,因为如果是由EMR集群生成的,我需要事后合并它,这很繁琐。
谢谢!
{"source":"linux ready for prime time ", "label":1}
{"source":"bowled by the slower one ", "label":2}
然后,您需要将_AttributeNames_参数传递给createTrainingJob SageMaker API(所有内容在上面的链接中都有解释)。
为了使用Pipe模式,您需要修改EMR作业以生成增强清单格式,并且每个句子只能使用一个标签。
在这个阶段,将EMR作业生成的文件连接成一个文件似乎是最好的选择。