SageMaker脚本模式+管道模式

Question

我正在使用TensorFlow + Script Mode在SageMaker中进行训练，目前使用的是“文件”输入模式来处理我的数据。

有没有人已经想出如何在Script Mode训练中使用“管道”数据格式来流式处理数据了？

- Austin

---

嗨，奥斯汀。你有什么进展可以分享吗？ - ace

Answer 1

你可以按照以下方式从训练脚本中导入sagemaker_tensorflow：

from sagemaker_tensorflow import PipeModeDataset
from tensorflow.contrib.data import map_and_batch

channel = 'my-pipe-channel-name'

ds = PipeModeDataset(channel)
ds = ds.repeat(EPOCHS)
ds = ds.prefetch(PREFETCH_SIZE)
ds = ds.apply(map_and_batch(parse, batch_size=BATCH_SIZE,
                            num_parallel_batches=NUM_PARALLEL_BATCHES))

你可以在这里找到完整的示例：https://github.com/awslabs/amazon-sagemaker-examples/blob/master/sagemaker-python-sdk/tensorflow_pipemode_example/pipemode.py 你可以在这里找到有关sagemaker_tensorflow的文档：https://github.com/aws/sagemaker-tensorflow-extensions#using-the-pipemodedataset

- Marcio dos Santos

---

你好，S3端需要什么数据格式？jpeg、单个tfrecord还是分片的tfrecords？ - Austin

tfrecords/protobuf - mirik

你如何设置管道通道名称？另外，路径可以是包含多个tfrecords的目录吗？ - FFT

请参考相关问题：https://dev59.com/9sLra4cB1Zd3GeqPOKRY - FFT