我觉得我的问题表述可能不正确，但是我有一个Jupyter笔记本，在其中启动了一个使用我编写的Python训练脚本进行TensorFlow训练的作业。
该训练脚本需要某些模块。似乎我的Sagemaker训练作业失败了，因为一些模块不存在。
我该如何确保我的训练作业脚本具备所需的所有模块？
编辑
这些模块中的一个示例是keras。
奇怪的是，我可以在jupyter笔记本中import keras，但当这个导入语句在我的训练脚本中时，我会收到No module named keras错误。
如果您想安装多个软件包，一种方法是将其升级到Sagemaker Python SDK v2。这样，您可以在笔记本所在目录中创建一个requirements.txt文件，并运行训练。Sagemaker会自动处理安装。
如果您想保留v1 SDK，请将以下片段添加到入口点脚本中。
import subprocess
import sys
def install(package):
subprocess.check_call([sys.executable, "-q", "-m", "pip", "install", package])
install('keras')
模块脚本在docker容器中运行，显然该容器没有安装依赖包。另一方面，Jupyter笔记本已经预先安装了keras。 实现这个目标的简单方法是创建一个包含所有依赖项的requirements.txt文件，并在创建模型时将其传递给它。
env = {
'SAGEMAKER_REQUIREMENTS': 'requirements.txt', # path relative to `source_dir` below.
}
sagemaker_model = TensorFlowModel(model_data = 's3://mybucket/modelTarFile,
role = role,
entry_point = 'entry.py',
code_location = 's3://mybucket/runtime-code/',
source_dir = 'src',
env = env,
name = 'model_name',
sagemaker_session = sagemaker_session,
)
EstimatorBase类（以及TensorFlow类）接受参数dependencies，您可以使用以下方式将您的requirements.txt传递给它：estimator = TensorFlow(
dependencies=['requirements.txt'], # copies this file
)
e.g.
estimator = TensorFlow(
entry_point='src/train.py',
dependencies=['requirements.txt'], # copies this file
)
或者
estimator = TensorFlow(
source_dir='src', # this copies the entire src folder
entry_point='train.py', # when using source_dir has to be directly under that dir
dependencies=['requirements.txt'], # copies this file
)
这将把requirements.txt文件与训练代码一起复制到您的sourcedir.tar.gz中。
requirements.txt文件放在与训练代码相同的文件夹中。如果这不起作用，您可以使用pip download在本地下载在requirements.txt中定义的依赖项，然后使用dependencies参数指定您下载依赖项的文件夹。
You can upload your requirements.txt file to s3 bucket which can be accessible by sagemaker and download the file to your working directory of the container using boto3. Install the libraries from requirements.txt the entry file.
import os
import boto3
s3 = boto3.client('s3')
s3.download_file('BUCKET_NAME', 'OBJECT_NAME', '/opt/ml/code/requirements.txt')
os.command('pip install -r /opt/ml/code/requirements.txt')
The other way you can do it is by building your own container using bring your own algorithm option provided by aws.
import os
if __name__ == "__main__":
os.system('pip install mymodule')
import mymodule
# rest of code goes here
除非是本地模式，否则笔记本实例上的环境与SageMaker上的训练作业环境是独立的。
如果您正在使用自定义的Docker镜像，则很可能您的Docker镜像没有安装Keras。
如果您正在使用SageMaker预定义的TensorFlow容器，那么最有可能是通过以下代码调用：
https://github.com/aws/sagemaker-python-sdk/blob/master/src/sagemaker/tensorflow/estimator.py#L170
TensorFlow(entry_point='training_code.py',
blah,
blah
)
然后您需要在该容器中安装依赖项。目前，SageMaker 上 TensorFlow 的训练有两种模式：“框架”和“脚本”模式。
env和SAGEMAKER_REQUIRMENTS的文档吗？ - alvas