9得票6回答
如何使用aws-java-sdk从S3逐块读取文件。

我将尝试从S3中将大文件分块读取,而不会为了并行处理而切断任何行。 让我通过示例来解释: S3上有一个1G大小的文件。我想将此文件分成64 MB的块。很容易做到,可以像这样做: S3Object s3object = s3.getObject(new GetObjectRequest(bu...

9得票1回答
AWS SDK Java版本2 - 是否有与版本1中的doesObjectExist()相当的等效方法?

在 AWS Java SDK 版本 1 中,S3 客户端有一个用于检查存储桶中对象是否存在的方法。 doesObjectExist(bucketName, objectName) 在SDK的第二个版本中,我没有看到任何类似的内容,但我想知道是否有遗漏。 我唯一的想法是尝试使用 S3Cl...

8得票4回答
如何在SageMaker中进行预测之前对输入数据进行预处理?

我正在使用Java Sagemaker SDK调用Sagemaker端点。在模型可以用于预测之前,我发送的数据需要进行一些清洗。如何在Sagemaker中实现这一点? 在Jupyter笔记本实例中,我有一个预处理函数,它会在将数据传递给模型进行训练之前对训练数据进行清洗。现在我想知道,当调用...

8得票2回答
与aws-java-sdk链接时,Spark读取JSON文件时崩溃

让 config.json 成为一个小的 json 文件: { "toto": 1 } 我写了一段简单的代码,使用 sc.textFile 读取 JSON 文件(因为文件可能在 S3、本地或 HDFS 上,所以 textFile 很方便)。 import org.apache....

7得票1回答
自定义Cognito消息并包括用户属性

我们正在运行一个基于Spring的项目,使用Cognito作为身份验证服务。 我们有一个项目需求,即自定义Cognito用户池中用户的验证邮件和邀请邮件。 (请参见这里的AWS文档) 默认的验证邮件内容如下: Your verification code is {####}. 默认的邀...

7得票4回答
无法初始化类com.amazonaws.partitions.PartitionsLoader

使用Eclipse Mars。我已经通过从“帮助”中的“安装软件”添加了aws java sdk 1.11.123。现在,当我运行Tomcat Server 7时,我会得到以下错误: May 02, 2017 11:57:32 PM org.apache.catalina.core.Stan...

7得票1回答
上传后TransferManager是否可重复使用?

我正在使用TransferManager将文件上传到我的s3存储桶。虽然文档建议尽可能重用一个实例,但也指出传输完成后应调用shutdown。 文档的相关部分如下: TransferManager负责管理资源(例如连接和线程); 尽可能共享TransferManager的单个实例。像Jav...

7得票3回答
为什么aws lambda调用客户端错误返回ClientExecutionTimeoutException?

我们好像在确定性地遇到了这个问题,但我们不确定哪里出错了。对于运行时间短于约5分钟的Lambda函数,我们的调用会在Lambda执行完成后大约0.5秒成功结束。然而,对于任何运行时间超过此时间的函数,我们可以看到Lambda在Lambda日志中完成了,但我们的客户端调用在15分钟后抛出Clie...