上传到Amazon S3的文件，如果文件大小小于5GB，则ETag只是文件的MD5哈希值，这使得检查本地文件是否与在S3上的文件相同变得容易。
但如果您的文件大于5GB，则Amazon会以不同的方式计算ETag。
例如，我将一个大小为5,970,150,664字节的文件分成了380个部分进行多部分上传。现在S3显示其具有ETag 6bcf86bed8807b8e78f0fc6e0a53079d-380。 我的本地文件具有MD5哈希值702242d3703818ddefe6bf7da2bed757。我认为短横线后面的数字是多部分上传中的部件数。
我还怀疑新的ETag（短横线前面）仍然是MD5哈希，但在多部分上传过程中包含了某些元数据。
有人知道如何使用与Amazon S3相同的算法计算ETag吗？
假设您已经上传了一个大小为14MB的文件到一个没有开启服务器端加密的存储桶中，而您的分片大小是5MB。计算每个部分对应的3个MD5校验和，即前5MB、第二个5MB和最后4MB的校验和。然后取它们拼接后的校验和。 MD5校验和通常被打印为二进制数据的十六进制表示形式，因此请确保您使用解码后的二进制拼接的MD5校验和，而不是ASCII或UTF-8编码的拼接。完成后，在连字符后添加部分数量以获取ETag。
以下是在Mac OS X控制台上执行此操作的命令：
$ dd bs=1m count=5 skip=0 if=someFile | md5 >>checksums.txt
5+0 records in
5+0 records out
5242880 bytes transferred in 0.019611 secs (267345449 bytes/sec)
$ dd bs=1m count=5 skip=5 if=someFile | md5 >>checksums.txt
5+0 records in
5+0 records out
5242880 bytes transferred in 0.019182 secs (273323380 bytes/sec)
$ dd bs=1m count=5 skip=10 if=someFile | md5 >>checksums.txt
2+1 records in
2+1 records out
2599812 bytes transferred in 0.011112 secs (233964895 bytes/sec)
此时所有校验和都在 checksums.txt 中。要连接它们、解码十六进制并获取全部的 MD5 校验和，只需使用：
cat checksums.txt | xargs echo -n | openssl dgst -md5
$ xxd -r -p checksums.txt | md5
现在添加"-3"以获取ETag，因为有3个部分。
注
aws s3 cp上传，则最可能具有8MB的块大小。根据文档，这是默认值。Content-MD5标题，并且S3将为您比较。macOS上的md5只会写出校验和，但是Linux / brew上的md5sum也会输出文件名。您需要剥离它，但我确定有一些选项仅输出校验和。不必担心空格，因为xxd将忽略它。代码链接
根据这里的答案，我编写了一个Python实现，可以正确计算多部分和单部分文件的ETag。
def calculate_s3_etag(file_path, chunk_size=8 * 1024 * 1024):
md5s = []
with open(file_path, 'rb') as fp:
while True:
data = fp.read(chunk_size)
if not data:
break
md5s.append(hashlib.md5(data))
if len(md5s) < 1:
return '"{}"'.format(hashlib.md5().hexdigest())
if len(md5s) == 1:
return '"{}"'.format(md5s[0].hexdigest())
digests = b''.join(m.digest() for m in md5s)
digests_md5 = hashlib.md5(digests)
return '"{}-{}"'.format(digests_md5.hexdigest(), len(md5s))
默认的块大小为8 MB，由官方的aws cli工具使用，并且对2个或更多块进行了多部分上传。它应该在Python 2和3下都可以工作。
17179870字节。 - undefined这是AWS挑战谜题中的又一环。
值得一提的是，本答案假设您已经知道如何计算“MD5 of MD5 parts”，并可以从此前提供的所有其他答案中重建AWS多部分ETag。
本答案解决的是不得不“猜测”或以其他方式“推导出”原始上传部件大小的烦恼。
我们使用多个不同的工具上传到S3，它们似乎都有不同的上传部件大小，因此“猜测”真的不是一个选项。 此外，我们有许多文件是在历史上上传的，当时部件大小似乎是不同的。 另外，使用内部服务器复制来强制创建MD5类型的ETag的老技巧也不再起作用，因为AWS已经将其内部服务器复制更改为使用多部分（仅使用相当大的部件大小）。
那么... 如何确定对象的部件大小？
首先，您需要发送一个 head_object 请求并检测 ETag 是否是多部分类型的 ETag（在末尾包含 '-<partcount>'），然后您可以再次发送一个带有 part_number 属性为1（第一部分）的 head_object 请求。此后续 head_object 请求将返回第一部分的 content_length。 然后，您就知道了使用的部件大小，并且可以使用该大小重新创建本地 ETag，该 ETag 应与上传对象时创建的原始 S3 ETag 相匹配。
此外，如果您想要精确（也许某些多部分上传将使用不同的部分大小），则可以继续调用指定每个 part_number 的 head_object 请求，并从返回的部分 content_length 计算出每个部分的 MD5。
希望这可以帮到您...
同样的算法，Java版本： （BaseEncoding、Hasher、Hashing等来自guava库）
/**
* Generate checksum for object came from multipart upload</p>
* </p>
* AWS S3 spec: Entity tag that identifies the newly created object's data. Objects with different object data will have different entity tags. The entity tag is an opaque string. The entity tag may or may not be an MD5 digest of the object data. If the entity tag is not an MD5 digest of the object data, it will contain one or more nonhexadecimal characters and/or will consist of less than 32 or more than 32 hexadecimal digits.</p>
* Algorithm follows AWS S3 implementation: https://github.com/Teachnova/s3md5</p>
*/
private static String calculateChecksumForMultipartUpload(List<String> md5s) {
StringBuilder stringBuilder = new StringBuilder();
for (String md5:md5s) {
stringBuilder.append(md5);
}
String hex = stringBuilder.toString();
byte raw[] = BaseEncoding.base16().decode(hex.toUpperCase());
Hasher hasher = Hashing.md5().newHasher();
hasher.putBytes(raw);
String digest = hasher.hash().toString();
return digest + "-" + md5s.size();
}
apache-commons的单行代码DigestUtils.md5Hex(raw)代替Guava Hasher。 - Pom12不确定这是否有帮助：
我们目前正在进行一种丑陋的（但迄今为止有用的）黑客行为，以修复多部分上传文件中的这些错误ETags，其包括对存储桶中的文件进行更改；这会触发亚马逊的md5重新计算，从而更改ETag以与实际的md5签名匹配。
在我们的情况下：
文件：bucket/Foo.mpg.gpg
我们不知道算法，但由于我们可以“修复”ETag，因此我们不需要担心它。
Node.js实现 -
const fs = require('fs');
const crypto = require('crypto');
const chunk = 1024 * 1024 * 5; // 5MB
const md5 = data => crypto.createHash('md5').update(data).digest('hex');
const getEtagOfFile = (filePath) => {
const stream = fs.readFileSync(filePath);
if (stream.length <= chunk) {
return md5(stream);
}
const md5Chunks = [];
const chunksNumber = Math.ceil(stream.length / chunk);
for (let i = 0; i < chunksNumber; i++) {
const chunkStream = stream.slice(i * chunk, (i + 1) * chunk);
md5Chunks.push(md5(chunkStream));
}
return `${md5(Buffer.from(md5Chunks.join(''), 'hex'))}-${chunksNumber}`;
};
$ aws s3api head-object --bucket xxxxxxx --key noarch/epel-release-6-8.noarch.rpm
{
"AcceptRanges": "bytes",
"ContentType": "binary/octet-stream",
"LastModified": "Sat, 19 Sep 2015 03:27:25 GMT",
"ContentLength": 14540,
"ETag": "\"2cd0ae668a585a14e07c2ea4f264d79b\"",
"Metadata": {
"s3cmd-attrs": "uid:502/gname:staff/uname:xxxxxx/gid:20/mode:33188/mtime:1352129496/atime:1441758431/md5:2cd0ae668a585a14e07c2ea4f264d79b/ctime:1441385182"
}
}
虽然不能直接使用ETag解决问题，但是有一种方法可以以可访问的方式填充所需的元数据（MD5）。但如果某人上传不带元数据的文件，该方法仍将失败。
以下是Ruby语言中的算法...
require 'digest'
# PART_SIZE should match the chosen part size of the multipart upload
# Set here as 10MB
PART_SIZE = 1024*1024*10
class File
def each_part(part_size = PART_SIZE)
yield read(part_size) until eof?
end
end
file = File.new('<path_to_file>')
hashes = []
file.each_part do |part|
hashes << Digest::MD5.hexdigest(part)
end
multipart_hash = Digest::MD5.hexdigest([hashes.join].pack('H*'))
multipart_etag = "#{multipart_hash}-#{hashes.count}"