我正在编写一个简单的DynamoDB日志记录服务。
我有一个以用户ID哈希和时间戳（Unix纪元整数）范围为键的日志表。
当服务的用户终止其帐户时，我需要删除表中的所有项目，而不考虑范围值。
在考虑可能有数百万个要删除的项目的情况下，如何推荐执行此类操作？
据我所见，我的选择是：
A：执行扫描操作，在每个返回的项目上调用delete，直到没有任何项目剩余
B：执行BatchGet操作，再次在每个项目上调用delete，直到没有任何项目剩余
对我来说，这两种方法都看起来很糟糕，因为它们需要很长时间。
我理想情况下希望做的是调用LogTable.DeleteItem(user_id) - 不提供范围，并让它为我删除所有内容。
使用Query而不是Scan来检索所有user_id的项目-这适用于使用组合哈希/范围主键的情况，因为HashKeyValue和RangeKeyCondition是此API中的单独参数，前者仅针对复合主键的哈希组件的属性值。请注意，您需要像往常一样处理查询API分页，参见ExclusiveStartKey参数:
循环遍历所有返回的项目，并像往常一样使用DeleteItem删除
正如 ivant 所强调的那样，BatchWriteItem 操作允许您在单个 API 调用中放置或删除多个表中的多个项目 [我强调]:
要上传一个项目，可以使用 PutItem API，要删除一个项目，可以使用 DeleteItem API。但是，当您想要上传或删除大量数据时，例如从 Amazon Elastic MapReduce (EMR) 上传大量数据或将数据从另一个数据库迁移到 Amazon DynamoDB 中，此 API 提供了一种高效的替代方法。
请注意，这仍然有一些相关限制，最值得注意的是:
单次请求中的最大操作数 — 您可以指定最多25个put或delete操作；但是，总请求大小不能超过1 MB（HTTP有效负载）。
不是原子操作 — 在BatchWriteItem中指定的各个操作是原子操作；但是BatchWriteItem作为一个整体是“尽力而为”的操作，而不是原子操作。也就是说，在BatchWriteItem请求中，有些操作可能成功，而有些操作可能失败。[...]
然而，这显然为像手头这个用例这样的用例提供了潜在的重大收益。
根据DynamoDB文档，您可以直接删除整张表。
如下所示：
“删除整个表比逐个删除项目要高效得多，因为您进行了与放置操作一样多的删除操作，从而将写吞吐量翻倍。”
如果您只想删除部分数据，则可以为每个月、年或类似的内容制作单独的表。这样，您可以删除“上个月”并保留其余数据。
以下是使用AWS SDK在Java中删除表的方法：
DeleteTableRequest deleteTableRequest = new DeleteTableRequest()
.withTableName(tableName);
DeleteTableResult result = client.deleteTable(deleteTableRequest);
DeleteItem或BatchWriteItem来删除它们。但请记住，这里可能会消耗大量吞吐量容量。例如，假设您需要从DynamoDB表中删除1000个项目。每个项目的大小为1 KB，导致大约1 MB的数据。此批量删除任务将需要2000个写入吞吐量单位进行查询和删除。为了在10秒钟内执行此数据加载（在某些应用程序中甚至不被认为是快速的），您需要将表的规定写入吞吐量设置为200个写入吞吐量单位。如您所见，如果项目数量较少或项目大小较小，则可以使用此方法。我们没有截断Dynamo表的选项。我们必须删除表并重新创建。 DynamoDB收费基于ReadCapacityUnits和WriteCapacityUnits。如果我们使用BatchWriteItem函数删除所有项目，它将使用WriteCapacityUnits。因此最好删除特定记录或删除表并重新开始。
这是一个递归函数，用于删除所有带有 batchWriteItems 的项目。定义表的键模式和表名，并调用 clearTable：
var AWS = require("aws-sdk");
var docClient = new AWS.DynamoDB.DocumentClient();
const TABLE_NAME = ""
const TABLE_PRIMARY_KEY = ""
const clearTable = async () => {
const batch = await getItemBatch();
await recursiveDeleteTableItems(batch)
}
const recursiveDeleteTableItems = async (batch) => {
if(batch && batch.length > 0) {
await deleteItemBatch(batch)
} else {
return
}
const newItemBatch = await getItemBatch()
await recursiveDeleteTableItems(newItemBatch)
}
const deleteItemBatch = async (batch) => {
const deleteOperations = batch.map( i => ({
"DeleteRequest": {
"Key": {
[TABLE_PRIMARY_KEY] : i.KEY_VALUE
}
}
}))
return new Promise(async (resolve, reject) => {
const params = {
"RequestItems": {
[TABLE_NAME]: deleteOperations
}
}
docClient.batchWrite(params, (err, data) => {
if (err) {
reject(`Unable to query. Error: ${err} ${JSON.stringify(err, null, 2)}`);
return
}
resolve(data)
})
})
}
const getItemBatch = async () => {
var params = {
TableName: TABLE_NAME,
Limit: 25 // match batchWriteItem
};
return new Promise(async (resolve, reject) => {
docClient.scan(params, async function (err, data) {
if (err) {
reject(`Unable to query. Error: ${err} ${JSON.stringify(err, null, 2)}`);
return
}
resolve(data.Items)
});
});
}
您是否考虑使用测试来传递变量？例如：
测试输入可能如下所示：
{
"TABLE_NAME": "MyDevTable",
"PARTITION_KEY": "REGION",
"SORT_KEY": "COUNTRY"
}
const AWS = require('aws-sdk');
const docClient = new AWS.DynamoDB.DocumentClient({ apiVersion: '2012-08-10' });
exports.handler = async (event) => {
const TABLE_NAME = event.TABLE_NAME;
const PARTITION_KEY = event.PARTITION_KEY;
const SORT_KEY = event.SORT_KEY;
let params = {
TableName: TABLE_NAME,
};
console.log(`keys: ${PARTITION_KEY} ${SORT_KEY}`);
let items = [];
let data = await docClient.scan(params).promise();
items = [...items, ...data.Items];
while (typeof data.LastEvaluatedKey != 'undefined') {
params.ExclusiveStartKey = data.LastEvaluatedKey;
data = await docClient.scan(params).promise();
items = [...items, ...data.Items];
}
let leftItems = items.length;
let group = [];
let groupNumber = 0;
console.log('Total items to be deleted', leftItems);
for (const i of items) {
// console.log(`item: ${i[PARTITION_KEY] } ${i[SORT_KEY]}`);
const deleteReq = {DeleteRequest: {Key: {},},};
deleteReq.DeleteRequest.Key[PARTITION_KEY] = i[PARTITION_KEY];
deleteReq.DeleteRequest.Key[SORT_KEY] = i[SORT_KEY];
// console.log(`DeleteRequest: ${JSON.stringify(deleteReq)}`);
group.push(deleteReq);
leftItems--;
if (group.length === 25 || leftItems < 1) {
groupNumber++;
console.log(`Batch ${groupNumber} to be deleted.`);
const params = {
RequestItems: {
[TABLE_NAME]: group,
},
};
await docClient.batchWrite(params).promise();
console.log(
`Batch ${groupNumber} processed. Left items: ${leftItems}`
);
// reset
group = [];
}
}
const response = {
statusCode: 200,
// Uncomment below to enable CORS requests
headers: {
"Access-Control-Allow-Origin": "*"
},
body: JSON.stringify('Hello from Lambda!'),
};
return response;
};
我在DynamoDb中删除表中所有行的方法是使用DynamoDb的ScanAsync将所有行都取出，然后将结果列表提供给DynamoDb的AddDeleteItems。以下C#代码对我很有效。
public async Task DeleteAllReadModelEntitiesInTable()
{
List<ReadModelEntity> readModels;
var conditions = new List<ScanCondition>();
readModels = await _context.ScanAsync<ReadModelEntity>(conditions).GetRemainingAsync();
var batchWork = _context.CreateBatchWrite<ReadModelEntity>();
batchWork.AddDeleteItems(readModels);
await batchWork.ExecuteAsync();
}
更新一下，DynamoDB控制台发布了一个新版本，其中包含一个名为PartiQL编辑器的新功能。它是用于DynamoDB操作的类似SQL的编辑器。
删除特定记录
DELETE FROM <Table-Name> WHERE id=some-Id;
缺点：一次只能删除一个项目
BatchWriteItem删除项目时，需要通过TableWriteItems指定项目。 - Neilboto3.resource.TableAPI 中有一个高级别的batch_writer()函数，可以“自动处理缓冲和分批发送条目。此外，批量写入器还会自动处理任何未处理的项，并根据需要重新发送它们”，即它是一个包装工具，用于管理烦人的部分，基于 BatchWriteItem 实现。更多信息请查看：https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/dynamodb.html#DynamoDB.Table.batch_writer - Davosbatch_writer是进行批量删除的最佳方式。我在GitHub上放了一个工作示例https://github.com/awsdocs/aws-doc-sdk-examples。 - Laren Crawford