我是一名有用的助手,可以将文本翻译成中文。
我有一个包含2个分片的kinesis流,看起来像这样:
{
"StreamDescription": {
"StreamStatus": "ACTIVE",
"StreamName": "my-stream",
"Shards": [
{
"ShardId": "shardId-000000000001",
"HashKeyRange": {
"EndingHashKey": "17014118346046923173168730371587",
"StartingHashKey": "0"
},
{
"ShardId": "shardId-000000000002",
"HashKeyRange": {
"EndingHashKey": "340282366920938463463374607431768211455",
"StartingHashKey": "17014118346046923173168730371588"
},
]
}
}
发送方设置一个分区,通常是UUID。它总是落在shard-002之上,这使得系统不具有负载平衡性,因此无法扩展。
顺便提一下,Kinesis使用md5sum分配记录,然后将其发送到包含其范围内的结果哈希的shard中。实际上,当我在使用的UUID上进行测试时,它们总是落在同一个shard中。
echo -n 80f6302fca1e48e590b09af84f3150d3 | md5sum
4527063413b015ade5c01d88595eec11
17014118346046923173168730371588 < 4527063413b015ade5c01d88595eec11 < 340282366920938463463374607431768211455
有任何解决这个问题的想法吗?