Redis:每天重置计数器

5
我希望您能够使用Redis来每天重置一个计数器。我对Redis还很陌生,因此我想确保我充分理解事务和管道的工作原理。
以下代码是否确保我在多进程环境中始终获得唯一的(date, number)这对数据,或者我需要使用Redis锁?
import datetime
import redis

r = redis.Redis(...)

def get_utc_date_now():
    return datetime.datetime.utcnow().date()

def get_daily_counter(r, dt_key='dt', counter_key='counter'):

    def incr_daily_number(pipe):
        dt_now = get_utc_date_now().isoformat()  # e.g.: "2014-10-18"
        dt = pipe.get(dt_key)    
        pipe.multi()    
        if dt != dt_now:
            pipe.set(dt_key, dt_now)
            pipe.set(counter_key, 0)
        pipe.get(dt_key)
        pipe.incr(counter_key)

    result = r.transaction(incr_daily_number, dt_key)
    return result[-2:]

# Get the (dt, number) couple
# 2014-10-18, 1
# 2014-10-18, 2
# etc.
dt, number = get_daily_counter(r)

更新

尝试使用LUA脚本:

r = redis.Redis(...)

incr_with_reset_on_change_lua_script = """

local dt = redis.call('GET', KEYS[2])
if dt ~= ARGV[2] then
  redis.call('MSET', KEYS[1], ARGV[1], KEYS[2], ARGV[2])
end
return redis.call('INCR', KEYS[1])

"""
# Incr KEYS1 but reset first if KEYS2 has changed.
incr_with_reset_on_change = r.register_script(incr_with_reset_on_change_lua_script)

counter_key = 'dcounterA'
watch_key = 'dcounterA_dt'
watch_value = get_utc_date_now().isoformat()

number = incr_with_reset_on_change(keys=[counter_key, watch_key], args=[reset_value, watch_value])

只是一个好奇的问题,您是否可以直接将脚本嵌入到Python字符串中,而不是提供文件进行注册的方法? - PirateApp
1个回答

5
考虑两个在午夜同时发生的事务。它们都可以执行get(dt_key),但一个将先执行MULTI/EXEC块。它会重置计数器、设置新日期并递增计数器。第二个也会进入自己的MULTI/EXEC块,但由于'dt'的值已经改变,执行将失败,并且incr_daily_number将被再次调用。这一次get(dt_key)将返回新日期,因此当MULTI/EXEC块被执行时,计数器将被递增而不需要任何重置。两个事务将以不同的计数器值返回新日期。
因此,我相信这里不存在竞争条件,(日期,数字)对将是唯一的。
您还可以使用服务器端Lua脚本来实现此目的(其执行始终是原子性的)。通常更方便。
请注意,实际上,Redis没有锁。API中提供的锁定机制由Python客户端提供,而非Redis服务器。如果您查看它的实现,您将意识到它也基于SETNX + WATCH/MULTI/EXEC块或Lua脚本。

谢谢。我更新了我的问题,试着用一个LUA脚本来解决它。我觉得在这种情况下我可以在脚本外设置日期。我还没有测试过,如果您有时间,请告诉我您的想法。谢谢。 - Michael
Lua脚本看起来不错。您可以通过使用MSET批处理两个连续的SET来稍微改进它。一个独特的更大的Redis命令总是比两个较小的命令更有效率。 - Didier Spezia
谢谢。我已经进行了更改,并使其更加通用。我能够尝试它并且它有效。还有一个问题:LUA脚本不会存储在redis服务器中,对吗?我必须在每个新客户端中注册它才能使用它? - Michael
相反地 - 通过使用SCRIPT LOAD和EVALSHA,Redis将存储脚本(以及已编译的字节码),因此您不必在每次调用时将脚本发送到服务器。 - Itamar Haber
好的,在查看了Python Redis库之后,发现当使用register_script函数时,该库会执行以下操作。https://github.com/andymccurdy/redis-py/blob/a8e9e19d6fab065eee382942baec79d5f3b56bb5/redis/client.py#L2652 - Michael

网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接