pickle的`persistent_id`有哪些替代方案？

Question

pickle的`persistent_id`有哪些替代方案？

pythonjsonpersistenceyamlpickle

5

我一直在使用Python的pickle模块实现一个薄的基于文件的持久性层。这个持久性层（作为一个更大的库的一部分）严重依赖pickle的persistent_id功能，将指定类的对象保存为单独的文件。

这种方法唯一的问题是pickle文件不可人工编辑，我更希望以文本格式保存并可用文本编辑器进行编辑（例如YAML或JSON）。

您是否知道任何使用可人工编辑格式的库，并提供类似于pickle的persistent_id功能？或者，您有没有关于在基于YAML或JSON的序列化库之上实现它们的建议，而无需重写pickle的大量子集？

- Riccardo Murri

没有对持久性系统的目的或要求进行描述，很难就如何实现一个持久性系统提出建议。 - taleinat

@taleinat，这个问题的范围比实现持久化系统要窄：是否有任何库提供类似于_pickle_的persistent_id机制的功能，但使用可由人编辑的格式？（但你是对的，最后一部分可能会引起一些混淆 - 我会尝试重新措辞） - Riccardo Murri

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- taleinat · Accepted Answer

我自己还没有尝试过，但我认为你应该可以使用PyYAML优雅地完成这个任务，使用他们所谓的"representers"和"resolvers"。

编辑

在与发布者进行了广泛的评论交流后，以下是使用PyYAML实现所需行为的方法。

重要说明：如果一个Persistable实例有另一个这样的实例作为属性，或者以某种方式包含在其属性之一中，则包含的Persistable实例将不会保存到另一个单独的文件中，而是将内联保存在与父Persistable实例相同的文件中。据我所知，这种限制也存在于发布者基于pickle的系统中，并且可能适用于他/她的用例。我还没有找到一种优雅的解决方案，不涉及yaml.representer.BaseRepresenter的黑客攻击。

import yaml
from functools import partial

class Persistable(object):
    # simulate a unique id
    _unique = 0

    def __init__(self, *args, **kw):
        Persistable._unique += 1
        self.persistent_id = ("%s.%d" %
                              (self.__class__.__name__, Persistable._unique))

def persistable_representer(dumper, data):
    id = data.persistent_id
    print "Writing to file: %s" % id
    outfile = open(id, 'w')
    outfile.write(yaml.dump(data))
    outfile.close()
    return dumper.represent_scalar(u'!xref', u'%s' % id)

class PersistingDumper(yaml.Dumper):
    pass

PersistingDumper.add_representer(Persistable, persistable_representer)
my_yaml_dump = partial(yaml.dump, Dumper=PersistingDumper)

def persistable_constructor(loader, node):
    xref = loader.construct_scalar(node)
    print "Reading from file: %s" % id
    infile = open(xref, 'r')
    value = yaml.load(infile.read())
    infile.close()
    return value

yaml.add_constructor(u'!xref', persistable_constructor)


# example use, also serves as a test
class Foo(Persistable):
    def __init__(self):
        self.one = 1
        Persistable.__init__(self)

class Bar(Persistable):
    def __init__(self, foo):
        self.foo = foo
        Persistable.__init__(self)

foo = Foo()
bar = Bar(foo)
print "=== foo ==="
dumped_foo = my_yaml_dump(foo)
print dumped_foo
print yaml.load(dumped_foo)
print yaml.load(dumped_foo).one

print "=== bar ==="
dumped_bar = my_yaml_dump(bar)
print dumped_bar
print yaml.load(dumped_bar)
print yaml.load(dumped_bar).foo
print yaml.load(dumped_bar).foo.one

baz = Bar(Persistable())
print "=== baz ==="
dumped_baz = my_yaml_dump(baz)
print dumped_baz
print yaml.load(dumped_baz)

从现在开始，当你想要将Persistable类的实例保存到单独的文件中时，请使用my_yaml_dump代替yaml.dump。但是不要在persistable_representer和persistable_constructor中使用它！没有特殊的加载函数是必要的，只需使用yaml.load。

哎呀，这需要一些工作...我希望这可以帮到你！