如何编写迭代器?

4

我有一个节点网络,可以在其中传递结构化数据。对于我的子问题,我们有这样一个分支-节点的线性序列:

nodes = [source, n1, n2, n3, n4]

第一个节点是生成器,每个其他节点从输入节点获取值并提供输出值。当前实现是从管道中获取(get())数据并将其放入管道(put()),每个节点都有单独的线程(这样做是有原因的)。我想将其更改为使用 yield 迭代器。

如果我们将节点视为可调用对象,我希望按以下方式进行评估:

for result in n4(n3(n2(n1(source()))):
    print result

我想象评估上下文的构建方式如下所示:

context = src
for node in nodes[1:]:
    context = pipe(context, node)

for result in context:
    print result

局限性:

我仍然希望能够单独使用节点 - 不是嵌套的,通过其他方式传输数据,因为节点可能在不同的线程中。例如:[source,n1,n2]在一个线程中(可能是嵌套的),[n3,n4]在另一个线程中(可能是嵌套的),数据在n2n3之间传输。情况:可能存在非线性节点图,我想以这种方式分组分支。

node必须是一个类来保存计算状态。

context的实现和pipe(context,node)的实现应该如何?或者如果可以用不同的方式解决它,你有什么建议?

Python 3.3中的yield from (PEP380)能否在我的案例中有所帮助?

1个回答

2
如果你只是想组合任意数量的函数(或可调用对象),请使用来自functional模块文档的compose_mult配方
一个使用该配方的解决方案:
from functional import compose, foldr, partial
from itertools  import imap
compose_mult = partial(reduce, compose) 
chain_nodes = lambda nodes: imap(compose_mult(nodes[1:]), nodes[0])
chain_gen_nodes = lambda nodes: imap(compose_mult((g.send for g in nodes[1:])), nodes[0])


# equivalent not as a one-liner
#def chain_nodes(nodes):
#    source = nodes[0]
#    composed_nodes = compose_mult(nodes[1:])
#    return (composed_nodes(x) for x in source)

如果节点是接受输入的生成器(通过 send),则使用 chain_gen_nodes,它提取它们的发送函数。
但是,请注意,不允许向刚启动的生成器 send(因为它必须在 yield 的点接收值)。这是你自己要处理的事情,比如让你的生成器在第一次迭代时 yield 一个虚拟值,并在将它们发送到 chain_nodes 之前在某个时候使它们前进。或者你可以将节点保持为普通可调用对象。
如果确实需要使迭代器向前移动一步: next(izip(*nodes[1:]))

这就是我在问题中所写的 - 这就是我想要实现的原则。问题在于,在计算之前并不知道节点列表。这就是为什么我将节点列为一个数组 nodes = [...] - Stiivi
1
@Stiivi,这不是你所写的。但是,我已经更新了我的答案。 - Marcin
非常抱歉我表述不够清晰,感谢您的建议 - 看起来是个有用的解决方案。您认为可以使用标准的Python库来完成它吗(“不行”或“太复杂”也是可以接受的简单答案)?我想避免更多的依赖(在这种情况下是“functional”)。 - Stiivi
@Stiivi reducepartial存在于标准库中。你很可能可以轻松地编写自己的compose版本。 - Marcin

网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接