Python生成器的生成器

Question

这里是我在一次面试（Python 3.7）中遇到的问题:

def add(x,y):
    return x+y

g = (x for x in range(4))
for n in [1,10]:
    g = (add(n,i) for i in g)
list(g)

list(g)打印出什么？答案是

20,21,22,23

从输出结果看，我猜测是add函数循环了两次，而且两次的n都等于10？能否有人逐步解释一下发生了什么？我很困惑。非常感谢。

- Qun Cheng

---

如果你想逐步理解代码，为什么不使用调试器或者PythonTutor，而非在这里提问呢？同时，也可以阅读关于如何调试小程序的文章。 - Tomerikoo

Answer 1

"生成器表达式"的主体不会捕获闭包中的值，因此n只是一个自由变量，其值为在g被评估后分配给n的任何值。(被迭代的表达式是自由变量，因此g不是自由变量，但当前分配给g的可迭代对象是自由变量。)

也就是说，在for循环后，你有

assert n == 10  # The last value assigned to n

# Pseudocode - every time n is used, it resolves to the *current*
# value of n, not the value n had when the generator expression was 
# defined.
g = (add(10, i) for i in (add(10, i) for i in (x for x in range(4))))
#  *not* (add(10, i) for i in (add(1, i) for i in (x for x in range(4))))
  = (add(10, i) for i in (add(10, i) for i in (0, 1, 2, 3)))
  = (add(10, i) for i in (10, 11, 12, 13))
  = (10 + i for i in (10, 11, 12, 13)

所以

list(g) == [20, 21, 22, 23]

- chepner

---

为什么不是 (add(n, i) for i in (add(n, i) for i in (add(n, i) ...)))…？ - deceze

@deceze 不确定我是否理解问题，但 n 是在一个包含2个元素的列表上绘制的，而不是一个10个元素的范围，如果您问的是嵌套深度。 - chepner

哎呀，我犯了个错误，在 [1,10] 和 range(1, 10) 之间完全失去了思路。我的错。 - deceze

@deceze 我最初也犯了同样的错误 :) - chepner

Answer 2

因为g是生成器对象。

与立即计算的列表推导式不同，它只是一个等待迭代的生成器实例。

>>> from inspect import getgeneratorstate
>>> g = (x for x in range(4))
>>> getgeneratorstate(g)
'GEN_CREATED'

>>> next(g)
0
>>> getgeneratorstate(g)
'GEN_SUSPENDED'

>>> list(g)
[1, 2, 3]
>>> getgeneratorstate(g)
'GEN_CLOSED'

然而，对于第一个生成器(x for x in range(4))的引用在生成器对象内部不会改变。因为g只是指向内存中一个对象的引用。

名称只是盒子上的便签。——《流畅的Python》。

当我们传递g时，仅传递了引用对象的内存地址，而不是g本身。因此，在以下情况下：

>>> g = (x for x in range(4))
>>> g
<generator object <genexpr> at 0x036babbc>

>>> g = (add(n, i) for i in g)

g在生成器表达式(add(n, i) for i in g)中只是将内存地址0x036babbc传递给表达式，而从该表达式创建的生成器实例会记住该地址，因此即使重新声明g也不会影响已经创建的生成器实例。

所以按照顺序：

>>> g = (x for x in range(4))
>>> g
<generator object <genexpr> at 0x0452c22c>  # 1

>>> g = (add(10, i) for i in g)
>>> g
<generator object <genexpr> at 0x044ee178>  # 2
>>> g.gi_frame.f_locals['.0']
<generator object <genexpr> at 0x0452c22c>  # 1 stored

>>> g = (add(10, i) for i in g)
>>> g
<generator object <genexpr> at 0x03bd88c8>  # 3
>>> g.gi_frame.f_locals['.0']
<generator object <genexpr> at 0x044ee178>  # 2 stored

正如您所见，每个生成器表达式都会记住最后引用的生成器实例，因此它会不断嵌套。

- jupiterbjy