在Python 2.7中优化过滤列表

Question

在Python 2.7中优化过滤列表

9

我需要多次筛选一个很大的列表，但我既关注代码的简洁性，又关注执行效率。举个例子：

all_things # huge collection of all things

# inefficient but clean code
def get_clothes():
    return filter(lambda t: t.garment, allThings)

def get_hats():
    return filter(lambda t: t.headgear, get_clothes())

我担心在迭代衣服列表时，实际上已经完成了迭代。我还想将两个过滤操作分开，因为它们属于两个不同的类，我不想在帽子类中重复第一个lambda函数。

# efficient but duplication of code
def get_clothes():
    return filter(lambda t: t.garment, allThings)

def get_hats():
    return filter(lambda t: t.headgear and t.garment, allThings)

我一直在研究生成器函数，因为它们似乎是正确的方法，但我还没有弄清楚如何使用。

- cammil

如果你担心性能问题，你是否进行了性能测试？ - Karl Knechtel

如果我认为它不明显的话，我早就这么做了。 - cammil

2

当涉及到性能时，“显然”是一个危险的词。 - Karl Knechtel

2

测试过了：经过我粗略的测试，其中衣服大约占整个列表的30%，执行时间减少了约40%。相当可靠。 - cammil

3个回答

5

我正在寻找类似于对列表进行过滤的方法，但希望以稍微不同的格式呈现。

上面的get_hats()调用很好，但在重复使用方面有限制。我正在寻找更像get_hats(get_clothes(all_things))这样的东西，您可以指定一个源(all_things)，然后使用尽可能少或尽可能多水平的过滤器get_hats()，get_clothes()。

我发现了一种使用生成器进行此操作的方法：

def get_clothes(in_list):
    for item in in_list:
        if item.garment:
            yield item

def get_hats(in_list):
    for item in in_list:
        if item.headgear:
            yield item

这可以通过以下方式调用：

get_hats(get_clothes(all_things))

我测试了原始解决方案、vartec的解决方案和这个额外的解决方案，以查看效率，并对结果感到有些惊讶。代码如下：

设置：

class Thing:
    def __init__(self):
        self.garment = False
        self.headgear = False

all_things = [Thing() for i in range(1000000)]

for i, thing in enumerate(all_things):
    if i % 2 == 0:
        thing.garment = True
    if i % 4 == 0:
        thing.headgear = True

原始解决方案：

def get_clothes():
    return filter(lambda t: t.garment, all_things)

def get_hats():
    return filter(lambda t: t.headgear, get_clothes())

def get_clothes2():
    return filter(lambda t: t.garment, all_things)

def get_hats2():
    return filter(lambda t: t.headgear and t.garment, all_things)

我的解决方案：

def get_clothes3(in_list):
    for item in in_list:
        if item.garment:
            yield item

def get_hats3(in_list):
    for item in in_list:
        if item.headgear:
            yield item

vartec的解决方案：

def get_clothes4():
    for t in all_things:
       if t.garment:
           yield t

def get_hats4():
    for t in get_clothes4():
        if t.headgear:
            yield t

计时代码：

import timeit

print 'get_hats()'
print timeit.timeit('get_hats()', 'from __main__ import get_hats', number=1000)

print 'get_hats2()'
print timeit.timeit('get_hats2()', 'from __main__ import get_hats2', number=1000)

print '[x for x in get_hats3(get_clothes3(all_things))]'
print timeit.timeit('[x for x in get_hats3(get_clothes3(all_things))]',
                    'from __main__ import get_hats3, get_clothes3, all_things',
                    number=1000)

print '[x for x in get_hats4()]'
print timeit.timeit('[x for x in get_hats4()]',
                    'from __main__ import get_hats4', number=1000)

结果：

get_hats()
379.334653854
get_hats2()
232.768362999
[x for x in get_hats3(get_clothes3(all_things))]
214.376812935
[x for x in get_hats4()]
218.250688076

生成器表达式似乎略微更快，我和vartec的解决方案之间的时间差可能只是噪音。但我更喜欢能够以任何顺序应用所需的任何过滤器的灵活性。

- Allan5

4

一遍完成的方法（伪代码）：

clothes = list()
hats = list()
for thing in things:
    if thing is a garment:
        clothes.append(thing)
        if thing is a hat:
            hats.append(thing)

一次大规模的操作和一次较小规模的操作（列表推导式）：

clothes = [ x for x in things if x is garment ]
hats = [ x for x in clothes if x is hat ]

如果你想创建整个列表，使用生成器表达式进行惰性计算就没有意义，因为你不会懒惰。如果你一次只想处理几件事情，或者内存受限，请使用@vartec的生成器解决方案。

- Li-aung Yip

1

你可能需要修复things中的thing使用 - okm

@okm：抱歉，我没有看到它 - 你能详细说明一下吗？ - Li-aung Yip

我的意思是，如果“thing”是帽子，“[thing in clothes if thing is hat]”就不是语法正确的，对吧？ - okm

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- vartec · Accepted Answer

首先，使用过滤器/lambda组合将被弃用。当前的函数式编程风格已在Python Functional Programming HOWTO中描述。

其次，如果你关心效率，而不是构建列表，你应该返回generators。在这种情况下，它们足够简单，可以使用generator expressions。

def get_clothes():
    return (t for t in allThings if t.garment)

def get_hats():
    return (t for t in get_clothes() if t.headgear)

如果您更喜欢，也可以使用真正的生成器（据说更符合 Python 风格）：

def get_clothes():
    for t in allThings:
       if t.garment:
           yield t

def get_hats():
    for t in get_clothes():
        if t.headgear:
            yield t

如果由于某种原因，有时您需要使用list而不是iterator，则可以通过简单的强制转换构造列表：

hats_list = list(get_hats())

请注意，上述代码不会构建衣服清单，因此效率与您的重复代码版本接近。