假设我有以下内容：
dest = "\n".join( [line for line in src.split("\n") if line[:1]!="#"] )
（即从多行字符串src中删除任何以＃开头的行）
src非常大，因此我假设.split()将创建一个大的中间列表。 我可以将列表推导式更改为生成器表达式，但是否有一种“xsplit”可用于仅逐行处理？我的假设正确吗？处理这个的最有效（内存）的方法是什么？
澄清：这是由于我的代码耗尽了内存而引起的。 我知道有办法完全重写我的代码来解决这个问题，但问题是关于Python：是否有一个类似生成器的split()版本（或等效习语），因此不会产生src的额外工作副本？
buffer = StringIO(src)
dest = "".join(line for line in buffer if line[:1]!="#")
StringIO，则这确实是最有意义的。 它的工作方式与文件大致相同。 您可以查找，读取，写入，迭代（如所示）等。str 作为变量名。 - Mark Byers>>> import itertools as it
>>> src="hello\n#foo\n#bar\n#baz\nworld\n"
>>> line_gen = (''.join(j) for i,j in it.groupby(src, "\n".__ne__) if i)
>>> '\n'.join(s for s in line_gen if s[0]!="#")
'hello\nworld'
groupby会将src中的每个字符单独处理，因此性能可能不是最佳的，但它避免了创建任何中间巨大的数据结构。
最好花费一些时间编写一个生成器。
>>> src="hello\n#foo\n#bar\n#baz\nworld\n"
>>>
>>> def isplit(s, t): # iterator to split string s at character t
... i=j=0
... while True:
... try:
... j = s.index(t, i)
... except ValueError:
... if i<len(s):
... yield s[i:]
... raise StopIteration
... yield s[i:j]
... i = j+1
...
>>> '\n'.join(x for x in isplit(src, '\n') if x[0]!='#')
'hello\nworld'
re有一个名为finditer的方法，也可用于此目的。
>>> import re
>>> src="hello\n#foo\n#bar\n#baz\nworld\n"
>>> line_gen = (m.group(1) for m in re.finditer("(.*?)(\n|$)",src))
>>> '\n'.join(s for s in line_gen if not s.startswith("#"))
'hello\nworld'
比较性能是一个练习，让OP尝试在实际数据上进行。
str.split那样在s.endswith(t)时产生最后一个''，而更像str.splitlines(False)。 - John Machin在您现有的代码中，您可以将列表更改为生成器表达式：
dest = "\n".join(line for line in src.split("\n") if line[:1]!="#")
import re
regex = re.compile('^#.*\n?', re.M)
dest = regex.sub('', src)
init = r'''
import re, StringIO
regex = re.compile('^#.*\n?', re.M)
src = ''.join('foo bar baz\n' for _ in range(100000))
'''
method1 = r'"\n".join([line for line in src.split("\n") if line[:1] != "#"])'
method2 = r'"\n".join(line for line in src.split("\n") if line[:1] != "#")'
method3 = 'regex.sub("", src)'
method4 = '''
buffer = StringIO.StringIO(src)
dest = "".join(line for line in buffer if line[:1] != "#")
'''
import timeit
for method in [method1, method2, method3, method4]:
print timeit.timeit(method, init, number = 100)
结果：
9.38秒 # 分割后使用临时列表连接 9.92秒 # 分割后使用生成器连接 8.60秒 # 正则表达式 64.56秒 # StringIO
从结果可以看出，正则表达式是最快的方法。
从您的评论中可以看出，您实际上并不关心避免创建临时对象。您真正想要的是减少程序的内存需求。临时对象不一定会影响程序的内存消耗，因为Python可以快速清除内存。问题在于有些对象比需要更长时间地存在于内存中，而且所有这些方法都有这个问题。
如果您仍然遇到内存不足的问题，我建议您不要完全在内存中执行此操作。而是将输入和输出存储在磁盘上的文件中，并以流式方式从它们中读取。这意味着您从输入中读取一行，写入一行到输出中，再读取一行，再写入一行等等。这将创建大量的临时字符串，但即使如此，它也几乎不需要任何内存，因为您只需要逐个处理字符串。
MemoryError异常。回溯中没有其他相关信息。 - Tomr'(#[^\n]*)(?:\n|$)'。RE应该一次性创建输出字符串（而不是拆分和连接）。 - Jochen Ritzel如果我正确理解您关于“更通用的split()调用”的问题，您可以使用re.finditer，如下所示：
output = ""
for i in re.finditer("^.*\n",input,re.M):
i=i.group(0).strip()
if i.startswith("#"):
continue
output += i + "\n"
在这里，您可以用更复杂的东西替换正则表达式。
MemoryError错误的字符串的len（src）和src.count('\n')的结果？ - Mark Byers