我有一个字符串缓冲区，存储着一个巨大的文本文件。我需要在这个字符串缓冲区里查找指定的单词/短语。有什么高效的方法可以做到这一点呢？
我尝试使用re模块匹配，但是由于我需要搜索的文本语料库非常庞大，所以这需要花费大量的时间。
给定一个单词和短语的字典。
我遍历每个文件，将其读入字符串，搜索字典中的所有单词和短语，并在字典中增加计数，如果找到了键。
我们想到的一个小优化是将短语/单词的字典按照单词数量最多到最少进行排序。然后从字符串缓冲区比较每个单词的起始位置并比较单词列表。如果找到一个短语，则不继续搜索其他短语（因为它匹配了最长的短语，这正是我们想要的）。
是否有人能够建议如何逐个单词地遍历字符串缓冲区呢？
此外，还能对此进行其他优化吗？
data = str(file_content)
for j in dictionary_entity.keys():
cnt = data.count(j+" ")
if cnt != -1:
dictionary_entity[j] = dictionary_entity[j] + cnt
f.close()
通过三种不同的方式逐字逐句地遍历文件内容（以我的情况为例，是从Project Gutenberg获取的《绿野仙踪》）：
from __future__ import with_statement
import time
import re
from cStringIO import StringIO
def word_iter_std(filename):
start = time.time()
with open(filename) as f:
for line in f:
for word in line.split():
yield word
print 'iter_std took %0.6f seconds' % (time.time() - start)
def word_iter_re(filename):
start = time.time()
with open(filename) as f:
txt = f.read()
for word in re.finditer('\w+', txt):
yield word
print 'iter_re took %0.6f seconds' % (time.time() - start)
def word_iter_stringio(filename):
start = time.time()
with open(filename) as f:
io = StringIO(f.read())
for line in io:
for word in line.split():
yield word
print 'iter_io took %0.6f seconds' % (time.time() - start)
woo = '/tmp/woo.txt'
for word in word_iter_std(woo): pass
for word in word_iter_re(woo): pass
for word in word_iter_stringio(woo): pass
% python /tmp/junk.py
iter_std took 0.016321 seconds
iter_re took 0.028345 seconds
iter_io took 0.016230 seconds
您可以尝试换一种方式...而不是对文本语料库进行2,000,000次处理（每个单词一次），仅处理一次。对于语料库中的每个单词，在哈希表或类似结构中递增以存储该单词的计数。以下是一个简单的伪代码示例：
word_counts = new hash<string,int>
for each word in corpus:
if exists(word_counts[word]):
word_counts[word]++
else:
word_counts[word] = 1
你可以通过提前使用完整的单词列表初始化 word_counts 来加快速度，这样就不需要那个 if 语句了...不确定。
re效率不够高，你可能在使用findall()或手动逐个查找匹配项。使用迭代器可能会使其更快：>>> for i in re.finditer(r'\w+', 'Hello, this is a sentence.'):
... print i.group(0)
...
Hello
this
is
a
sentence
#!/usr/bin/env python
import re
s = ''
for i in xrange(0, 100000):
s = s + 'Hello, this is a sentence. '
if i == 50000:
s = s + " my phrase "
s = s + 'AARRGH'
print len(s)
itr = re.compile(r'(my phrase)|(\w+)').finditer(s)
for w in itr:
if w.group(0) == 'AARRGH':
print 'Found AARRGH'
elif w.group(0) == "my phrase":
print 'Found "my phrase"'
运行此代码，我们得到：
$ time python itrword.py
2700017
Found "my phrase"
Found AARRGH
real 0m0.616s
user 0m0.573s
sys 0m0.033s
但是，每个显式添加到正则表达式中的“短语”都会对性能产生影响——根据我的粗略测量，上述方法比仅使用“\w+”慢50%。
re模块无法快速完成它，那么你很难以更快的速度完成它。无论如何，您需要阅读整个文件。您可以考虑修复您的正则表达式（您能提供一个吗？）。也许还需要一些关于您试图实现什么的背景信息。正如xyld所说，我认为你无法超越re模块的速度，尽管如果您发布您的正则表达式和可能的代码将会有所帮助。我能添加的是在优化之前尝试进行分析。当您看到大部分处理过程时，您可能会感到惊讶。我使用hotshot来分析我的代码，并且非常满意。您可以在这里找到有关Python分析的良好介绍http://onlamp.com/pub/a/python/2005/12/15/profiling.html。