如何以低廉的价格在Python中获取大文件的行数

Question

如何以低廉的价格在Python中获取大文件的行数

1289

如何以最节省内存和时间的方式获取大文件的行数？

def file_len(filename):
    with open(filename) as f:
        for i, _ in enumerate(f):
            pass
    return i + 1

- SilentGhost

16

您需要精确的行数还是近似值就可以了？ - pico

61

由于此代码无法处理空文件，因此我建议在for循环之前添加i = -1。 - Maciek Sawicki

14

@Legend: 我敢打赌Pico正在考虑使用seek(0,2)或相似函数获取文件大小，然后将文件大小除以大约的行长度来计算。你可以读取开始几行来猜测平均行长度。 - Anne

41

将 enumerate(f, 1) 代替 range(len(f)) 并省略 i + 1？ - Ian Mackinnon

6

适用于空文件，但在 for 循环之前必须将 i 初始化为 0。 - scai

显示剩余6条评论

45个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Colonel Panic · Answer 1

同样地：

lines = 0
with open(path) as f:
    for line in f:
        lines += 1

- Michael Whatcott · Answer 2

def line_count(path):
    count = 0
    with open(path) as lines:
        for count, l in enumerate(lines, start=1):
            pass
    return count

- pyanon · Answer 3

count = max(enumerate(open(filename)))[0]

计数 = max(enumerate(open(filename)))[0]

- S.C · Answer 4

这个怎么样？

import sys
sys.stdin=open('fname','r')
data=sys.stdin.readlines()
print "counted",len(data),"lines"

- krakatit · Answer 5

为什么下面的代码不起作用？

import sys

# input comes from STDIN
file = sys.stdin
data = file.readlines()

# get total number of lines in file
lines = len(data)

print lines

在这种情况下，len函数使用输入行作为确定长度的手段。