在对文件进行某些操作之前，我需要读取文件中的行数。当我尝试读取文件并在每次迭代时将line_count变量增加直至到达EOF时，这在我的情况下并不快速。我同时使用了ifstream和fgets，它们都很慢。是否有一种hacky的方法来做到这一点，比如被BSD、Linux内核或Berkeley DB使用的位操作方法。
该文件中的行数为数百万行，并且不断增加，每行大约有40或50个字符。我正在使用Linux。
注意:
我确信会有人说使用数据库，白痴。但是在我的情况下，我不能使用数据库。
找到行数的唯一方法是读取整个文件并计算行末字符的数量。最快的方法可能是使用一个读取操作将整个文件读入大缓冲区，然后通过缓冲区计算 '\n' 字符的数量。
由于您当前的文件大小约为60Mb，这不是一个有吸引力的选择。您可以通过不读取整个文件，而是按块读取文件（例如1Mb大小）来获得一些速度。您还说数据库不可行，但实际上它看起来是最好的长期解决方案。
编辑：我刚刚对此进行了小型基准测试，并使用缓冲区方法（缓冲区大小为1024K）似乎比使用 getline() 逐行读取要快两倍以上。以下是代码 - 我的测试是使用 g++ 并使用 -O2 优化级别进行的：
#include <iostream>
#include <fstream>
#include <vector>
#include <ctime>
using namespace std;
unsigned int FileRead( istream & is, vector <char> & buff ) {
is.read( &buff[0], buff.size() );
return is.gcount();
}
unsigned int CountLines( const vector <char> & buff, int sz ) {
int newlines = 0;
const char * p = &buff[0];
for ( int i = 0; i < sz; i++ ) {
if ( p[i] == '\n' ) {
newlines++;
}
}
return newlines;
}
int main( int argc, char * argv[] ) {
time_t now = time(0);
if ( argc == 1 ) {
cout << "lines\n";
ifstream ifs( "lines.dat" );
int n = 0;
string s;
while( getline( ifs, s ) ) {
n++;
}
cout << n << endl;
}
else {
cout << "buffer\n";
const int SZ = 1024 * 1024;
std::vector <char> buff( SZ );
ifstream ifs( "lines.dat" );
int n = 0;
while( int cc = FileRead( ifs, buff ) ) {
n += CountLines( buff, cc );
}
cout << n << endl;
}
cout << time(0) - now << endl;
}
uint32_t或uint64_t）扫描块，使用其中一种“SIMD Within A Register（SWAR）Operations” magic algorithms测试单词中的字节。一个示例在这里; 循环中带有0x0a0a0a0a0a0a0a0aLL的代码扫描换行符。（该代码每个文件行上的输入字节匹配正则表达式约为5个周期）std::vector。 - user1804599您写到 它不断增加。
这听起来像是一个日志文件或类似的东西，新的行被追加但现有的行没有改变。如果是这种情况，您可以尝试一种增量方法：
fseek 跳转到偏移量，解析到 EOF 并更新行数和偏移量。文件编码是什么？逐字节处理ASCII和UTF-8可以工作，但是如果您有UTF-16或某些多字节编码，则需要注意，因为一个值为换行符的字节不一定编码为换行符。
许多文本文件最后一行没有行分隔符。所以如果你的文件内容是“Hello, World!”，你将得到0而不是1的计数。你需要一个简单的状态机来跟踪，而不是仅仅计算换行符。
一些非常晦涩的文件使用Unicode U+2028 LINE SEPARATOR（甚至还有U+2029 PARAGRAPH SEPARATOR）而不是更常见的回车和/或换行符作为行分隔符。您还需要注意U+0085 NEXT LINE (NEL)。
您必须考虑是否要将一些其他控制字符视为换行符。例如，U+000C FORM FEED或U+000B LINE TABULATION（也称为垂直制表符）应该被视为新起一行吗？
旧版Mac OS（在OS X之前）的文本文件使用回车符（U+000D）而不是换行符（U+000A）分隔行。如果您将原始字节读入缓冲区（例如，使用二进制模式的流）并扫描它们，则在这些文件上计数为0。你不能同时计算回车和换行符，因为PC文件通常使用两者来结束一行。再次需要一个简单的状态机。（或者，您可以以文本模式而不是二进制模式读取文件。文本接口将使符合您平台约定的文件规范化到'\n'的行分隔符。如果您要读取其他平台的文件，则需要使用带有状态机的二进制模式。）
如果文件中存在超长行，则getline()方法可能会引发异常，导致简单的行计数器无法处理少量文件。（如果您在非Mac平台上读取旧版Mac文件，则特别如此，因为getline()将整个文件视为一个大行。）通过将块读入固定大小的缓冲区并使用状态机，您可以使其适用于所有文件。
被接受的答案中的代码存在大多数这些陷阱。先让程序正确运行，然后再考虑加速。
请记住，所有的fstream都是有缓冲区的。因此，它们实际上是按块读取的，所以您不必重新创建这个功能。所以，您只需要扫描缓冲区即可。不要使用getline()，因为这会强制您调整字符串大小。所以我会使用STL std::count和流迭代器。
#include <iostream>
#include <fstream>
#include <iterator>
#include <algorithm>
struct TestEOL
{
bool operator()(char c)
{
last = c;
return last == '\n';
}
char last;
};
int main()
{
std::fstream file("Plop.txt");
TestEOL test;
std::size_t count = std::count_if(std::istreambuf_iterator<char>(file),
std::istreambuf_iterator<char>(),
test);
if (test.last != '\n') // If the last character checked is not '\n'
{ // then the last line in the file has not been
++count; // counted. So increement the count so we count
} // the last line even if it is not '\n' terminated.
}
strchr()应该就可以了。x.log）到一个带日期的文件名（例如，x_20090101_1022.log），并计算此时有多少行（将其存储在x_20090101_1022.count中），然后开始一个新的x.log日志文件。日志文件的特性意味着创建的这个日期部分将永远不会更改，因此您永远不必重新计算行数。cat x_*.log而不是cat x.log即可。要获取“文件”的行数，请在当前x.log上执行wc -l（相对较快），并将其添加到x_*.count文件中所有值的总和中。\n字符的循环几乎是瞬间完成的。如果您的文件只会增长，那么如果您无法控制作者，Ludwig Weinzierl是最好的解决方案。否则，您可以使其更快：每次写入文件时，将计数器加一。如果多个作者可能同时尝试写入文件，请确保使用锁定。锁定现有文件就足够了。计数器可以是4或8字节的二进制文件，写在/run/<your-prog-name>/counter下（这是RAM，速度非常快）。
EOF读取文件，并计算'\n'的数量（如其他人所提到的，请确保使用缓冲I/O并在该缓冲区内计算'\n'）EOF处的位置更新偏移量实际上，这就是各种处理日志文件的软件功能的方式（例如，我想到了fail2ban）。
第一次，它必须处理一个巨大的文件。之后，它非常小，因此速度非常快。
创建文件时，将计数器重置为0。
然后每次收到要添加到文件中的新行：
这非常接近数据库系统所做的事情，因此对于具有数百万行的表的SELECT COUNT(*) FROM table会立即返回结果。数据库也会针对每个索引执行此操作。因此，如果您添加与特定索引匹配的WHERE子句，则还可以立即获得总数。与上述原理相同。
std::count(buf.begin(), buf.end(), '\n')替换CountLines。 - utnapistim