我正在开发一个集成日志文件查看器的软件产品。问题是，对于非常大的文件，它会读取整个文件到内存中，导致速度缓慢且不稳定。我想编写一个新的日志文件查看器来解决这个问题。
如何为大型文本文件编写查看器的最佳实践是什么？类似于Notepad++和VIM这样的编辑器是如何实现的？我考虑使用缓冲双向文本流阅读器以及Java的TableModel。我这样想是否正确，并且是否有这样的流实现可用于Java？
编辑：是否值得运行一次文件以索引每行文本的起始位置，以便知道要寻找的位置？我可能需要知道行数，因此可能至少需要扫描一遍文件？
编辑2：我已将我的实现添加到下面的答案中。请评论或编辑它以帮助我/我们达到更好的实践，否则请提供您自己的实现。
一种典型的方法是使用可寻址文件读取器，通过记录行偏移量的索引对日志进行一次遍历，然后仅在请求时呈现文件部分的窗口。
这既减少了需要快速检索的数据，也没有加载一个小部分内容当前不可见的小部件。
我在这里发布我的测试实现（在遵循Marcus Adams和msw的建议后），以方便大家进行进一步的评论和批评。它非常快。
我没有考虑Unicode编码的安全性。我想这将是我的下一个问题。对此有任何提示都非常欢迎。
class LogFileTableModel implements TableModel {
private final File f;
private final int lineCount;
private final String errMsg;
private final Long[] index;
private final ByteBuffer linebuf = ByteBuffer.allocate(1024);
private FileChannel chan;
public LogFileTableModel(String filename) {
f = new File(filename);
String m;
int l = 1;
Long[] idx = new Long[] {};
try {
FileInputStream in = new FileInputStream(f);
chan = in.getChannel();
m = null;
idx = buildLineIndex();
l = idx.length;
} catch (IOException e) {
m = e.getMessage();
}
errMsg = m;
lineCount = l;
index = idx;
}
private Long[] buildLineIndex() throws IOException {
List<Long> idx = new LinkedList<Long>();
idx.add(0L);
ByteBuffer buf = ByteBuffer.allocate(8 * 1024);
long offset = 0;
while (chan.read(buf) != -1) {
int len = buf.position();
buf.rewind();
int pos = 0;
byte[] bufA = buf.array();
while (pos < len) {
byte c = bufA[pos++];
if (c == '\n')
idx.add(offset + pos);
}
offset = chan.position();
}
System.out.println("Done Building index");
return idx.toArray(new Long[] {});
}
@Override
public int getColumnCount() {
return 2;
}
@Override
public int getRowCount() {
return lineCount;
}
@Override
public String getColumnName(int columnIndex) {
switch (columnIndex) {
case 0:
return "#";
case 1:
return "Name";
}
return "";
}
@Override
public Object getValueAt(int rowIndex, int columnIndex) {
switch (columnIndex) {
case 0:
return String.format("%3d", rowIndex);
case 1:
if (errMsg != null)
return errMsg;
try {
Long pos = index[rowIndex];
chan.position(pos);
chan.read(linebuf);
linebuf.rewind();
if (rowIndex == lineCount - 1)
return new String(linebuf.array());
else
return new String(linebuf.array(), 0, (int)(long)(index[rowIndex+1]-pos));
} catch (Exception e) {
return "Error: "+ e.getMessage();
}
}
return "a";
}
@Override
public Class<?> getColumnClass(int columnIndex) {
return String.class;
}
// ... other methods to make interface complete
}