我有一个和另一篇帖子中描述的人有相同的问题。我的应用程序日志文件非常大(~1GB),使用grep命令从日志文件中获取信息非常繁琐。目前我使用“less”工具,但它也比我想象中慢。
我正在考虑加速搜索。以下是几种方法:首先,生成XML格式的日志并使用一些XML搜索工具。我不确定使用XML搜索会获得多少加速(我猜不会太多,因为非索引文件搜索仍然需要很长时间)。
其次,使用XML数据库。这将更好,但我在这方面没有太多背景知识。
第三,使用(非XML)数据库。这将有点繁琐,因为必须编写表模式(对于上述第二个选项,是否也必须这样做?)。我预见在开始时模式会经常变化以包含常见用例。理想情况下,我希望能找到比完整数据库更轻量级的存储日志的方法。
第四,使用Lucene。它似乎适合此用途,但是否有一种简单的方法来指定当前用例的索引?例如,我想说“每当你看到单词'iteration'时进行索引”。
你的意见是什么?
我正在考虑加速搜索。以下是几种方法:首先,生成XML格式的日志并使用一些XML搜索工具。我不确定使用XML搜索会获得多少加速(我猜不会太多,因为非索引文件搜索仍然需要很长时间)。
其次,使用XML数据库。这将更好,但我在这方面没有太多背景知识。
第三,使用(非XML)数据库。这将有点繁琐,因为必须编写表模式(对于上述第二个选项,是否也必须这样做?)。我预见在开始时模式会经常变化以包含常见用例。理想情况下,我希望能找到比完整数据库更轻量级的存储日志的方法。
第四,使用Lucene。它似乎适合此用途,但是否有一种简单的方法来指定当前用例的索引?例如,我想说“每当你看到单词'iteration'时进行索引”。
你的意见是什么?