我拥有一系列匿名的医疗数据文本文件（包括年龄、国家、症状、诊断等）。这些数据可以追溯至30年前，因此数据集相当大。总共有约20,000个文本文件，总计约1TB。
我需要定期搜索这些文件中特定字符串的出现情况（不是正则表达式）。有什么最快的方法可以搜索这些数据吗？
我已经尝试使用grep并递归地搜索目录，如下所示：
LC_ALL=C fgrep -r -i "searchTerm" /Folder/Containing/Files
上述方法唯一的问题在于搜索这些数据需要花费数小时（有时甚至半天！）。
有没有更快的搜索方式？目前我愿意尝试不同的方法，例如使用数据库、elasticsearch等。如果我选择使用数据库，将有约10亿条记录。
我的要求只有：
1）搜索将在我的本地计算机上进行（双核CPU和8GB RAM）
2）我将搜索字符串（而非正则表达式）。
3）我需要看到所有出现搜索字符串的位置以及所在文件。
已经有很多答案了，我只是想补充我的一些看法：
建议
在实现方面，我建议使用 Elasticsearch(ES)，因为它非常容易设置和扩展，你甚至可以使用AWS Elasticsearch，它也是免费层级别中可用的，后续也可以快速扩展。虽然我不是 AWS ES 的铁粉，但如果你对 ES 很熟悉，它可以节省很多设置时间，让你能够快速开始。
为了使搜索更快，你可以将文件拆分成多个字段（标题、正文、标签、作者等），并仅索引重要字段，这将减少倒排索引大小，如果你只需要完全匹配字符串（而不是部分或全文搜索），那么你可以简单地使用 keyword 字段，这样处理更快速。
正如几乎所有回答中提到的那样，您显然需要一个索引。您可以完全改进硬件，但既然您已经说它是固定的，我就不再详细解释了。
以下是一些相关的要点：
小更新：
这里有很多答案建议将数据放入云端。我强烈建议，即使是匿名的医疗数据，也要确认来源（除非您从网络上获取了数据）是否允许这样做。
这个话题有两个层面需要考虑：方法和具体软件使用。
方法： 根据你描述数据的方式，预索引会提供重要帮助。预索引将对数据进行一次扫描，并构建一个紧凑的索引，使得可以快速搜索并确定特定术语在存储库中出现的位置。
根据查询的不同，该索引将减少甚至完全消除对实际文档的搜索，即使是复杂的查询，如“查找所有出现AAA和BBB的文档”。
具体工具：
你所描述的硬件相对基础。运行复杂搜索将受益于大内存/多核硬件。有很好的解决方案 - elastic search、solr和类似的工具可以在强大的硬件支持下发挥魔力。
我认为你需要考虑两个选项，具体取决于你的技能和数据（如果OP可以共享数据样本）。 * 使用轻量级数据库（sqlite、postgresql）构建自己的索引，或者 * 使用轻量级搜索引擎。
对于第二种方法，使用describe hardware，我建议研究一下'glimpse'（以及支持的agrep实用程序）。Glimple提供了一种预索引数据的方式，使搜索非常快速。我在大型数据存储库上使用过它（几个GB，但从未达到TB）。我为您提供3个选项。
您应该考虑升级您的硬件，将hdd升级为ssd可以将搜索速度乘以数倍。
立即提高搜索速度。 您可以参考这个问题中的各种建议。这种方法的主要思想是优化CPU负载，但您将受到HDD速度的限制。最大速度倍增器是您的核心数。
您可以对数据集进行索引。 因为您正在处理文本，所以需要一些全文搜索数据库。 Elasticsearch和Postgres是不错的选择。 此方法需要更多的磁盘空间（但通常少于x2的空间，具体取决于数据结构和要索引的字段列表）。 此方法将无限快速（几秒钟）。 如果您决定使用此方法，请仔细选择分析器配置，以匹配您的任务中被认为是单个单词的内容（Elasticsearch的这里是一个示例）
如果数据结构格式一致，您是否考虑将所有数据导入到Elasticsearch中？
If yes, below are the quick steps:
1. Install filebeat on your local computer
2. Install elasticsearch and kibana as well.
3. Export the data by making filebeat send all the data to elasticsearch.
4. Start searching it easily from Kibana.
我认为，如果您缓存最近搜索的医疗数据，可能会有所帮助，而不是浏览整个1TB，您可以使用Redis/memcached。