使用NFS存储时Elasticsearch的性能表现

Question

我有一台拥有32个核心和62GB内存的服务器，但是我们使用的是NFS存储，我认为它开始成为我们日常工作的瓶颈。在我们的Kibana中，出现了queue_size等错误。我们刚刚获得了一个新的（相同的）服务器，用来作为副本并共享负载，这会有帮助吗？你还有什么其他的建议？我们有多个仪表板，每个仪表板有大约20个不同的变量，它们会在主节点和副本之间均匀分配吗？不幸的是，本地存储不是一个选项。

- MauJFernandez

Answer 1

您是否在这些节点上主动索引数据？如果是，您可以增加刷新间隔。

PUT /myindex/_settings
{
    "index" : {
        "refresh_interval" : "30s"
    }
}

https://www.elastic.co/guide/en/elasticsearch/reference/current/indices-update-settings.html 用于使系统对IO的要求更低。您可以完全禁用刷新功能并手动触发它。

PUT /myindex/_settings
{
    "index" : {
        "refresh_interval" : "-1"
    }
}

POST /myindex/_refresh

请看一下Bulk API，它可以显著降低索引阶段的负载。

另外，增加集群中的服务器也是有帮助的。Elasticsearch被设计为水平扩展。根据我的经验，您可以在所描述的服务器上运行6-8个虚拟节点。增加更多的分片以均匀地分配负载。

您是否能看到瓶颈所在（Lan、IO、CPU）？

- pkhlop