如何在Elasticsearch中删除重复的搜索结果？

Question

首先创建一些示例数据（e1、e2、e3是类型，test是索引名称）：

PUT test/e1/1
{
  "id":1
  "subject": "subject 1"
}
PUT test/e2/1
{
  "id":1
  "subject": "subject 2"
}
PUT test/e3/2
{
  "id":2
  "subject": "subject 3"
}

现在我的问题是：我该如何仅获取这两个数据？从curl -XGET _search的结果中删除具有相同id的重复数据。

test/e1/1
{
  "id":1
  "subject": "subject 1"
}
test/e3/2
{
  "id":2
  "subject": "subject 3"
}

- navins

Answer 1

首先，您需要在多个索引中进行搜索。
然后，在结果中删除重复的ID。

POST  http://myElastic.com/test/e1,e2,e3/_search
{
  "aggs":{
    "dedup" : {
      "terms":{
        "field": "id"
       },
       "aggs":{
         "dedup_docs":{
           "top_hits":{
             "size":1
           }
         }
       }    
    }
  }
}

这可能会对您有所帮助：

• 搜索多索引类型
• 从Elasticsearch搜索结果中删除重复文档
• 按一个字段值过滤 Elasticsearch 结果，只包含唯一文档

- Francois Combet

---

聚合操作是否保留最高分数结果？并且是否有一种方法将“aggs”结果放入JSON结果的“hits”部分中。 - navins

@navins 是的，默认情况下结果是按分数排序的。这种请求只会保留第一个结果，也就是最高得分的结果。我不知道你问题的第二部分（也许在SO上提问第二个问题）。 - Francois Combet

谢谢，只需在这里发布另一个问题：http://stackoverflow.com/questions/29887583/how-to-paging-aggregation-result-in-elasticsearch - navins

Answer 2

查看字段折叠(Field Collapsing) - 它旨在为您提供每个“字段”的1个搜索结果。

GET /test/_search
{
  "collapse": {
    "field": "id"                
  }                      
}

在Elasticsearch添加此功能之前，使用带有顶级命中的terms聚合是实现此目的的最佳方法。

- PhaedrusTheGreek

Answer 3

就我而言，我也有一个词项查询

 user: {
      type: 'object',
      properties: {
        id: {
          type: 'keyword', // using keyword for removing duplicate documents from searc results
          normalizer: 'useLowercase',
        },
        name: {
          type: 'text',
        },
        thumbnail: {
          type: 'text',
        },
      },
    },

    const { body } = await elasticWrapper.client.search({
        index: ElasticIndex.Payment,
        body: {
          from: f ? f : 0,
          size: s ? s : 10,
          _source: ['user'],
          query: {
            bool: {
              must: [
                {
                  nested: {
                    path: 'cart',
                    query: {
                      term: {
                        'cart.product.id': req.params.id,
                      },
                    },
                  },
                },
              ],
            },
          },
          collapse: {
            field: 'user.id',
          },
          aggs: {
            user_count: {
              cardinality: {
                field: 'user.id',
              },
            },
          },
        },
      });

- Rafiq