如何设置Percolator以在聚合值达到特定阈值时返回结果？

Question

如何设置Percolator以在聚合值达到特定阈值时返回结果？

4

以以下聚合查询为例：

{
  "query": {
    "match_all": {}
  },
  "aggs": {
    "groupBy": {
      "terms": {
        "field": "CustomerName"
      },
      "aggs": {
        "points_sum": {
          "stats": {
            "field": "TransactionAmount"
          }
        }
      }
    }
  },
  "size": 0
}

我希望了解当任何客户的平均交易金额（stats.avg）超过某个阈值时，该客户所有购买的情况下，如何立即索引文档以使我的平均值高于该阈值。似乎percolator的设计是将文档与规则进行匹配，但我找不到使用percolator来匹配基于聚合结果的规则的好例子。

这是否可能？ Percolator是否是最佳解决方案？是否有另一种/更好的解决方案？提前致谢。

- Jim

你可以使用 watcher 来实现这个功能，但需要订阅。 - keety

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Val · Accepted Answer

您可以使用商业产品Watcher，并定义以下监视器：

PUT _watcher/watch/transaction_alert
{
  "trigger": {
    "schedule": {
      "interval": "1m"
    }
  },
  "input": {
    "search": {
      "request": {
        "indices": "transactions",
        "types": "transaction",
        "body": {
          "query": {
            "match_all": {}
          },
          "size": 0,
          "aggs": {
            "groupBy": {
              "terms": {
                "field": "CustomerName"
              },
              "aggs": {
                "points_sum": {
                  "stats": {
                    "field": "TransactionAmount"
                  }
                }
              }
            }
          }
        }
      }
    }
  },
  "condition": {
    "script": {
      "inline": "return ctx.payload.aggregations.groupBy.buckets.findAll{ cust -> cust.points_sum.avg >= 200}"
    }
  },
  "actions": {
    "send_email": { 
      "email": {
        "to": "<username>@<domainname>", 
        "subject": "Customer Notification - Transaction > 200",
        "body": "The attached customers have a transaction average above $200"
        "attachments" : {
           "data.yml" : {
              "data" : {
                 "format" : "yaml" 
              }
           }
        }
      }
    }
  }
}

更新

总的来说：

Watcher是一款商业产品。
ElastAlert目前还不支持它，并且需要一些努力才能让它工作。可以点击此处了解详情。

还有另一种更简单、更便宜的方法，可以使用Logstash实现这一点。尽管elasticsearch输入插件不支持聚合，但可以使用http_poller输入插件定期向Elasticsearch发送聚合查询。然后使用过滤器检查是否达到所需的阈值，最后使用email输出插件向某人发送警报邮件（如果情况成立）。

配置基本上如下所示（请注意，上面的聚合查询需要进行URL编码，并使用source=...参数将其发送到ES中）。还请注意，我修改了您的查询以根据points_sum.avg（降序）对存储桶进行排序。

input {
  http_poller {
    urls => {
      test1 => 'http://localhost:9200/your-index/_search?source=%7B%22query%22%3A%7B%22match_all%22%3A%7B%7D%7D%2C%22aggs%22%3A%7B%22groupBy%22%3A%7B%22terms%22%3A%7B%22field%22%3A%22CustomerName%22%2C%22order%22%3A%7B%22points_sum.avg%22%3A%22desc%22%7D%7D%2C%22aggs%22%3A%7B%22points_sum%22%3A%7B%22stats%22%3A%7B%22field%22%3A%22TransactionAmount%22%7D%7D%7D%7D%7D%2C%22size%22%3A0%7D'
   }
   # checking every 10 seconds
   interval => 10
   codec => "json"
  }
}
filter {
  split {
    field => "[aggregations][groupBy][buckets]" 
  }
}
output {
  if [aggregations][groupBy][buckets][points_sum][avg] > 200 {
    email {
      to => "<username>@<domainname>"
      subject => "Customer Notification - Transaction > 200",
      body => "The customer %{[aggregations][groupBy][buckets][key]} has a transaction average above $200"
    }
  }
}

同意，这是一种非常简单的实现方式，但它应该可以工作，你可以在其基础上构建更智能的实现方式，结合 Logstash 和你的想象力，只有天空是极限;-)

更新2

还有另一个名为elasticwatch的 node.js 工具也可以被利用来完成这个任务。