基于加权值的Elasticsearch随机选择（百分制）

Question

基于加权值的Elasticsearch随机选择（百分制）

8

我已经运行了一个Rails网站几年了，并且一些文章基于权重字段从数据库中获取。数据结构如下：

{name: 'Content Piece 1', weight: 50}
{name: 'Content Piece 2', weight: 25}
{name: 'Content Piece 3', weight: 25}

我最初编写的 Ruby 代码如下所示：

choices = []
sum = articles.inject(0.0) { |sum, article|
  sum += listing['weight']
}
pick = rand(sum)
choices << articles.detect { |listing|
  if pick <= listing['weight']
    true
  else
    pick -= listing['weight']
    false
  end
}

这段代码可以很好地提取每一个内容片段并维护权重。在对数据集运行该代码100次后，多次得到的结果都是根据权重分配得相当平均的内容片段：

100.times do
  choices = []
  sum = articles.inject(0.0) { |sum, article|
    sum += listing['weight']
  }
  pick = rand(sum)
  choices << articles.detect { |listing|
    if pick <= listing['weight']
      true
    else
      pick -= listing['weight']
      false
    end
  }
end

{:total_runs=>100, "Content Piece 1"=>51, "Content Piece 2"=>22, "Content Piece 3"=>27}
{:total_runs=>100, "Content Piece 1"=>53, "Content Piece 2"=>30, "Content Piece 3"=>17}

我目前越来越频繁地使用ElasticSearch，希望能够在ES中索引数据，并根据权重提取内容。

我发现了一个非常类似的SO帖子，可以在此处找到：

在Elasticsearch中进行加权随机抽样

我已经将搜索查询复制过来，更改为匹配我的数据结构：

{
  "sort": ["_score"],
  "size": 1, 
  "query": {
    "function_score": {
      "functions": [
        {
          "random_score": {}
        },
        {
          "field_value_factor": {
            "field": "weight",
            "modifier": "none",
            "missing": 0
          }
        }
      ],
      "score_mode": "multiply",
      "boost_mode": "replace"
    }
  }
}

这个查询确实尊重权重，并且比权重为25的其他两个内容块更多地提取了权重为50的内容块，但它没有将内容分配到总重量为100，如果这样说的话。我运行这个查询100次，结果如下：

{:total_runs=>100, "Content Piece 1"=>70, "Content Piece 2"=>22, "Content Piece 3"=>8}
{:total_runs=>100, "Content Piece 1"=>81, "Content Piece 2"=>7, "Content Piece 3"=>12}
{:total_runs=>100, "Content Piece 1"=>90, "Content Piece 2"=>3, "Content Piece 3"=>7}

由于我对ES还很陌生，仍在学习查询、得分等方面，我想知道是否有人能提供一个解决方案，更好地模拟我编写的Ruby代码，以更有效地根据权重将内容分配到100个部分。 Painless 脚本是否适用于移植Ruby代码？

希望这样说得清楚，如果您有任何疑问，请告诉我，以帮助我解释我要实现的内容。谢谢！

- Arthur

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Pierre-Nicolas Mougel · Accepted Answer

你的elasticsearch查询是正确的，你不需要使用脚本来实现你想要的功能。这只是一个概率问题。简单来说，将权重值为50的乘数（即field_value_factor）替换为40，将权重值为25的乘数替换为30，你就能得到预期的结果。

基本上，问题在于将随机值乘以权重并不能产生加权分布，其中权重是乘数。可以从权重中推导出乘数，但它们不是相同的。

我可以用你的情况举个例子。对于权重值为50，如果随机值大于0.5，则必定具有最高分数（0.5 * 50 >= 1 * 25）。由于0.5的概率为50％，你现在确信，具有50权重的项将至少被返回一半的时间。

但是，即使权重值为50的随机值低于0.5，它仍然可能被选中。事实上，在这种情况下，它被选中的概率是1/3。

我对你的结果有些惊讶，因为它的概率应该更像66％（即50％+ 50％/ 3），而其他概率应该在16.5％左右。也许尝试增加运行次数以确保。

任何权重的解决方案使用script_score 使用此解决方案，你不需要计算乘数，但必须为每个文档提供范围，例如min_value和max_value。 max_value是min_value和文档权重的总和，而min_value是先前文档的权重的累积和。

例如，如果有4个权重为5、15、30、50的文档，则范围可以是：

- 权重为5的文档：min_value = 0，max_value = 5 - 权重为15的文档：min_value = 5，max_value = 5 + 15 = 20 - 权重为30的文档：min_value = 20，max_value = 20 + 30 = 50 - 权重为50的文档：min_value = 50，max_value = 50 + 50 = 100

相应的elasticsearch查询为

{
  "sort": ["_score"],
  "size": 1, 
  "query": {
    "function_score": {
      "functions": [
        {
          "script_score": {
               "script" : {
                    "params": {
                        "random": <RANDOM_VALUE>,
                    },
                    "source": "params.random >= doc['min_value'].value && params.random < doc['max_value'].value ? 1 : 0"
                }
          }
        }
      ],
      "score_mode": "multiply",
      "boost_mode": "replace"
    }
  }
}

查询中的random参数应在每个请求中计算，其值必须介于0和您所有权重之和（在您的情况下为100，但不一定是这样）之间。

这种方法的问题是，如果更改权重，则必须更新所有文档的范围，因为累积总和将发生变化。如果您最多有20个文档，并且不经常更新权重，则这不应该是一个问题。

Original Answer翻译成"最初的回答"