在xgboost的github代码库中的自定义目标函数示例脚本中，对数损失的梯度和海森矩阵是如何计算的？

Question

我希望了解在xgboost示例脚本中，logloss函数的梯度和海森矩阵是如何计算的。我已经简化了函数以使用numpy数组，并生成了y_hat和y_true，它们是脚本中使用的值的样本。

这是一个简化的示例：

import numpy as np


def loglikelihoodloss(y_hat, y_true):
    prob = 1.0 / (1.0 + np.exp(-y_hat))
    grad = prob - y_true
    hess = prob * (1.0 - prob)
    return grad, hess

y_hat = np.array([1.80087972, -1.82414818, -1.82414818,  1.80087972, -2.08465433,
                  -1.82414818, -1.82414818,  1.80087972, -1.82414818, -1.82414818])
y_true = np.array([1.,  0.,  0.,  1.,  0.,  0.,  0.,  1.,  0.,  0.])

loglikelihoodloss(y_hat, y_true)

对数损失函数是的总和，其中。

然后，对于p，梯度为，但在代码中为。

同样，对于p，二阶导数为，但在代码中为。

这些方程式怎么相等？

- Greg

Answer 1

对数损失函数的表达式如下：

其中

对其进行偏导数运算，我们得到梯度为

因此，我们得到负梯度为p-y。

类似的计算可以得到海森矩阵。

- A Gore