使用XGBoost建模Tweedie回归。

Question

我将尝试使用xgboost来创建一个tweedie模型，但是我遇到了一个晦涩的错误信息。

以下是一个可重现的示例：

准备数据：

library(xgboost)
library(dplyr)

set.seed(123)
xx <- rpois(5000, 0.02)
xx[xx>0] <- rgamma(sum(xx>0), 50)

yy <- matrix(rnorm(15000), 5000,3, dimnames = list(1:5000, c("a", "b", "c")))

train_test <- sample(c(0,1), 5000, replace = T)

准备xgboost时，重要的是：objective = 'reg:tweedie'，eval_metric = "tweedie-nloglik"和tweedie_variance_power = 1.2：

dtrain <- xgb.DMatrix(
  data = yy %>% subset(train_test == 0),
  label = xx %>% subset(train_test == 0)
)

dtest <- xgb.DMatrix(
  data = yy %>% subset(train_test == 1),
  label = xx %>% subset(train_test == 1)
)

watchlist <- list(eval = dtest, train = dtrain)

param <- list(max.depth = 2,
              eta = 0.3,
              nthread = 1,
              silent = 1,
              objective = 'reg:tweedie',
              eval_metric = "tweedie-nloglik",
              tweedie_variance_power = 1.2)

最后调用xgboost：

resBoost <- xgb.train(params = param, data=dtrain, nrounds = 20, watchlist=watchlist)

这会导致出现不明确的错误信息：

Error in xgb.iter.update(bst$handle, dtrain, iteration - 1, obj) :
  [17:59:18] amalgamation/../src/metric/elementwise_metric.cc:168: Check failed: param != nullptr tweedie-nloglik must be in formattweedie-nloglik@rho

Stack trace returned 10 entries:
[bt] (0) /usr/local/lib/R/site-library/xgboost/libs/xgboost.so(dmlc::StackTrace[abi:cxx11]()+0x1bc) [0x7f1f0ce742ac]
[bt] (1) /usr/local/lib/R/site-library/xgboost/libs/xgboost.so(dmlc::LogMessageFatal::~LogMessageFatal()+0x28) [0x7f1f0ce74e88]
[bt] (2) /usr/local/lib/R/site-library/xgboost/libs/xgboost.so(xgboost::metric::EvalTweedieNLogLik::EvalTweedieNLogLik(char const*)+0x1eb) [0x7f1f0cea00db]
[bt] (3) /usr/local/lib/R/site-library/xgboost/libs/xgboost.so(+0x68ef1) [0x7f1f0ce78ef1]
[bt] (4) /usr/local/lib/R/site-library/xgboost/libs/xgboost.so(xgboost::Metric::Create(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&)+0x263) [0x7f1f0ce7ede3]
[bt] (5) /usr/local/lib/R/site-library/xgboost/libs/xgboost.so(xgboost::LearnerImpl::Configure(std::vector<std::pair

问题似乎与参数eval_metric = "tweedie-nloglik"有关，因为如果我将eval_metric更改为logloss，则会通过测试。

param$eval_metric <- "logloss"
resBoost <- xgb.train(params = param, data=dtrain, nrounds = 20, watchlist=watchlist)
[1]     eval-logloss:0.634391   train-logloss:0.849734
[2]     eval-logloss:0.634391   train-logloss:0.849734
...

你有没有想过如何使用eval_metric = "tweedie-nloglik"参数？在我的情况下，它似乎是最合适的选择。谢谢。

- Bastien

---

我认为你应该根据这个链接的建议，将其替换为"tweedie-nloglik@rho"，其中rho是1到2之间的数字：https://github.com/dmlc/xgboost/blob/master/src/metric/elementwise_metric.cc - Frans Rodenburg

Frans说得对，这可能是一个与R相关的实现。我认为在Python中它可能就像Bastien所写的那样，但我不确定。 - Eran Moshe

Answer 1

TL;DR: 感谢 Frans Rodenburg 评论：使用 eval_metric="tweedie-nloglik@1.2"

我在研究 tweedie eval 的实现（我甚至不知道 tweedie 是什么），以及 以下链接 中的 logloss eval。

tweedie：

struct EvalTweedieNLogLik: public EvalEWiseBase<EvalTweedieNLogLik> {
  explicit EvalTweedieNLogLik(const char* param) {
    CHECK(param != nullptr)
        << "tweedie-nloglik must be in format tweedie-nloglik@rho";
    rho_ = atof(param);
    CHECK(rho_ < 2 && rho_ >= 1)
        << "tweedie variance power must be in interval [1, 2)";
    std::ostringstream os;
    os << "tweedie-nloglik@" << rho_;
    name_ = os.str();
  }
  const char *Name() const override {
    return name_.c_str();
  }
  inline bst_float EvalRow(bst_float y, bst_float p) const {
    bst_float a = y * std::exp((1 - rho_) * std::log(p)) / (1 - rho_);
    bst_float b = std::exp((2 - rho_) * std::log(p)) / (2 - rho_);
    return -a + b;
  }
 protected:
  std::string name_;
  bst_float rho_;
};

对数损失函数：

struct EvalLogLoss : public EvalEWiseBase<EvalLogLoss> {
  const char *Name() const override {
    return "logloss";
  }
  inline bst_float EvalRow(bst_float y, bst_float py) const {
    const bst_float eps = 1e-16f;
    const bst_float pneg = 1.0f - py;
    if (py < eps) {
      return -y * std::log(eps) - (1.0f - y)  * std::log(1.0f - eps);
    } else if (pneg < eps) {
      return -y * std::log(1.0f - eps) - (1.0f - y)  * std::log(eps);
    } else {
      return -y * std::log(py) - (1.0f - y) * std::log(pneg);
    }
  }
};

似乎 EvalTweedieNLogLik 应该有一个名为 param 的参数。同时，你似乎得到了那些确切的行：

CHECK(param != nullptr)
    << "tweedie-nloglik must be in format tweedie-nloglik@rho";

当我将其与EvalLogLoss进行比较时，其相关性的不同之处在于它不需要变量，这就是它能够工作的原因。

感谢@Frans Rodenburg的评论，我继续搜索并阅读了一个如何使用它的示例here。

使用eval_metric="tweedie-nloglik@1.2 当我第一次从xgboost文档中阅读这些行时，我也弄错了： 它可能只与Python有关。

- Eran Moshe