XGBoost回归器中的"reg_alpha"参数。使用高值会有什么不好的影响吗？

Question

5

我正在使用网格搜索进行超参数调整，发现我的模型出现了过拟合的情况。我试过很多方法来降低过拟合，如改变 "gamma"、"subsample"、"max_depth" 参数，但仍然存在过拟合问题。

后来，我将"reg_alpha"参数的值增加到大于30，这样我的模型就大幅降低了过拟合的情况。我知道这个参数是指权重的L1正则化项，也许这就是解决问题的原因。

我只是想知道是否使用这么高的reg_alpha值有什么问题吗？

非常感谢您的帮助:D

- Paulo Nishimoto

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- mrtc · Accepted Answer

reg_alpha对增加成本函数的特征进行惩罚。这意味着它找到的特征并不会提高准确性，但会使预测线更平滑。

在某些问题上，我还会增加reg_alpha > 30，因为它可以同时减少过拟合和测试误差。但如果是回归问题，在测试集上其预测结果将接近于均值，并且可能无法很好地捕捉异常值。

所以，只要测试准确度不开始下降，就可以增加它。

最后，当增加reg_alpha时，保持max_depth较小可能是一个好习惯。