Gridsearchcv 与贝叶斯优化

Question

在优化超参数方面，Gridsearchcv和贝叶斯优化中哪一个更好？

- hR 312

Answer 1

这里没有更好的方法，只有不同的方法。

在 Grid Search 中，您尝试在某些范围内的所有可能的超参数组合。

在 Bayesian 中，您不会尝试所有组合，而是沿着超参数的空间进行搜索，并在尝试它们时进行学习。这使得避免尝试所有组合成为可能。

因此，Grid Search 的优点在于其穷举性，而Bayesian 的优点在于无需完全穷举。基本上，如果您可以根据计算能力进行操作，请使用 Grid Search，但如果要搜索的空间太大，请使用 Bayesian。

- Franco Piccolo

---

你能详细说明一下为什么全面是一件好事吗？ - Hemerson Tacon

我认为gridsearchcv并不是穷举的。因为我们无法搜索所有的组合。 - keramat

Answer 2

网格搜索被认为比随机搜索更糟糕，无论是在理论上还是在实践中，尤其是用于优化超参数[1]。除非只优化一个参数，否则永远不要使用网格搜索。

另一方面，据称贝叶斯优化在各种问题上都优于随机搜索，也适用于优化超参数[2]。但是这并没有考虑到几个因素：使用那些超参数的模型的泛化能力，使用贝叶斯优化相比更简单的随机搜索所需的努力以及使用随机搜索并行的可能性。

因此，我的建议是：永远不要使用网格搜索，如果您只想尝试几个超参数并且可以并行尝试它们（或者如果您希望超参数能够推广到不同的问题），请使用随机搜索；如果您想获得最佳结果并愿意使用更先进的方法，请使用贝叶斯优化。

[1] Random Search for Hyper-Parameter Optimization，Bergstra＆Bengio 2012。

[2] Bayesian Optimization is Superior to Random Search for Machine Learning Hyperparameter Tuning: Analysis of the Black-Box Optimization Challenge 2020，Turner等人 2021。

- user2118903