选择正则化参数

5
当应用正则化逻辑回归时: 我将数据分为训练集、交叉验证集和测试集。 我想应用正则化,并正在选择正则化参数lambda。 为此,我尝试不同的lambda值,并在训练集上拟合假设的参数theta。然后,我选择在验证集上给我最低成本函数的lambda值。 为了做到这一点,我应该计算带有惩罚项或不带惩罚项的验证集成本函数?
2个回答

9

这里混淆了两个概念。你通过最小化代价函数(包含正则化项)来选择模型参数(对于给定的超参数如lambda)。然后,这些参数可以用于对验证集中的点进行分类。并且,你可以度量分类与真实结果匹配的正确性。你需要选择能够提供最多正确答案的lambda值。此时,带有lambda的代价函数不起作用。


3
您可以绘制学习曲线,即训练误差和验证误差均收敛至较小值,并选择相应最小误差的参数作为正则化参数。正则化参数选项与成本函数值无关。

网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接