当应用正则化逻辑回归时: 我将数据分为训练集、交叉验证集和测试集。 我想应用正则化,并正在选择正则化参数lambda。 为此,我尝试不同的lambda值,并在训练集上拟合假设的参数theta。然后,我选择在验证集上给我最低成本函数的lambda值。 为了做到这一点,我应该计算带有惩罚项或不带惩罚项的验证集成本函数?
这里混淆了两个概念。你通过最小化代价函数(包含正则化项)来选择模型参数(对于给定的超参数如lambda)。然后,这些参数可以用于对验证集中的点进行分类。并且,你可以度量分类与真实结果匹配的正确性。你需要选择能够提供最多正确答案的lambda值。此时,带有lambda的代价函数不起作用。