我正在尝试将L1正则化应用于一个简单的神经网络（1个隐藏层）的第一层。我查看了StackOverflow上的一些其他帖子，这些帖子使用Pytorch应用L1正则化来确定它应该如何完成（参考：在PyTorch中添加L1/L2正则化？，在Pytorch中，如何向激活函数添加L1正则化？）。无论我增加lambda（L1正则化强度参数）多高，我都没有在第一个权重矩阵中得到真正的零。为什么会这样呢？（代码如下）
注意：数据有10个特征（2个类别和800个训练样本），只有前两个是相关的（根据设计），所以可以认为真正的零应该很容易学习。
import torch
import torch.nn as nn
import torch.nn.functional as F
import numpy as np
class Network(nn.Module):
def __init__(self,nf,nh,nc):
super(Network,self).__init__()
self.lin1=nn.Linear(nf,nh)
self.lin2=nn.Linear(nh,nc)
def forward(self,x):
l1out=F.relu(self.lin1(x))
out=F.softmax(self.lin2(l1out))
return out, l1out
def l1loss(layer):
return torch.norm(layer.weight.data, p=1)
nf=10
nc=2
nh=6
learningrate=0.02
lmbda=10.
batchsize=50
net=Network(nf,nh,nc)
crit=nn.MSELoss()
optimizer=torch.optim.Adagrad(net.parameters(),lr=learningrate)
xtr=torch.Tensor(xtr)
ytr=torch.Tensor(ytr)
#ytr=torch.LongTensor(ytr)
xte=torch.Tensor(xte)
yte=torch.LongTensor(yte)
#cyte=torch.Tensor(yte)
it=200
for epoch in range(it):
per=torch.randperm(len(xtr))
for i in range(0,len(xtr),batchsize):
ind=per[i:i+batchsize]
bx,by=xtr[ind],ytr[ind]
optimizer.zero_grad()
output, l1out=net(bx)
# l1reg=l1loss(net.lin1)
loss=crit(output,by)+lmbda*l1loss(net.lin1)
loss.backward()
optimizer.step()
print('Epoch [%i/%i], Loss: %.4f' %(epoch+1,it, np.float32(loss.data.numpy())))
corr=0
tot=0
for x,y in list(zip(xte,yte)):
output,_=net(x)
_,pred=torch.max(output,-1)
tot+=1 #y.size(0)
corr+=(pred==y).sum()
print(corr)
注意：数据有10个特征（2个类别和800个训练样本），只有前两个是相关的（根据设计），所以可以认为真正的零应该很容易学习。