当我在寻找在PyTorch模型中实现L1正则化的方法时,我发现了这个问题,它已经两年了,所以我想知道这个主题上是否有新的进展?
我还发现了这种最近的方法来处理缺失的l1函数。然而,我不知道如何将其用于下面显示的基本NN。
我还发现了这种最近的方法来处理缺失的l1函数。然而,我不知道如何将其用于下面显示的基本NN。
class FFNNModel(nn.Module):
def __init__(self, input_dim, output_dim, hidden_dim, dropout_rate):
super(FFNNModel, self).__init__()
self.input_dim = input_dim
self.output_dim = output_dim
self.hidden_dim = hidden_dim
self.dropout_rate = dropout_rate
self.drop_layer = nn.Dropout(p=self.dropout_rate)
self.fully = nn.ModuleList()
current_dim = input_dim
for h_dim in hidden_dim:
self.fully.append(nn.Linear(current_dim, h_dim))
current_dim = h_dim
self.fully.append(nn.Linear(current_dim, output_dim))
def forward(self, x):
for layer in self.fully[:-1]:
x = self.drop_layer(F.relu(layer(x)))
x = F.softmax(self.fully[-1](x), dim=0)
return x
我希望只需在训练之前放置这个即可:
model = FFNNModel(30,5,[100,200,300,100],0.2)
regularizer = _Regularizer(model)
regularizer = L1Regularizer(regularizer, lambda_reg=0.1)
使用
out = model(inputs)
loss = criterion(out, target) + regularizer.__add_l1()
有人知道如何应用这些“即用型”类吗?