这在PyTorch的文档中提供。看看http://pytorch.org/docs/optim.html#torch.optim.Adagrad 。您可以使用权重衰减参数将L2损失添加到“优化”函数中。

以下应该有助于L2正则化：

optimizer = torch.optim.Adam(model.parameters(), lr=1e-4, weight_decay=1e-5)

与直接方法相比，有趣的torch.norm在CPU上更慢，在GPU上更快。

import torch
x = torch.randn(1024,100)
y = torch.randn(1024,100)

%timeit torch.sqrt((x - y).pow(2).sum(1))
%timeit torch.norm(x - y, 2, 1)

出：

1000 loops, best of 3: 910 µs per loop
1000 loops, best of 3: 1.76 ms per loop

另一方面：

import torch
x = torch.randn(1024,100).cuda()
y = torch.randn(1024,100).cuda()

%timeit torch.sqrt((x - y).pow(2).sum(1))
%timeit torch.norm(x - y, 2, 1)

出：

10000 loops, best of 3: 50 µs per loop
10000 loops, best of 3: 26 µs per loop

对于L2正则化，

lambda = torch.tensor(1.)
l2_reg = torch.tensor(0.)
for param in model.parameters():
    l2_reg += torch.norm(param)
loss += lambda * l2_reg

参考文献：

• https://discuss.pytorch.org/t/how-does-one-implement-weight-regularization-l1-or-l2-manually-without-optimum/7951 。
• http://pytorch.org/docs/master/torch.html?highlight=norm#torch.norm 。