pytorch MSELoss计算平均的实现方法
给定损失函数的输入y，pred，shape均为bxc。
若设定loss_fn = torch.nn.MSELoss(reduction='mean')，最终的输出值其实是（y - pred）每个元素数字的平方之和除以（bxc），也就是在batch和特征维度上都取了平均。
如果只想在batch上做平均，可以这样写：
loss_fn = torch.nn.MSELoss(reduction='sum') loss = loss_fn(pred, y) / pred.size(0)
补充：PyTorch中MSELoss的使用
参数
torch.nn.MSELoss(size_average=None, reduce=None, reduction: str = 'mean')
size_average和reduce在当前版本的pytorch已经不建议使用了，只设置reduction就行了。
reduction的可选参数有：'none' 、'mean' 、'sum'
reduction='none'：求所有对应位置的差的平方，返回的仍然是一个和原来形状一样的矩阵。
reduction='mean'：求所有对应位置差的平方的均值，返回的是一个标量。
reduction='sum'：求所有对应位置差的平方的和，返回的是一个标量。
更多可查看官方文档
举例
首先假设有三个数据样本分别经过神经网络运算，得到三个输出与其标签分别是:
y_pre = torch.Tensor([[1, 2, 3],
[2, 1, 3],
[3, 1, 2]])
y_label = torch.Tensor([[1, 0, 0],
[0, 1, 0],
[0, 0, 1]])
如果reduction='none'：
criterion1 = nn.MSELoss(reduction='none') loss1 = criterion1(x, y) print(loss1)
则输出：
tensor([[0., 4., 9.],
[4., 0., 9.],
[9., 1., 1.]])
如果reduction='mean'：
criterion2 = nn.MSELoss(reduction='mean') loss2 = criterion2(x, y) print(loss2)
则输出：
tensor(4.1111)
如果reduction='sum'：
criterion3 = nn.MSELoss(reduction='sum') loss3 = criterion3(x, y) print(loss3)
则输出：
tensor(37.)
在反向传播时的使用
一般在反向传播时，都是先求loss，再使用loss.backward()求loss对每个参数 w_ij和b的偏导数(也可以理解为梯度)。
这里要注意的是，只有标量才能执行backward()函数，因此在反向传播中reduction不能设为'none'。
但具体设置为'sum'还是'mean'都是可以的。
若设置为'sum'，则有Loss=loss_1+loss_2+loss_3，表示总的Loss由每个实例的loss_i构成，在通过Loss求梯度时，将每个loss_i的梯度也都考虑进去了。
若设置为'mean'，则相比'sum'相当于Loss变成了Loss*(1/i)，这在参数更新时影响不大，因为有学习率a的存在。
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。如有错误或未考虑完全的地方，望不吝赐教。
相关文章
这篇文章主要介绍了Python单例模式的相关资料,这里提供了两种实现方法，及注意事项，需要的朋友可以参考下2017-08-08
这篇文章主要介绍了Python3.8.2安装包及安装教程图文详解,本文通过图文并茂的形式给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2020-11-11
这篇文章主要介绍了Python selenium文件上传下载功能代码实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-04-04
这篇文章主要介绍了python实现对象列表根据某个属性排序的方法,结合具体实例形式详细分析了Python对象列表遍历、排序的两种常见操作技巧,需要的朋友可以参考下2019-06-06
这篇文章主要为大家详细介绍了python实现音乐下载的统计，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-06-06
Black是一款自动化的Python代码格式化工具,旨在通过强制一致的代码格式来提高代码的可读性和维护性,本文将深入探讨Black的使用方法、高级特性以及与其他格式化工具的比较,帮助你更好地理解并成功应用Black在你的项目中2024-01-01
最近小编一直在学习python的东西，今天小编给大家分享基于python写的一个爬虫程序，能实现简单的网页图片下载，具体实例代码大家参考下本文2018-07-07
如果数据中有很多NaN的值，存储起来就会浪费空间。为了解决这个问题，Pandas引入了一种叫做Sparse data的结构，来有效的存储这些NaN的值，本文就来详细的介绍了一下，感兴趣的可以了解一下2021-07-07
下面小编就为大家分享一篇wxPython之解决闪烁的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-01-01
这篇文章主要介绍了使用Pytorch导出自定义ONNX算子的示例代码,下面给出个具体应用中的示例：需要导出pytorch的affine_grid算子,但在pytorch的2.0.1版本中又无法正常导出该算子,故可通过如下自定义算子代码导出,需要的朋友可以参考下2024-03-03
最新评论