pytorch机器学习softmax回归的简洁实现
更新时间：2021年10月11日 16:53:22 作者：Supre_yuan
这篇文章主要介绍了为大家介绍了pytorch机器学习中softmax回归的简洁实现方式，有需要的朋友可以借鉴参考下，希望能够有所帮助
通过深度学习框架的高级API也能更方便地实现分类模型。让我们继续使用Fashion-MNIST数据集，并保持批量大小为256。
import torch from torch import nn from d2l import torch as d2l
batch_size = 256 train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size)
初始化模型参数
由于sofrmax回归的输出层是一个全连接层，因此，为了实现我们的模型，我们只需在Sequential中添加一个带有10个输出的全连接层。同样，在这里，Sequential并不是必要的，但我们可能会形成这种习惯。因为在实现深度模型时，Sequential将无处不在。我们仍然以均值0和标准差0.01随机初始化权重。
# PyTorch不会隐式地调整输入的形状。因此，我们在线性层前定义了展平层（flatten），来调整网络输入的形状 net = nn.Sequential(nn.Flatten(), nn.Linear(784, 10)) def init_weights(m): if type(m) == nn.Linear: nn.init.normal_(m.weight, std=0.01) net.apply(init_weights)
重新审视softmax的实现
在前面的例子中，我们计算了模型的输出，然后将此输出送入交叉熵损失。从数学上讲，这是一件完全合理的事情。然而，从计算角度来看，指数可能会造成数值稳定性的问题，包括上溢和下溢。
我们也希望保留传统的softmax函数，以备我们需要评估通过模型输出的概率。但是，我们没有将softmax概率传递到损失函数中，而是在交叉熵损失函数中传递未归一化的预测，并同时计算softmax及其对数。
loss = nn.CrossEntropyLoss()
优化算法
在这里，我们使用学习率为0.1的小批量随机梯度下降作为优化算法。这与我们在线性回归例子中的相同，这说明了优化器的普适性。
trainer = torch.optim.SGD(net.parameters(), lr=0.1)
以上就是pytorch机器学习softmax回归的简洁实现的详细内容，更多关于pytorch机器学习softmax回归的资料请关注脚本之家其它相关文章！
相关文章
MongoDB支持好多语言，今天我们就写一写python操作MongoDB的知识，从安装MongoDB到操作MongoDB全都有了。2013-11-11
这篇文章主要介绍了Python多个装饰器的调用顺序实例解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-05-05
Python的hashlib库获取超大文件的md5值实例探究
这篇文章主要为大家介绍了Python的hashlib库获取超大文件的md5值实现示例,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪2024-01-01
这篇文章主要介绍了Python数据库反向生成Model最优方案的示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2022-07-07
在 Python 中,线程的使用可以有效提高程序的并发性和响应能力,尤其是在 I/O 密集型任务（如文件读写、网络请求）中,然而,线程在 Python 中也会引发一些常见问题,下面介绍 Python 线程问题的解决方案,需要的朋友可以参考下2024-09-09
本文记录一些 Python 日常编程中的小妙招，并使用 IPython 进行交互测试，让我们更好的了解和学习 Python 的一些特性，对大家的学习或工作具有一定的价值，需要的朋友可以参考下2021-09-09
Python报错SyntaxError:unexpected EOF while parsing的解决办法
在运行或编写一个程序时常会遇到错误异常,这时python会给你一个错误提示类名,告诉出现了什么样的问题,下面这篇文章主要给大家介绍了关于Python报错SyntaxError:unexpected EOF while parsing的解决办法,需要的朋友可以参考下2022-07-07
这篇文章主要为大家介绍了Python区块链创世块创建教程，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2022-05-05
这篇文章主要介绍了8段用于数据清洗Python代码(小结)，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-10-10
PyTorch常用函数torch.cat()中dim参数使用说明
这篇文章主要为大家介绍了PyTorch常用函数torch.cat()中dim参数使用说明，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2023-04-04
最新评论