PyTorch中常用的激活函数的方法示例
更新时间：2019年08月20日 10:53:44 作者：Steven·简谈
这篇文章主要介绍了PyTorch中常用的激活函数的方法示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
神经网络只是由两个或多个线性网络层叠加，并不能学到新的东西，简单地堆叠网络层，不经过非线性激活函数激活，学到的仍然是线性关系。
但是加入激活函数可以学到非线性的关系，就具有更强的能力去进行特征提取。
构造数据
import torch import torch.nn.functional as F from torch.autograd import Variable import matplotlib.pyplot as plt x = torch.linspace(-5, 5, 200) # 构造一段连续的数据 x = Variable(x) # 转换成张量 x_np = x.data.numpy() # 换成 numpy array, 出图时用
Relu
表达式：
代码：
y_relu = F.relu(x).data.numpy() plt.plot(x_np, y_relu, c='red', label='relu') plt.ylim((-1, 5)) plt.legend(loc='best') plt.show()
形状如图：
Sigmoid
表达式：
代码：
y_sigmoid = F.sigmoid(x).data.numpy() plt.plot(x_np, y_sigmoid, c='red', label='sigmoid') plt.ylim((-0.2, 1.2)) plt.legend(loc='best') plt.show()
形状如图：
Tanh
表达式：
代码：
y_tanh = F.tanh(x).data.numpy() plt.plot(x_np, y_tanh, c='red', label='tanh') plt.ylim((-1.2, 1.2)) plt.legend(loc='best') plt.show()
形状如图：
Softplus
表达式：
代码：
y_softplus = F.softplus(x).data.numpy() plt.plot(x_np, y_softplus, c='red', label='softplus') plt.ylim((-0.2, 6)) plt.legend(loc='best') plt.show()
形状如图：
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
相关文章
这篇文章主要给大家介绍了最近在使用Pyinstaller的踩坑实战记录，主要介绍了PYTHON2X.DLL缺失和WINDOWS2003 32BIT提示程序无效这两个问题的解决方法，文中给出了详细的解决方法，需要的朋友们下面来一起看看吧。2017-11-11
这篇文章主要介绍了Python中的元组与逻辑运算符的用法,是Python入门学习中的基础知识,需要的朋友可以参考下2015-10-10
这篇文章主要介绍了Python中集合的内建函数和内建方法学习教程,包括工厂函数和仅用于可变集合的方法等知识点,需要的朋友可以参考下2015-08-08
摩尔斯电码是一种时通时断的信号代码，通过不同的排列顺序来表达不同的英文字母、数字和标点符号。本文将通过Python代码来实现解密摩斯密码，感兴趣的可以学习一下2022-04-04
今天小编就为大家分享一篇Pyqt5 实现跳转界面并关闭当前界面的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-06-06
今天小编就为大家分享一篇使用python3构建文件传输的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-02-02
这篇文章主要介绍了用Django实现一个可运行的区块链应用,需要的朋友可以参考下2018-03-03
学了python以后，知道python的抓取功能其实是非常强大的，当然不能浪费，呵呵。我平时很喜欢美女图，呵呵，程序员很苦闷的，看看美女，养养眼，增加点乐趣。好，那就用python写一个美女图自动抓取程序吧~~2014-06-06
下面小编就为大家分享一篇取numpy数组的某几行某几列方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-04-04
windows下pycharm搭建spark环境并成功运行 附源码
这篇文章主要介绍了windows下pycharm搭建spark环境并成功运行 附源码,本文分步骤给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2021-04-04
最新评论