Pytorch linear 多维输入的参数问题
更新时间：2022年08月19日 15:07:31 作者：又是花落时
这篇文章主要介绍了Pytorch linear多维输入的参数的问题,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
问题： 由于 在输入lstm 层 每个batch 做了根据输入序列最大长度做了padding,导致每个 batch 的 length 不同。 导致输出 长度不同 。如：（batch, length, output_dim）: （12,128,10），（12,111,10）. 但是输入 linear 层的时候没有出现问题。
网站解释：
官网 pytorch linear：
- Input:(*, H_{in})(∗,Hin)where*∗means any number of dimensions including none andH_{in} = \text{in\_features}Hin=in_features. 任意维度 number 理解有歧义 (a)number. k可以理解三维，四维。。。 (b) 可以理解 为某一维度的数 。
- Output:(*, H_{out})(∗,Hout)where all but the last dimension are the same shape as the input andH_{out} = \text{out\_features}Hout=out_features.
代码解释：
分别 用三维 和二维输入数组，查看他们参数数目是否一样。
import torch
x = torch.randn(128, 20) # 输入的维度是（128，20）
m = torch.nn.Linear(20, 30) # 20,30是指维度
output = m(x)
print('m.weight.shape:\n ', m.weight.shape)
print('m.bias.shape:\n', m.bias.shape)
print('output.shape:\n', output.shape)
# ans = torch.mm(input,torch.t(m.weight))+m.bias 等价于下面的
ans = torch.mm(x, m.weight.t()) + m.bias
print('ans.shape:\n', ans.shape)
print(torch.equal(ans, output))output：
m.weight.shape: torch.Size([30, 20]) m.bias.shape: torch.Size([30]) output.shape: torch.Size([128, 30]) ans.shape: torch.Size([128, 30]) True
x = torch.randn(128, 30,20) # 输入的维度是（128,30，20）
m = torch.nn.Linear(20, 30) # 20,30是指维度
output = m(x)
print('m.weight.shape:\n ', m.weight.shape)
print('m.bias.shape:\n', m.bias.shape)
print('output.shape:\n', output.shape)ouput： m.weight.shape: torch.Size([30, 20]) m.bias.shape: torch.Size([30]) output.shape: torch.Size([128, 30, 30])
结果：
（128,30,20），和 （128,20） 分别是如 nn.linear(30,20) 层。
weight.shape 均为： （30,20）
linear（） 参数数目只和 input_dim ,output_dim 有关。
weight 在源码的定义， 没找到如何计算多维input的代码。
到此这篇关于Pytorch linear 多维 输入的参数的文章就介绍到这了,更多相关Pytorch多维 输入内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
这篇文章主要介绍了python生成随机mac地址的方法,涉及Python操作随机字符串的技巧,需要的朋友可以参考下2015-03-03
基于keras中训练数据的几种方式对比(fit和fit_generator)
这篇文章主要介绍了keras中训练数据的几种方式对比(fit和fit_generator)，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2021-05-05
今天小编就为大家分享一篇基于Python中求和函数sum的用法详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-06-06
这篇文章主要介绍了Django中密码的加密、验密、解密操作，本文通过实例代码给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下2019-12-12
这篇文章主要介绍了通过Python 编程语言带您完成使用机器学习进行年龄和性别检测的任务。文中的示例代码讲解详细，感兴趣的小伙伴可以了解一下2021-12-12
众所周知True和False是一个布尔变量可取的值,下面这篇文章主要给大家介绍了关于Python中True(真)和False(假)判断的相关资料,本文通过示例代码介绍的非常详细,需要的朋友可以参考下2022-07-07
这篇文章主要介绍了python求列表对应元素的乘积和的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-04-04
这篇文章主要介绍了django框架cookie和session用法,结合实例形式详细分析了Django框架cookie和session的功能、原理、使用方法及相关操作注意事项,需要的朋友可以参考下2019-12-12
Python 中eval()函数的正确使用及其风险分析(使用示例)
eval()是一个功能强大的工具,但使用时必须非常小心,了解其工作原理和潜在的风险是确保安全使用的关键,通过遵循上述建议,可以在享受eval()带来的便利的同时,最大限度地减少安全风险,本文介绍Python 中`eval()`函数的正确使用及其风险分析,感兴趣的朋友一起看看吧2024-07-07
这篇文章主要介绍了解析Python 偏函数用法全方位实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧2020-06-06
最新评论