PyTorch深度学习LSTM从input输入到Linear输出

更新时间：2022年05月11日 10:13:43 作者：Cyril_KI

这篇文章主要为大家介绍了PyTorch深度学习LSTM从input输入到Linear输出深入理解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪

LSTM介绍

关于LSTM的具体原理，可以参考：

https://www.jb51.net/article/178582.htm

https://www.jb51.net/article/178423.htm

系列文章：

PyTorch搭建双向LSTM实现时间序列负荷预测

PyTorch搭建LSTM实现多变量多步长时序负荷预测

PyTorch搭建LSTM实现多变量时序负荷预测

PyTorch搭建LSTM实现时间序列负荷预测

LSTM参数

关于nn.LSTM的参数，官方文档给出的解释为：

总共有七个参数，其中只有前三个是必须的。由于大家普遍使用PyTorch的DataLoader来形成批量数据，因此batch_first也比较重要。LSTM的两个常见的应用场景为文本处理和时序预测，因此下面对每个参数我都会从这两个方面来进行具体解释。

input_size：在文本处理中，由于一个单词没法参与运算，因此我们得通过Word2Vec来对单词进行嵌入表示，将每一个单词表示成一个向量，此时input_size=embedding_size。
比如每个句子中有五个单词，每个单词用一个100维向量来表示，那么这里input_size=100；
在时间序列预测中，比如需要预测负荷，每一个负荷都是一个单独的值，都可以直接参与运算，因此并不需要将每一个负荷表示成一个向量，此时input_size=1。
但如果我们使用多变量进行预测，比如我们利用前24小时每一时刻的[负荷、风速、温度、压强、湿度、天气、节假日信息]来预测下一时刻的负荷，那么此时input_size=7。
hidden_size：隐藏层节点个数。可以随意设置。
num_layers：层数。nn.LSTMCell与nn.LSTM相比，num_layers默认为1。
batch_first：默认为False，意义见后文。

Inputs

关于LSTM的输入，官方文档给出的定义为：

可以看到，输入由两部分组成：input、(初始的隐状态h_0，初始的单元状态c_0)

其中input：

input(seq_len, batch_size, input_size)

seq_len：在文本处理中，如果一个句子有7个单词，则seq_len=7；在时间序列预测中，假设我们用前24个小时的负荷来预测下一时刻负荷，则seq_len=24。
batch_size：一次性输入LSTM中的样本个数。在文本处理中，可以一次性输入很多个句子；在时间序列预测中，也可以一次性输入很多条数据。
input_size：见前文。

(h_0, c_0)：

h_0(num_directions * num_layers, batch_size, hidden_size)
c_0(num_directions * num_layers, batch_size, hidden_size)

h_0和c_0的shape一致。

num_directions：如果是双向LSTM，则num_directions=2；否则num_directions=1。
num_layers：见前文。
batch_size：见前文。
hidden_size：见前文。

Outputs

关于LSTM的输出，官方文档给出的定义为：

可以看到，输出也由两部分组成：otput、(隐状态h_n，单元状态c_n)

其中output的shape为：

output(seq_len, batch_size, num_directions * hidden_size)

h_n和c_n的shape保持不变，参数解释见前文。

batch_first

如果在初始化LSTM时令batch_first=True，那么input和output的shape将由：

input(seq_len, batch_size, input_size)
output(seq_len, batch_size, num_directions * hidden_size)

变为：

input(batch_size, seq_len, input_size)
output(batch_size, seq_len, num_directions * hidden_size)

即batch_size提前。

案例

简单搭建一个LSTM如下所示：

class LSTM(nn.Module):
    def __init__(self, input_size, hidden_size, num_layers, output_size, batch_size):
        super().__init__()
        self.input_size = input_size
        self.hidden_size = hidden_size
        self.num_layers = num_layers
        self.output_size = output_size
        self.num_directions = 1 # 单向LSTM
        self.batch_size = batch_size
        self.lstm = nn.LSTM(self.input_size, self.hidden_size, self.num_layers, batch_first=True)
        self.linear = nn.Linear(self.hidden_size, self.output_size)
    def forward(self, input_seq):
        h_0 = torch.randn(self.num_directions * self.num_layers, self.batch_size, self.hidden_size).to(device)
        c_0 = torch.randn(self.num_directions * self.num_layers, self.batch_size, self.hidden_size).to(device)
        seq_len = input_seq.shape[1] # (5, 30)
        # input(batch_size, seq_len, input_size)
        input_seq = input_seq.view(self.batch_size, seq_len, 1)  # (5, 30, 1)
        # output(batch_size, seq_len, num_directions * hidden_size)
        output, _ = self.lstm(input_seq, (h_0, c_0)) # output(5, 30, 64)
        output = output.contiguous().view(self.batch_size * seq_len, self.hidden_size) # (5 * 30, 64)
        pred = self.linear(output) # pred(150, 1)
        pred = pred.view(self.batch_size, seq_len, -1) # (5, 30, 1)
        pred = pred[:, -1, :]  # (5, 1)
        return pred

其中定义模型的代码为：

self.lstm = nn.LSTM(self.input_size, self.hidden_size, self.num_layers, batch_first=True)
self.linear = nn.Linear(self.hidden_size, self.output_size)

我们加上具体的数字：

self.lstm = nn.LSTM(self.input_size=1, self.hidden_size=64, self.num_layers=5, batch_first=True)
self.linear = nn.Linear(self.hidden_size=64, self.output_size=1)

再看前向传播：

def forward(self, input_seq):
    h_0 = torch.randn(self.num_directions * self.num_layers, self.batch_size, self.hidden_size).to(device)
    c_0 = torch.randn(self.num_directions * self.num_layers, self.batch_size, self.hidden_size).to(device)
    seq_len = input_seq.shape[1]  # (5, 30)
    # input(batch_size, seq_len, input_size)
    input_seq = input_seq.view(self.batch_size, seq_len, 1)  # (5, 30, 1)
    # output(batch_size, seq_len, num_directions * hidden_size)
    output, _ = self.lstm(input_seq, (h_0, c_0))  # output(5, 30, 64)
    output = output.contiguous().view(self.batch_size * seq_len, self.hidden_size)  # (5 * 30, 64)
    pred = self.linear(output) # (150, 1)
    pred = pred.view(self.batch_size, seq_len, -1)  # (5, 30, 1)
    pred = pred[:, -1, :]  # (5, 1)
    return pred

假设用前30个预测下一个，则seq_len=30，batch_size=5，由于设置了batch_first=True，因此，输入到LSTM中的input的shape应该为：

input(batch_size, seq_len, input_size) = input(5, 30, 1)

但实际上，经过DataLoader处理后的input_seq为：

input_seq(batch_size, seq_len) = input_seq(5, 30)

(5, 30)表示一共5条数据，每条数据的维度都为30。为了匹配LSTM的输入，我们需要对input_seq的shape进行变换：

input_seq = input_seq.view(self.batch_size, seq_len, 1)  # (5, 30, 1)

然后将input_seq送入LSTM：

output, _ = self.lstm(input_seq, (h_0, c_0)) # output(5, 30, 64)

根据前文，output的shape为：

output(batch_size, seq_len, num_directions * hidden_size) = output(5, 30, 64)

全连接层的定义为：

self.linear = nn.Linear(self.hidden_size=64, self.output_size=1)

因此，我们需要将output的第二维度变换为64(150, 64)：

output = output.contiguous().view(self.batch_size * seq_len, self.hidden_size) # (5 * 30, 64)

然后将output送入全连接层：

pred = self.linear(output) # pred(150, 1)

得到的预测值shape为(150, 1)。我们需要将其进行还原，变成(5, 30, 1)：

pred = pred.view(self.batch_size, seq_len, -1) # (5, 30, 1)

在用DataLoader处理了数据后，得到的input_seq和label的shape分别为：

input_seq(batch_size, seq_len) = input_seq(5, 30)label(batch_size, output_size) = label(5, 1)

由于输出是输入右移，我们只需要取pred第二维度（time）中的最后一个数据：

pred = pred[:, -1, :] # (5, 1)

这样，我们就得到了预测值，然后与label求loss，然后再反向更新参数即可。

时间序列预测的一个真实案例请见：PyTorch搭建LSTM实现时间序列预测（负荷预测）

以上就是PyTorch深度学习LSTM从input输入到Linear输出的详细内容，更多关于LSTM input输入Linear输出的资料请关注脚本之家其它相关文章！

您可能感兴趣的文章:

python爬虫爬取网页表格数据
这篇文章主要为大家详细介绍了python爬虫爬取网页表格数据，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2018-03-03
昨晚我用python帮隔壁小姐姐P证件照然后发现
大家好,我是Lex 喜欢欺负超人那个Lex 建议大家收藏哦,以后帮小姐姐P自拍,证件照,调尺寸,背景,抠图,直接10行代码搞定,瞬间高大上
2021-08-08
Python Django简单实现session登录注销过程详解
这篇文章主要介绍了Python Django简单实现session登录注销过程详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2019-08-08
Python全景系列之模块与包全面解读
这篇文章将带大家深入探讨Python模块与包的基本概念，使用方法以及其在实际项目中的应用，同时也会揭示一些鲜为人知，却又实用的技术细节
2023-05-05
Python和C语言利用栈分别实现进制转换
这篇文章主要为大家详细介绍了Python和C语言如何利用栈的数据结构分别实现将十进制数转换成二进制数，文中的示例代码讲解详细，需要的可以参考一下
2022-07-07
Python实现聪明的尼姆游戏
尼姆游戏是个著名的游戏，有很多变种玩法，今天通过本文给大家分享Python实现聪明的尼姆游戏代码，感兴趣的朋友跟随小编一起看看吧
2021-11-11
python中dir()与__dict__属性的区别浅析
这篇文章主要给大家介绍了关于python中dir()与__dict__属性的区别的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2018-12-12
Python标准库中隐藏的利器(示例详解)
在命令行中直接使用Python标准库的模块，最大的好处就是就是不用写代码，就能使用其中的功能，当临时需要一些某些功能的时候，用这种方式会快捷，方便很多，这篇文章主要介绍了Python标准库中隐藏的利器,需要的朋友可以参考下
2023-11-11
python 还原梯度下降算法实现一维线性回归
这篇文章主要介绍了python 还原梯度下降算法实现一维线性回归，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2020-10-10
Python Fire中两种命令行参数灵活设置方式详解
Python的Fire库,一个用来生成命令行工具的的库,这篇文章主要针对命令行参数,补充两种更加灵活的设置方式,感兴趣的小伙伴可以跟随小编一起学习一下
2024-01-01

PyTorch深度学习LSTM从input输入到Linear输出

目录

LSTM介绍

LSTM参数

Inputs

Outputs

batch_first

案例

相关文章

最新评论

大家感兴趣的内容

最近更新的内容

常用在线小工具