解决TensorFlow调用Keras库函数存在的问题
tensorflow在1.4版本引入了keras，封装成库。现想将keras版本的GRU代码移植到TensorFlow中，看到TensorFlow中有Keras库，大喜，故将神经网络定义部分使用Keras的Function API方式进行定义，训练部分则使用TensorFlow来进行编写。一顿操作之后，运行，没有报错，不由得一喜。但是输出结果，发现，和预期的不一样。难道是欠拟合？故采用正弦波预测余弦来验证算法模型。
部分调用keras库代码如上图所示，用正弦波预测余弦波，出现如下现象：
def interface(_input): tmp = tf.keras.layers.Dense(10)(_input) vad_gru = tf.keras.layers.GRU(24, return_sequences=True)(tmp) denoise_output = tf.keras.layers.Dense(1)(vad_gru) return denoise_output
波形是断断续续的。而且最后不收敛。
运行N久。。。之后
基本断定是程序本身的问题，于是通过排查，发现应该是GRU的initial_state没有进行更新导致的。导致波形是断断续续的，没有学习到前一次网络的输出。于是，决定不使用Keras库实现一遍：
部分代码如下：
def interface(_input):
tmp = tf.keras.layers.Dense(10)(_input)
gru_cell = tf.nn.rnn_cell.GRUCell(vad_cell_size)
with tf.name_scope('initial_state'):
cell_init_state = gru_cell.zero_state(batch_size, dtype=tf.float32)
cell_outputs, cell_final_state = tf.nn.dynamic_rnn(
gru_cell, tmp, initial_state=cell_init_state, time_major=False)
denoise_output = tf.keras.layers.Dense(1)(cell_outputs)
return denoise_output, cell_init_state, cell_final_state
波形图如下（这才是GRU的正确打开方式啊～）：
再回头看之前写的调用keras，既然知道了是initial_state没有更新，那么如何进行更新呢？
网上查找了大量的资料，说要加上
update_ops = [] for old_value, new_value in layers.updates: update_ops.append(tf.assign(old_value, new_value))
但是加上去没有效果，是我加错了还是其他的，大家欢迎指出来
以下是我做的一些尝试，就不一一详细说明了，大家看一下，具体不再展开，有问题大家交流一下，有解决方法的，能够分享出来，感激不尽～
def interface(_input):
# input_layer = tf.keras.layers.Input([None, 1])
# input_layer = tf.keras.layers.Input(batch_shape=(50, 20, 1))
tmp = tf.keras.layers.Dense(10)(_input)
# tmp = tf.keras.layers.Dense(24)(tmp)
# with tf.variable_scope('vad_gru', reuse=tf.AUTO_REUSE):
# vad_gru, final_state = tf.keras.layers.GRU(24, return_sequences=True, return_state=True, stateful=True)(tmp)
# print(vad_gru)
# _initial_state = vad_gru.zero_state(50, tf.float32)
# tf.get_variable_scope().reuse_variables()
# vad_gru = tf.contrib.
# tmp = tf.reshape(tmp, [-1, TIME_STEPS, vad_cell_size])
gru_cell = tf.nn.rnn_cell.GRUCell(vad_cell_size)
# gru_cell = tf.keras.layers.GRUCell(self.vad_cell_size)
with tf.name_scope('initial_state'):
cell_init_state = gru_cell.zero_state(batch_size, dtype=tf.float32)
cell_outputs, cell_final_state = tf.nn.dynamic_rnn(
gru_cell, tmp, initial_state=cell_init_state, time_major=False)
# print(cell_outputs.get_shape().as_list())
# cell_outputs = tf.reshape(cell_outputs, [-1, vad_cell_size])
denoise_output = tf.keras.layers.Dense(1)(cell_outputs)
print(denoise_output.get_shape().as_list())
# model = tf.keras.models.Model(input_layer, denoise_output)
# update_ops = []
# for old_value, new_value in model.layers[1].updates:
# update_ops.append(tf.assign(old_value, new_value))
return denoise_output, cell_init_state, cell_final_state
补充知识：TensorFlow和Keras常用方法（避坑）
TensorFlow
在TensorFlow中，除法运算：
1.tensor除法会使结果的精度高一级，可能会导致后面计算类型不匹配，如float32 / float32 = float64。
2.除法需要分子分母同类型，否则报错。
产生类似错误提示如下：
-1.TypeError: x and y must have the same dtype, got tf.float32 != tf.int32
-2.TypeError: Input ‘y' of ‘Mul' Op has type float32 that does not match type float64 of argument ‘x'.
-3.ValueError: Tensor conversion requested dtype float64 for Tensor with dtype float32: ‘Tensor(“Sum:0”, shape=(), dtype=float32)'
-4.ValueError: Incompatible type conversion requested to type ‘int32' for variable of type ‘float32_ref'
解决办法：
tf.cast(a, tf.float32) # 转换成同类型即可
tf.boolean_mask
K.gather
K.argmax
K.max
以上这篇解决TensorFlow调用Keras库函数存在的问题就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了简单的Python抓taobao图片爬虫,需要的朋友可以参考下2014-10-10
用python进行线性回归分析非常方便,有现成的库可以使用比如numpy.linalog.lstsq、scipy.stats.linregress、pandas.ols等,这篇文章主要给大家介绍了关于Python线性回归的相关资料,需要的朋友可以参考下2021-11-11
这篇文章主要介绍了Python中的rfind()方法使用详解,是Python入门中的基础知识,需要的朋友可以参考下2015-05-05
这篇文章主要介绍了Django URL参数Template反向解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-11-11
这篇文章主要介绍了python实现html转ubb代码(html2ubb),使用正则表达式写的一个函数,需要的朋友可以参考下2014-07-07
这篇文章主要为大家详细介绍了python小项目之五子棋游戏，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2019-12-12
很多时候简繁体转换，掌握了简体与繁体的转换，往往能够事半功倍，本文主要介绍了Python实现简繁体转换，感兴趣的可以了解一下2021-06-06
这篇文章主要介绍了python网络编程,有不错的借鉴价值,需要的朋友可以参考下2014-09-09
学习每一门语言多多少少会用到与时间相关的东西,咱们今天呢就谈一谈Python中的时间与日期对象。在Python中时间对象一般可以用来测量效率。日期对象用来处理日期与字符串之间的关系2022-03-03
这篇文章主要为大家介绍了OPENAI API 微调 GPT-3 的 Ada 模型使用示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2023-04-04
最新评论