tensorflow tf.train.batch之数据批量读取方式

 更新时间:2020年01月20日 10:00:22   作者:Webbley  
今天小编就为大家分享一篇tensorflow tf.train.batch之数据批量读取方式,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

在进行大量数据训练神经网络的时候,可能需要批量读取数据。于是参考了这篇文章的代码,结果发现数据一直批量循环输出,不会在数据的末尾自动停止。

然后发现这篇博文说slice_input_producer()这个函数有一个形参num_epochs,通过设置它的值就可以控制全部数据循环输出几次。

于是我设置之后出现以下的报错:

tensorflow.python.framework.errors_impl.FailedPreconditionError: Attempting to use uninitialized value input_producer/input_producer/limit_epochs/epochs

     [[Node: input_producer/input_producer/limit_epochs/CountUpTo = CountUpTo[T=DT_INT64, _class=["loc:@input_producer/input_producer/limit_epochs/epochs"], limit=2, _device="/job:localhost/replica:0/task:0/cpu:0"](input_producer/input_producer/limit_epochs/epochs)]]

找了好久,都不知道为什么会错,于是只好去看看slice_input_producer()函数的源码,结果在源码中发现作者说这个num_epochs如果不是空的话,就是一个局部变量,需要先调用global_variables_initializer()函数初始化。

于是我调用了之后,一切就正常了,特此记录下来,希望其他人遇到的时候能够及时找到原因。

哈哈,这是笔者第一次通过阅读源码解决了问题,心情还是有点小激动。啊啊,扯远了,上最终成功的代码:

import pandas as pd
import numpy as np
import tensorflow as tf


def generate_data():
  num = 25
  label = np.asarray(range(0, num))
  images = np.random.random([num, 5])
  print('label size :{}, image size {}'.format(label.shape, images.shape))
  return images,label

def get_batch_data():
  label, images = generate_data()
  input_queue = tf.train.slice_input_producer([images, label], shuffle=False,num_epochs=2)
  image_batch, label_batch = tf.train.batch(input_queue, batch_size=5, num_threads=1, capacity=64,allow_smaller_final_batch=False)
  return image_batch,label_batch


images,label = get_batch_data()
sess = tf.Session()
sess.run(tf.global_variables_initializer())
sess.run(tf.local_variables_initializer())#就是这一行
coord = tf.train.Coordinator()
threads = tf.train.start_queue_runners(sess,coord)
try:
  while not coord.should_stop():
    i,l = sess.run([images,label])
    print(i)
    print(l)
except tf.errors.OutOfRangeError:
  print('Done training')
finally:
  coord.request_stop()
coord.join(threads)
sess.close()

以上这篇tensorflow tf.train.batch之数据批量读取方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • 详解Python3的TFTP文件传输

    详解Python3的TFTP文件传输

    本篇内容给大家详细讲述了Python3的TFTP文件传输的相关知识点,有需要的朋友可以参考下。
    2018-06-06
  • Django处理枚举(枚举模型)及source的使用

    Django处理枚举(枚举模型)及source的使用

    本文主要介绍了Django处理枚举(枚举模型)及source的使用,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2024-04-04
  • 如何将yolov5中的PANet层改为BiFPN详析

    如何将yolov5中的PANet层改为BiFPN详析

    现在yolov5的neck用的是PANet,在efficient论文中提出了BiFPN结构,还有更加不错的性能,下面这篇文章主要给大家介绍了关于如何将yolov5中的PANet层改为BiFPN的相关资料,需要的朋友可以参考下
    2022-06-06
  • windows下Pycharm安装opencv的多种方法

    windows下Pycharm安装opencv的多种方法

    这篇文章主要介绍了windows下Pycharm安装opencv的多种方法,本文给大家分享四种方法,每种方法通过实例代码给大家介绍的非常详细,需要的朋友可以参考下
    2020-03-03
  • numpy.reshape(-1,1)的具体使用

    numpy.reshape(-1,1)的具体使用

    本文主要介绍了numpy.reshape(-1,1)的具体使用,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2022-07-07
  • tensorflow学习笔记之tfrecord文件的生成与读取

    tensorflow学习笔记之tfrecord文件的生成与读取

    这篇文章主要介绍了tensorflow学习笔记之tfrecord文件的生成与读取,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2021-03-03
  • 收藏整理的一些Python常用方法和技巧

    收藏整理的一些Python常用方法和技巧

    这篇文章主要介绍了收藏的一些Python常用方法和技巧,本文讲解了逆转字符串的三种方法、遍历字典的四种方法、遍历list的三种方法、字典排序的方法等Python常用技巧和方法,需要的朋友可以参考下
    2015-05-05
  • Python导入Excel数据表的几种实现方式

    Python导入Excel数据表的几种实现方式

    在Python中可以使用许多库来处理Excel文件,下面这篇文章主要给大家介绍了关于Python导入Excel数据表的几种实现方式,文中通过代码介绍的非常详细,需要的朋友可以参考下
    2024-01-01
  • Python中UserWarning:The NumPy module was reloaded问题的解决方案

    Python中UserWarning:The NumPy module was 

    在 Python 项目中,我们经常需要导入许多库来完成各种任务,NumPy 作为一个核心的科学计算库,被广泛应用于数据处理和分析,然而,有时我们会遇到 NumPy 重载的警告,本文将详细讲解这一警告的原因,并提供解决方案,需要的朋友可以参考下
    2024-07-07
  • python和pygame实现简单俄罗斯方块游戏

    python和pygame实现简单俄罗斯方块游戏

    这篇文章主要为大家详细介绍了python和pygame实现简单俄罗斯方块游戏,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-06-06

最新评论