pytorch下大型数据集(大型图片)的导入方式

 更新时间:2020年01月08日 15:00:51   作者:牙疼_LG  
今天小编就为大家分享一篇pytorch下大型数据集(大型图片)的导入方式,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

使用torch.utils.data.Dataset类 处理图片数据时,

1. 我们需要定义三个基本的函数,以下是基本流程

class our_datasets(Data.Dataset):
 
  def __init__(self,root,is_resize=False,is_transfrom=False):
    #这里只是个参考。按自己需求写。
    self.root=root
    self.is_resize=is_resize
    self.is_transfrom=is_transfrom
 
    self.imgs_list=...#这里建议保存的是 图片的路径 而不是 图片的数据
    self.labs_list=...
 
  def __getitem__(self, index):
 
    img_path,lab=self.imgs_list[index],self.labs_list[index]
    
    #这里使用PIL库读取图片数据.
    img_data = Image.open(img_path).convert('RGB')
 
    #这里看自己需要,可以不要
    if self.is_resize:
      img_data = img_data.resize((self.is_resize[0], self.is_resize[1]), Image.ANTIALIAS)
    
    #但是数据转换建议加上,很多时候都会用到
    if self.is_transfrom:
      img_data=self.is_transfrom(img_data)
    return img_data,lab
 
  def __len__(self):
 
    return len(self.imgs_list)

这里,我将 读取图片 的步骤 放到 __getitem__ ,是因为 这样放的话,对内存的要求会降低很多,我们只是将数据的路径导入了内存中,当需要读取这个图片数据时,再读取,这样更像是随用随取。如果将这部分放到 __init__ 里面,会一次将 图片数据都加载到 内存中,如果数据量太大,会直接卡死。

2.Dataset 类 返回的数据 类型 是与你读取时的类型一致的。但是在 pytorch使用时,会提示

TypeError: batch must contain tensors, numbers, dicts or lists; found <class 'PIL.Image.Image'>

通常,在数据了不大时,我一般都是在 读取数据后 加一句,转换成 numpy.array类型。

但是,在处理较大型的数据时,这样会很慢。

这时候,我建议 直接使用 torchvision来进行数据转换。

is_transfrom=torchvision.transforms.ToTensor()

将 上例代码 加入 Dataset类中,这样就会快很多。

以上这篇pytorch下大型数据集(大型图片)的导入方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • python批量压缩图像的完整步骤

    python批量压缩图像的完整步骤

    本文分享的内容来源于一次做项目的经验,也就是从那之后才体会到了python强大的文件批处理能力,这篇文章主要给大家介绍了关于python批量压缩图像的相关资料,需要的朋友可以参考下
    2021-12-12
  • win10下tensorflow和matplotlib安装教程

    win10下tensorflow和matplotlib安装教程

    这篇文章主要为大家详细介绍了win10下tensorflow和matplotlib安装教程,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-09-09
  • 通过实例解析Python调用json模块

    通过实例解析Python调用json模块

    这篇文章主要介绍了通过实例解析Python调用json模块,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-12-12
  • python中.format()方法使用详解

    python中.format()方法使用详解

    这篇文章主要介绍了python中.format()方法使用详解,文章围绕主题展开详细的内容介绍,具有一定的参考价值,需要的朋友可以参考一下
    2022-07-07
  • Python的五个标准数据类型你认识几个

    Python的五个标准数据类型你认识几个

    这篇文章主要为大家详细介绍了Python标准数据类型,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下,希望能够给你带来帮助
    2022-03-03
  • Python编程之基于概率论的分类方法:朴素贝叶斯

    Python编程之基于概率论的分类方法:朴素贝叶斯

    这篇文章主要介绍了Python编程之基于概率论的分类方法:朴素贝叶斯,简单介绍了其概述,贝叶斯理论和条件概率,以及朴素贝叶斯的原理等相关内容,具有一定参考价值,需要的朋友可以了解下。
    2017-11-11
  • python发送邮件的实例代码(支持html、图片、附件)

    python发送邮件的实例代码(支持html、图片、附件)

    python发送邮件的一些例子,有需要的朋友可以参考下
    2013-03-03
  • django列表筛选功能的实现代码

    django列表筛选功能的实现代码

    这篇文章主要介绍了django列表筛选功能的实现代码,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-03-03
  • python实现决策树分类

    python实现决策树分类

    这篇文章主要为大家详细介绍了python实现决策树分类的相关资料,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-08-08
  • python rsa 加密解密

    python rsa 加密解密

    本篇文章主要介绍了python rsa加密解密 (编解码,base64编解码)的相关知识。具有很好的参考价值,下面跟着小编一起来看下吧
    2017-03-03

最新评论