Pytorch dataloader在加载最后一个batch时卡死的解决
更新时间：2021年05月28日 10:15:47 作者：Wilber529
这篇文章主要介绍了Pytorch dataloader在加载最后一个batch时卡死的解决方案，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
问题：
自己写了个dataloader，为了部署方便，用OpenCV的接口进行数据读取，而没有用PIL，代码大致如下：
def __getitem__(self, idx):
sample = self.samples[idx]
img = cv2.imread(sample[0])
img = cv2.resize(img, tuple(self.input_size))
img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
# if not self.val and random.randint(1, 10) < 3:
# img = self.img_aug(img)
img = Image.fromarray(img)
img = self.transforms(img)
...
结果在训练过程中，在第1个epoch的最后一个batch时，程序卡死。
解决方案：
可能是因为OpenCV与Pytorch互锁的问题，关闭OpenCV的多线程，问题解决。
cv2.setNumThreads(0) cv2.ocl.setUseOpenCL(False)
补充：pytorch 中一个batch的训练过程
# 一般情况下 optimizer.zero_grad() # 梯度清零 preds = model(inputs) # inference，前向传播求出预测值 loss = criterion(preds, targets) # 计算loss loss.backward() # 反向传播求解梯度 optimizer.step() # 更新权重，更新网络权重参数
此外，反向传播前，如果不进行梯度清零，则可以实现梯度累加，从而一定程度上解决显存受限的问题。
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
一条命令解决mac版本python IDLE不能输入中文问题
本文通过一条命令帮助大家解决mac版本python IDLE无法输入中文问题,需要的朋友可以参考下2018-05-05
这篇文章主要介绍了详解python的并发编程，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-10-10
一般来说，不带参数装饰器，再使用时不加括号，带参数的装饰器使用时必须加括号，这篇文章主要介绍了Python实现同时支持带调用和不调用带装饰器的相关知识,需要的朋友可以参考下2023-06-06
Linux添加Python path方法及修改环境变量的三种方法
这篇文章主要介绍了Linux添加Python path方法及修改环境变量的三种方法,Linux 下设置环境变量有三种方法，一种用于当前终端，一种用于当前用户，一种用于所有用户，本文对每种方法给大家介绍的非常详细，需要的朋友可以参考下2022-07-07
这篇文章主要为大家详细介绍了python版单链表反转，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2022-05-05
这篇文章主要为大家介绍了利用Pytorch实现ResNet网络之评估训练模型详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2023-04-04
这篇文章主要介绍了Python Pandas分组聚合的实现方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-07-07
今天小编就为大家分享一篇pytorch实现保证每次运行使用的随机数都相同，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-02-02
今天小编就为大家分享一篇对Pyhon实现静态变量全局变量的方法详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-01-01
这篇文章主要介绍了Python如何用NumPy读取和保存点云数据，文章围绕主题展开详细的内容介绍，具有一定的参考价值，需要的小伙伴可以参考一下2022-08-08
最新评论