模型训练时GPU利用率太低的原因及解决
更新时间：2023年02月22日 08:55:07 作者：. 小王同学.
这篇文章主要介绍了模型训练时GPU利用率太低的原因及解决方案，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
模型训练时GPU利用率太低的原因
最近在训练SSD模型时发现GPU的利用率只有8%，而CPU的利用率却非常高。
后来了解到，一般使用CPU进行数据的读取和预处理，而使用GPU进行模型的正向传播和反向传播。由于CPU数据读取跟不上（读到内存+多线程+二进制文件），而GPU的处理速度太快，导致GPU的利用率不高。
最后总结一下，有的时候模型训练慢并不是因为显卡不行或者模型太大，而是在跑模型过程中有一些其他的操作导致速度很慢，尤其是文件的IO操作，这会导致GPU得不到连续性使用，整体速度特别慢。
问题的解决办法
1，关闭一些日志记录，减少日志IO操作频率。
2，NVIDA提供了DALI库，可以将数据处理转移到GPU上。
模型训练GPU利用率低，占用低怎么破
GPU 的显存占用和算力利用直接影响模型的训练速度
GPU 显存占用低问题
1、提高batch_size
2、提高模型输入尺寸
3、增加模型深度
推荐：优先提高batch_size, 其他方法会对模型结构产生影响
GPU利用率低问题
1、提高线程数
2、打开pin_memory
# 在pytorch 加载数据时提高线程数，打开pin_memory torch.utils.data.DataLoader(image_datasets[x], batch_size=batch_size, shuffle=True, num_workers=8, pin_memory=True)
总结
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了python矩阵运算,转置,逆运算,共轭矩阵实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-05-05
每个电子商务数据分析师必须掌握的一项数据聚类技能，如果你是一名在电子商务公司工作的数据分析师，从客户数据中挖掘潜在价值，来提高客户留存率很可能就是你的工作任务之一。这篇就来告诉你如何将客户分成不同的群组，并在一段时间内观察每个群组的留存率2023-02-02
这篇文章主要介绍了Python selenium如何打包静态网页并下载,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-08-08
今天小编就为大家分享一篇django加载本地html的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-05-05
这篇文章主要介绍了Python进行数据科学工作的简单入门教程,主要针对Python发行版Anaconda进行说明，需要的朋友可以参考下2015-04-04
这篇文章主要介绍了python如何生成任意n阶的三对角矩阵，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-05-05
这篇文章主要介绍了python 列表生成式的相关资料，帮助大家更好的理解和学习python开发，感兴趣的朋友可以了解下2020-09-09
装饰器(decorator)是一种高级Python语法。装饰器可以对一个函数、方法或者类进行加工。这篇文章主要介绍了深入理解Python装饰器的相关资料,需要的朋友可以参考下2016-07-07
这篇文章主要介绍了Python中使用摄像头实现简单的延时摄影技术,本文只是一个简单的小示例,讲解了实现过程并给出实现代码,需要的朋友可以参考下2015-03-03
本文通过一段代码实例给大家介绍基于python实现微信模板消息的相关资料，对python模板消息感兴趣的朋友一起学习吧2015-12-12
最新评论