TensorFlow 显存使用机制详解
默认情况下,TensorFlow 会映射进程可见的所有 GPU 的几乎所有 GPU 内存(取决于 CUDA_VISIBLE_DEVICES)。通过减少内存碎片,可以更有效地使用设备上相对宝贵的 GPU 内存资源。
在某些情况下,最理想的是进程只分配可用内存的一个子集,或者仅根据进程需要增加内存使用量。 TensorFlow 在 Session 上提供两个 Config 选项来进行控制。
(1) : 自主申请所用的内存空间
第一个是 allow_growth 选项,它试图根据运行时的需要来分配 GPU 内存:它刚开始分配很少的内存,随着 Session 开始运行并需要更多 GPU 内存,我们会扩展 TensorFlow 进程所需的 GPU 内存区域。请注意,我们不会释放内存,因为这可能导致出现更严重的内存碎片情况。要开启此选项,请通过以下方式在 ConfigProto 中设置选项:
config = tf.ConfigProto() config.gpu_options.allow_growth = True session = tf.Session(config=config, ...)
(2) 规定 可用最大内存占单个GPU的总内存比例
第二个是 per_process_gpu_memory_fraction 选项,它可以决定每个可见 GPU 应分配到的内存占总内存量的比例。例如,您可以通过以下方式指定 TensorFlow 仅分配每个 GPU 总内存的 40%:
config = tf.ConfigProto() config.gpu_options.per_process_gpu_memory_fraction = 0.4 session = tf.Session(config=config, ...)
如要真正限制 TensorFlow 进程可使用的 GPU 内存量,这非常实用。
以上这篇TensorFlow 显存使用机制详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。
相关文章
Python Generator生成器函数基本概念及高级用途技巧示例
这篇文章主要为大家介绍了Python Generator生成器函数基本概念及高级用途技巧示例,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪2023-12-12python+requests+pytest接口自动化的实现示例
这篇文章主要介绍了python+requests+pytest接口自动化的实现示例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧2021-04-04Python 爬虫之Beautiful Soup模块使用指南
这篇文章主要介绍了Python 爬虫之Beautiful Soup模块使用指南,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧2018-07-07Python实现Word文档转换为图片(JPG、PNG、SVG等常见格式)
将Word文档以图片形式导出,既能方便信息的分享,也能保护数据安全,避免被二次编辑,文本将介绍如何使用 Spire.Doc for Python 库在Python程序中实现Word到图片的批量转换,需要的朋友可以参考下2024-06-06使用PyInstaller将python转成可执行文件exe笔记
这篇文章主要介绍了使用PyInstaller将python转成可执行文件exe笔记,需要的朋友可以参考下2018-05-05
最新评论