关于Tensorflow分布式并行策略
tensorFlow中主要包括了三种不同的并行策略，其分别是数据并行、模型并行、模型计算流水线并行，具体参考Tenssorflow白皮书，在接下来分别简单介绍三种并行策略的原理。
数据并行
一个简单的加速训练的技术是并行地计算梯度，然后更新相应的参数。数据并行又可以根据其更新参数的方式分为同步数据并行和异步数据并行，同步的数据并行方式如图所示，tensorflow图有着很多的部分图模型计算副本，单一的客户端线程驱动整个训练图，来自不同的设备的数据需要进行同步更新。这种方式在实现时，主要的限制就是每一次更新都是同步的，其整体计算时间取决于性能最差的那个设备。
数据并行还有异步的实现方式，如图所示，与同步方式不同的是，在处理来自不同设备的数据更新时进行异步更新，不同设备之间互不影响，对于每一个图副本都有一个单独的客户端线程与其对应。在这样的实现方式下，即使有部分设备性能特别差甚至中途退出训练，对训练结果和训练效率都不会造成太大影响。但是由于设备间互不影响，所以在更新参数时可能其他设备已经更好的更新过了，所以会造成参数的抖动，但是整体的趋势是向着最好的结果进行的。所以说这种方式更适用于数据量大，更新次数多的情况。
模型并行
一个模型并行训练的例子如图所示，其针对的训练对象是同一批样本数据，但是将不同的模型计算部分分布在不同的计算设备上同时执行。
模型计算流水线并行
此并行方式主要针对在同一个设备中并发实现模型的计算，如图是其并发计算步骤，可以发现它实际上与异步数据并行有些相似，但是唯一不同的是此方式的并行发生在同一个设备上，而不是在不同的设备之间。并且在计算一批简单的样例时，允许进行“填充间隙”，这可以充分利用空闲的设备资源。
以上这篇关于Tensorflow分布式并行策略就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
pandas实现excel表格处理并读取指定sheet的方法
这篇文章主要介绍了pandas实现excel表格处理并读取指定sheet的方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧2024-02-02
最近换成 PyCharm 写代码总是会出现波浪号,这才了解到 Python 的 PEP8 代码规范,所以将常见的 PEP8 代码规范问题和解决方法记录一下,养成良好的习惯,编写规范的代码2023-09-09
这篇文章主要介绍了python实现集中式的病毒扫描功能,结合实例形式分析了Python集中式的病毒扫描相关原理、实现方法与操作注意事项,需要的朋友可以参考下2019-07-07
Python结合ImageMagick实现多张图片合并为一个pdf文件的方法
这篇文章主要介绍了Python结合ImageMagick实现多张图片合并为一个pdf文件的方法,结合实例形式分析了Python将图片文件转换为pdf文件的相关操作技巧,需要的朋友可以参考下2018-04-04
这篇文章主要介绍了python传递参数方式,实例总结了Python常用的参数传递方式,具有一定参考借鉴价值,需要的朋友可以参考下2015-04-04
本文主要介绍了DataFrame判断两列数据是否相等的方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2023-04-04
pyqt5之将textBrowser的内容写入txt文档的方法
今天小编就为大家分享一篇pyqt5之将textBrowser的内容写入txt文档的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-06-06
20招让你的 Python飞起来！这篇文章主要为大家详细介绍了Python性能优化的20条建议，感兴趣的小伙伴们可以参考一下2016-09-09
今天小编就为大家分享一篇pyqt实现.ui文件批量转换为对应.py文件脚本，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-06-06
python3 破解 geetest（极验）的滑块验证码功能
这篇文章主要介绍了python3 破解 geetest（极验）的滑块验证码功能,本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2018-02-02
最新评论