Python人工智能深度学习模型训练经验总结
一、假如训练集表现不好
1.尝试新的激活函数
ReLU：Rectified Linear Unit
图像如下图所示：当z<0时，a = 0, 当z>0时，a = z，也就是说这个激活函数是对输入进行线性转换。使用这个激活函数，由于有0的存在，计算之后会删除掉一些神经元，使得神经网络变窄。
该函数也有其他变体，如下图所示，主要是对于z小于0的时候，对应
Maxout：以上几种函数的一般形式
简单来说就是谁大输出谁，通过Maxout可以自己学习激活函数。当给出的参数不同的时候，可以得到上面所描述的各类函数。如下图所示，当输入给1个计算单元时，得到蓝色的线，假如第二个计算单元参数均为0，则是X轴上的一条线，那么在这两个之中取大的那个，就是ReLU；当第二个计算单元参数不为0的时候，就可以得到其他形式的结果。
2.自适应学习率
①Adagrad
Adagrad是使用前面的梯度进行平方和再开方，作为计算梯度时系数的一部分。
②RMSProp
是Adagrad的进阶版，在Adagrad中，是使用了前面所有的梯度平方和再开方，这个系数中没有考虑当前的梯度。在RMSProp中，是考虑了现在的梯度，也对其进行平方，并对两项进行一个权重的分配。
③ Momentum
加入动量的梯度下降
下图中，v就是上一次的方向。在计算本次方向的时候，加入lambda倍的上一次的方向。其实v就是过去算出来的所有的梯度的总和。
④Adam
将RMSProp和Momentum结合
二、在测试集上效果不好
1.提前停止
通过交叉验证集，提前停止训练
2.正则化
和其他的算法正则化方式一致，有L1和L2正则，此处不再详细描述。
3.Dropout
每次训练的时候，都以p%的几率去掉一些神经元以及输入值。得到如下图所示的更瘦一些的神经网络。直接去训练这个神经网络。下一次训练的时候，对整个网络重新进行采样。（类似于随机森林）
在测试的时候不进行dropout，如果训练的时候的dropout几率是p%，那么在测试集上，所有的权重都乘上(1-p)%
以上就是Python人工智能深度学习模型训练经验总结的详细内容，更多关于Python人工智能模型训练经验的资料请关注脚本之家其它相关文章！
相关文章
这篇文章主要为大家介绍了python神经网络facenet人脸检测及keras实现，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2022-05-05
开发软件的时候不可避免要和数据库发生交互,但是有些 SQL 请求非常耗时,如果在主线程中发送请求,可能会造成界面卡顿,本文将介绍一种让数据库请求变得和前端的 ajax 请求一样简单,希望对大家有所帮助2023-12-12
这篇文章主要介绍了Python中的进制转换详解,python内置函数进行进制转换的原理是将读入的一个字符串(python默认读入的都是字符串形式)转为10进制，然后再用相关函数进行其他进制转换,需要的朋友可以参考下2023-08-08
在PDF中添加条码是一个常见需求,特别是在需要自动化处理、跟踪或检索PDF文件时,作为一种机器可读的标识符,PDF中的条码可以包含各种类型的信息,本文介绍了如何使用Python在PDF中添加条形码或二维码,需要的朋友可以参考下2024-08-08
这篇文章主要为大家详细介绍了python调用百度语音识别实现大音频文件语音识别功能，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-08-08
今天小编就为大家分享一篇解决Python3.5+OpenCV3.2读取图像的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-12-12
大家好，本篇文章主要讲的是用python爬取今日说法每期数据，感兴趣的同学赶快来看一看吧，对你有帮助的话记得收藏一下2022-02-02
Python实现用networkx绘制MultiDiGraph
这篇文章主要介绍了Python实现用networkx绘制MultiDiGraph方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2024-02-02
深入理解Python中的*args和**kwargs参数(示例代码)
*args和**kwargs是Python函数编程中极其有用的特性,它们为函数参数的处理提供了极大的灵活性和强大的功能,这篇文章主要介绍了Python中的*args和**kwargs参数,需要的朋友可以参考下2024-06-06
这篇文章主要介绍了python (pyqt) 表格显示图片的实现方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2023-09-09
最新评论