一小时学会TensorFlow2之大幅提高模型准确率

更新时间：2021年09月08日 14:47:22 作者：我是小白呀

这篇文章主要介绍了TensorFlow2之大幅提高模型准确率，本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下

过拟合

当训练集的的准确率很高, 但是测试集的准确率很差的时候就, 我们就遇到了过拟合 (Overfitting) 的问题. 如图:

在这里插入图片描述

过拟合产生的一大原因是因为模型过于复杂. 下面我们将通过讲述 5 种不同的方法来解决过拟合的问题, 从而提高模型准确度.

Regulation

Regulation 可以帮助我们通过约束要优化的参数来防止过拟合.

在这里插入图片描述

公式

未加入 regulation 的损失:

在这里插入图片描述

加入 regulation 的损失:

在这里插入图片描述

λ 和 lr (learning rate) 类似. 如果 λ 的值越大, regularion 的力度也就越强, 权重的值也就越小.

例子

添加了 l2 regulation 的网络:

network = tf.keras.Sequential([
    tf.keras.layers.Dense(256, kernel_regularizer=tf.keras.regularizers.l2(0.001), activation=tf.nn.relu),
    tf.keras.layers.Dense(128, kernel_regularizer=tf.keras.regularizers.l2(0.001), activation=tf.nn.relu),
    tf.keras.layers.Dense(64, kernel_regularizer=tf.keras.regularizers.l2(0.001), activation=tf.nn.relu),
    tf.keras.layers.Dense(32, kernel_regularizer=tf.keras.regularizers.l2(0.001), activation=tf.nn.relu),
    tf.keras.layers.Dense(10)
])

动量

动量 (Momentum) 是指运动物体的租用效果. 在梯度下降的过程中, 通过在优化器中加入动量, 我们可以减少摆动从而达到更优的效果.

未添加动量:

在这里插入图片描述

添加动量:

在这里插入图片描述

公式

未加动量的权重更新:

在这里插入图片描述

w: 权重 (weight)
k: 迭代的次数
α: 学习率 (learning rate)
∇f(): 微分

添加动量的权重更新:

在这里插入图片描述

β: 动量权重
z: 历史微分

例子

添加了动量的优化器:

optimizer = tf.keras.optimizers.SGD(learning_rate=0.02, momentum=0.9)
optimizer = tf.keras.optimizers.RMSprop(learning_rate=0.02, momentum=0.9)

注: Adam 优化器默认已经添加动量, 所以无需自行添加.

学习率递减

简单的来说, 如果学习率越大, 我们训练的速度就越大, 但找到最优解的概率也就越小. 反之, 学习率越小, 训练的速度就越慢, 但找到最优解的概率就越大.

在这里插入图片描述

过程

我们可以在训练初期把学习率调的稍大一些, 使得网络迅速收敛. 在训练后期学习率小一些, 使得我们能得到更好的收敛以获得最优解. 如图:

在这里插入图片描述

例子

learning_rate = 0.2  # 学习率
optimizer = tf.keras.optimizers.SGD(learning_rate=learning_rate, momentum=0.9)  # 优化器

# 迭代
for epoch in range(iteration_num):
    optimizer.learninig_rate = learning_rate * (100 - epoch) / 100  # 学习率递减

Early Stopping

之前我们提到过, 当训练集的准确率仍在提升, 但是测试集的准确率反而下降的时候, 我们就遇到了过拟合 (overfitting) 的问题.

Early Stopping 可以帮助我们在测试集的准确率下降的时候停止训练, 从而避免继续训练导致的过拟合问题.

在这里插入图片描述

Dropout

Learning less to learn better

Dropout 会在每个训练批次中忽略掉一部分的特征, 从而减少过拟合的现象.

在这里插入图片描述

dropout, 通过强迫神经元, 和随机跳出来的其他神经元共同工作, 达到好的效果. 消除减弱神经元节点间的联合适应性, 增强了泛化能力.

例子:

network = tf.keras.Sequential([
    tf.keras.layers.Dense(256, activation=tf.nn.relu),
    tf.keras.layers.Dropout(0.5),  # 忽略一半
    tf.keras.layers.Dense(128, activation=tf.nn.relu),
    tf.keras.layers.Dropout(0.5),  # 忽略一半
    tf.keras.layers.Dense(64, activation=tf.nn.relu),
    tf.keras.layers.Dropout(0.5),  # 忽略一半
    tf.keras.layers.Dense(32, activation=tf.nn.relu),
    tf.keras.layers.Dense(10)
])

到此这篇关于一小时学会TensorFlow2之大幅提高模型准确率的文章就介绍到这了,更多相关TensorFlow2模型准确率内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

读取json格式为DataFrame(可转为.csv)的实例讲解
今天小编就为大家分享一篇读取json格式为DataFrame(可转为.csv)的实例讲解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2018-06-06
python 实现将list转成字符串,中间用空格隔开
今天小编就为大家分享一篇python 实现将list转成字符串,中间用空格隔开，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2019-12-12
基于Python利用Faker批量测试数据
这篇文章主要介绍了基于Python利用Faker批量测试数据。测试过程中，经常需要批量去造数据，方法有很多，最简单方便的应该是使用python 的一个三方库Faker。下面我们就来看看三方库Faker如何批量测试数据,需要的朋友可以参考一下
2022-03-03
Python使用SQLAlchemy模块实现操作数据库
SQLAlchemy 是用Python编程语言开发的一个开源项目,它提供了SQL工具包和ORM对象关系映射工具,使用SQLAlchemy可以实现高效和高性能的数据库访问,下面我们就来学习一下SQLAlchemy模块的具体应用吧
2023-11-11
python使用wxpython开发简单记事本的方法
这篇文章主要介绍了python使用wxpython开发简单记事本的方法,涉及Python使用wxPython实现桌面图形应用程序的技巧,需要的朋友可以参考下
2015-05-05
详解python和matlab的优势与区别
在本文中小编给大家分享的是关于python和matlab的优势与区别的知识点以及实例代码，需要的朋友们参考学习下。
2019-06-06
Python实现聪明的尼姆游戏
尼姆游戏是个著名的游戏，有很多变种玩法，今天通过本文给大家分享Python实现聪明的尼姆游戏代码，感兴趣的朋友跟随小编一起看看吧
2021-11-11
Python实现基本数据结构中队列的操作方法示例
这篇文章主要介绍了Python实现基本数据结构中队列的操作方法,结合实例形式演示了Python针对数据结构中队列的初始化、插入、删除、判断队列满及队列空等相关操作技巧,需要的朋友可以参考下
2017-12-12
python运用sklearn实现KNN分类算法
这篇文章主要为大家详细介绍了python运用sklearn实现KNN分类算法，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2019-10-10
ChatGPT 帮我自动编写 Python 爬虫脚本的详细过程
ChatGPT是一种基于大语言模型的生成式AI，换句话说它可以自动生成类似人类语言的文本，把梳理好的有逻辑的答案呈现在你面前，这完全不同于传统搜索工具，这篇文章主要介绍了ChatGPT 帮我自动编写 Python 爬虫脚本,需要的朋友可以参考下
2023-02-02