浅谈keras使用中val_acc和acc值不同步的思考
在一个比较好的数据集中，比如在分辨不同文字的任务中，一下是几个样本
使用VGG19，vol_acc和acc基本是同步保持增长的，比如
40/40 [==============================] - 23s 579ms/step - loss: 1.3896 - acc: 0.95 - val_loss: 1.3876 - val_acc: 0.95 Epoch 13/15 40/40 [==============================] - 23s 579ms/step - loss: 1.3829 - acc: 0.96 - val_loss: 1.3964 - val_acc: 0.96 Epoch 14/15 40/40 [==============================] - 23s 580ms/step - loss: 1.3844 - acc: 0.97 - val_loss: 1.3892 - val_acc: 0.97 Epoch 15/15 40/40 [==============================] - 24s 591ms/step - loss: 1.3833 - acc: 0.98 - val_loss: 1.4145 - val_acc: 0.98
这表明训练集和测试集同分布，在训练集中学习的特征确实可以应用到测试集中，这是最好的情况。
通过观察热力图也可以看到，最热的地方集中在特征上。比如在分辨不同的文字。
但很多时候，自己建立的数据集并不完美，或者可能不同类的特征分辨并不明显，这时候用cnn强行进行分类就会出现很多奇葩的情况。
考虑一种极端的情况，比如有四个类，而四个类都是同样的简单图形
那么在学习过程中，会出现如下特征的acc和vol_acc
40/40 [==============================] - 23s 579ms/step - loss: 1.3896 - acc: 0.2547 - val_loss: 1.3876 - val_acc: 0.2500 Epoch 13/15 40/40 [==============================] - 23s 579ms/step - loss: 1.3829 - acc: 0.2844 - val_loss: 1.3964 - val_acc: 0.2281 Epoch 14/15 40/40 [==============================] - 23s 580ms/step - loss: 1.3844 - acc: 0.2922 - val_loss: 1.3892 - val_acc: 0.2469 Epoch 15/15 40/40 [==============================] - 24s 591ms/step - loss: 1.3833 - acc: 0.2578 - val_loss: 1.4145 - val_acc: 0.2500
从热力图上看
可以看到因为没有什么特征，所有热力图分布也没有规律，可以说网络什么都没学到。
那么考虑中间的情况，比如很相似的类学习会怎么样？比如不同年份的硬币
40/40 [==============================] - 25s 614ms/step - loss: 0.0967 - acc: 0.9891 - val_loss: 0.3692 - val_acc: 0.8313 40/40 [==============================] - 23s 580ms/step - loss: 0.0476 - acc: 0.9953 - val_loss: 0.3994 - val_acc: 0.7906 40/40 [==============================] - 23s 578ms/step - loss: 0.0237 - acc: 0.9984 - val_loss: 0.5067 - val_acc: 0.7344 40/40 [==============================] - 23s 579ms/step - loss: 0.0184 - acc: 1.0000 - val_loss: 0.5192 - val_acc: 0.7531 40/40 [==============================] - 23s 582ms/step - loss: 0.0286 - acc: 0.9953 - val_loss: 0.9653 - val_acc: 0.6344 40/40 [==============================] - 23s 584ms/step - loss: 0.0138 - acc: 1.0000 - val_loss: 0.4780 - val_acc: 0.7688 40/40 [==============================] - 23s 583ms/step - loss: 0.0115 - acc: 0.9984 - val_loss: 0.5485 - val_acc: 0.7438 40/40 [==============================] - 23s 581ms/step - loss: 0.0096 - acc: 1.0000 - val_loss: 0.5658 - val_acc: 0.7406 40/40 [==============================] - 23s 578ms/step - loss: 0.0046 - acc: 1.0000 - val_loss: 0.5070 - val_acc: 0.7562
可以看到，虽然网络有一定分辨力，但是学习的特征位置并不对，这可能是网络的分辨力有限，或者数据集过小导致的，具体怎么解决还没有想清楚？？可以看到，可以看到除非完全没有特征，否则train acc一定能到100%，但是这个是事没有意义的，这就是过拟合。
一开始同步增长，是在学习特征，后来volacc和acc开始有差异，就是过拟合
这可能是训练集过小导致的，如果图片中只有年份呢？
acc = 0.85,vol_acc=0.85 acc = 0.90,vol_acc=0.90 acc = 0.92,vol_acc=0.92 acc = 0.94,vol_acc=0.92
可以看到，还是能正确分类的，之所以硬币不能正确分类，是因为训练数据集过小，其他特征掩盖了年份的特征，只要增大数据量就行了。
另外。还有几点训练技巧：
1、拓展函数不要怕极端，极端的拓展函数有利于学到目标真正的特征。
2、使用灰度图作为训练集？如果以纹理为主，使用灰度图，灰度图能增强网络的鲁棒性，因为可以减少光照的影响，但是会损失颜色信息，可以用结果看看到底该使用哪种图？
3、使用小的分辨率图片可能错过某些特征，尤其是在小数据集的时候，所以可能的话使用大数据集，或者提高分辨率，根据使用者的目标。
以上这篇浅谈keras使用中val_acc和acc值不同步的思考就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了Flask框架学习笔记之表单基础介绍与表单提交方式,结合实例形式分析了flask框架中表单的基本功能、定义、用法及表单提交的get、post方式使用技巧,需要的朋友可以参考下2019-08-08
这篇文章主要为大家介绍了Python 日志记录模块的综合指南,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪2023-12-12
python with statement 进行文件操作指南
在Python中,with关键字是一个替你管理实现上下文协议对象的好东西。例如：file等。在file的结束，会自动关闭该文件句柄。而这正是本文所需要的2014-08-08
这篇文章主要介绍了python 生成器需注意的小问题，帮助大家更好的理解和学习python 生成器，感兴趣的朋友可以了解下2020-09-09
本文详细介绍了Python中常用的时间处理模块time和datetime,time模块提供多种时间获取和转换功能,datetime模块则在time的基础上增加了日期和时间的组合处理,如datetime.now()获取当前日期时间,两个模块在日常编程中非常有用,尤其是在需要时间日期计算和转换的场景下2024-10-10
本文主要介绍了pytorch训练时的显存占用递增的问题解决，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2023-01-01
这篇文章主要介绍了Python学习笔记之os模块使用总结,本文总结了多个常用方法,需要的朋友可以参考下2014-11-11
这篇文章主要介绍了Python调用Jar包的两种方式小结，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-12-12
字典作为Python的一个内置数据结构，和列表一样都是可变序列的，但是它是无序的，以键值对的方式存储数据。本文将详解一下Python中字典的高级使用，需要的可以参考一下2022-10-10
下面小编就为大家带来一篇用生成器来改写直接返回列表的函数方法。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧2017-05-05
最新评论