python模型集成知识点总结
说明
1、模型集成是指将一系列不同模型的预测结果集成在一起，从而获得更好的预测结果。
2、对于模型集成来说，模型的多样性非常重要。Diversityisstrength.用于集成的模型应尽可能好，同时应尽可能不同。
同一的网络，使用不同的随机初始化，多次独立训练，然后集成，意义不大。更好的方法是使用结构非常不同的模型进行集成，这样每个模型的偏差就会在不同的方向上相互抵消，结果就会更加稳定准确。
实例
可以用多种不同的方法来集成它们，最简单的办法是，取平均：
final_preds = 0.25 * (preds_a + preds_b + preds_c + preds_d)
由于每一个模型的性能会有差距，所以更好的办法是加权平均：
final_preds = 0.5 * preds_a + 0.25 * preds_b + 0.1 * preds_c + 0.15 * preds_d
知识点扩充：
当我们想在数据集上构建许多个模型，便可考虑使用集成的方法：
1. 挂袋法：并行进行，挂袋法集成中的每一个模型只使用训练集的一部分，它们的思路是减少对数据产生过度拟合，但前提是每个模型的差别不能太大，挂袋法对如线性回归之类的线性预测器无效。对于一些很稳定的模型，挂袋法的效果不明显，它适合那些对很小的改变也十分敏感的分类器，例如决策树，它很不稳定，未剪枝决策树就十分适合挂袋法。而KNN分类器则是一种很稳定的模型，不过我们可以使用随机子空间方法，为最近邻方法引入不稳定性。
2. 赋权重提升法：顺序进行，产生一个逐步复杂的模型序列，它按顺序基于前一个模型的错误训练新的模型，每次训练得到的模型被赋予一个权重，这个权重依据模型再给定数据的效果而定。最终的预测值产生时，这些权重值就是每个特定模型对于最终输出结果的影响力的判据。整体来说就是把错误率低的分类器赋予更大的权重。
3. 梯度提升法：由于赋权提升法使根据赋予错误实例更大的权重，然后是的下一个模型更可能选中这些错误分类的实例再次训练，而这也存在不足之处，这里梯度提升法采用梯度而不是权重来鉴别缺陷，基于调整残差（真实值y与预测值y'）来完善上一个模型的缺陷。
到此这篇关于python模型集成知识点总结的文章就介绍到这了,更多相关python模型集成是什么内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
因为最近的任务有用到目标检测，快速地了解了目标检测这一任务，并且实现了使用opencv进行目标检测。感兴趣的可以了解一下2021-06-06
平常在处理数据的时候，必不可少地要使用数据库存取数据，出于一些原因，个人非常喜欢MongoDB这个数据库。下面这篇文章主要给大家介绍了Python3中使用PyMongo的方法示例，文中介绍的非常详细，需要的朋友可以参考借鉴，下面来一起看看吧。2017-07-07
这篇文章主要介绍了Jmeter并发执行 Python 脚本的问题详解,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2021-09-09
本篇文章主要介绍了tensorflow 使用flags定义命令行参数的方法，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2018-04-04
这篇文章主要介绍了python 操作excel表格的方法，帮助大家更好的理解和使用python，感兴趣的朋友可以了解下2020-12-12
requests库是一个常用的用于 http 请求的模块，它使用 python 语言编写，可以方便的对网页进行爬取。本文将通过示例详细讲讲requests库的使用，需要的可以参考一下2022-08-08
这篇文章主要介绍了在Django框架中伪造捕捉到的URLconf值的方法,Django是Python各色人气框架中最为著名的一个,需要的朋友可以参考下2015-07-07
这篇文章主要介绍了详解在Python程序中使用Cookie的教程,Cookie在无论哪种语言的网络编程学习当中都是重要的知识点,需要的朋友可以参考下2015-04-04
Python Flask自定义URL路由参数过滤器的方法详解
Flask是一个轻量级的Python Web应用框架,它允许开发者以一种简洁明了的方式来构建Web应用,Flask自定义URL的主要功能在于使得开发者能够通过简单的路由规则来自定义应用程序的URL结构,本文给大家介绍了Python Flask自定义URL路由参数过滤器的方法,需要的朋友可以参考下2024-07-07
Matplotlib是一个Python工具箱,用于科学计算的数据可视化,下面这篇文章主要给大家介绍了关于如何使用python matplotlib画折线图的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下2022-04-04
最新评论