python按比例随机切分数据的实现
更新时间：2019年07月11日 09:49:38 作者：HOU_JUN
这篇文章主要介绍了python按比例随机切分数据的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
在机器学习或者深度学习中，我们常常碰到一个问题是数据集的切分。比如在一个比赛中，举办方给我们的只是一个带标注的训练集和不带标注的测试集。其中训练集是用于训练，而测试集用于已训练模型上跑出一个结果，然后提交，然后举办方验证结果给出一个分数。但是我们在训练过程中，可能会出现过拟合等问题，会面临着算法和模型的选择，此时，验证集就显得很重要。通常，如果数据量充足，我们会从训练集中划分出一定比例的数据来作为验证集。
每次划分数据集都手动写一个脚本，重复性太高，因此将此简单的脚本放到自己的博客。代码如下：
import random
def split(full_list,shuffle=False,ratio=0.2):
n_total = len(full_list)
offset = int(n_total * ratio)
if n_total==0 or offset<1:
return [],full_list
if shuffle:
random.shuffle(full_list)
sublist_1 = full_list[:offset]
sublist_2 = full_list[offset:]
return sublist_1,sublist_2
if __name__ == "__main__":
li = range(5)
sublist_1,sublist_2 = split(li,shuffle=True,ratio=0.2)
print sublist_1,len(sublist_1)
print sublist_2,len(sublist_2)
其中，main为测试代码。假如训练集给出的是一个文件，我们先将文件读到列表中，然后再调用split。
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
相关文章
本文将详细介绍Python中将字符串转换为列表的八种常用方法,每种方法都具有其独特的用途和适用场景,文中的示例代码讲解详细,感兴趣的可以了解下2023-11-11
这篇文章主要介绍了Python中Numpy模块使用详解，NumPy是Python 的一个扩展程序库，支持大量的维度数组与矩阵运算。更多相关内容需要的朋友可以参考一下2022-07-07
下个文档还要马内？还好我会Python，本文就来教大家来一手如何利用Python实现强制复制粘贴。文中的示例代码讲解详细，感兴趣的小伙伴可以了解一下2022-12-12
判断语句是用来筛选条件，过滤条件的。循环语句是用来解决重复性代码的问题，提高工作效率。今天的知识点不多，耐心看完吧2022-07-07
在本篇文章里小编给大家整理的是一篇关于python中操作文件的模块的方法总结，有需要的朋友们可以学习参考下。2021-02-02
这篇文章主要介绍了matplotlib subplot绘制多个子图的方法示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-07-07
是否经常好莱坞电影里看强大的语音识别系统? 是否每每看到都会羡慕嫉妒恨？ 可是我们真心买不起啊。2014-04-04
这篇文章主要为大家介绍了Python爬取网易云歌曲评论实现词云分析，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2022-06-06
这篇文章主要为大家详细介绍了python实现简单飞机大战小游戏，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2022-05-05
这篇文章主要介绍了Python中的pickle模块解析,pickle 模块和 json 模块很像,都有序列化的功能,不过 pickle 模块更加局限一些只能对 python 使用,它可以对一个 python 对象结构的二进制序列化和反序列化,需要的朋友可以参考下2023-09-09
最新评论