Python数据集切分实例
更新时间：2018年12月08日 14:33:29 作者：shenhuaifeng
今天小编就为大家分享一篇Python数据集切分实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
在处理数据过程中经常要把数据集切分为训练集和测试集，因此记录一下切分代码。
''' data:数据集 test_ratio:测试机占比 如果data为numpy.numpy.ndarray直接使用此代码 如果data为pandas.DatFrame类型则 return data[train_indices],data[test_indices] 修改为 return data.iloc[train_indices],data.iloc[test_indices] ''' def split_train(data,test_ratio): shuffled_indices=np.random.permutation(len(data)) test_set_size=int(len(data)*test_ratio) test_indices =shuffled_indices[:test_set_size] train_indices=shuffled_indices[test_set_size:] return data[train_indices],data[test_indices]
测试代码如下：
import numpy as np import pandas as pd data=np.random.randint(100,size=[25,4]) print(data)
结果如下：
从上图可以看出，原数据集按照5:1被随机分为两部分。但是此种方法存在一个缺点–每次调用次函数切分同一个数据集切分出来的结果都不一样，因此常在np.random.permutation(len(data))先调用np.random.seed(int)函数，来确保每次切分来的结果相同。
因此将上述函数改为：
def split_train(data,test_ratio): np.random.seed(43) shuffled_indices=np.random.permutation(len(data)) test_set_size=int(len(data)*test_ratio) test_indices =shuffled_indices[:test_set_size] train_indices=shuffled_indices[test_set_size:] return data[train_indices],data[test_indices]
这个函数np.random.seed(43)当参数为同一整数时产生的随机数相同。
以上这篇Python数据集切分实例就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
python torch.utils.data.DataLoader使用方法
这篇文章主要介绍了python torch.utils.data.DataLoader使用方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-04-04
这篇文章主要为大家介绍了python class和封装，具有一定的参考价值，感兴趣的小伙伴们可以参考一下，希望能够给你带来帮助2021-12-12
python json 递归打印所有json子节点信息的例子
今天小编就为大家分享一篇python json 递归打印所有json子节点信息的例子，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-02-02
这篇文章主要介绍了Python使用MD5加密字符串示例,对一些可能出现的错误点上本文也给出提醒,需要的朋友可以参考下2014-08-08
LaTeX 是一种广泛用于排版学术论文、报告、书籍和演示文稿的标记语言,本文主要为大家详细介绍了如何使用 Python 来优雅地编写 LaTeX,提高效率并减少错误,需要的可以参考下2024-02-02
PycURl是一个C语言写的libcurl的python绑定库。libcurl 是一个自由的，并且容易使用的用在客户端的 URL 传输库。它的功能很强大，PycURL 是一个非常快速（参考多并发操作）和丰富完整特性的，但是有点复杂的接口。2018-04-04
这篇文章主要介绍了使用python对excel表格处理的一些小功能,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2021-01-01
这篇文章主要介绍了Python程序实现向MySQL存放图片，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2023-03-03
本文通过代码给大家介绍了Python 逐行分割大txt文件的方法，在文中给大家提到了Python从txt文件中逐行读取数据的方法，需要的朋友参考下吧2017-10-10
这篇文章主要介绍了Python之多线程退出与停止的一种实现思路,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2024-02-02
最新评论