Python数据分析与处理(二)——处理中国地区信息
更新时间：2022年01月25日 13:08:47 作者：a Fang
这篇文章主要介绍了Python数据分析与处理-处理中国地区信息，上文介绍了北京高考分数线统计分析，这篇文章依然围绕Python数据分析与处理的相关资料来介绍处理中国地区信息,需要的朋友可以参考一下
2.1数据的爬取
代码：
import pandas as pd
data=pd.read_csv("example_data.csv",header=1)
print(data)
data1=pd.read_csv("北京地区信息.csv",header=1,encoding='gbk')
data2=pd.read_csv("天津地区信息.csv",encoding='gbk')
print(data1)
print(data2)
代码运行结果：
首先使用pandas的read_csv()方法进行数据的读取，然后就能够看到相应的表格信息。
2.2检查重复数据
dupnum=data.duplicated() print(dupnum) \# 对重复值进行处理 caldup=data.drop_duplicates() print(caldup)
代码运行结果：
主要是是使用这个duplicated()方法进行数据的查重，返回一个布尔序列，仅对唯一元素而言为True。如果有重复的数据就会在该数值的部分返货Flase。
然后我们就可以使用drop_duplicates()进行重复值删除。
2.3检查缺失值
代码：
from pandas import Series from numpy import NAN \# import pandas as pd series_obj=Series([1,None]) pd.notnull(series_obj) \# 上面做的是测试 pd.notnull(data) pd.notnull(data1) pd.notnull(data2)
代码运行结果：
使用pd.notnull(data1)进行非空数值的返回， 返回值是布尔型的矩阵，再取df[布尔型矩阵]返回的是id为非空的行。
2.4 检查异常值
import numpy as np \# 2.4 检查异常值 def three_sig(ser1): mean_value=ser1.mean() \# 标准差 std_value=ser1.std() \# 位于3σ范围外的都是异常值 \# 数值大于u+3σ小雨u-3σ rule=(mean_value-3*std_value>ser1)|(ser1.mean()+3*ser1.std()<ser1) index=np.arange(ser1.shape[0])[rule] outrange=ser1.iloc[index] return outrange three_sig(data2["女性"])
代码运行结果：
3σ原则又称为拉依达准则，该准则具体来说，就是先假设一组检测数据只含有随机误差，对原始数据进行计算处理得到标准差，然后按一定的概率确定一个区间，认为误差超过这个区间的就属于异常值。
通俗理解就是正态分布。
到此这篇关于Python数据分析与处理--处理中国地区信息的文章就介绍到这了,更多相关Python Python数据分析与处理内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
这篇文章主要介绍了Python正则表达式高级使用方法解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-06-06
在 Python 编程中,我们经常需有时候,我们可能需要将多个文本文件合并成一个文件,要处理文本文件,本文就来介绍下如何使用 wxPython 模块编写一个简单的程序,能够让用户选择多个文本文件,感兴趣的可以了解下2023-08-08
Tensorflow 如何从checkpoint文件中加载变量名和变量值
这篇文章主要介绍了Tensorflow 如何从checkpoint文件中加载变量名和变量值的操作，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2021-05-05
这篇文章主要介绍了在Python中如何利用Into包整洁地进行数据迁移，在数据格式的任意两个格式之间高效地迁移数据，需要的朋友可以参考下2015-03-03
我们要知道一点GIL并不是Python的特性,它是Python解释器Cpython引入的一个概念,下面这篇文章主要给大家介绍了关于python全局解释器GIL锁机制的相关资料,文中通过示例代码介绍的非常详细,需要的朋友可以参考下2022-12-12
这篇文章主要介绍了opencv python如何实现图像二值化,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-02-02
这篇文章主要介绍了Python读取预处理DICOM文件方式,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2023-03-03
这篇文章主要介绍了Python如何使用队列方式实现多线程爬虫,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-05-05
今天小编就为大家分享一篇利用python在大量数据文件下删除某一行的例子，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-08-08
金融数据分析在现代金融行业中扮演着至关重要的角色,通过使用Python编程语言,我们可以对大量金融数据进行处理、分析和可视化,从而获得有价值的洞察,本篇文章将介绍如何使用Python进行金融数据分析,需要的朋友可以参考下2024-08-08
最新评论