脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → python数据清洗

python实现数据清洗(缺失值与异常值处理)

 更新时间：2019年12月02日 09:21:59   作者：诺坎普奇迹  
今天小编就为大家分享一篇python实现数据清洗(缺失值与异常值处理)，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

1。 将本地sql文件写入mysql数据库

本文写入的是python数据库的taob表

source [本地文件]

其中总数据为9616行，列分别为title,link,price,comment

2。使用python链接并读取数据

查看数据概括

#-*- coding:utf-8 -*-
#author：M10
import numpy as np
import pandas as pd
import matplotlib.pylab as plt
import mysql.connector
conn = mysql.connector.connect(host='localhost',
            user='root',
            passwd='123456',
            db='python')#链接本地数据库
sql = 'select * from taob'#sql语句
data = pd.read_sql(sql,conn)#获取数据
print(data.describe())

说明数据的导入是正确的,简单的分析发现问题并不是这么简单，因为comment均值562可能偏大，最大评论数454037也可能出现错误，price价格为0也不太可能出现。

 price    comment
count 9616.00000  9616.000000
mean   64.49324   562.239601
std   176.10901  6078.909643
min    0.00000    0.000000
25%   20.00000   16.000000
50%   36.00000   58.000000
75%   66.00000   205.000000
max  7940.00000 454037.000000

3。缺失值处理

将价格为0的值设置为中位数36

#-*- coding:utf-8 -*-
#author：M10
import numpy as np
import pandas as pd
import matplotlib.pylab as plt
import mysql.connector
conn = mysql.connector.connect(host='localhost',
            user='root',
            passwd='123456',
            db='python')#链接本地数据库
sql = 'select * from taob'#sql语句
data = pd.read_sql(sql,conn)#获取数据

data['price'][data['price']==0]=None
x = 0
for i in data.columns:
  for j in range(len(data)):
    if (data[i].isnull()) [j]:
      data[i][j]='36'
      x+=1
print(x)
#44

结果显示修改了44行的数据。

4。异常值处理

#-*- coding:utf-8 -*-
#author：M10
import numpy as np
import pandas as pd
import matplotlib.pylab as plt
import mysql.connector
conn = mysql.connector.connect(host='localhost',
            user='root',
            passwd='123456',
            db='python')#链接本地数据库
sql = 'select * from taob'#sql语句
data = pd.read_sql(sql,conn)#获取数据
#缺失值处理
data['price'][data['price']==0]=None
x = 0
for i in data.columns:
  for j in range(len(data)):
    if (data[i].isnull()) [j]:
      data[i][j]='36'
      x+=1
print(x)
#异常值处理
#绘制散点图,价格为横轴
data1 = data.T#转置
price = data1.values[2]
comment = data1.values[3]
plt.plot(price,comment,'o')
plt.show()
#print(price)

结果如下图，价格为0左右时comment很大可能为异常值，comments为0时，价格极大这个有可能的。

接下来处理评论数异常值，假设异常值分割线设置为20w，

#-*- coding:utf-8 -*-
#author：M10
import numpy as np
import pandas as pd
import matplotlib.pylab as plt
import mysql.connector
conn = mysql.connector.connect(host='localhost',
            user='root',
            passwd='123456',
            db='python')#链接本地数据库
sql = 'select * from taob'#sql语句
data = pd.read_sql(sql,conn)#获取数据
#缺失值处理
data['price'][data['price']==0]=None
x = 0
for i in data.columns:
  for j in range(len(data)):
    if (data[i].isnull()) [j]:
      data[i][j]='36'
      x+=1
print(x)
#异常值处理
da = data.values#重新赋值data
#异常值处理，将commments大于200000的数据comments设置为58
cont_clou = len(da)#获取行数
#遍历数据进行处理
for i in range(0,cont_clou):
  if(data.values[i][3]>200000):
    #print(data.values[i][3])
    da[i][3]='58'
    #print(da[i][3])

#绘制散点图,价格为横轴
data1 = da.T#转置
price = data1[2]
comment = data1[3]
plt.plot(price,comment,'o')
plt.xlabel('price')
plt.ylabel('comments')
plt.show()

处理后的输出结果为：

以上这篇python实现数据清洗(缺失值与异常值处理)就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

相关文章

  • keras 解决加载lstm+crf模型出错的问题

    keras 解决加载lstm+crf模型出错的问题

    这篇文章主要介绍了keras 解决加载lstm+crf模型出错的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2020-06-06
  • python读取txt文件并逐行输出字符串

    python读取txt文件并逐行输出字符串

    Python提供了简单且方便的方法来读取txt文件,使用open()函数和readlines()方法逐行输出文件中的字符串内容,我们可以轻松地读取文件内容,并通过循环遍历的方式逐行处理,读取txt文件的方法在各种应用场景中非常常见,可以用于数据分析、文本处理、日志分析等
    2023-10-10
  • Pytorch神经网络参数管理方法详细讲解

    Pytorch神经网络参数管理方法详细讲解

    这篇文章主要介绍了Pytorch神经网络参数管理方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习吧
    2023-05-05
  • Python实现我的世界小游戏源代码

    Python实现我的世界小游戏源代码

    这篇文章主要介绍了Python实现我的世界小游戏源代码,代码简单易懂，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
    2021-03-03
  • Python读取图片为16进制表示简单代码

    Python读取图片为16进制表示简单代码

    这篇文章主要介绍了Python读取图片为16进制表示简单代码，具有一定借鉴价值,需要的朋友可以参考下
    2018-01-01
  • Python动态规划实现虚拟机部署的算法思想

    Python动态规划实现虚拟机部署的算法思想

    这篇文章主要介绍了Python动态规划实现虚拟机部署的算法思想，本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2021-07-07
  • Django全局启用登陆验证login_required的方法

    Django全局启用登陆验证login_required的方法

    这篇文章主要介绍了Django全局启用登陆验证login_required的方法，本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-06-06
  • python基于mysql实现的简单队列以及跨进程锁实例详解

    python基于mysql实现的简单队列以及跨进程锁实例详解

    这篇文章主要介绍了python基于mysql实现的简单队列以及跨进程锁,需要的朋友可以参考下
    2014-07-07
  • python使用super()出现错误解决办法

    python使用super()出现错误解决办法

    这篇文章主要介绍了python使用super()出现错误解决办法的相关资料,对于TypeError: must be type, not classobj的错误进行处理，需要的朋友可以参考下
    2017-08-08
  • Python 绘制北上广深的地铁路线动态图

    Python 绘制北上广深的地铁路线动态图

    这篇文章主要介绍了用python制作北上广深——地铁线路动态图，文中的示例代码讲解详细，对我们的工作或学习都有一定的价值，感兴趣的同学可以学习一下
    2021-12-12

最新评论