Python3 常用数据标准化方法详解

更新时间：2021年03月24日 11:56:44 作者：z小白

这篇文章主要介绍了Python3 常用数据标准化方法详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

数据标准化是机器学习、数据挖掘中常用的一种方法。包括我自己在做深度学习方面的研究时，数据标准化是最基本的一个步骤。

数据标准化主要是应对特征向量中数据很分散的情况，防止小数据被大数据（绝对值）吞并的情况。

另外，数据标准化也有加速训练，防止梯度爆炸的作用。

下面是从李宏毅教授视频中截下来的两张图。

左图表示未经过数据标准化处理的loss更新函数，右图表示经过数据标准化后的loss更新图。可见经过标准化后的数据更容易迭代到最优点，而且收敛更快。

一、[0, 1] 标准化

[0, 1] 标准化是最基本的一种数据标准化方法，指的是将数据压缩到0～1之间。

标准化公式如下

代码实现

def MaxMinNormalization(x, min, max):
  """[0,1] normaliaztion"""
  x = (x - min) / (max - min)
  return x

或者

def MaxMinNormalization(x):
  """[0,1] normaliaztion"""
  x = (x - np.min(x)) / (np.max(x) - np.min(x))
  return x

二、Z-score标准化

Z-score标准化是基于数据均值和方差的标准化化方法。标准化后的数据是均值为0，方差为1的正态分布。这种方法要求原始数据的分布可以近似为高斯分布，否则效果会很差。

标准化公式如下

下面，我们看看为什么经过这种标准化方法处理后的数据为是均值为0，方差为1

代码实现

def ZscoreNormalization(x, mean_, std_):
  """Z-score normaliaztion"""
  x = (x - mean_) / std_
  return x

或者

def ZscoreNormalization(x):
  """Z-score normaliaztion"""
  x = (x - np.mean(x)) / np.std(x)
  return x

补充：Python数据预处理：彻底理解标准化和归一化

数据预处理

数据中不同特征的量纲可能不一致，数值间的差别可能很大，不进行处理可能会影响到数据分析的结果，因此，需要对数据按照一定比例进行缩放，使之落在一个特定的区域，便于进行综合分析。

常用的方法有两种：

最大 - 最小规范化：对原始数据进行线性变换，将数据映射到[0,1]区间

Z-Score标准化：将原始数据映射到均值为0、标准差为1的分布上

为什么要标准化/归一化？

提升模型精度：标准化/归一化后，不同维度之间的特征在数值上有一定比较性，可以大大提高分类器的准确性。

加速模型收敛：标准化/归一化后，最优解的寻优过程明显会变得平缓，更容易正确的收敛到最优解。

如下图所示：

哪些机器学习算法需要标准化和归一化

1）需要使用梯度下降和计算距离的模型要做归一化，因为不做归一化会使收敛的路径程z字型下降，导致收敛路径太慢，而且不容易找到最优解，归一化之后加快了梯度下降求最优解的速度，并有可能提高精度。比如说线性回归、逻辑回归、adaboost、xgboost、GBDT、SVM、NeuralNetwork等。需要计算距离的模型需要做归一化，比如说KNN、KMeans等。

2）概率模型、树形结构模型不需要归一化，因为它们不关心变量的值，而是关心变量的分布和变量之间的条件概率，如决策树、随机森林。

彻底理解标准化和归一化

示例数据集包含一个自变量（已购买）和三个因变量（国家，年龄和薪水），可以看出用薪水范围比年龄宽的多，如果直接将数据用于机器学习模型（比如KNN、KMeans），模型将完全有薪水主导。

#导入数据
import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
df = pd.read_csv('Data.csv')

缺失值均值填充,处理字符型变量

df['Salary'].fillna((df['Salary'].mean()), inplace= True)
df['Age'].fillna((df['Age'].mean()), inplace= True)
df['Purchased'] = df['Purchased'].apply(lambda x: 0 if x=='No' else 1)
df=pd.get_dummies(data=df, columns=['Country'])

最大 - 最小规范化

from sklearn.preprocessing import MinMaxScaler
scaler = MinMaxScaler()
scaler.fit(df)
scaled_features = scaler.transform(df)
df_MinMax = pd.DataFrame(data=scaled_features, columns=["Age", "Salary","Purchased","Country_France","Country_Germany", "Country_spain"])

Z-Score标准化

from sklearn.preprocessing import StandardScaler
sc_X = StandardScaler()
sc_X = sc_X.fit_transform(df)
sc_X = pd.DataFrame(data=sc_X, columns=["Age", "Salary","Purchased","Country_France","Country_Germany", "Country_spain"])

import seaborn as sns
import matplotlib.pyplot as plt
import statistics
plt.rcParams['font.sans-serif'] = ['Microsoft YaHei']
fig,axes=plt.subplots(2,3,figsize=(18,12)) 
sns.distplot(df['Age'], ax=axes[0, 0])
sns.distplot(df_MinMax['Age'], ax=axes[0, 1])
axes[0, 1].set_title('归一化方差：% s '% (statistics.stdev(df_MinMax['Age'])))
sns.distplot(sc_X['Age'], ax=axes[0, 2])
axes[0, 2].set_title('标准化方差：% s '% (statistics.stdev(sc_X['Age'])))
sns.distplot(df['Salary'], ax=axes[1, 0])
sns.distplot(df_MinMax['Salary'], ax=axes[1, 1])
axes[1, 1].set_title('MinMax：Salary')
axes[1, 1].set_title('归一化方差：% s '% (statistics.stdev(df_MinMax['Salary'])))
sns.distplot(sc_X['Salary'], ax=axes[1, 2])
axes[1, 2].set_title('StandardScaler:Salary')
axes[1, 2].set_title('标准化方差：% s '% (statistics.stdev(sc_X['Salary'])))

可以看出归一化比标准化方法产生的标准差小，使用归一化来缩放数据，则数据将更集中在均值附近。这是由于归一化的缩放是“拍扁”统一到区间（仅由极值决定），而标准化的缩放是更加“弹性”和“动态”的，和整体样本的分布有很大的关系。

所以归一化不能很好地处理离群值，而标准化对异常值的鲁棒性强，在许多情况下，它优于归一化。

以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。如有错误或未考虑完全的地方，望不吝赐教。

您可能感兴趣的文章:

Python3 解决读取中文文件txt编码的问题
今天小编就为大家分享一篇Python3 解决读取中文文件txt编码的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2019-12-12
Python使用MoviePy实现编辑音视频并添加字幕
MoviePy是一个用于视频编辑的Python模块,它可被用于一些基本操作,本文主要介绍了如何使用编辑音视频并添加字幕,感兴趣的小伙伴可以了解下
2024-01-01
Python中有几个关键字
在本篇文章里小编给大家分享的是一篇关于Python中关键字个数的相关知识点内容，需要的朋友们可以学习下。
2020-06-06
Python queue队列原理与应用案例分析
这篇文章主要介绍了Python queue队列原理与应用,结合具体案例形式分析了Python queue队列的原理、功能、实现方法与使用技巧,需要的朋友可以参考下
2019-09-09
pygame游戏之旅创建游戏窗口界面
这篇文章主要为大家详细介绍了pygame游戏之旅，教大家如何创建游戏窗口界面，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2018-11-11
Selenium+Python自动化测试入门
本文主要介绍了Selenium+Python自动化测试入门，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2022-08-08
python 实现一次性在文件中写入多行的方法
今天小编就为大家分享一篇python 实现一次性在文件中写入多行的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2019-01-01
Python中使用aiohttp模拟服务器出现错误问题及解决方法
这篇文章主要介绍了Python中使用aiohttp模拟服务器出现错误,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
2020-10-10
python数据结构的排序算法
下面是是对python数据结构的排序算法的一些讲解及示意图，感兴趣的小伙伴一起来学习吧
2021-08-08
python里读写excel等数据文件的6种常用方式(小结)
这篇文章主要介绍了python里读写excel等数据文件的6种常用方式(小结)，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2021-04-04