详解python sklearn中的数据预处理方法

import pandas as pd
import numpy as np
from sklearn.preprocessing import MinMaxScaler
data = pd.DataFrame(np.random.randint(10, 100, (5, 2)))  # 准备测试数据
# 常用接口
scaler = MinMaxScaler()  # 默认范围为 [0,1]
scaler = MinMaxScaler(feature_range=[5, 10])  # 自定义归一化数据范围
scaler.fit(data)  # 拟合数据
scaler.partial_fit(data)  # 数据量大的时候fit()报错，可以使用partial_fit()
result = scaler.transform(data)   # 变换数据
result = scaler.fit_transform(data)    # 拟合和变换一步达成
data = scaler.inverse_transform(result)  # 逆向变换

import pandas as pd
import numpy as np
from sklearn.preprocessing import StandardScaler
data = pd.DataFrame(np.random.randint(10, 100, (5, 2)))  # 准备测试数据
# 常用接口
scaler = StandardScaler()  # 创建对象
scaler.fit(data)  # 拟合数据
scaler.partial_fit(data)  # 数据量大的时候fit()报错，可以使用partial_fit()
result = scaler.transform(data)  # 变换数据
result = scaler.fit_transform(data)  # 拟合和变换一步达成
data = scaler.inverse_transform(result)  # 逆向变换
# 常用属性
scaler.var_  # 拟合后查看各列数据的方差
scaler.mean_  # 拟合后查看各列数据的均值

import pandas as pd
import numpy as np
from sklearn.impute import SimpleImputer
data = pd.DataFrame(np.random.randint(10, 100, (5, 2)))  # 准备测试数据
# 常用接口
imp_mean = SimpleImputer()  # 均值填充缺失值
imp_median = SimpleImputer(strategy='median')  # 中位数填充缺失值
imp_mode = SimpleImputer(strategy='most_frequent')  # 众数填充
imp_0 = SimpleImputer(strategy='constant', fill_value=0)  # 0填充
imp_mean.fit(data)  # 拟合数据
result = imp_mean.transform(data)  # 变换数据
result = imp_mean.fit_transform(data)  # 拟合和变换一步到位

import pandas as pd
import numpy as np
data = pd.DataFrame(np.random.randint(10, 100, (5, 2)))  # 准备测试数据
data.iloc[0:2, 0:2] = np.nan
# 使用pandas进行缺失值填充
result = data.fillna(0)  # 0填充所有缺失值
# 均值填充第0列,中位数填充、众数填充同理
result = data.iloc[:, 0] = data.iloc[:, 0].fillna(data.iloc[:, 0].mean())  
result = data.dropna(axis=0)  # 删除所有含有缺失值的样本数据

import pandas as pd
from sklearn.preprocessing import LabelEncoder, OrdinalEncoder, OneHotEncoder
# 准备测试数据
data_dic = {
    '性别': ['男', '女', '女', '男', '女'],
    '学历': ['小学', '初中', '初中', '大学', '高中'],
    '标签': ['标签3', '标签1', '标签2', '标签3', '标签2'],
}
data = pd.DataFrame(data_dic) 
# 常用接口
le = LabelEncoder()  # 创建对象
oe = OrdinalEncoder()
le = le.fit(data.loc[:, '标签'])  # 拟合数据
result = le.transform(data.loc[:, '标签'])  # 变换数据
result = le.fit_transform(data.loc[:, '标签'])  # 拟合和变换一步达成
data = le.inverse_transform(result)  # 逆向变换
data = pd.DataFrame(data_dic)
# 一般这样写
result = LabelEncoder().fit_transform(data.loc[:, '标签']) 
result = OrdinalEncoder().fit_transform(data.loc[:, ['性别', '学历']])
# 常用属性
le.classes_   # 返回原来的字符串标签唯一值数组, 按该数组顺序编号
oe.categories_    # 返回原来的字符串标签数组, 按该数组顺序编号

import pandas as pd
from sklearn.preprocessing import OneHotEncoder
# 准备测试数据
data_dic = {
    '性别': ['男', '女', '女', '男', '女'],
    '学历': ['小学', '初中', '初中', '大学', '高中'],
    '标签': ['标签3', '标签1', '标签2', '标签3', '标签2'],
}
data = pd.DataFrame(data_dic) 
# 常用接口
encoder = OneHotEncoder()
encoder.fit(data[['性别']])  # 拟合数据
result = encoder.transform(data[['性别']])  # 变换数据
result = encoder.fit_transform(data[['性别']])  # 拟合和变换一步到位
data = encoder.inverse_transform(result)  # 逆向变换
# 一般这样写
result = OneHotEncoder().fit_transform(data[['性别']])

import numpy as np
from sklearn.preprocessing import Binarizer
data = np.arange(10, 20).reshape(-1, 1)
bin = Binarizer(threshold=15)  # 默认threshold为0
bin.fit(data)  # 拟合数据
result = bin.transform(data)  # 变换数据
result = bin.fit_transform(data)  # 拟合和变换一步达成
# 一般这样用
result = Binarizer(threshold=15).fit_transform(data)

import numpy as np
import pandas as pd
from sklearn.preprocessing import KBinsDiscretizer
data = pd.DataFrame(np.random.randint(10, 100, (5, 2)))  # 准备测试数据
est = KBinsDiscretizer(n_bins=3, encode='ordinal', strategy='quantile')
est.fit(data)  # 拟合数据
result = est.transform(data)  # 变换数据
result = est.fit_transform(data)  # 拟合和变换一步到位
data = est.inverse_transform(result)  # 
# 一般这样用
result = KBinsDiscretizer(n_bins=3, encode='ordinal', strategy='quantile').fit_transform(data)