基于python实现KNN分类算法
kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。 kNN方法在类别决策时，只与极少量的相邻样本有关。由于kNN方法主要靠周围有限的邻近的样本，而不是靠判别类域的方法来确定所属类别的，因此对于类域的交叉或重叠较多的待分样本集来说，kNN方法较其他方法更为适合。
通俗简单的说，就是将这个样本进行分类，怎么分类，就是用该样本的特征与空间中其他样本做计算距离，当出现大多数距离偏向于某个样本类时，我们认为该样本属于这个类别。
举例说明：淘宝商品是按类进行售卖的，对于零食类商品a,b,c，价格与销量分别对应（19，1000），（89，500），（9.9，3000）对与电器类商品d,e,f，价格与销量分别为（1000，10），（499，30），（999，100），对于一个未知的产品（300，80），我们使用kNN算法进行求解，我们假设k=3（k的值要时情况而定，没有确定的）,分别求出未知产品到这六个点的欧式距离，即：sqrt((x1-y1)**2+(x2-y2)**2)计算出结果进行倒序排序，我们得出前三的点分别为：e,b,f。所以我们认为未知产品是电器类产品，当然实际生活中不能仅仅有价格，销量这两个二维数据，可能是n维数据，欧式距离的公式也是一样的，现实中也不仅仅有这两个分类，kNN提供了一种简单的解决思路。其中a,b,c,d,e,f称为训练数据，未知数据称为测试数据。
还有在进行计算时有时需要格式化一下数据，例如对于c产品与未知产品，明显计算销量所产生的数据要远大于价格，为了减小这个带来的误差，可以使用以下：
def normData(dataSet): maxVals = dataSet.max(axis=0)#按列获取最大值，并返回数组 minVals = dataSet.min(axis=0) ranges = maxVals - minVals retData = (dataSet - minVals) / ranges return retData, ranges, minVals
代码
#！／user/bin/env python
#-*- coding:utf-8 -*-
import numpy as np
import operator as opt
def normData(dataSet):#标准化训练集数据
maxVals = dataSet.max(axis=0)
minVals = dataSet.min(axis=0)
ranges = maxVals - minVals
retData = (dataSet - minVals) / ranges
return retData, ranges, minVals
def kNN(dataSet, labels, testData, k):
distSquareMat = (dataSet - testData) ** 2 # 计算差值的平方
distSquareSums = distSquareMat.sum(axis=1) # 求每一行的差值平方和，axis=0则按列计算
distances = distSquareSums ** 0.5 # 开根号，得出每个样本到测试点的距离
sortedIndices = distances.argsort() # 排序，得到排序后的下标
indices = sortedIndices[:k] # 取最小的k个
labelCount = {} # 存储每个label的出现次数，出现次数最多的就是我们要选择的类别
for i in indices:
label = labels[i]
labelCount[label] = labelCount.get(label, 0) + 1 # 次数加一，使用字典的get方法，第一次出现时默认值是0
sortedCount = sorted(labelCount.items(), key=opt.itemgetter(1), reverse=True) # 对label出现的次数从大到小进行排序
return sortedCount[0][0] # 返回出现次数最大的label
if __name__ == "__main__":#测试程序
dataSet = np.array([[2, 3], [6, 8]])#训练集
normDataSet, ranges, minVals = normData(dataSet)
labels = ['a', 'b']#训练集分别为a和b类
testData = np.array([3.9, 5.5])#测试数据
normTestData = (testData - minVals) / ranges#同样需要将测试数据标准化
result = kNN(normDataSet, labels, normTestData, 1)#k=1
print(result)
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了Python实现爬取知乎神回复简单爬虫代码分享,本文实现了爬取知乎的“如何正确地吐槽”收藏夹,是对个人的一个兴趣实现,需要的朋友可以参考下2015-01-01
这篇文章主要介绍了python 动态导入模块，实现模块热更新,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2022-08-08
这篇文章主要为大家详细介绍了python实现媒体播放器功能，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-02-02
这篇文章主要介绍了Python爬虫之爬取哔哩哔哩热门视频排行榜,文中有非常详细的代码示例,对正在学习python的小伙伴们有非常好的帮助,需要的朋友可以参考下2021-04-04
这篇文章主要为大家介绍了python字符串相关str，具有一定的参考价值，感兴趣的小伙伴们可以参考一下，希望能够给你带来帮助2022-01-01
这篇文章主要为大家详细介绍了如何使用Python实现计算两个日期之间相差多少年,多少月,多少天,文中的的示例代码讲解详细,需要的可以参考下2024-02-02
网络编程在当今数字化世界中扮演着至关重要的角色,本文将带你深入了解 Python 中的 TCP 协议,介绍网络编程的基础知识,并提供丰富的示例代码,希望对大家有所帮助2023-12-12
大家好，本篇文章主要讲的是python运算符号详细介绍，感兴趣的同学赶快来看一看吧，对你有帮助的话记得收藏一下，方便下次浏览2021-12-12
这篇文章主要为大家详细介绍了python机器学习实战之K均值聚类，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2017-12-12
详解使用pymysql在python中对mysql的增删改查操作(综合)
本篇文章主要介绍了使用pymysql在python中对mysql的增删改查操作，通过pymysql向数据库进行查删增改，具有一定的参考价值，有兴趣的可以了解一下。2017-01-01
最新评论