python实现机器学习之多元线性回归

 更新时间:2021年04月20日 08:50:07   作者:婉如  
这篇文章主要为大家详细介绍了python实现机器学习之多元线性回归,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下

总体思路与一元线性回归思想一样,现在将数据以矩阵形式进行运算,更加方便。
一元线性回归实现代码

下面是多元线性回归用Python实现的代码:

import numpy as np

def linearRegression(data_X,data_Y,learningRate,loopNum):
 W = np.zeros(shape=[1, data_X.shape[1]])
 # W的shape取决于特征个数,而x的行是样本个数,x的列是特征值个数
 # 所需要的W的形式为 行=特征个数,列=1 这样的矩阵。但也可以用1行,再进行转置:W.T
 # X.shape[0]取X的行数,X.shape[1]取X的列数
 b = 0

 #梯度下降
 for i in range(loopNum):
  W_derivative = np.zeros(shape=[1, data_X.shape[1]])
  b_derivative, cost = 0, 0

  WXPlusb = np.dot(data_X, W.T) + b # W.T:W的转置
  W_derivative += np.dot((WXPlusb - data_Y).T, data_X) # np.dot:矩阵乘法
  b_derivative += np.dot(np.ones(shape=[1, data_X.shape[0]]), WXPlusb - data_Y)
  cost += (WXPlusb - data_Y)*(WXPlusb - data_Y)
  W_derivative = W_derivative / data_X.shape[0] # data_X.shape[0]:data_X矩阵的行数,即样本个数
  b_derivative = b_derivative / data_X.shape[0]


  W = W - learningRate*W_derivative
  b = b - learningRate*b_derivative

  cost = cost/(2*data_X.shape[0])
  if i % 100 == 0:
   print(cost)
 print(W)
 print(b)

if __name__== "__main__":
 X = np.random.normal(0, 10, 100)
 noise = np.random.normal(0, 0.05, 20)
 W = np.array([[3, 5, 8, 2, 1]]) #设5个特征值
 X = X.reshape(20, 5)  #reshape成20行5列
 noise = noise.reshape(20, 1)
 Y = np.dot(X, W.T)+6 + noise
 linearRegression(X, Y, 0.003, 5000)

特别需要注意的是要弄清:矩阵的形状

在梯度下降的时候,计算两个偏导值,这里面的矩阵形状变化需要注意。

梯度下降数学式子:

以代码中为例,来分析一下梯度下降中的矩阵形状。
代码中设了5个特征。

WXPlusb = np.dot(data_X, W.T) + b

W是一个1*5矩阵,data_X是一个20*5矩阵
WXPlusb矩阵形状=20*5矩阵乘上5*1(W的转置)的矩阵=20*1矩阵

W_derivative += np.dot((WXPlusb - data_Y).T, data_X)

W偏导矩阵形状=1*20矩阵乘上 20*5矩阵=1*5矩阵

b_derivative += np.dot(np.ones(shape=[1, data_X.shape[0]]), WXPlusb - data_Y)

b是一个数,用1*20的全1矩阵乘上20*1矩阵=一个数

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。

相关文章

  • python Pillow图像处理方法汇总

    python Pillow图像处理方法汇总

    这篇文章主要介绍了python Pillow图像处理方法汇总,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-10-10
  • 基于Python编写一个有趣的年会抽奖系统

    基于Python编写一个有趣的年会抽奖系统

    这篇文章主要为大家详细介绍了如何使用Python编写一个简易的抽奖系统,顺便帮助大家巩固一下对Python语法和框架的理解,感兴趣的小伙伴可以了解下
    2023-12-12
  • Python实现图像尺寸和格式转换处理的示例详解

    Python实现图像尺寸和格式转换处理的示例详解

    这篇文章主要为大家详细介绍了如何利用Python实现图像尺寸获取和格式转换处理的功能,文中的示例代码讲解详细,感兴趣的可以了解一下
    2023-04-04
  • python可视化篇之流式数据监控的实现

    python可视化篇之流式数据监控的实现

    这篇文章主要介绍了python可视化篇之流式数据监控的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-08-08
  • python实现获取Ip归属地等信息

    python实现获取Ip归属地等信息

    本文给大家简单介绍了下如何使用Python实现获取IP归属地信息的方法和代码,非常的实用,有需要的小伙伴可以参考下
    2016-08-08
  • Python中使用platform模块获取系统信息的用法教程

    Python中使用platform模块获取系统信息的用法教程

    这里我们整理了Python中使用platform模块获取系统信息的用法教程,包括操作系统与Python环境以及系统的环境变量等信息的获取方法:
    2016-07-07
  • Python爬取OPGG上英雄联盟英雄胜率及选取率信息的操作

    Python爬取OPGG上英雄联盟英雄胜率及选取率信息的操作

    这篇文章主要介绍了Python爬取OPGG上英雄联盟英雄胜率及选取率信息的操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2021-04-04
  • 树莓派实现移动拍照

    树莓派实现移动拍照

    这篇文章主要为大家详细介绍了树莓派实现移动拍照,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2019-06-06
  • Python使用multiprocessing实现多进程的详细步骤记录

    Python使用multiprocessing实现多进程的详细步骤记录

    multiprocessing包是Python中的多进程管理包,与threading.Thread类似,它可以利用multiprocessing.Process对象来创建一个进程,下面这篇文章主要给大家介绍了关于Python使用multiprocessing实现多进程的详细步骤,需要的朋友可以参考下
    2024-08-08
  • python Celery定时任务的示例

    python Celery定时任务的示例

    这篇文章主要介绍了python Celery定时任务的示例,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2018-03-03

最新评论