python机器学习之神经网络实现
神经网络在机器学习中有很大的应用，甚至涉及到方方面面。本文主要是简单介绍一下神经网络的基本理论概念和推算。同时也会介绍一下神经网络在数据分类方面的应用。
首先，当我们建立一个回归和分类模型的时候，无论是用最小二乘法（OLS）还是最大似然值（MLE）都用来使得残差达到最小。因此我们在建立模型的时候，都会有一个loss function。
而在神经网络里也不例外，也有个类似的loss function。
对回归而言：
对分类而言：
然后同样方法，对于W开始求导，求导为零就可以求出极值来。
关于式子中的W。我们在这里以三层的神经网络为例。先介绍一下神经网络的相关参数。
第一层是输入层，第二层是隐藏层，第三层是输出层。
在X1，X2经过W1的加权后，达到隐藏层，然后经过W2的加权，到达输出层
其中，
我们有：
至此，我们建立了一个初级的三层神经网络。
当我们要求其的loss function最小时，我们需要逆向来求，也就是所谓的backpropagation。
我们要分别对W1和W2进行求导，然后求出其极值。
从右手边开始逆推，首先对W2进行求导。
代入损失函数公式：
然后，我们进行化简：
化简到这里，我们同理再对W1进行求导。
我们可以发现当我们在做bp网络时候，有一个逆推回去的误差项，其决定了loss function 的最终大小。
在实际的运算当中，我们会用到梯度求解，来求出极值点。
总结一下来说，我们使用向前推进来理顺神经网络做到回归分类等模型。而向后推进来计算他的损失函数，使得参数W有一个最优解。
当然，和线性回归等模型相类似的是，我们也可以加上正则化的项来对W参数进行约束，以免使得模型的偏差太小，而导致在测试集的表现不佳。
Python 的实现：
使用了KERAS的库
解决线性回归：
model.add(Dense(1, input_dim=n_features, activation='linear', use_bias=True))
# Use mean squared error for the loss metric and use the ADAM backprop algorithm
model.compile(loss='mean_squared_error', optimizer='adam')
# Train the network (learn the weights)
# We need to convert from DataFrame to NumpyArray
history = model.fit(X_train.values, y_train.values, epochs=100,
batch_size=1, verbose=2, validation_split=0)
解决多重分类问题：
# create model model = Sequential() model.add(Dense(64, activation='relu', input_dim=n_features)) model.add(Dropout(0.5)) model.add(Dense(64, activation='relu')) model.add(Dropout(0.5)) # Softmax output layer model.add(Dense(7, activation='softmax')) model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy']) model.fit(X_train.values, y_train.values, epochs=20, batch_size=16) y_pred = model.predict(X_test.values) y_te = np.argmax(y_test.values, axis = 1) y_pr = np.argmax(y_pred, axis = 1) print(np.unique(y_pr)) print(classification_report(y_te, y_pr)) print(confusion_matrix(y_te, y_pr))
当我们选取最优参数时候，有很多种解决的途径。这里就介绍一种是gridsearchcv的方法，这是一种暴力检索的方法，遍历所有的设定参数来求得最优参数。
from sklearn.model_selection import GridSearchCV def create_model(optimizer='rmsprop'): model = Sequential() model.add(Dense(64, activation='relu', input_dim=n_features)) model.add(Dropout(0.5)) model.add(Dense(64, activation='relu')) model.add(Dropout(0.5)) model.add(Dense(7, activation='softmax')) model.compile(loss='categorical_crossentropy', optimizer=optimizer, metrics=['accuracy']) return model model = KerasClassifier(build_fn=create_model, verbose=0) optimizers = ['rmsprop'] epochs = [5, 10, 15] batches = [128] param_grid = dict(optimizer=optimizers, epochs=epochs, batch_size=batches, verbose=['2']) grid = GridSearchCV(estimator=model, param_grid=param_grid) grid.fit(X_train.values, y_train.values)
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
相关文章
Pytorch backward报错2次访问计算图需要retain_graph=True的情况详解
这篇文章主要介绍了Pytorch backward报错2次访问计算图需要retain_graph=True的情况,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2024-02-02
PaddleNLP ppdiffusers 自动生成兔了个兔海报
这篇文章主要为大家介绍了PaddleNLP ppdiffusers 自动生成兔了个兔海报示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2023-01-01
这篇文章主要给大家介绍了关于Python中实例化class的执行顺序的相关资料，文中通过示例代码介绍的非常详细，对大家学习或者使用python具有一定的参考学习价值，需要的朋友们随着小编来一起学习学习吧2018-10-10
这篇文章主要介绍了Python正则表达式分组,命名分组,后向引用,前向否定断言、后向否定断言需要的朋友可以参考下2022-12-12
Python selenium模拟手动操作实现无人值守刷积分功能
这篇文章主要介绍了Python selenium模拟手动操作达到无人值守刷积分目的,本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2020-05-05
这篇文章主要为大家详细介绍了Python如何利用flask操作Redis，文中的示例代码讲解详细，对我们学习Python有一定的帮助，需要的可以参考一下2023-02-02
这篇文章主要为大家详细介绍了python之Socket网络编程,具有一定的参考价值，感兴趣的小伙伴们可以参考一下2016-09-09
今天小编就为大家分享一篇基于Python中isfile函数和isdir函数使用详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-11-11
这篇文章主要介绍了python函数的定义和调用,实例分析了Python中返回一个返回值与多个返回值的方法,需要的朋友可以参考下2021-10-10
Loguru是一个用于Python的高性能、简洁且灵活的日志库,它的目标是提供一种简单的方式来记录应用程序的运行情况,同时保持代码的简洁性和可读性,本文将探索loguru的基本用法2024-01-01
最新评论