热门标签
热门文章
- 1Java哈希表(散列表)解析_java hashtable函数
- 2java redis 面试题_Java面试题（Redis篇）
- 3数据结构——链表的实现（Java版）_java链表结构的实现
- 4使用 Ollama 本地运行各种 LLM_ollama glm4
- 5性能评测系列（PT-013）：Spring Boot(K8s多实例) + GaussDB，高并发insert
- 6Python-层次聚类-Hierarchical clustering
- 7C++ 智能指针详解（发展历程，使用，模拟实现）_实现智能指针
- 8elasticsearch之Pipeline&Processor（管道处理数据）_elasticsearch processors
- 9LangChain+Fine-tune实现模型定制化_langchain、fine-tuning
- 10小程序模拟更新微信_微信小程序模拟更新
当前位置: article > 正文
机器学习——最小二乘法求解线性回归_(3)若用最小二乘法求解线性回归模型,给出最小二乘法的闭式解(w和b)及其推导过程。
作者：繁依Fanyi0 | 2024-06-24 00:03:13
赞
踩
(3)若用最小二乘法求解线性回归模型,给出最小二乘法的闭式解(w和b)及其推导过程。
参考：《机器学习》西瓜书————周志华
以下为个人笔记，不免有很多细节不对之处。仅供参考！
1、原理：
均方误差MES有非常好的几何意义,它对应了常用的欧几里得距离或简称“欧氏距离”(Euclidean distance).基于均方误差最小化来进行模型求解的方法称为“最小二乘法”(least square method).在线性回归中，最小二乘法就是试图找到一条直线,使所有样本到直线上的欧氏距离之和最小.
2、模型分析：
如何确定w和b呢?显然,关键在于如何衡量f(z)与y之间的差别，均方误差(2.2)是回归任务中最常用的性能度量,因此我们可试图让均方误差最小化,即：
然后令式（3.5）（3.6）为零可得到w和b最优解得闭式解：
3、利用最小二乘法求解线性回归
关于求偏导过程：
推导手稿：
注意：
1.前面乘以二分之一是对损失函数求导时消除误差评分项的影响
2.
,m是一个常数
以上是参考周志华西瓜书
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/繁依Fanyi0/article/detail/751081
推荐阅读
相关标签
