热门标签
热门文章
- 1Python3中 object of type int32 is not json serializable解决方案
- 2VMware 各版本下载教程_vmware下载，Linux运维工作资料_vmware workstation 13下载
- 3JS逆向---对称加密算法（DES, AES详解以及案例分析）_js对称加密
- 4小白学python系列————【Day1】Typore简介及使用
- 5[YOLOv8] - 使用LabelStudio对数据集标注(包括安装和使用技巧)_labelstudio yolov8
- 6【无人机任务分配】基于合同网协议CNP算法和共识的捆绑算法CBBA实现多无人机任务分配附Matlab代码_合同网算法
- 7Linux安装和使用OpenCV_opencv4.6.0 如何部署在无网络的linux服务器上,可以让服务调用opencvde so文
- 8zabbix安装php7.0,Centos 7.0安装Zabbix server详细步骤(示例代码)
- 9Nginx源码分析 - 初探Nginx的架构（01）_nginx 源代码分析
- 10MinIO安装与启动【windows】_minio 启动
当前位置: article > 正文
KAN和MLP_kan和mlp区别
作者：繁依Fanyi0 | 2024-06-30 23:59:58
赞
踩
kan和mlp区别
1.区别：
MLP将固定的激活函数放在节点(“神经元”)上，而KAN将可学习的激活函数放在边缘(“权重”)上。KANs没有线性权重矩阵，而是将每个权重参数替换为一个可学习的单变量函数，该函数以样条曲线的形式参数化。
2.MLP的缺点：
在transformer中，MLP的参数量大，且不具备可解释性。
3.KAN=MLP+样条
为了提升表征能力，MIT提出了KAN。KAN本质上是样条（Spline）曲线和 MLP 的组合，吸收了两者的优点。即
KAN = MLP + Spline
4.KAN的缺点：
学习的激活函数的成本比固定激活函数成本更高，表现为：虽然参数很少，但是收敛的很慢 。
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/繁依Fanyi0/article/detail/774443
推荐阅读
相关标签
