赞
踩
一起学AI系列博客:目录索引
本文笔记小结深度学习里的核心基础概念和高频知识点分析。
learning rate(lr)
(0, 1]
w = w - alpha * D
epoch和batchsize概念辨析
梯度消失与梯度爆炸问题与解决
sigmoid
求导函数乘的a(1-a),a范围是0-1,则求导函数值域就是(0,0.25)永远小于1,致使网络层数加深后,输入层附近的神经元权重几乎无法更新,难以训练。relu
引入又可能导致梯度爆炸,即若权重初始值很大时,迭代w=w-D,D不断累积而来变成一个极大的数(梯度爆炸),导致w更新后极负。过拟合与泛化
- 拟合指的是和目标的接近程度
- 过拟合和泛化是相互矛盾的点
- 过拟合,导致泛化能力差
- 泛化能力好,拟合精度可能就没那么完美
归一化(Normalization)
X_normal = (X - min) / (max - min)
X_normal = (X - mu) / sigma
正则化(Regularization)
参考资料:
学习率衰减lr-decay
人工数据增强的常见方法
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。