devbox
程序自动化专家
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

深度学习记录--Batch Norm

作者：程序自动化专家 | 2024-01-31 19:57:29

赞

踩

深度学习记录--Batch Norm

Batch Norm

与Input Norm对输入层进行归化不同，Batch Norm是对隐藏层进行归化

实现

\mu = \frac{1}{m}\sum_{i=1}^{m}z^{(i)}

\sigma^2=\frac{1}{m}\sum_{i=1}^{m}(z_{i}-\mu)^2

z^{(i)}_{norm}=\frac{z^{(i)}-\mu}{\sqrt{\sigma^2+\varepsilon}}

\tilde{z}^{(i)}=\gamma z^{(i)}_{norm}+\beta，其中\gamma、\beta调节均值和方差

if: \gamma=\sqrt{\sigma^2+\varepsilon},\beta=\mu， then :\tilde{z}^{(i)}=z^{(i)}

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/article/detail/51897
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号