当前位置：
  1. 首页
  2. 互联网
  3. 正文
本文介绍: Batch Normalization 在其操作中包含了均值的减去和方差的除以等操作，这些操作本身具有平移和缩放的效果。如果在 Batch Normalization 层之前加上了偏置，它的作用在某种程度上会被 Batch Normalization 的操作所抵消，从而可能减弱 Batch Normalization 的效果。通常，在batch normalization层之前的层中是没有bias的，因为这是无用的，也是对参数的浪费，因为任何常数都会被batch normalization抵消掉。

深度学习入门 – 知乎、这本书也很好，作者写的专栏不错。

机器学习，深度学习一些好文_一只菜得不行的鸟的博客-CSDN博客

卷积神经网络学习路线（五）| 卷积神经网络参数设置，提高泛化能力？_”eval_type”:”pr”-CSDN博客

关于BN折叠的问题

使用Batch Normalization折叠来加速模型推理-CSDN博客

BN层和前一层（Conv，Linear）

通常，在batch normalization层之前的层中是没有bias的，因为这是无用的，也是对参数的浪费，因为任何常数都会被batch normalization抵消掉。

在深度神经网络中，有时在 Batch Normalization 层之前的线性层（例如全连接层或卷积层）会被设计为没有偏置（bias）。这样的设计是有一些原因的，尤其是在使用 Batch Normalization 时：

Batch Normalization的效果： Batch Normalization 在其操作中包含了均值的减去和方差的除以等操作，这些操作本身具有平移和缩放的效果。如果在 Batch Normalization 层之前加上了偏置，它的作用在某种程度上会被 Batch Normalization 的操作所抵消，从而可能减弱 Batch Normalization 的效果。

BN

标准化与归一化_标准化和归一化_Weber77的博客-CSDN博客

ML领域更常使用标准化，如果数据不为稳定，存在极端的最大最小值，不要用归一化。z值归一化=标准化

BN可以省去dropout，L1, L2等正则化处理方法.

这人写的都不错：

Transformer 相关理解（上）_向量内积 相似性-CSDN博客

显示所有内容
上一篇 kotlin 委托属性 在方法中定义，将无法使用委托的set属性。
下一篇 Android启动界面之isTaskRoot的妙用及Deeplink的处理

相关文章

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

插入图片
浏览器会保存昵称、邮箱和网站cookies信息，下次评论时使用。