BN 中一开始先进行归一化处理，然后使用 gamma 和 beta 调整，那为什么一开始不直接使用 gamma 和 beta 调整呢
Deking · 316 天前 · 510 次点击这是一个创建于 316 天前的主题，其中的信息可能已经有所发展或是发生改变。
RT ，BN 中一开始先进行归一化处理，然后使用 gamma 和 beta 调整，那为什么一开始不直接使用 gamma 和 beta 调整呢
 |
1
txhwind 316 天前
方便描述和模型训练。实际推理部署的时候一般都是融合到一起了。
|
 |
2
paidaxtis 316 天前
归一化是归一化，gamma 和 beta 调整是 gamma 和 beta 调整。一开始直接使用不是跳过归一化了吗？
|
Select Language