以下是关于 残差网络(Residual Network,ResNet) 的全面解析:
1. ResNet的背景与核心思想
ResNet 由微软研究院的何恺明团队于2015年提出,是深度学习领域里程碑式的模型。其核心目标是解决深度神经网络(如VGG)的梯度消失和网络退化问题:
- 梯度消失:随着网络加深,反向传播时梯度逐渐衰减,浅层参数难以更新。
- 网络退化:增加网络层数后,训练误差反而上升(并非过拟合导致)。
ResNet的解决方案:
通过引入 残差块(Residual Block),允许网络直接学习输入与输出之间的残差(差值),而非直接拟合目标映射。
数学表达:
[ \text...