残差块的使用

问题描述

精选答案

残差块是一个两层神经网络，在L层进行激活，得到a^[l+1] ，再次进行激活，两层之后得到a^[l+2] 。

计算过程是从a^([l])开始，首先进行线性激活，根据这个公式：z^[l+1] =W^[l+1] a^([l])+b^[l+1] ，通过a^([l])算出z^[l+1] ，即a^([l])乘以权重矩阵，再加上偏差因子。

然后通过ReLU非线性激活函数得到a^[l+1] ，a^[l+1] =g(z^[l+1] )计算得出。接着再次进行线性激活，依据等式z^[l+2] =W^[2+1] a^[l+1] +b^[l+2] ，

最后根据这个等式再次进行ReLu非线性激活，即a^[l+2] =g(z^[l+2] )，这里的g是指ReLU非线性函数，得到的结果就是a^[l+2] 。

换句话说，信息流从a^[l] 到a^[l+2] 需要经过以上所有步骤，即这组网络层的主路径。

其他回答

易读经济汇

可以收集起来，然后拿到银行去换