relu函数读法

问题描述

精选答案

基本的relu函数式：y=max(0,x)，所以当输出为负数时，经过relu之后直接为0。一般来说误差=当前值×梯度，那么其梯度也降为0。 如果输出为非负数，那么直接求导可得1，所以误差传递到此处就是当前值x。