反向传播算法图解（链式法则与反向传播原理解析）

昨天整理了一下一直没搞懂链式法则计算反向传播的过程，做个详细的原理解析。

我们使用一个简单的逻辑回归的例子

这里绿色是前向计算，褐红色是反向传播。

根据绿色值的设定，整个计算流程就是上面那个逻辑回归表达式，经过一步步运算，最终得到输出结果是0.73，此时如果和真正的结果比较，假如真实结果是1.73，会发现之间存在一个误差1.0

误差有了，需要相应的调整参数，于是我们需要反向传播。

开始反向传播得到过程：

很简单，就是拿 误差乘以导数

error=1，它是经过1/x计算得到的误差，导数f1=-1/x^2，反向传递 注意此时x的值是1.37，是运算前的值，不是运算后的结果值0.73 　　1X(-1/1.37^2)=-0.53

error=-0.53，它是经过x 1计算得到的误差，导数f2=1，反向传递　　 -0.53X(1)=f1Xf2=-0.53

error=-0.53，它是经过ex计算得到的误差，导数f3=ex，反向传递　　 -0.53X(e-1)=f1Xf2Xf3=-0.2

error=-0.2，它是经过-x计算得到的误差，导数f4=-1，反向传递　　 -0.2X(-1)=f1Xf2Xf3Xf4=0.2

error=0.2，它是经过m1 m2计算得到的误差，它有2个导数，

　　　　　　　　　　　　　　 对m1的导数f51=1，反向传递　　 0.2X(1)=f1Xf2Xf3Xf4Xf51=0.2

　　　　　　　　　　　　　　 对m2的导数f52=1，反向传递　　 0.2X(1)=f1Xf2Xf3Xf4Xf52=0.2

error=0.2，它是经过m3 m4 （这里是图中两个红框右边的那个加法操作）计算得到的误差，它有2个导数，

　　　　　　　　　　　　　　 对m3的导数f61=1，反向传递　　 0.2X(1)=f1Xf2Xf3Xf4Xf51Xf61=0.2

　　　　　　　　　　　　　　 对m4的导数f62=1，反向传递　　 0.2X(1)=f1Xf2Xf3Xf4Xf51Xf62=0.2

error=0.2，它是经过n1*n2 （这里是图中上面的那个红框的乘法操作）计算得到的误差，它有2个导数，

　　　　　　　　　　　　　　 对n1的导数f71=n2，反向传递　　 0.2X(-1)=f1Xf2Xf3Xf4Xf51Xf61Xf71=-0.2

　　　　　　　　　　　　　　 对n2的导数f72=n1，反向传递　　 0.2X(2)=f1Xf2Xf3Xf4Xf51Xf61Xf72=0.4

error=0.2，它是经过n3*n4 （这里是图中下面的那个红框的乘法操作）计算得到的误差，它有2个导数，

　　　　　　　　　　　　　　 对n3的导数f81=n4，反向传递　　 0.2X(-2)=f1Xf2Xf3Xf4Xf51Xf62Xf81=-0.2

　　　　　　　　　　　　　　 对n4的导数f82=n3，反向传递　　 0.2X(-3)=f1Xf2Xf3Xf4Xf51Xf62Xf82=-0.6

需要注意的是，误差从输出一层一层往前传播，不可以跳过某些中间步骤，在计算每一步的误差时，需要乘上上一步得到的误差（链式法则，层层相乘）。

至此，我们发现可以根据反向传播，修改参数w0，w1，w2的值，然后继续后续的工作。

在传播过程中，如果某一部分可以直接用一整个函数代替，则可以对整块求导，然后将导数值传到上一步，如下图所示，这仍然符合链式求导法则。

蓝色框内其实就是sigmoid函数，其导数为 f*(1-f)=(0.73x(1-0.73))=0.2，反向传递 1X0.2=0.2

其实在实际过程中，完整的反向传播应该是下图