梯度下降法原理和步骤（梯度在每一点上都指向函数增长最快的方向）

已知梯度和方向，我们可以立即得到函数在该方向上的斜率

所以，至少我们知道如何描绘梯度；对于二维函数，它将在平面上显示为一连串的箭头。实际上，我们可以做得更好，梯度的向量场有一个非常特殊且易于解释的形状：梯度场总是指向上坡，即函数在该点处的方向导数沿着该方向取得最大值。下面是一个函数及其梯度的图片来说明这一点，

要了解为什么这是梯度的表现方式，考虑等高线地图是有用的。徒步旅行时，参考等高线地图能让你了解地面的高度，这些地图显示的是等高线；这些线之间的间距可以让您了解地形有多陡峭

无论你站在这片风景上，都有一条“等高线”，即恒定海拔的线（想象自己在一座面向山顶的山腰上，沿着这条等高线行走不会让你上山或者下山）。因为沿等高线高度的变化为零，这意味着沿轮廓方向的导数为零。从数学上讲，如果v是在等高线的方向上。但是，我们知道梯度和方向的点积是方向导数，所以我们有

当两个向量的点积为0时，我们知道这两个向量是垂直的。这告诉我们梯度的另一个非常有用的性质:

梯度处处垂直于函数的等高线

再把自己想象成一座山，很容易看出没有倾斜的方向与直接上山/下山的方向是垂直的，所以，这告诉我们梯度向量要么指向函数最大增长的方向，要么指向函数最大衰减的方向。要知道它实际上指向增长最大的方向，你可以想象自己站在山腰上，正对着山峰。你面对的方向上的坡度显然是正的，因为它朝向山顶。假设这个方向是由矢量u给出的，那么在u方向上的方向导数是正的，实际上应该是该点处在任何方向导数的最大值(如果你把自己转向其他角度，而不是直接上坡，这样向上的坡度会更小)。这告诉我们

由线性代数中的点积性质可知，梯度向量与u是平行的。因为我们选择u作为指向最大增加方向的向量，这给了我们梯度的另一个有用的性质:

梯度在每一点上都指向函数增长最快的方向

此外，我们知道，u平行于梯度，梯度的大小就是这个方向导数的值(在这一点的最大方向导数)。这给出了最后一个性质，我们需要几何地描述梯度。

梯度的大小是该点的最大方向导数的值

下图显示了上述函数与梯度向量场叠加的等高线图。你可以看到，坡度总是垂直于等高线，指向上坡，矢量的大小与景观的陡度成比例，就像我们之前讨论的那样