各种线性代数图解(图解线性代数)

各种线性代数图解(图解线性代数)(1)

线性代数是数学中的一个非常重要科目, 需要研究线性空间, 线性变换和线性方程组. 至于应用就太广泛了, 图像处理, 压缩, 信号处理, 统计分析, 机器学习, 网页排序......

01 向量的概念

现实中工作中, 我们会把几个数值放在一起, 当做一个整体来分析, 这就有了向量(Vector) : 一种有序的数值列表.

为了把向量和点区分开, 惯用的方法是把这对数竖着写, 然后用括号括起来, 比如下面的示例为 2 维向量, 3 维向量和 4 维向量:

各种线性代数图解(图解线性代数)(2)

注: 或者用方括号来表示向量

决定一个向量是它的长度和方向, 我们可以通过坐标系来更好的理解它. 在二维坐标系下用箭头绘制出来, 且箭头的起点位于原点, 终点就是数值分量对应的点. 这样每一个向量就对应唯一对数, 而坐标系中的一对数也唯一对应一个向量.

各种线性代数图解(图解线性代数)(3)

只要向量的大小和方向相同, 即视为相等的向量, 如下图所示在二维平面(Two-dimensional)下, 随便移动一个向量, 所留下轨迹上都是相同的向量:

各种线性代数图解(图解线性代数)(4)

对于三维空间而言, 向量就会有x, y, z三个分量, 我们用 x,y,z 轴来表示出来, 这样每个向量也会与一个有序三元数组(x,y,z)对应:

各种线性代数图解(图解线性代数)(5)

▌向量的加法

向量加法就是把对应项相加:

各种线性代数图解(图解线性代数)(6)

从图形来看我们可以平移第二个向量, 使它的起点与第一个向量的重点重合, 然后画一个向量, 它从第一个向量的起点出发, 指向第二个向量的终点. 这个向量就是它们的和; 或者观察动画按照每个向量的分量进行运动最终效果是一样的: 

各种线性代数图解(图解线性代数)(7)

▌向量的数乘

另一个基础的向量运算就是一个数值(标量Scalar)乘以向量的每个分量, 就是将向量中的每个分量与标量相乘. 如选择数值 2, 把它与一个给定向量相乘, 意味着你把这个向量拉长为原向量的 2 倍:

各种线性代数图解(图解线性代数)(8)

观察下图如果标量为负, 则结果向量反向. 也就是数乘向量其实是对向量的拉伸, 压缩或反向的操作:

各种线性代数图解(图解线性代数)(9)

向量的加法和数乘非常重要, 将会贯穿线性代数, 我们第一次的内容就到此为止, 不过下面再补充几张动图来加深加法的理解:

▌向量加法三角形法则

其实与上面加法示例相同, 不过这里的向量起点并非原点:

各种线性代数图解(图解线性代数)(10)

▌平行四边形法则

各种线性代数图解(图解线性代数)(11)

▌向量的减法

向量的减法其实就是加法的一种特殊情况:

各种线性代数图解(图解线性代数)(12)

02「基底 / 线性组合 / 线性无关(相关)」

▌基底

在二维线性空间中, 只要用两个特殊的向量就可以来用定位(表示)出任意向量:

各种线性代数图解(图解线性代数)(13)

空间中的任何向量都是可以通过缩放这两个向量再相加表示出来. 现在想象, 譬如向量 (3,2) 就是沿着 i 的方向拉伸 3 倍, 再沿着 j 方向 拉伸 2 倍的向量相加结果.

各种线性代数图解(图解线性代数)(14)

这样特殊的向量称之为基(Basis, 或基底), 任何二维向量都可以由这两个向量的线性组合表示出来, 其中 a, b 为标量.

各种线性代数图解(图解线性代数)(15)

观察下面动图显示, 当 a, b 两个标量自由变化, 通过向量加法与向量数乘这两种基础运算, 就能获得所有二维中可能的向量:

各种线性代数图解(图解线性代数)(16)

基底的选取有各种各样的方式, 但不同的选取 可能会有 3 种情况, 观察下面动图中选取 i 和 j 作为基底出现:

也可以线性表示出空间中任意的二维向量;

如果两个向量恰好共线时候, 所产生的向量的终点被限制在一条过原点的直线上;

两个向量都是零向量, 其组合向量是零向量.

各种线性代数图解(图解线性代数)(17)

所有由向量 i 和 j 线性组合而获得所有可能的向量集合, 称之为两个向量张成的空间(Span).

用上面的图形来说明: 对大部分二维向量来说, 两个向量所张成的空间是所有二维向量的集合, 可以称之为基底; 但当共线时, 张成的空间就是一条直线, 不能构成二维线性空间的基底.

▌三维空间的基底

再来看看三维空间中的两个方向不同的向量(蓝色和橘黄色)所张成的空间就是两者所有的线性组合, 其实就张成了一个过原点的平面 .

各种线性代数图解(图解线性代数)(18)

如果在加上第三个向量, 那么线性组合为下面的形式:

各种线性代数图解(图解线性代数)(19)

对三个基底向量分别进行缩放, 然后把结果相加, 而这三个向量所有可能的线性组合构成了他们张成的空间:

各种线性代数图解(图解线性代数)(20)

▌线性相关

考虑 三维中第三个向量已经落在前两个向量所张成的平面之中, 那么就可以被这两个向量线性表示; 或者二维中两个向量共线, 那么可以由另一个线性表示出来. 现在观察二维两个向量共线的情况:

各种线性代数图解(图解线性代数)(21)

这种情况称之为线性相关(Linearly Dependent), 也就是说存在有向量对张成空间而言上多余的, 即便删除掉也不会对张成的空间有任何影响.

反之称为线性无关, 也就是没有任何向量可以由其他向量经过线性组合表示出来, 每个向量对所张成的空间都做出了"贡献".

03 「线性变换/矩阵及乘法」

线性变换是线性空间中的运动, 而矩阵就是用来描述这种变换的工具. 这样说还是没有直观印象, 所以还是直接看图解的动画吧.

矩阵不仅仅只是数值的表:

各种线性代数图解(图解线性代数)(22)

其实表示了在该矩阵的作用下, 线性空间是怎样的变化, 观察下图二维平面中水平和垂直方向的伸缩过程:

各种线性代数图解(图解线性代数)(23)

从上面动画中可以观察到:

垂直方向并没有发生任何变换(A 的第二列没有变化);

水平方向伸展了 2 倍;

浅红色方格在变换后面积变成了原来的 2 倍,这里其实就是行列式的意义 - 面积的扩张倍率 det(A)=2

再看到更多矩阵变换之前, 先停下来看看下面静态图片的进一步解释:

各种线性代数图解(图解线性代数)(24)

变换前矩阵的基底向量 i (1,0) 移动到了 (2,0) 的位置, 而 j 基底向量 (0,1) 还是 (0,1) 没发生任何变换(移动) - 也就是基底的变化:

各种线性代数图解(图解线性代数)(25)

一旦明白了基底的变化, 那么整个线性变换也就清楚了 - 因为所有向量的变化都可以由改变后的基向量线性表出. 观察下面红色向量(1, 1.5) 和 绿色向量(-1, -3) 变换后落脚的位置:

各种线性代数图解(图解线性代数)(26)

向量 (1, 1.5) 在变换后的位置, 其实就是变换后基向量的线性表示, 也可以看到矩阵的乘法是如何计算的:

各种线性代数图解(图解线性代数)(27)

类似对于(-1, -3) 变换后的位置 , 也是一样的计算方法:

各种线性代数图解(图解线性代数)(28)

可以再次观察上面动画来体会, 验证算出的结果.

下面再看其他的变换矩阵

这里矩阵 A 的对角线中(0,2)含有一个 0 的情况, 观察下面动画 :

各种线性代数图解(图解线性代数)(29)

可以看到:

水平方向变为 0 倍;

垂直方向被拉伸为 2 倍;

面积的变化率为 0 倍, 也就是 Det(A) = 0;

基底的变化如下:

各种线性代数图解(图解线性代数)(30)

再看看下面这个矩阵 A 的变换:

各种线性代数图解(图解线性代数)(31)

可以看到:

整个空间向左倾斜转动;

面积放大为原来的 Det(A) = 3.5 倍;

上面在 3 个不同的矩阵作用下(相乘), 整个空间发生不同的变换, 但是原点没有改变, 且直线依然还是直线, 平行的依然保持平行, 这就是线性变换的本质.

类似, 在三维线性空间内, 矩阵也用于这样的线性变换, 需要注意的是这里行列式可以看成经过变换后体积变化的倍率. 观察下图, 经过下面矩阵 A 的变换中, 空间会经过镜像翻转变换(扁平化为线), 所以行列式的值会是负数.

各种线性代数图解(图解线性代数)(32)

04 「行列式」

这次我们主要做一个回顾, 再进一步将行列式的几何意义用动画展示说明. 我们说矩阵 A 可以视为一种线性变换, 所以

各种线性代数图解(图解线性代数)(33)

上面的式子意味着一个向量 x 在线性变换 A 后的位置将会和向量 v 重合. 现在看个例子, 整个空间在矩阵 A 的作用下是怎样的变化过程:

各种线性代数图解(图解线性代数)(34)

观看看到:

原来向量(1, 0.5)在经过变换后是(2, 1.5);

水平方向变成了原来的 2 倍;

纵向变成了原来的 3 倍;

原来的直线变换后依然还是直线, 平行的依然保持平行;

原点没有改变(如果没有原点, 则为仿射空间)

并且注意红色的方块面积扩大了 6 倍, 这样的面积(或体积)增大倍率就是行列式(Determinant)的几何意义, 记作: det(A) 或者 |A|

再看另一个作用矩阵线性变换的动画:

各种线性代数图解(图解线性代数)(35)

观察看到:

空间发生了倾斜, 但没有扭曲;

直线在变换后依然还是直线, 平行的依然保持平行;

A 的第一列(1.5, -1)的落脚点为(1, 0) - 像, 第二列(-0.5, 2)的落脚点为(0, 1);

单位红色小方块扩大为 2.5 倍, 也就是 det(A) = 2.5

再来看这个线性变换的例子, 注意矩阵 A 中两个列向量是成比例的 - 线性相关:

各种线性代数图解(图解线性代数)(36)

观察得到:

空间被压缩成一条线;

向量(1, 0.5) 在整个变换过程中完全没有发生改变(这跟特征值与特征向量有关, 我们后文书再说);

面积增大倍率为 0, 也就是 det(A)=0;

这跟上一节中矩阵对角线含有 0 元素情况类似, 在这种情况下意味着不存在逆矩阵, 不过也是以后要介绍的内容了.

行列式的几何意义表示面积(体积)的增大倍率, 如在经过镜像翻转后就为负值, 上一节我们看到三维矩阵的情况, 现在看一看二维中经过镜像翻转后行列式的变化, 请注意最下变换过程中 det(A) 值从正数到负数的变化过程:

各种线性代数图解(图解线性代数)(37)

05 「矩阵的乘积/复合变换」

矩阵向量的乘积可以理解为将一个特定的线性变换作用在向量上, 本次我们先看几个特殊的矩阵下的变换以及矩阵矩阵的乘积.

▌ 零矩阵

即所有元素都是 0 的矩阵, 记为 O . 可以用下标来表示矩阵的大小:

各种线性代数图解(图解线性代数)(38)

零矩阵表示的变换是将空间压缩到原点, 可以观察在 2 阶零矩阵的作用下, 空间被压缩到原点的变化过程, 注意行列式的值最后为 0:

各种线性代数图解(图解线性代数)(39)

▌单位矩阵

是对角元素为 1, 其余都是 0 , 记为 I.

各种线性代数图解(图解线性代数)(40)

单位矩阵对空间什么都不改变, 保持基向量不变, 也被称为"恒等变换", 可以看下面对应的空间变化过程(尽管没有改变):

各种线性代数图解(图解线性代数)(41)

▌对角矩阵

除了对角元之外所有元素均为 0 的矩阵称之为对角矩阵.

各种线性代数图解(图解线性代数)(42)

对角矩阵表示的沿着坐标轴伸缩变换, 其中对角元素就是各轴伸缩的倍率, 并且下例矩阵 A 的对角元素中含有 2 个负数, 可以看做经过了 2 次镜像翻转, x,y 两个方向先是压缩, 然后再被拉伸, 面积扩大为原来的 6 倍, 这样行列式的值为 6.

各种线性代数图解(图解线性代数)(43)

上面都是进行一次变换的操作, 如果想要再进行一次(甚至更多)变换, 就要矩阵和矩阵相乘了. 譬如下面矩阵 A 相当于将空间旋转, 矩阵 B 是横向拉伸.

各种线性代数图解(图解线性代数)(44)

如果是 BA 两个矩阵相乘的运算, 就相当于先旋转再拉伸, 这样的复合变换运算顺序是从右往左进行, 可以观察下面的动画:

各种线性代数图解(图解线性代数)(45)

如果是 AB 两个矩阵相乘的运算, 就相当于先拉伸后旋转, 运算顺序是从右往左, 可以观察下面的动画:

各种线性代数图解(图解线性代数)(46)

从上面两个变换动画, 可以得出结论矩阵的乘积不满足交换律(可以想象满足结合律):

各种线性代数图解(图解线性代数)(47)

可以计算出 BA 和 AB 的值:

各种线性代数图解(图解线性代数)(48)

如何计算矩阵的乘积, 除了课本上给出的方法, 还可以按照列的线性表出来进行, 以 BA 为例:

各种线性代数图解(图解线性代数)(49)

另外, 如果两个矩阵都不是零矩阵, 但是矩阵的乘积可能会是零矩阵, 比如在下面两个矩阵:

各种线性代数图解(图解线性代数)(50)

空间中, A 做横向压缩, B 做垂直压缩, 经过 A 然后 B 的变换后, 也会映射到原点.

「矩阵的逆/逆变换」

这次我们来看如何把矩阵 A 经过变换后的向量再还原回去. 观察下面如何从变换后的向量(-1.5, 2) 还原为向量 (1, 0.5) 的过程:

各种线性代数图解(图解线性代数)(51)

注意观察要点:

变换后线性空间还是完整的二维空间;

变换后的行列式为不等于 0;

还原后仅有一个向量与之对应;

整个还原的变换实际上对应了另一个线性变换, 称为矩阵的逆(Inverse), 记为 A^(-1).

矩阵与它的逆矩阵相乘, 那就是先做了一次变换, 然后在还原回来, 这两个连续的变换作用就是矩阵的乘法, 相当于什么都没有改变, 这个没有进行任何改变的变换, 就是上次说提到的单位矩阵.

各种线性代数图解(图解线性代数)(52)

利用这个性质, 我们可以通过在 Ax=V 两边同乘 A 的逆矩阵来求出变换前的向量 x:

各种线性代数图解(图解线性代数)(53)

矩阵的逆是否一定存在?

那么问题在于逆矩阵是否一定能找得到呢? 想象当 det(A) = 0 时候, 也就是代表矩阵的变换将空间压缩到更低的维度上, 此时没有逆矩阵. 在二维平面中变换后空间被压缩到原点以及被压缩为一条直线都是不存在相应的逆矩阵. 或者说没有办法找到对应的映射可以将一个点或一条线还原为平面.

各种线性代数图解(图解线性代数)(54)

类似地, 对于三维空间中, 如果一个变换将空间压缩为一个平面, 一条直线或原点, 也就是都对应 det(A) = 0 (体积为0)时, 那么也没有逆变换. 请看下面矩阵将三维空间压缩为平面的情况:

各种线性代数图解(图解线性代数)(55)

▌对角矩阵的情况

对角矩阵对应的变换就是沿着坐标轴伸缩变换, 那么还原就非常简单了, 只需要将各坐标轴伸缩为倒数倍就好了.

但注意即使不存在逆变换, 但对应的 x 仍然可能存在. 当一个变换将空间压缩到一条直线, 但是向量 v 刚刚好就在这条直线上. 如下面矩阵 A 将空间压缩成一条直线, (红色)向量 v (1, 0.5) 因为恰好落在该条线上, 所以相应的 x 为 (0.25,-0.25) .

各种线性代数图解(图解线性代数)(56)

07【方程组的解/零空间/核】

线性代数在许多领域都被广泛应用的主要原因是能够求解给定的线性方程组(Linear System of Equations). 这一次来看如何用矩阵的语言来构建简单的数学模型来:

有若干只鸡和兔在同个笼子里,从上面数,有三十五个头;从下面数,有九十四只脚。求笼中各有几只鸡和兔?

题目非常简单, 由两个方程和两个未知数构成的方程组便可以求解出:

各种线性代数图解(图解线性代数)(57)

或以把方程写成矩阵向量相乘的形式 - 常系数矩阵 A , 未知量作为列向量 x, 两者的乘积得到常数列向量 v.

各种线性代数图解(图解线性代数)(58)

常系数矩阵可以理解为自变量 x 与 因变量中间存在的某种关联, 指定了这个矩阵就能确定了从向量到另外一个向量的映射. 这样用线性变换来理解的话, 求解 Ax = v 意味着我们要找到一个向量 x , 使得它在变换后与 v 完全重合:

各种线性代数图解(图解线性代数)(59)

这个方程组有解就是矩阵 A 所代表的变换没有将空间进行扁平化的压缩, 即 det(A)≠0. 否则方程组无解.

或者还可以从矩阵的行视图来理解这个线性方程组, 所要求的解就是求两条直线的交点:

各种线性代数图解(图解线性代数)(60)

对于两个方程组未知数两个的时候, 线性方程组的解有三种情况:

不存在;

唯一(两条直线相交);

有无穷多个;

现在从列视图和行视图两个角度来理解后面两种情况, 比如下面线性方程组无解:

各种线性代数图解(图解线性代数)(61)

从列视图可以看做向量 (2,1) 没有落在矩阵列所张成的空间内, 从下面动画中看到经过矩阵变换后, 空间最终被压缩为一条灰色直线, 而 v 在直线外, 所以不能被变换后的基向量线性表出:

各种线性代数图解(图解线性代数)(62)

或者可以从行视图来理解就是空间中两条直线为平行关系:

各种线性代数图解(图解线性代数)(63)

再来以下面线性方程组为例看无穷解的情况:

各种线性代数图解(图解线性代数)(64)

如果从行视图来看就是两条直线重合在一起:

各种线性代数图解(图解线性代数)(65)

观察下面的动图来从列视图的角度理解无穷解的情况:

观察要点:

这个矩阵的变换将线性空间压缩到一条灰色直线上;

图形中黑色直线上的所有向量在变换后都被压缩到原点, 成为零向量;

在经过线性变换后那些压缩到原点的向量集合, 称为零空间(Null space)或称为核(Kernel). 上面方程组的通解就是由特解和所有零空间解的线性组合, 下面动图尽管改变中 a 的值, 所有可能 a (-1, 1) 是零空间的解, 所以经过变换都会被压缩到原点; 而 (2, 0) 是特解, 经过变换后会落脚在 (2, 4) 处.

各种线性代数图解(图解线性代数)(66)

类似, 如果有三个方程式, 三个未知数, 那么每一个方程就代表了三维空间中的一个平面, 而方程组的解集就可能是空间中的一部分: 无解, 一个交点, 一条直线或一个平面;

在很多问题中都能将数学模型归结为 y = Ax . 比如信号处理, 统计分析, 机器学习等, 在工科中会经常用到. 在未来的图解系列中我们会遇到更多这些问题的示例.

08【方程组的解 II】

这次我们来看看三个方程式, 三个未知数的方程组解(即平面方程组)的情况. 其中每一个方程可以看做代表了三维空间中的一个平面, 而方程组的解集就可能是空间中的一部分: 无解, 一个交点, 一条直线或一个平面;

▌方程组唯一解的情况

各种线性代数图解(图解线性代数)(67)

从行视图来理解就是三个平面相交于一点:

各种线性代数图解(图解线性代数)(68)

如果从矩阵变换的角度来理解的话, 请观察下图:

各种线性代数图解(图解线性代数)(69)

观察要点:

经过矩阵变换后, 仍是三维空间;

解向量 x 在变换后, 与向量 v 重合;

向量 v 可以被矩阵 A 的列向量线性表出, 也就是落在列空间内;

▌方程组无解

各种线性代数图解(图解线性代数)(70)

其中三个平面交线相互平行, 不会有任何共同的交点, 所以无解:

各种线性代数图解(图解线性代数)(71)

如果从矩阵变换的角度来理解的话, 请观察下图:

各种线性代数图解(图解线性代数)(72)

观察要点:

经过矩阵变换后, 空间被压缩为平面;

由于向量 v 在平面之外, 所以无法被矩阵的列向量线性表出, 落在列空间之外;

▌方程组有无穷解 - 解集为一条直线

各种线性代数图解(图解线性代数)(73)

三个平面相交于一条直线:

各种线性代数图解(图解线性代数)(74)

如果从矩阵变换的角度来理解的话, 请观察下图:

各种线性代数图解(图解线性代数)(75)

观察要点:

空间经过变换被压缩为平面;

行列式为 0, 即逆矩阵不存在, 但解仍然存在, 因为 v 就在该平面上, 即在列空间内 ;

图形中红色细线上的所有向量在变换后都被压缩到原点, 成为零向量;

方程的通解为特解 零空间上解所有的线性组合:

各种线性代数图解(图解线性代数)(76)

▌方程组无穷解 - 解集为一个平面

各种线性代数图解(图解线性代数)(77)

三个平面实际就是为一个平面:

各种线性代数图解(图解线性代数)(78)

如果从矩阵变换的角度来理解的话, 请观察下图:

各种线性代数图解(图解线性代数)(79)

观察要点:

矩阵变换将空间压缩为一条直线;

行列式为 0 , 即逆矩阵不存在, 但解仍然存在, 因为 v 刚好就在这条直线上, 还在列空间内;

图形中浅蓝色平面上的所有向量在变换后都被压缩到原点, 成为零向量;

方程的通解为特解 零空间上解所有的线性组合:

各种线性代数图解(图解线性代数)(80)

这一次我们从行视图和列视图的几何角度理解线性方程组: 每个方程组都有一个线性变换与之联系; 当逆变换存在时, 就能用逆变换来求解方程组的解;逆变换不存在时, 行列式为 0, 就需要考察向量 v 是否落在列空间内了.

09「秩 / 列空间 / 零空间」

首先让我们来做一个简短的回顾:

矩阵乘法可以理解为一个特定的线性变换, 矩阵的列向量相当基向量 i: (1,0) 和 j: (0,1) 经过变换过后的到达向量.

各种线性代数图解(图解线性代数)(81)

(原谅我用鼠标进行的标注吧)

空间变换后的任何向量都可以由矩阵 A 的列向量线性表出, 而这些所有可能的结果, 也就是矩阵的列所张成的列空间(Column Space).

原先的空间经过这样2x2 矩阵 A 线性变换后的空间可能会三种情况:

还是平面 -仍是二维空间;

被压缩为一条线 - 变成了一维;

被压缩到原点 - 零维;

在数学专业的词汇来表示线性变换后空间的维数, 称之为矩阵的秩( Rank ) . 换句话说, 列空间就是矩阵的列所张成的空间. 所以矩阵秩的另一种定义可以说是列空间的维数. 经过变换后被压缩到原点的向量集合, 称为矩阵 A 的"零空间"(Null Space)或"核"(Kernel), 记为 Null(A) 或 Ker(A).

对照上面的三种情况, 来分别来观察.

▌第 1 种情况: 变换后仍是平面

各种线性代数图解(图解线性代数)(82)

观察要点:

如果经过矩阵 A 变换后的结果是一个平面, 则 rank( ) = 2, 空间没有被压缩扁平化, 因此可逆, 称之为非奇异矩阵;

这样秩与列数相等, 称之为满秩(Full Rank)矩阵.

对于满秩矩阵来说, 变换后唯一落在原点的就是零向量本身, 也就是 dim Ker( ) = 0;

▌第 2 中情况: 变换后被压缩为一条直线

各种线性代数图解(图解线性代数)(83)

当变换的结果是一条直线, 该矩阵是一维的, 称rank(A) = 1, 此时矩阵不可逆, 称为奇异矩阵;

这样非满秩矩阵, 会将空间压缩到更低的一维直线上, 也就是由嫩绿色直线上一系列的向量在变换后成为零向量;

零空间的维度为 1, dim Ker(A) = 1;

▌第 3 种情况: 变换压缩到原点

各种线性代数图解(图解线性代数)(84)

当变换的结果是压缩到原点, 则该矩阵是零维的, 称 rank(A) = 0;

而零空间维度为 2, dim Ker(A) = 2;

▌维数定理

假设 A 是 mxn 矩阵(非方阵的情况, 下次会介绍), 维数定理就是:

dim Ker(A) rank(A) = n

相信如果理解透彻 2x2 矩阵的情况, 那更高维的矩阵也就清楚了.

10「矮矩阵 / 长矩阵」

矩阵乘法可以理解为一个特定的线性变换, 比如在 2x2 的可逆矩阵表示就是二维空间的(可逆)变换; 3x3 的可逆矩阵表示三维空间的变换.

这些都是 nxn 型的矩阵, 本节来看看更一般 mxn 矩阵, 也就是非方阵的情况 -- 分两大类:行数小于列数的"矮矩阵"和行数大于列数的"长矩阵".

▌矮矩阵

所谓"矮矩阵"就是 mxn 矩阵 A 的维数 m < n 的情况:

各种线性代数图解(图解线性代数)(85)

从方程组来说, 就是未知量为 n , 而方程个数 m .

各种线性代数图解(图解线性代数)(86)

以上面 2x3 矩阵而言, 就是未知量 x 从三维空间被压缩到二维平面的线性变换, 也就是说存在了压缩扁平化的操作, 观察下图:

各种线性代数图解(图解线性代数)(87)

观察要点:

三维空间被压缩为平面;

属于零空间的向量集合被压缩到零向量, 可以认为在变换过程中丢失了一部分信息;

三维空间的基底在变换后落在平面上, 并且坐标分别为(3,1),(1,5),(4,9);

这样矩阵压缩的行为, 当然可以从二维平面到一维直线, 如看下图的变换矩阵(1,2) 的作用下, 线性空间是怎样的变化过程:

各种线性代数图解(图解线性代数)(88)

观察要点:

属于零空间的向量集合被压缩到零向量;

二维空间的基底在变换后落在数轴上(直线)上, 并且变换后坐标分别为 1 和 2;

类似这样对空间压缩的操作经常被用于对数据的压缩, 比如原始数据维数太大, 就需要找到某种变换将原始高维属性空间降为更低维的空间, 未来再主成分分析 PCA 时候, 我们再来更详细的图形展示.

▌长矩阵

反过来考虑当矩阵 A 维数 m > n 的长矩阵:

各种线性代数图解(图解线性代数)(89)

这样未知数要比方程数少的情况, 对应的是变换会从低维到高维空间进行的. 比如下面矩阵就是从二维变换到三维空间的映射:

各种线性代数图解(图解线性代数)(90)

类似, 如果从一维到三维空间的变换矩阵也一定属于长矩阵形状的.

无论是矮矩阵, 还是长矩阵, 这样的非方阵和方阵的一个明显不同是, 对于方阵我们可以计算它的行列式, 如果不是方阵的话,就不行列式这个概念了.

11「特征值 / 特征向量」

“特征”一词译自德语的eigen, 意味着“自身的”,“有特征的” — 这强调了特征值对于定义特定的线性变换上是很重要的.

▌特征值 / 特征向量

我们来观察在矩阵 A 的作用下空间发生的线性变换, 注意下图中红色向量和绿色向量的变化:

各种线性代数图解(图解线性代数)(91)

观察要点:

空间发生了倾斜, 但(黑色虚线)直线还是直线, 依然保持平行(线性性质);

变换过程中发生了镜像翻转, 所以行列式为负值 -2;

基向量 i 变换到 (-2,-2) 处, 基向量 j 变换到 (2,3) 处;

红绿两个向量都随之发生了旋转;

是不是空间中所有的向量都会进行旋转呢? 还是这个矩阵变换为例, 再来观察下面这 3 个向量.

各种线性代数图解(图解线性代数)(92)

观察要点:

红绿 3 个向量的长度发生了伸缩变换, 但仍在原来的直线方向上, 并未发生旋转;

两条直线上的任何其他向量都只是被拉伸为原来的 2 倍和 -1 倍, 如红色两个向量都伸长为 2 倍;

除了这两条直线外, 空间中的其他向量在变换过程中都有旋转(见上图);

这里只有长度伸缩起了变化, 而方向仍在原直线上的向量就是矩阵 A 的特征向量(Eigenvectors. 伸缩的倍数, 就是特征值(Eigenvalues), 红色向量 (1,2) 伸长了 2 倍, 特征值为 2; 绿色向量 (2,1) 伸缩倍率为 -1, 相应特征值为 -1.

一般而言, 对于 nxn 方阵 A , 当存在向量 v 不是零向量, 且满足

各种线性代数图解(图解线性代数)(93)

等号左边是矩阵向量的乘积, 而右边是数乘向量.

各种线性代数图解(图解线性代数)(94)

▌特征值的计算

如何求解出特征值呢, 考虑将上面等式右边项移项:

各种线性代数图解(图解线性代数)(95)

我们知道只有当 (A-λ I) 这个矩阵所代表的变换是压缩扁平化操作的时候才会将向量 v 压缩至原点处, 而压缩扁平化的矩阵的行列式应该等于 0 , 这样只需要求解出相应的特征方程即可得到 λ 的结果.

各种线性代数图解(图解线性代数)(96)

一旦求出了矩阵的特征值, 之后要做的就是带入定义式子, 求出满足定义的特征向量了.

数学之美

数学公式中的数字、字母与算符可以唤起人们欣赏最伟大作曲家的艺术作品或音乐一样的美感。

在 2014 年《人类神经科学前沿》杂志上发表的一篇新论文中,研究人员为十余位数学家提供了 60 个公式来评分。

在数学家查看方程式时,脑部扫描显示许多区域都会参与其中,但当一个人看到某个美丽的公式时,大脑眶额叶皮层区域更活跃——就像看人们欣赏一幅伟大的画作或聆听曼妙音乐一样。

笔者将把参与评选的 60 个数学公式整理出并附上简单的介绍,一起来欣赏一下吧!(限于水平有限, 个别公式找不到标准对应译名, 暂留英文, 还请各位朋友留言指正)

1. 欧拉恒等式

各种线性代数图解(图解线性代数)(97)

其中 e 是自然对数函数的底,i 是虚数单位,π 是圆周率。

美国物理学家理查德·费曼称欧拉恒等式为“数学最美公式”,因为包含了数学中 5 个最重要的数学常数:0、1、e、π 和 i。并且包含了三种最基本的算术运算:加法、乘法和幂运算。绝对令人惊讶的是,这些看似无关的数和运算都被这个简洁的公式联系起来。

各种线性代数图解(图解线性代数)(98)

欧拉恒等式是欧拉公式的一种特殊形式,后者如上图右侧所示。

2. 毕达哥拉斯三角恒等式

各种线性代数图解(图解线性代数)(99)

毕达哥拉斯三角恒等式(Pythagorean trigonometric identity),正弦和余弦函数之间的基本关系之一。另外两个相关公式如下所示:

3. 欧拉示性数/欧拉公式(图论)

各种线性代数图解(图解线性代数)(100)

代数拓扑中的一个公式。而在平面图,当图是单连通图的时候,公式简化为上式。其中,V 是顶点的数目,E 是边的数目,F 是面的数目。

4. 高斯-博內定理

各种线性代数图解(图解线性代数)(101)

在微分几何中,高斯-博内定理(亦称高斯-博内公式)是关于曲面的图形(由曲率表征)和拓扑(由欧拉示性数表征)间联系的一项重要表述。

5. 欧拉公式

各种线性代数图解(图解线性代数)(102)

欧拉公式是复分析领域的公式,它将三角函数与复指数函数关联起来,因其提出者莱昂哈德·欧拉而得名。当 x=π 时,欧拉公式即欧拉恒等式,从上面图形中也可以观察得出。

6. 高斯积分

各种线性代数图解(图解线性代数)(103)

高斯积分,有时也被称为概率积分,是高斯函数 e^{−x²} 在整个实数线上的积分。

7. 黎曼ζ函数的倒数

各种线性代数图解(图解线性代数)(104)

8. 指数函数

各种线性代数图解(图解线性代数)(105)

指数函数 e^x 可以用各种等价的方式定义,特别是它可以定义为幂级数的形式。

9. 高斯函数的傅里叶变换

各种线性代数图解(图解线性代数)(106)

10. e 的极限值定义式

各种线性代数图解(图解线性代数)(107)

11. 连续统的势大于自然数集的势

各种线性代数图解(图解线性代数)(108)

12. 曼德博集合定义式

各种线性代数图解(图解线性代数)(109)

曼德博集合是一种在复平面上组成分形的点的集合,它的定义归功于法国数学家阿德里安·杜阿迪,以分形几何先驱数学家本华·曼德博的名字所命名。

曼德博集合可以用复二次多项式来定义,其中 c 是一个复数参数。不同的参数 c 可能使序列的绝对值逐渐发散到无限大,也可能收敛在有限的区域内。

曼德博集合 M 就是使序列不延伸至无限大的所有复数 c 的集合。

13. 狄克拉函数恒等式

各种线性代数图解(图解线性代数)(110)

14. 拉马努金圆周率公式

各种线性代数图解(图解线性代数)(111)

印度数学家斯里尼瓦瑟·拉马努金曾发表很多关于圆周率 π 表示方式。这个公式因为收敛的速度异常地快,常用来计算其精确值。

15. 能写成两个正整数的立方和的最小数

各种线性代数图解(图解线性代数)(112)

数学上,1729 是一个可以用两种方式写成两个正整数的立方和的数字,而且是有这种特性的数字中最小的一个。

16. 勾股定理

各种线性代数图解(图解线性代数)(113)

平面几何中一个基本而重要的定理,且是人类早期发现并证明的重要数学定理之一。

17. 微积分基本定理

各种线性代数图解(图解线性代数)(114)

微积分基本定理(Fundamental theorem of calculus)描述了微积分的两个主要运算──微分和积分之间的关系。

18. 留数定理

各种线性代数图解(图解线性代数)(115)

在复分析中,留数定理(residue theorem,又叫残数定理)是用来计算解析函数沿着闭曲线的路径积分的一个有力的工具,也可以用来计算实函数的积分。它是柯西积分定理和柯西积分公式的推论。

19. 掠食者—猎物方程

各种线性代数图解(图解线性代数)(116)

洛特卡-沃尔泰拉方程(Lotka-Volterra equation)别称掠食者—猎物方程。是一个二元一阶非线性微分方程组成。经常用来描述生物系统中,掠食者与猎物进行互动时的动态模型,也就是两者族群规模的消长。

20. 扩散方程

各种线性代数图解(图解线性代数)(117)

扩散方程是一类偏微分方程,用来描述扩散现象中的物质密度的变化。通常也用来和扩散类似的现象,例如在群体遗传学中等位基因在群体中的扩散。

21. 圆周率的定义

各种线性代数图解(图解线性代数)(118)

圆周率 π 是一个数学常数,为一个圆的周长和其直径的比率。

22. 指数函数与自身的导数恒等

各种线性代数图解(图解线性代数)(119)

很多增长过程的问题都可以用指数函数 e^x 来模拟。

23. 麦克劳林级数

各种线性代数图解(图解线性代数)(120)

泰勒级数(Taylor series)用无限项连加式——级数来表示一个函数,这些相加的项由函数在某一点的导数求得。泰勒级数是以于1715年发表了泰勒公式的英国数学家布鲁克·泰勒(Sir Brook Taylor)来命名的。通过函数在自变量零点的导数求得的泰勒级数又叫做麦克劳林级数,以苏格兰数学家科林·麦克劳林的名字命名。

24. 特征值和特征向量

各种线性代数图解(图解线性代数)(121)

线性代数中,对于一个给定的方阵 A,它的特征向量(eigenvector)x 经过这个线性变换之后,得到的新向量仍然与原来的 x 保持在同一条直线上,但其长度或方向也许会改变。

λ 为纯量,即特征向量的长度在该线性变换下缩放的比例,称 λ 为其特征值(eigenvalue)。如果特征值为正,则表示 x 在经过线性变换的作用后方向也不变;如果特征值为负,说明方向会反转;如果特征值为 0,则是表示缩回零点。

25. 三角不等式

各种线性代数图解(图解线性代数)(122)

三角不等式是数学上的一个不等式,表示两条边的长度之和总是大于第三边。它除了适用于三角形之外,还适用于其他数学范畴及日常生活中。

26. 素数计数函数的第一个估计定义

各种线性代数图解(图解线性代数)(123)

素数的出现规律一直困惑著数学家。一个个地看,素数在正整数中的出现没有什么规律。可是总体地看,素数的个数竟然有规可循。对正实数 x,定义 π 为素数计数函数,亦即不大于 x 的素数个数。数学家找到了一些函数来估计 π 的增长。上面就是第一个这样的估计。

27. 黎曼ζ函数的欧拉乘积形式

各种线性代数图解(图解线性代数)(124)

欧拉在1737年发现了欧拉乘积公式,这是ζ函数与素数的联系的朦胧征兆。

28. 最小的勾股数

各种线性代数图解(图解线性代数)(125)

勾股数的发现时间较早,例如埃及的纸草书里面就有 (3,4,5) 这一组勾股数,而巴比伦泥板涉及的最大的一个勾股数组是 (13500,12709,18541)。在中国,《周髀算经》中也记述了 (3,4,5) 这一组勾股数。

29. 柯西积分公式

各种线性代数图解(图解线性代数)(126)

柯西积分公式是数学中复分析的一个重要结论,以十九世纪法国数学家奥古斯丁·路易·柯西命名。柯西积分公式说明了任何一个闭合区域上的全纯函数在区域内部的值完全取决于它在区域边界上的值,并且给出了区域内每一点的任意阶导数的积分计算方式。

30. π 的莱布尼茨公式表示

各种线性代数图解(图解线性代数)(127)

π 的莱布尼茨公式右边的展式是一个无穷级数,被称为莱布尼茨级数,这个级数收敛到 π/4。使用求和符号可记作下式:

各种线性代数图解(图解线性代数)(128)

31. 巴塞尔问题

各种线性代数图解(图解线性代数)(129)

巴塞尔问题是一个著名的数论问题,要求的是精确计算所有平方数的倒数之和。该问题最初由皮耶特罗·门戈利在1644年提出,由莱昂哈德·欧拉在1735年解决。由于这个问题之前难倒了以前许多的数学家,所以年仅 28 岁的欧拉一解出这个问题立马扬名于天下。

32. 等比数列和

各种线性代数图解(图解线性代数)(130)

一个等比数列的首 n 项之和,称为等比数列和(sum of geometric sequence)或几何级数(geometric series),记作 Sn$。

等比数列求和的公式如下:

各种线性代数图解(图解线性代数)(131)

当 -1 < r <1 时,几何级数会收敛到一个如上式的固定值。

33. 伯克霍夫遍历定理

各种线性代数图解(图解线性代数)(132)

伯克霍夫遍历定理(Birkhoff ergodic theorem)是遍历论的第一个重要结果。

34. 斯托克斯定理

各种线性代数图解(图解线性代数)(133)

斯托克斯定理(Stokes' theorem)是微分几何中关于微分形式的积分的定理,该公式可以在对坐标的曲线积分和对面积的面积积分之间相互转换。

35. 泊松求和的一个特例

各种线性代数图解(图解线性代数)(134)

36. 一维布朗运动的二次变差

各种线性代数图解(图解线性代数)(135)

37. 欧拉提出的另一个等式

各种线性代数图解(图解线性代数)(136)

等式左手是一个无穷乘积,在右手则为一个幂级数,其中 p(n) 表示 n 作为自然数之和的所有可能表示的数。

38. 算术-几何平均值不等式

各种线性代数图解(图解线性代数)(137)

算术-几何平均值不等式是一个常见而基本的不等式,表现算术平均数和几何平均数之间恒定的不等关系。

39. 空集的势

各种线性代数图解(图解线性代数)(138)

40. Cartan structural equations

各种线性代数图解(图解线性代数)(139)

41. 史特灵公式

各种线性代数图解(图解线性代数)(140)

史特灵公式(Stirling's formula)是一条用来取n阶乘近似值的数学公式。一般来说,当n很大的时候,n阶乘的计算量十分大,所以史特灵公式十分好用。

42. Integral formula for a character of an irreducible representation of a Lie group corresponding to the co-adjoint orbit Ω.

各种线性代数图解(图解线性代数)(141)

43. n 维球体公式

各种线性代数图解(图解线性代数)(142)

在 n 维欧氏空间里,半径 r 的球之 n 维体积为上式。其中Γ是李昂哈德·欧拉的Γ函数(可被视为阶乘在实数的延伸)。

44. Relation between the sphere, the complex projective line and the special orthogonal groups SO(3) and SO(2).

各种线性代数图解(图解线性代数)(143)

45. 阿贝尔群序列

各种线性代数图解(图解线性代数)(144)

46. Second Bianchi identity of the Riemann tensor

各种线性代数图解(图解线性代数)(145)

47. 莫比乌斯变换

各种线性代数图解(图解线性代数)(146)

几何学里, 莫比乌斯变换是一类从黎曼球面映射到自身的函数。用扩展复平面上的复数表示的话,其形式为上式。

48. 克利福德代数

各种线性代数图解(图解线性代数)(147)

数学上,克利福德代数(Clifford algebra)是由具有二次型的向量空间生成的单位结合代数。作为域上的代数,其推广实数系、复数系、四元数系等超复数系,以及外代数。

49. 整数 1 与黎曼ζ函数

各种线性代数图解(图解线性代数)(148)

整数 1 能够表示为这样黎曼 函数的无穷级数形式。

50. 补集的一个定律

各种线性代数图解(图解线性代数)(149)

若给定全集 U,则 A 在 U 中的相对补集称为 A 的绝对补集(简称补集),记为 A^C。

51. 补集的另一个定律

各种线性代数图解(图解线性代数)(150)

52. 谱定理的一种表示

各种线性代数图解(图解线性代数)(151)

53. Berezin 积分

各种线性代数图解(图解线性代数)(152)

54. 柯西-黎曼方程

各种线性代数图解(图解线性代数)(153)

复分析中的柯西-黎曼微分方程(Cauchy–Riemann equations)是提供了可微函数在开集中为全纯函数的充要条件的两个偏微分方程,以柯西和黎曼得名。在一对实值函数 u(x,y) 和 v(x,y) 上的柯西-黎曼方程组包括上面两个方程。

55. 拉普拉斯方程的一种表示

各种线性代数图解(图解线性代数)(154)

拉普拉斯方程,又名调和方程、位势方程,是一种偏微分方程。因为由法国数学家皮埃尔-西蒙·拉普拉斯首先提出而得名。求解拉普拉斯方程是电磁学、天文学、热力学和流体力学等领域经常遇到的一类重要的数学问题。

上式中 △ 称为拉普拉斯算子。

55. 佩尔方程

各种线性代数图解(图解线性代数)(155)

若一个丢番图方程具有以上的形式,且 n 为正整数,则称此二元二次不定方程为佩尔方程。

57. 正弦-戈尔登方程

各种线性代数图解(图解线性代数)(156)

正弦-戈尔登方程是一种非线性双曲型偏微分方程,由于其孤子解的存在,这个方程在20世纪70年代引起了人们的广泛关注。

58. 费马大定理

各种线性代数图解(图解线性代数)(157)

费马大定理(亦名费马最后定理),当上式整数 n>2 时,关于 x,y,z 的不定方程无正整数解。

由17世纪法国数学家费马提出,被称为“费马猜想”,直到英国数学家安德鲁·怀尔斯及其学生理查·泰勒于1995年将他们的证明出版后,才称为“费马最后定理”。

在冲击这个数论世纪难题的过程中,无论是不完全的还是最后完整的证明,都给数学界带来很大的影响;很多的数学结果、甚至数学分支在这个过程中诞生,包括代数几何中的椭圆曲线和模形式,以及伽罗瓦理论和赫克代数等。

59. 黎曼ζ函数所满足的函数方程

各种线性代数图解(图解线性代数)(158)

60. Contracted Bianchi identity where R^(μν) is the Ricci tensor and R is the scalar curvature

各种线性代数图解(图解线性代数)(159)

参考资料:https://www.frontiersin.org/articles/10.3389/fnhum.2014.00068/full维基百科

,

免责声明:本文仅代表文章作者的个人观点,与本站无关。其原创性、真实性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容文字的真实性、完整性和原创性本站不作任何保证或承诺,请读者仅作参考,并自行核实相关内容。文章投诉邮箱:anhduc.ph@yahoo.com

    分享
    投诉
    首页