投影
Clash Royale CLAN TAG#URR8PPP
在线性代数和泛函分析中,投影是从向量空间映射到自身的一种线性变换Pdisplaystyle P,满足P2=Pdisplaystyle P^2=P,也就是说,当Pdisplaystyle P两次作用于某个值,与作用一次得到的结果相同(幂等)。是日常生活中“平行投影”概念的形式化和一般化。同现实中阳光将事物投影到地面上一样,投影变换将整个向量空间映射到它的其中一个子空间,并且在这个子空间中是恒等变换[1]。
目录
1 定义
2 简单例子
3 基本性质
4 正交投影
4.1 例子
4.2 斜投影
5 在赋范向量空间上的投影
6 应用
7 参见
8 注解
9 引用
定义
投影的严格定义是:一个从向量空间V射到它自身的线性变换 P 是投影,当且仅当P2=Pdisplaystyle P^2=P。另外一个定义则较为直观:P 是投影,当且仅当存在V的一个子空间W,使得 P 将所有V中的元素都映射到W中,而且 P 在W上是恒等变换。用数学的语言描述,就是:
∃Wdisplaystyle exists W,使得∀u∈V,P(u)∈Wdisplaystyle forall uin V,P(u)in W,并且∀u∈W,P(u)=udisplaystyle forall uin W,P(u)=u
简单例子
在现实生活中,阳光在地面上留下各种影子。这就是投影变换最直白的例子。可以理想化地假设阳光都是沿着同一个方向(比如说垂直于地面的角度)照射而来,大地是严格的平面,那么,对于任意一个物体(比如说一只正在飞行的鸟),它的位置可以用向量 (x, y, z) 来表示,而这只鸟在阳光下对应着一个影子,也就是 (x, y, 0)。这样的一个变换就是一个投影变换。它将三维空间中的向量 (x, y, z) 到映射到向量 (x, y, 0) 。这是在 x-y 平面上的投影。这个变换可以用矩阵表示为
- P=[100010000].displaystyle P=beginbmatrix1&0&0\0&1&0\0&0&0endbmatrix.
因为对任意一个向量 (x, y, z) ,这个矩阵的作用是:
- P(xyz)=(xy0)displaystyle Pbeginpmatrixx\y\zendpmatrix=beginpmatrixx\y\0endpmatrix
注意到如果一个向量原来就是表示地面上的一点的话(也就是说它的z分量等于0),那么经过变换 P 后不会有改变。也就是说这个变换在子空间 x-y 平面上是恒等变换,这证明了 P 的确是一个投影。
另外,
- P2(xyz)=P(xy0)=(xy0);displaystyle P^2beginpmatrixx\y\zendpmatrix=Pbeginpmatrixx\y\0endpmatrix=beginpmatrixx\y\0endpmatrix;
所以 P = P2,这也证明 P 的确是投影。
基本性质
这里假定投影所在的向量空间W是有限维的(因此不需要考虑如投影的连续性之类的问题)。假设子空间U与V分别为 P 的像空间与零空间(也叫做核)。那么按照定义,有如下的基本性质:
- 按照定义,P是等幂的(即P2=Pdisplaystyle P^2=P)
P 在像空间U上是恒等变换:∀x∈U,P(x)=xdisplaystyle forall xin U,quad P(x)=x- 整个向量空间可以分解成子空间U与V的直和:W=U⊕Vdisplaystyle W=Uoplus V。也就是说,空间里的每一个向量x∈Wdisplaystyle xin W,都可以以唯一的方式写成两个向量udisplaystyle u与vdisplaystyle v的和:x=u+vdisplaystyle x=u+v,并且满足u=Pxdisplaystyle u=Px, v=x−Px=(I−P)xdisplaystyle v=x-Px=(I-P)x, 其中u∈Udisplaystyle uin U、v∈Vdisplaystyle vin V。
用抽象代数的术语来说,投影 P 是幂等的线性变换(P2 = P)。因此它的极小多项式是X2−X=X(X−1)displaystyle X^2-X=X(X-1)。因式分解后可以看到,这个多项式只有相异的单根(没有多重根),因此 P 是可对角化矩阵。极小多项式也显示出了投影的特性: 像空间与零空间分别是是对应于特征值1和0的特征空间,并给出了整个空间的一个直和分解。
正如日常生活中阳光沿着一定的方向将影子投射到地面上,一般的投影变换也可以称为是沿着W到U上的投影。由于向量空间分解成直和的方式一般不是唯一的(阳光可以顺着不同的方向照射),给定一个子空间 V(地面),一般的说有很多到V 的投影(沿不同的W)。
正交投影
如果向量空间被赋予了内积,那么就可以定义正交和其它相关的概念(比如线性算子的自伴随性)了。在内积空间(赋予了内积的向量空间)中,有正交投影的概念。具体来说,正交投影是指像空间U和零空间W相互正交子空间的投影。也就是说,任意u∈Udisplaystyle uin U,w∈Wdisplaystyle win W,它们的内积(u|w)displaystyle (u都等于0。
一个投影是正交投影,当且仅当它是自伴随的变换,这意味着正交投影的矩阵有特殊的性质。如果投影是在实向量空间中,那么它对应的矩阵是对称矩阵: P=PTdisplaystyle P=P^T。如果投影是在虚向量空间中,那么它的矩阵则是埃尔米特矩阵:P=P∗displaystyle P=P^*。实际上,如果投影 Pdisplaystyle P 是自伴算子,那么
- ∀u=P(v)∈U,w∈W,displaystyle forall u=P(v)in U,quad win W,
(u|w)=(P(v)|w)=(v|P∗(w))displaystyle (u(P∗displaystyle P^* 表示 Pdisplaystyle P 的伴随算子)(内积符号左右同乘以一个正交矩阵P不改变结果:因为u|v=u*v,所以Pu|Pv=(Pu)*Pv=u*P*Pv=u*v=u|v)- =(v|P(w))=0P(w)right)=0
所以 Pdisplaystyle P 是正交投影。反过来如果 Pdisplaystyle P 是正交投影,那么 ∀u=P(v)∈U,w∈W,(u|w)=0w)=0,
- 然而 ∀v∈V,v−P(v)∈Wdisplaystyle forall vin V,,v-P(v)in W,所以 ∀v1,v2∈V,displaystyle forall v_1,,v_2in V,
- 0=(P(v1)|(v2−P(v2)))=(v1|(P∗−P∗P)(v2))displaystyle (P^*-P^*P)(v_2)right)endaligned
鉴于 v1,v2displaystyle v_1,,v_2 是任取的,必然有 P∗−P∗P=0displaystyle P^*-P^*P=0。所以 P∗=P∗Pdisplaystyle P^*=P^*P 是一个自伴算子,因此 Pdisplaystyle P 也是自伴算子。
例子
正交投影的最简单的情况是到(过原点)直线上的正交投影。如果 u 是这条直线的单位方向向量,则投影给出为
- Pu=uu∗.displaystyle P_u=uu^*.,
这个算子保留 u 不变(Pu(u)=uu∗u=u‖u‖2=udisplaystyle P_u(u)=uu^*u=u),并且它作用在所有正交于 u 的向量上都是0(如果(u|v)=0v)=0,那么 Pu(v)=uu∗v=u(u|v)=0v)=0),证明它的确是到包含 u 的直线上的正交投影[2]。
这个公式可以推广至到在任意维的子空间上的正交投影。设 u1, …, uk 是子空间 U 的一组正交基,并设 A 为一个n×k 的矩阵,它的列向量是 u1, …, uk。那么投影:
PA=AAT.displaystyle P_A=AA^T.,[3]
也是正交的。矩阵 AT 是在 U 的正交补变为零的偏等距同构,而 A 是把 U 嵌入底层向量空间的等距同构。PA 的值域因此是 A 的“终空间”(final space)。ATA 是在 U 上的恒等算子也是明显的。
正交条件也可以去除。如果 u1, …, uk 是(不必须正交)基,而 A 是有这些向量作为列的矩阵,则投影是
PA=A(ATA)−1ATdisplaystyle P_A=A(A^TA)^-1A^T,。[4]
矩阵 AT 仍把 U 嵌入到低层向量空间中但一般不再是等距的。矩阵 (ATA)−1 是恢复规范的“规范化因子”。例如,秩-1 算子 uuT 不是投影,如果 ||u|| ≠ 1。在除以 uTu = |u|2 之后,我们得获得了到 u 所生成的子空间的投影 u(uTu)−1uT。
所有这些公式对于复数内积空间也成立,假如用共轭转置替代转置。
斜投影
术语斜投影有时用来提及非正交投影。这些投影也用来在二维绘图中表示空间图形(参见斜投影),尽管不如正交投影常用。
斜投影用它们的值域和零空间来定义。有给定值域和零空间的投影的矩阵表示的公式可如下这样找到。设向量 u1, …, uk 形成了投影的值域的基,并把这些向量组合到 n×k 矩阵 A 中。值域和零空间是互补空间,所以零空间有维度 n − k。它推出零空间的正交补有维度 k。设 v1, …, vk 形成这个投影的零空间的正交补的基,并把这些向量组合到矩阵 B 中。则投影定义为
P=A(BTA)−1BTdisplaystyle P=A(B^TA)^-1B^T,。
这个表达式一般化上面给出的正交投影公式。[5]
在赋范向量空间上的投影
当底层向量空间 X 是(不必需有限维)赋范向量空间,需要考虑无关于有限维情况的分析问题,假定现在 X 是巴拿赫空间。
上面讨论的多数代数概念转移到这个上下文后幸存下来了。给定的 X 的直和分解成补子空间仍指定一个投影,反之亦然。如果 X 是直和 X = U ⊕ V,则定义自 P(u + v) = u 的算子仍是有值域 U 和核 V 的投影。明显的也 P2 = P。反过来说,如果 P 是在 X 上的投影,就是说 P2 = P,则很容易验证 (I − P)2 = (I − P)。换句话说,(I − P) 也是投影。关系 I = P + (I − P) 蕴涵了 X 是直和 Ran(P) ⊕ Ran(I − P)。
但是相对于有限维情况,投影一般不必须是连续的。如果 X 的子空间 U 在规范拓扑下不闭合,则到 U 上的投影是不连续的。换句话说,连续投影 P 的值域一定是闭合子空间。进一步的,连续投影(事实上,一般的连续线性算子)的核是闭合的。所以连续投影 P 把 X 分解成两个互补的闭合子空间: X = Ran(P) ⊕ Ker(P) = Ran(P) ⊕ Ran(I − P)。
反命题在有额外假定条件下也成立。假设 U 是 X 的闭合子空间。如果存在一个闭合子空间 V 使得 X = U ⊕ V,则有值域 U 和核 V 的投影 P 是连续的。这是从闭合图定理推出的。假定 xn → x 而 Pxn → y。需要证明 Px = y。因为 U 是闭合的且 Pxn ⊂ U, y 位于 U 中,就是说 Py = y。还有 xn − Pxn = (I − P)xn → x − y。因为 V 是闭合的且 (I − P)xn ⊂ V,我们有了 x − y ∈ V,就是说 P(x − y) = Px − Py = Px − y = 0,这证明了这个断言。
上述论证利用 U 和 V 都是闭合的假定。一般的说,给定一个闭合子空间 U, 不需要存在一个互补的闭合子空间 V,尽管对于希尔伯特空间总是可以采取正交补得到。对于巴拿赫空间,一维子空间总是有闭合的补子空间。这是 哈恩-巴拿赫定理的直接推论。设 U 是 u 的线性扩张。通过哈恩-巴拿赫定理,存在一个有界线性泛函 φ,使得 φ(u) = 1。算子 P(x) = φ(x)u 满足 P2 = P,就是说它是个投影。φ 的有界性蕴涵了 P 的连续性,因此 Ker(P) = Ran(I − P) 是 U 的闭合补子空间。
应用
投影(正交与非正交投影)在算法领域和特定线性代数问题中有重要应用。
QR分解(参见豪斯霍尔德变换和格拉姆-施密特正交化)- 奇异值分解
- 化为海森伯格矩阵形式(许多特征值算法的第一步)
- 线性回归
参见
中心矩阵,它是投影矩阵的例子。- 正交化
- 不变子空间
- 透视投影
注解
^ Meyer, pp 386+387
^ Meyer, p. 431
^ Meyer, equation (5.13.4)
^ Meyer, equation (5.13.3)
^ Meyer, equation (7.10.39)
引用
- N. Dunford and J.T. Schwartz, Linear Operators, Part I: General Theory, Interscience, 1958.
- Carl D. Meyer, Matrix Analysis and Applied Linear Algebra, Society for Industrial and Applied Mathematics, 2000. ISBN 978-0-89871-454-8.