投影 (線性代數)

線性代數泛函分析中,投影是從向量空間映射到自身的一種線性變換,滿足,也就是說,當兩次作用於某個值,與作用一次得到的結果相同(冪等)。是日常生活中「平行投影」概念的形式化和一般化。同現實中陽光將事物投影到地面上一樣,投影變換將整個向量空間映射到它的其中一個子空間,並且在這個子空間中是恆等變換[1]

線性代數
向量 · 向量空間 · 基底  · 行列式  · 矩陣
變換 P 是在線 m 上的正交投影。

定義

投影的嚴格定義是:一個從向量空間V射到它自身的線性變換 P 是投影,若且唯若 。另外一個定義則較為直觀:P 是投影,若且唯若存在V的一個子空間W,使得 P 將所有V中的元素都映射到W中,而且 PW上是恆等變換。用數學的語言描述,就是:

 ,使得 ,並且 

簡單例子

在現實生活中,陽光在地面上留下各種影子。這就是投影變換最直白的例子。可以理想化地假設陽光都是沿着同一個方向(比如說垂直於地面的角度)照射而來,大地是嚴格的平面,那麼,對於任意一個物體(比如說一隻正在飛行的鳥),它的位置可以用向量 (x, y, z) 來表示,而這隻鳥在陽光下對應着一個影子,也就是 (x, y, 0)。這樣的一個變換就是一個投影變換。它將三維空間中的向量 (x, y, z) 到映射到向量 (x, y, 0) 。這是在 x-y 平面上的投影。這個變換可以用矩陣表示為

 

因為對任意一個向量 (x, y, z) ,這個矩陣的作用是:

 

注意到如果一個向量原來就是表示地面上的一點的話(也就是說它的z分量等於0),那麼經過變換 P 後不會有改變。也就是說這個變換在子空間 x-y 平面上是恆等變換,這證明了 P 的確是一個投影。

另外,

 

所以 P = P2,這也證明 P 的確是投影。

基本性質

 
變換 T 是沿着 k 方向到直線 m 上的投影。T 的像空間是 m 而零空間是 k

這裏假定投影所在的向量空間W是有限維的(因此不需要考慮如投影的連續性之類的問題)。假設子空間UV分別為 P 的像空間與零空間(也叫做)。那麼按照定義,有如下的基本性質:

  1. 按照定義,P是等冪的(即 
  2. P 在像空間U上是恆等變換: 
  3. 整個向量空間可以分解成子空間UV直和 。也就是說,空間裏的每一個向量 ,都可以以唯一的方式寫成兩個向量  的和: ,並且滿足 ,  , 其中  

抽象代數的術語來說,投影 P冪等線性映射P2 = P)。因此它的極小多項式 。因式分解後可以看到,這個多項式只有相異的單根(沒有多重根),因此 P可對角化矩陣。極小多項式也顯示出了投影的特性: 像空間與零空間分別是是對應於特徵值1和0的特徵空間,並給出了整個空間的一個直和分解。

正如日常生活中陽光沿着一定的方向將影子投射到地面上,一般的投影變換也可以稱為是沿着WU上的投影。由於向量空間分解成直和的方式一般不是唯一的(陽光可以順着不同的方向照射),給定一個子空間 V(地面),一般的說有很多到V 的投影(沿不同的W)。

正交投影

如果向量空間 被賦予了內積且是完備的,那麼就可以定義正交和其它相關的概念(比如線性算子的自伴隨性)了。正交投影是指值域 零空間 相互正交的投影,也就是說,對於任意  ,它們的內積 都等於0。一個投影是正交投影,若且唯若它是自伴算子,以下為證明:如果投影   是自伴算子,那麼

   
  其中  表示   的伴隨算子。

所以   是正交投影。相反的,如果   是正交投影,由於

  因此我們有
 

鑑於   是任意選取的,必然有    由於 一定是自伴算子,因此可知    也是自伴算子。

這意味着正交投影的矩陣有特殊的性質。如果投影是在實向量空間中,那麼它對應的矩陣是對稱矩陣:  。如果投影是在虛向量空間中,那麼它的矩陣則是埃爾米特矩陣: 

例子

正交投影的最簡單的情況是到(過原點)直線上的正交投影。如果 u 是這條直線的單位方向向量,則投影給出為

 

這個算子保留 u 不變( ),並且它作用在所有正交於 u 的向量上都是0(如果 ,那麼  ),證明它的確是到包含 u 的直線上的正交投影[2]

這個公式可以推廣至到在任意維的子空間上的正交投影。設 u1, …, uk 是子空間 U 的一組正交基,並設 A 為一個n×k 的矩陣,它的列向量是 u1, …, uk。那麼投影:

 [3]

也是正交的。矩陣 AT 是在 U 的正交補變為零的偏等距同構,而 A 是把 U 嵌入底層向量空間的等距同構。PA 的值域因此是 A 的「終空間」(final space)。ATA 是在 U 上的恆等算子也是明顯的。

正交條件也可以去除。如果 u1, …, uk 是(不必須正交)基,而 A 是有這些向量作為列的矩陣,則投影是

 [4]

矩陣 AT 仍把 U 嵌入到低層向量空間中但一般不再是等距的。矩陣 (ATA)−1 是恢復規範的「規範化因子」。例如,秩-1 算子 uuT 不是投影,如果 ||u|| ≠ 1。在除以 uTu = \|u\|2 之後,我們得獲得了到 u 所生成的子空間的投影 u(uTu)−1uT

所有這些公式對於複數內積空間也成立,假如用共軛轉置替代轉置。

斜投影

術語斜投影有時用來提及非正交投影。這些投影也用來在二維繪圖中表示空間圖形(參見斜投影),儘管不如正交投影常用。

斜投影用它們的值域和零空間來定義。有給定值域和零空間的投影的矩陣表示的公式可如下這樣找到。設向量 u1, …, uk 形成了投影的值域的基,並把這些向量組合到 n×k 矩陣 A 中。值域和零空間是互補空間,所以零空間有維度 n − k。它推出零空間的正交補有維度 k。設 v1, …, vk 形成這個投影的零空間的正交補的基,並把這些向量組合到矩陣 B 中。則投影定義為

 

這個表達式一般化上面給出的正交投影公式。[5]

在賦范向量空間上的投影

當底層向量空間 X 是(不必需有限維)賦范向量空間,需要考慮無關於有限維情況的分析問題,假定現在 X巴拿赫空間

上面討論的多數代數概念轉移到這個上下文後倖存下來了。給定的 X 的直和分解成補子空間仍指定一個投影,反之亦然。如果 X 是直和 X = UV,則定義自 P(u + v) = u 的算子仍是有值域 U 和核 V 的投影。明顯的也 P2 = P。反過來說,如果 P 是在 X 上的投影,就是說 P2 = P,則很容易驗證 (IP)2 = (IP)。換句話說,(IP) 也是投影。關係 I = P + (IP) 蘊涵了 X 是直和 Ran(P) ⊕ Ran(IP)。

但是相對於有限維情況,投影一般不必須是連續的。如果 X 的子空間 U 在規範拓撲下不閉合,則到 U 上的投影是不連續的。換句話說,連續投影 P 的值域一定是閉合子空間。進一步的,連續投影(事實上,一般的連續線性算子)的核是閉合的。所以連續投影 PX 分解成兩個互補的閉合子空間: X = Ran(P) ⊕ Ker(P) = Ran(P) ⊕ Ran(IP)。

反命題在有額外假定條件下也成立。假設 UX 的閉合子空間。如果存在一個閉合子空間 V 使得 X = UV,則有值域 U 和核 V 的投影 P 是連續的。這是從閉合圖定理推出的。假定 xnxPxny。需要證明 Px = y。因為 U 是閉合的且 {Pxn} ⊂ U, y 位於 U 中,就是說 Py = y。還有 xnPxn = (IP)xnxy。因為 V 是閉合的且 {(IP)xn} ⊂ V,我們有了 xyV,就是說 P(xy) = PxPy = Pxy = 0,這證明了這個斷言。

上述論證利用 UV 都是閉合的假定。一般的說,給定一個閉合子空間 U, 不需要存在一個互補的閉合子空間 V,儘管對於希爾伯特空間總是可以採取正交補得到。對於巴拿赫空間,一維子空間總是有閉合的補子空間。這是 哈恩-巴拿赫定理的直接推論。設 Uu 的線性擴張。通過哈恩-巴拿赫定理,存在一個有界線性泛函 φ,使得 φ(u) = 1。算子 P(x) = φ(x)u 滿足 P2 = P,就是說它是個投影。φ 的有界性蘊涵了 P 的連續性,因此 Ker(P) = Ran(IP) 是 U 的閉合補子空間。

應用

投影(正交與非正交投影)在算法領域和特定線性代數問題中有重要應用。

參見

註解

  1. ^ Meyer, pp 386+387
  2. ^ Meyer, p. 431
  3. ^ Meyer, equation (5.13.4)
  4. ^ Meyer, equation (5.13.3)
  5. ^ Meyer, equation (7.10.39)

引用