奇異值計算機 - SVD矩陣分解

奇異值分解（SVD）是線性代數中最重要的分解之一。對於任意實數 m×n 矩陣 A，SVD 會將 A 表示為 A = UΣV^T，其中 U 是 m×m 的正交矩陣，Σ 是一個 m×n 的對角矩陣，對角線上為非負元素，而 V 是 n×n 的正交矩陣。Σ 的對角元素 σ₁ ≥ σ₂ ≥ … ≥ 0 就是 A 的奇異值。 奇異值永遠是非負實數，即使原矩陣包含負值或複數結構也一樣。它們由矩陣唯一決定——不同於向量 U 和 V，在奇異值重複時可能不唯一。非零奇異值的數量等於矩陣的秩，也就是列空間的維度（亦即矩陣 A 所表示的線性轉換所有可能輸出所張成的空間）。 SVD 與特徵值之間的關係非常精確：A 的奇異值是對稱半正定矩陣 A^T·A（或等價的 A·A^T，對應左奇異向量）特徵值的平方根。這個計算機先計算 A^T·A，再使用 Jacobi 特徵值演算法——一種透過一系列稱為 Givens 旋轉的正交旋轉來消去對稱矩陣非對角元素的迭代方法——求出其特徵值，然後再取平方根。 最大奇異值 σ₁ 等於矩陣的譜範數（也稱 2-範數或算子範數）——它表示矩陣對單位向量的最大拉伸倍數。Frobenius 範數是所有奇異值平方和的平方根，也等於所有矩陣元素平方和的平方根。這些範數具有實際意義：Frobenius 範數是衡量矩陣總能量最自然的指標，而譜範數則控制對擾動的敏感度。 條件數 κ = σ₁/σₙ（最大與最小奇異值之比）用來量化矩陣在線性方程求解中的病態程度。條件數接近 1 表示系統條件良好，容易精確求解。條件數非常大——例如高於 10⁶ 或 10¹²——則表示系統病態，輸入中的微小擾動可能導致解出現巨大變化，這是科學計算與機器學習中數值不穩定的常見來源。 SVD 的應用非常廣泛。在資料科學中，主成分分析（PCA）——降維的主力方法——在數學上等同於對置中的資料矩陣做 SVD。主成分就是右奇異向量 V，而每個成分所解釋的變異量與對應奇異值的平方成正比。在影像處理與壓縮中，只保留最大的 k 個奇異值及其相關向量，可以得到影像矩陣的秩-k 近似，並在所有秩-k 矩陣中使 Frobenius 範數誤差最小——這就是 Eckart-Young 定理。在推薦系統（協同過濾）中，透過 SVD 的矩陣分解可用來預測使用者對未見項目的評分。在工程中，偽逆 A† = VΣ†U^T 可為超定或欠定系統提供最小範數最小平方法解，這在機器人學、控制理論與訊號處理中至關重要。 對這個計算機而言，Jacobi 演算法可可靠處理約 10×10 以內的矩陣。對於非常大的矩陣，或具有許多幾乎重複奇異值的矩陣，由於浮點捨入誤差的累積，精度可能會稍有損失，但對一般輸入而言，結果至少可達六位有效數字。