Калькулятор сингулярных значений - SVD

Сингулярное разложение (SVD) — одно из важнейших разложений в линейной алгебре. Для любой вещественной матрицы m×n A SVD представляет A в виде A = UΣV^T, где U — ортогональная матрица m×m, Σ — диагональная матрица m×n с неотрицательными элементами на диагонали, а V — ортогональная матрица n×n. Диагональные элементы σ₁ ≥ σ₂ ≥ … ≥ 0 матрицы Σ и есть сингулярные значения A. Сингулярные значения всегда являются неотрицательными действительными числами, даже если исходная матрица содержит отрицательные элементы или комплексную структуру. Они однозначно определяются матрицей — в отличие от векторов U и V, которые могут быть не единственными при повторяющихся сингулярных значениях. Число ненулевых сингулярных значений равно рангу матрицы, который измеряет размерность столбцового пространства (множества всех возможных выходов линейного преобразования, заданного матрицей A). Связь между SVD и собственными значениями точна: сингулярные значения A являются квадратными корнями из собственных значений симметричной положительно полуопределённой матрицы A^T·A (или, эквивалентно, A·A^T для левых сингулярных векторов). Этот калькулятор вычисляет A^T·A и применяет алгоритм Якоби для собственных значений — итерационный метод, зануляющий внедиагональные элементы симметричной матрицы с помощью последовательности ортогональных вращений, называемых вращениями Гивенса, — чтобы найти её собственные значения, а затем извлекает их квадратные корни. Наибольшее сингулярное значение σ₁ равно спектральной норме (также называемой 2-нормой или операторной нормой) матрицы — максимальному коэффициенту, во сколько матрица может растянуть единичный вектор. Норма Фробениуса — это квадратный корень из суммы квадратов всех сингулярных значений и одновременно квадратный корень из суммы квадратов всех элементов матрицы. Эти нормы имеют практическое значение: норма Фробениуса — наиболее естественная мера полной энергии матрицы, а спектральная норма контролирует чувствительность к возмущениям. Число обусловленности κ = σ₁/σₙ (отношение наибольшего и наименьшего сингулярных значений) характеризует, насколько матрица хорошо обусловлена для решения линейных систем. Число обусловленности, близкое к 1, означает, что система хорошо обусловлена и её легко решать точно. Очень большое число обусловленности — например, выше 10⁶ или 10¹² — указывает на плохо обусловленную систему, где малые возмущения входных данных могут вызвать большие изменения в решении; это частый источник численной нестабильности в научных вычислениях и машинном обучении. SVD имеет широкий спектр применений. В анализе данных метод главных компонент (PCA) — рабочая лошадка уменьшения размерности — математически эквивалентен вычислению SVD центрированной матрицы данных. Главные компоненты — это правые сингулярные векторы V, а дисперсия, объясняемая каждой компонентой, пропорциональна квадрату соответствующего сингулярного значения. В обработке и сжатии изображений сохранение только k наибольших сингулярных значений и связанных с ними векторов даёт приближение ранга k для матрицы изображения, минимизирующее ошибку в норме Фробениуса среди всех матриц ранга k — это теорема Эккарта–Юнга. В рекомендательных системах (коллаборативная фильтрация) матричная факторизация через SVD используется для предсказания оценок пользователей для невидимых элементов. В инженерии псевдообратная A† = VΣ†U^T даёт решение метода наименьших квадратов минимальной нормы для переопределённых или недоопределённых систем, что критично в робототехнике, теории управления и обработке сигналов. Для этого калькулятора матрицы примерно до 10×10 обрабатываются надёжно с помощью алгоритма Якоби. Очень большие матрицы или матрицы с множеством почти одинаковых сингулярных значений могут потерять часть точности из-за накопления ошибок округления с плавающей точкой, но для типичных входных данных результаты точны как минимум до шести значащих цифр.