DESCOMPOSICIÓN DE VALORES SINGULARES (SVD)

La descomposición de valores singulares (SVD) de una matriz es una factorización de esa matriz en tres matrices. Tiene algunas propiedades algebraicas interesantes y transmite importantes conocimientos geométricos y teóricos sobre transformaciones lineales. También tiene algunas aplicaciones importantes en la ciencia de datos. En este artículo intentaré explicar la intuición matemática detrás de la SVD y su significado geométrico.

Matemáticas detrás de la SVD:

El SVD de la matriz A de mxn viene dado por la fórmula A = USigma V^T

dónde:

declaración de cambio java

EN: mxm matriz de los vectores propios ortonormales de $AA^{T}$ .
EN^t: transposición de un nxn matriz que contiene los vectores propios ortonormales de .
: matriz diagonal con r elementos iguales a la raíz de los valores propios positivos de AAᵀ o Aᵀ A (ambas matrices tienen los mismos valores propios positivos de todos modos).

Ejemplos

Encuentre el SVD para la matriz A =
Para calcular el SVD, primero, necesitamos calcular los valores singulares encontrando los valores propios de AA^{T}.

$A cdot A^{T} =egin{bmatrix} 3& 2 & 2 2& 3& -2 end{bmatrix} cdot egin{bmatrix} 3 & 2 2 & 3 2 & -2 end{bmatrix} = egin{bmatrix} 17 y 8 8 y 17 end{bmatrix}$

La ecuación característica de la matriz anterior es:

$W - lambda I =0 A A^{T} - lambda I =0$

$lambda^{2} - 34 lambda + 225 =0$

= (lambda-25)(lambda -9)

entonces nuestros valores singulares son: sigma_1 = 5 , ; sigma_2 = 3

Ahora encontramos los vectores singulares correctos, es decir, el conjunto ortonormal de vectores propios de A.^tA. Los valores propios de A^tA son 25, 9 y 0, y como A^tA es simétrica, sabemos que los vectores propios serán ortogonales.

Para lambda =25,

$A^{T}A - 25 cdot I = egin{bmatrix} -12 & 12& 2 12 & -12 & -2 2& -2 & -17 end{bmatrix}$

¿Qué es el escritorio ini?

que puede reducirse por fila a:

egin{bmatrix} 1& -1& 0 0& 0& 1 0& 0& 0 end{bmatrix}

Un vector unitario en su dirección es:

$v_1 = egin{bmatrix} frac{1}{sqrt{2}} frac{1}{sqrt{2}} 0 end{bmatrix}$

De manera similar, para lambda = 9, el vector propio es:

$v_2 =egin{bmatrix} frac{1}{sqrt{18}} frac{-1}{sqrt{18}} frac{4}{sqrt{18}} end{bmatriz}$

Para el tercer vector propio, podríamos usar la propiedad de que es perpendicular a v1 y v2 de modo que:

que significa xdxd

$v_1^{T} v_3 =0 v_2^{T} v_3 =0$

Resolver la ecuación anterior para generar el tercer vector propio.

$v_3 = egin{bmatrix} a b c end{bmatrix} = egin{bmatrix} a -a -a/2 end{bmatrix} = egin{bmatrix} frac{ 2}{3} frac{-2}{3} frac{-1}{3} end{bmatrix}$

Ahora, calculamos U usando la fórmula u_i = frac{1}{sigma} A v_i y esto da U = $egin{bmatrix} frac{1}{sqrt{2}} &frac{1}{sqrt{2}} frac{1}{sqrt{2}}& frac{-1 }{sqrt{2}} end{bmatrix}$ . Por lo tanto, nuestra ecuación SVD final queda:

$A = egin{bmatrix} frac{1}{sqrt{2}} &frac{1}{sqrt{2}} frac{1}{sqrt{2}}& frac{ -1}{sqrt{2}} end{bmatrix} egin{bmatrix} 5 y 0& 0 0 y 3& 0 end{bmatrix} egin{bmatrix} frac{1}{sqrt{2 }}& frac{1}{sqrt{2}} &0 frac{1}{sqrt{18}}& frac{-1}{sqrt{18}} & frac{4} {sqrt{18}} frac{2}{3}&frac{-2}{3} &frac{1}{3} end{bmatrix}$

Aplicaciones

Cálculo de pseudoinverso: Pseudo inversa o inversa de Moore-Penrose es la generalización de la matriz inversa que puede no ser invertible (como las matrices de bajo rango). Si la matriz es invertible, entonces su inversa será igual a la pseudoinversa, pero existe una pseudoinversa para la matriz que no es invertible. Se denota por A⁺.

Suppose, we need to calculate the pseudo-inverse of a matrix M: Then, the SVD of M can be given as: Multiply both sides by M^{-1}.Multiply both side by V:Multiply by W^{-1}Since the W is the singular matrix, the inverse of W  is Multiply by>

La ecuación anterior da la pseudoinversa.

Resolver un conjunto de ecuaciones lineales homogéneas (Mx =b): si b=0, calcula SVD y toma cualquier columna de V^tasociado con un valor singular (en EN ) igual a 0.

If , Multiply by>

Por la pseudoinversa sabemos que $M^{-1} = V W^{-1} U^{T}$

Por eso,

$x = V W^{-1} U^{T} b$

Rango, rango y espacio nulo:
- El rango de la matriz M se puede calcular a partir de SVD mediante el número de valores singulares distintos de cero.
- El rango de la matriz M son los vectores singulares izquierdos de U correspondientes a los valores singulares distintos de cero.
- El espacio nulo de la matriz M son los vectores singulares derechos de V correspondientes a los valores singulares puestos a cero.

$METRO = U W V ^ {T}$

cambiar el nombre del directorio Linux

Problema de ajuste de curvas: La descomposición en valores singulares se puede utilizar para minimizar el error de mínimos cuadrados. Utiliza el pseudo inverso para aproximarlo.
Además de la aplicación anterior, la descomposición de valores singulares y la pseudoinversa también se pueden utilizar en el procesamiento de señales digitales y el procesamiento de imágenes.

Implementación:

En este código, intentaremos calcular la descomposición del valor singular usando Numpy y Scipy. Calcularemos SVD y también realizaremos pseudoinversa. Al final, podemos aplicar SVD para comprimir la imagen.

Python3

# Imports> from> skimage.color>import> rgb2gray> from> skimage>import> data> import> matplotlib.pyplot as plt> import> numpy as np> from> scipy.linalg>import> svd> '''> Singular Value Decomposition> '''> # define a matrix> X>=> np.array([[>3>,>3>,>2>], [>2>,>3>,>->2>]])> print>(X)> # perform SVD> U, singular, V_transpose>=> svd(X)> # print different components> print>(>'U: '>, U)> print>(>'Singular array'>, singular)> print>(>'V^{T}'>, V_transpose)> '''> Calculate Pseudo inverse> '''> # inverse of singular matrix is just the reciprocal of each element> singular_inv>=> 1.0> /> singular> # create m x n matrix of zeroes and put singular values in it> s_inv>=> np.zeros(X.shape)> s_inv[>0>][>0>]>=> singular_inv[>0>]> s_inv[>1>][>1>]>=> singular_inv[>1>]> # calculate pseudoinverse> M>=> np.dot(np.dot(V_transpose.T, s_inv.T), U.T)> print>(M)> '''> SVD on image compression> '''> cat>=> data.chelsea()> plt.imshow(cat)> # convert to grayscale> gray_cat>=> rgb2gray(cat)> # calculate the SVD and plot the image> U, S, V_T>=> svd(gray_cat, full_matrices>=>False>)> S>=> np.diag(S)> fig, ax>=> plt.subplots(>5>,>2>, figsize>=>(>8>,>20>))> curr_fig>=> 0> for> r>in> [>5>,>10>,>70>,>100>,>200>]:> >cat_approx>=> U[:, :r] @ S[>0>:r, :r] @ V_T[:r, :]> >ax[curr_fig][>0>].imshow(cat_approx, cmap>=>'gray'>)> >ax[curr_fig][>0>].set_title(>'k = '>+>str>(r))> >ax[curr_fig,>0>].axis(>'off'>)> >ax[curr_fig][>1>].set_title(>'Original Image'>)> >ax[curr_fig][>1>].imshow(gray_cat, cmap>=>'gray'>)> >ax[curr_fig,>1>].axis(>'off'>)> >curr_fig>+>=> 1> plt.show()>

Producción:

[[ 3 3 2]  [ 2 3 -2]] --------------------------- U: [[-0.7815437 -0.6238505]  [-0.6238505 0.7815437]] --------------------------- Singular array [5.54801894 2.86696457] --------------------------- V^{T} [[-0.64749817 -0.7599438 -0.05684667]  [-0.10759258 0.16501062 -0.9804057 ]  [-0.75443354 0.62869461 0.18860838]] -------------------------- # Inverse  array([[ 0.11462451, 0.04347826],  [ 0.07114625, 0.13043478],  [ 0.22134387, -0.26086957]]) --------------------------->

Imagen k original vs SVD

TechCodeview

Ejemplos

Aplicaciones

Implementación:

Python3