Shallow and Deep Latent Models for Recommender System
Alga matrizes pseudo inversa e afins
1. Cap´tulo 7
ı
¸˜
Decomposicao
em
valores singulares
´
ALGA 2007/2008 – Mest. Int. Eng. Electrotecnica e de Computadores ¸˜
Decomposicao por valores singulares – 1 / 14
2. ¸˜
Motivacao
¸˜ ´
A determinacao da caracter´stica de uma matriz e um problema comum em
ı
´
problemas envolvendo circuitos eletricos. Teoricamente, podemos utilizar a
¸˜
eliminacao de Gauss para reduzir uma matriz a uma matriz em escada por
˜
linhas e contar o numero de linhas nao todas nulas.
´
´ ˜ ´ ´
Contudo, este metodo nao e pratico quando trabalhamos com problemas de
˜ ´
grande precisao aritmetica, devido aos arredondamentos que envolvem
naturalmente erros na matriz dos coeficientes, cuja origem tanto pode residir
´
nos dados fornecidos, como no sistema numerico necessariamente finito.
´
O calculo da caracter´stica de uma matriz pode ser um enorme desafio
ı
´ ´
numerico. Pequenos erros numericos nas entradas podem ter um efeito
imprevis´vel.
ı
´
ALGA 2007/2008 – Mest. Int. Eng. Electrotecnica e de Computadores ¸˜
Decomposicao por valores singulares – 2 / 14
3. Exemplos
¸˜
Os seguintes exemplos ilustram como pequenas perturbacoes nos dados
¸˜
podem influenciar as solucoes.
x + y = 2
x + y = 2
x + y = 2
x + 1.0001y = 2
x + y = 2
x + 1.0001y = 2.0001
´
ALGA 2007/2008 – Mest. Int. Eng. Electrotecnica e de Computadores ¸˜
Decomposicao por valores singulares – 3 / 14
4. ¸˜
Definicoes
Os valores singulares σ1 , σ2 , . . . , σr de uma matriz A, do tipo m × n, sao
˜
as ra´zes quadradas positivas dos valores proprios λℓ da matriz de Gram
ı ´
√
K = AT A, isto e, σℓ = λℓ > 0.
´
Dada uma matrix A do tipo m × n, com m ≥ n, se
A = U ΣV T ,
em que U e V , m × r e n × r, resp., sao matrizes cujas colunas sao
˜ ˜
ortonormais e onde Σ e a matriz diagonal r × r
´
σ1
σ2
Σ= ,
..
.
σr
entao diremos que U ΣV T e a factorizacao em valores singulares de A.
˜ ´ ¸˜
´
ALGA 2007/2008 – Mest. Int. Eng. Electrotecnica e de Computadores ¸˜
Decomposicao por valores singulares – 4 / 14
5. Teorema
¸˜
Qualquer matriz admite uma factorizacao em valores singulares.
¸˜
Demonstracao: Am×n
• AT A: n × n; simetrica; valores proprios reais nao negativos.
´ ´ ˜
• Os valores proprios nao nulos de AT A sao (ordenados de modo
´ ˜ ˜
decrescente):
λ1 ≥ λ2 ≥ · · · ≥ λr > 0 = λr+1 = · · · = λn .
√
• σℓ = λℓ > 0, para ℓ = 1, . . . , r.
´
ALGA 2007/2008 – Mest. Int. Eng. Electrotecnica e de Computadores ¸˜
Decomposicao por valores singulares – 5 / 14
6.
σ1
σ2
• Σ= .
..
.
σr
• v1 , v2 , . . . , vr vectores proprios ortonormais de AT A associados aos
´
valores proprios λ1 , λ2 , . . . , λr , respectivamente.
´
• V = v1 v2 · · · vr .
1
• uℓ = σℓ
Avℓ , para ℓ = 1, . . . , r, sao ortonormais.
˜
• U = u1 u2 · · · ur .
´
ALGA 2007/2008 – Mest. Int. Eng. Electrotecnica e de Computadores ¸˜
Decomposicao por valores singulares – 6 / 14
8. ¸˜
Observacoes
˜ ´
1) Os valores singulares de uma matriz sao unicos; contudo, as matrizes
U e V nao sao unicas.
˜ ˜ ´
2) U diagonaliza AT A.
3) v1 , v2 , . . . , vk base ortonormal para C (A).
4) u1 , u2 , . . . , uk base ortonormal para C (AT ).
5) car(A) = numero de valores singulares.
´
´
ALGA 2007/2008 – Mest. Int. Eng. Electrotecnica e de Computadores ¸˜
Decomposicao por valores singulares – 8 / 14
10. A Pseudo-inversa
Suponhamos que U ΣV T e a factorizacao em valores singulares de A.
´ ¸˜
¸˜
Definicao
A pseudo-inversa ou a inversa de Moore-Penrose de A e a matriz n × m
´
A+ = V Σ−1 U T .
¸˜
Condicoes de Penrose
1. AXA = A
2. XAX = X
3. (AX)T = AX
4. (XA)T = XA
Se A e do tipo m × n, entao existe uma unica matriz X , n × m, que satifaz
´ ˜ ´
¸˜
estas condicoes.
Se e (quadrada) nao singular, entao A+ = A−1 .
´ ˜ ˜
´
ALGA 2007/2008 – Mest. Int. Eng. Electrotecnica e de Computadores ¸˜
Decomposicao por valores singulares – 10 / 14
11. Teorema
Seja A uma matriz do tipo m × n de caracter´stica n. Entao,
ı ˜
A+ = (AT A)−1 AT .
Teorema
x = A+ b e solucao no sentido dos m´nimos quadrados do
¯ ´ ¸˜ ı
sistema Ax = b.
´
ALGA 2007/2008 – Mest. Int. Eng. Electrotecnica e de Computadores ¸˜
Decomposicao por valores singulares – 11 / 14
12. Exemplo
Usando a pseudo-inversa, resolva o sistema Ax = b no sentido dos
m´nimos quadrados, com
ı
1 2 −1 1
3 −4 1 0
A=
, b= .
−1 3 −1 −1
2 −1 0 2
¸˜
Resolucao
15 −15 3
K = −15 30 −9
3 −9 3
√ √
λ1 = 24 + 3 34 ≈ 41.4929, λ2 = 24 − 3 34 ≈ 6.5071, λ3 = 0
´
ALGA 2007/2008 – Mest. Int. Eng. Electrotecnica e de Computadores ¸˜
Decomposicao por valores singulares – 12 / 14
13. √ √
σ1 = λ1 ≈ 6.4415, σ2 = λ2 ≈ 2.5509
6.4415 0
Σ=
0 2.5509
−0.2180 −0.7869
0.4990 −0.8472 0.7869 −0.2180
V = −0.8344 −0.4128 U =
−0.5024
−0.2845
0.2340 0.3345
0.2845 −0.5024
(recorde que A = U ΣV T )
0.2444 0.1333 0.0556 0.1889
A+ = V Σ−1 U T = 0.1556 −0.0667 0.1111 0.0444
−0.1111 0 −0.0556 −0.0556
´
ALGA 2007/2008 – Mest. Int. Eng. Electrotecnica e de Computadores ¸˜
Decomposicao por valores singulares – 13 / 14
14. A solucao (no sentido dos m´nimos quadrados) do sistema Ax = b e
¸˜ ı ´
0.5667
x = A+ b = 0.1333 .
¯
−0.1667
´
ALGA 2007/2008 – Mest. Int. Eng. Electrotecnica e de Computadores ¸˜
Decomposicao por valores singulares – 14 / 14