REVISÃO DE ÁLGEBRA
Revisão de Álgebra
1. Escalares, Vetores, Matrizes e Tensores
2. Norma de um Vetor
3. Matriz Transposta e Multiplicação
4. Matriz Identidade e Matriz Inversa
5. Principal objetivo da álgebra linear
5.1 Sistemas com matrizes quadrados invertíveis
5.2 Sistemas com matrizes quadradas não invertíveis
5.3 Sistemas com matrizes retangulares e m>n
5.4 Sistemas com matrizes retangulares e m<n
6. A Pseudo-Inversa
7. Processo de ortogonalização de Gram-Schimdt
8. Decomposições de uma matriz
1
13/03/2018
Vetores
Conjunto de números, representado por uma letra minúscula em itálico e negrito: x
Em aprendizado máquina representam um conjunto de características de um objeto.
Cada elementos de um vetor é identificado por um índice subscrito: 𝑥𝑖 → i-ésimo
elemento de um vetor.
Representação matemática:
𝑥1
𝑥
𝒙 = …2
𝑥𝑛
Se os valores de 𝑥𝑖 são reais diz-se que: 𝒙 ∈ ℝ𝑛
𝒙−1 → vetor contendo todos os elementos, menos 𝑥1
Matrizes
Conjunto 2D de números, representado por uma letra maiúscula em negrito: A.
Cada elemento de uma matriz é indicado por dois índices subscritos: 𝐴𝑖𝑗
Representação matemática:
𝐴11 𝐴12 Linha 1
𝑨=
𝐴21 𝐴22 Linha 2
i
Coluna 1 Coluna 2 Aij
j
Se os valores 𝐴𝑖𝑗 são reais, dizemos que: 𝑨 ∈ ℝ𝑚𝑥𝑛
Em aprendizado de máquina, cada linha representa as características de um objeto e a
matriz como um todo um subconjunto utilizado no aprendizado de uma tarefa
Tensores
Conjunto 3D de números, representado por uma letra maiúscula em negrito A
Cada elemento do tensor é representado por três índices: 𝐴𝑖𝑗𝑘
Em aprendizado de máquina é utilizado para representar todos os subconjuntos
utilizados no aprendizado de uma tarefa
Se os valores 𝐴𝑖𝑗𝑘 são reais, dizemos que: 𝑨 ∈ ℝ𝑚𝑥𝑛𝑥𝑝
2
13/03/2018
Normas:
𝑓𝑢𝑛 çã𝑜
𝑣𝑒𝑡𝑜𝑟𝑒𝑠 𝑣𝑎𝑙𝑜𝑟𝑒𝑠 𝑛ã𝑜 𝑛𝑒𝑔𝑎𝑡𝑖𝑣𝑜𝑠
Intuitivamente medem a distância de um vetor para a origem
Qualquer função que satisfaz as seguintes propriedades:
o 𝑓 𝒙 =0→𝒙=0
o 𝑓 𝒙 + 𝒚 ≤ 𝑓 𝒙 + 𝑓 𝒚 (𝑑𝑒𝑠𝑖𝑔𝑢𝑎𝑙𝑑𝑎𝑑𝑒 𝑑𝑜 𝑡𝑟𝑖â𝑛𝑔𝑢𝑙𝑜)
o ∀𝛼 ∈ ℝ, 𝑓 𝛼𝒙 = 𝛼 𝑓(𝒙)
Norma 𝐿2 → distância Euclidiana
Para um vetor: 𝐿2 𝒙 = 𝑐𝑜𝑚𝑝𝑟𝑖𝑚𝑒𝑛𝑡𝑜 𝑑𝑒 𝑢𝑚 𝑣𝑒𝑡𝑜𝑟 = 𝒙𝑇 . 𝒙
Norma 𝐿1 : 𝑥 1 = 𝑖 𝑥 𝑖 → para vetores binários representa o número de elementos
diferentes de zero.
Max norm: 𝒙 ∞ = 𝑚𝑎𝑥𝑖 𝒙 𝑖
Fobrenius norm (tamanho de uma matriz): 𝑨 𝐹 = 𝟐
𝒊,𝒋 𝑨𝒊𝒋 → similar a norma 𝐿2 de
um vetor.
Produto interno de um vetor → pode ser escrito como um produto de normas:
𝒙𝑇 . 𝒚 = 𝒙 2 𝒚 2 . 𝑐𝑜𝑠𝜃 , em que 𝜃 é o ângulo entre os vetores x e y
𝐴11 𝐴12
𝐴 𝐴21 𝐴31
𝑨 = 𝐴21 𝐴22 → 𝑨𝑇 = 11
𝐴12 𝐴22 𝐴32
𝐴31 𝐴32
Adição:
3
13/03/2018
Produto
Produto de duas matrizes: AB
𝑪 = 𝑨𝑩 → 𝐶𝑖𝑗 = 𝒌 𝐴𝑖𝑘 𝐵𝑘𝑗
Dimensão do produto:
C = A . B
Propriedade Distributiva:
𝑨 𝑩 + 𝑪 = 𝑨𝑩 + 𝑨𝑪
Propriedade Associativa:
A(BC)=(AB)C
Propriedade Comutativa
Nem sempre AB=BA
Porém , sempre é verdadeiro que: 𝒙𝑻 . 𝒚 = 𝒚𝑻 . 𝒙
Transposta do Produto:
𝑨𝑩 𝑻 = 𝑩𝑻 𝑨𝑻
4
13/03/2018
Assim:
1 0 0
𝐼3 = 0 1 0
0 0 1
Definição: Uma matriz identidade é aquela que, quando multiplicada por um vetor não altera
o seu valor:
𝑰𝑛. 𝒙 = 𝒙
1 0 0 2 2
Exemplo: 0 1 0 . 3 = 3
0 0 1 4 4
Definição: Uma matriz quadrada de ordem n é uma matriz para a qual m=n, ou seja, o
número de linhas é igual ao número de colunas e igual a n.
Definição: Uma matriz inversa de uma matriz A quadrada e ordem n, é uma matriz 𝑨−1 para a
qual:
𝑨−1 . 𝑨 = 𝑰𝑛
Teorema: Uma matriz quadrada A é invertível se todos os vetores colunas e linhas da mesma
são linearmente independentes. Uma matriz não invertível é dita uma matriz singular.
Observação: Normalmente, quando os sistemas têm uma matriz A muito grande, o mesmo
não é resolvido através do cálculo da matriz inversa, pois, no cálculo da mesma, como a precisão
do computador é finita, comete-se muitos erros de aproximação. Os sistemas são resolvidos
através do método de eliminação de Gauss.
5
13/03/2018
Exemplo:
Seja o sistema:
𝑢+𝑣+𝑤 = 2
2𝑢 + 3𝑤 = 5
3𝑢 + 𝑣 + 4𝑤 = 6
1 1 1
A matriz A é dada por: 2 0 3 . Essa matriz não tem inversa pois a terceira linha é
3 1 4
combinação linear das duas primeiras.
Seja o sistema:
𝑢+𝑣+𝑤 = 2
2𝑢 + 3𝑤 = 5
3𝑢 + 𝑣 + 4𝑤 = 7
1 1 1
A matriz A é dada por: 2 0 3 . Essa matriz é a mesma do exemplo anterior e não tem
3 1 4
inversa pois a terceira linha é combinação linear das duas primeiras.
Exemplo:
4𝑥 + 2𝑦 = 3
3𝑥 + 𝑦 = 6
5𝑥 + 2𝑦 = 12
6
13/03/2018
Exemplo:
4𝑥 + 2𝑦 = 3
3𝑥 + 𝑦 = 6
6𝑥 + 2𝑦 = 12
𝑢 + 3𝑣 + 3𝑤 + 2𝑦 = 1
2𝑢 + 6𝑣 + 9𝑤 + 7𝑦 = 5
−𝑢 − 3𝑣 + 3𝑤 + 4𝑦 = 5
Escolheremos:
𝑣 𝑒 𝑦 → 𝑣𝑎𝑟𝑖á𝑣𝑒𝑖𝑠 𝑙𝑖𝑣𝑟𝑒𝑠; 𝑤 𝑒 𝑢 → 𝑣𝑎𝑟𝑖á𝑣𝑒𝑖𝑠 𝑑𝑒𝑝𝑒𝑛𝑑𝑒𝑛𝑡𝑒𝑠
𝐷𝑒 2 → 𝑤 = 1 − 𝑦 (3)
Substituindo (3) em (1) vem:
𝑢 = −2 − 3𝑣 + 𝑦
𝑢 −2 −3 1
𝑣
𝑥 = 𝑤 = 0 +𝑣 1 +𝑦 0
1 0 −1
𝑦 0 0 1
7
13/03/2018
6. A Pseudo-Inversa
Seja o sistema: 𝑨𝒙 = 𝒃, sendo a matriz A retangular.
Admitamos que o sistema não tenha solução.
Como A é retangular, não existe inversa.
Procuraremos uma solução 𝒙+que minimize o erro médio quadrático em relação a b: 𝒙+ =
2
𝑚𝑖𝑛𝑥 𝑨𝒙 − 𝒃 2
∇𝒙 𝒙+ = 0
⇒ ∇𝒙 𝑨𝒙 − 𝒃 22 = 0
⇒ ∇𝒙 𝑨𝒙 − 𝒃 22 = 0
⇒ ∇𝒙 𝑨𝒙 − 𝒃 𝑇 𝑨𝒙 − 𝒃 = 0
⇒ ∇𝒙 𝒙𝑻 . 𝑨𝑻 𝑨. 𝒙 − 2𝒙𝑻 . 𝑨𝑻 𝒃 + 𝒃𝑻 𝒃 = 0
⇒ 2. 𝑨𝑻 . 𝑨. 𝒙 − 2𝑨𝑻 𝒃 = 0
−𝟏 𝑻
⇒ 𝒙 = 𝑨𝑻 . 𝑨 𝑨 𝒃
−𝟏
A matriz 𝑨𝑻 . 𝑨 𝑨𝑻 é denominada de matriz pseudo-inversa de A e é denominada de 𝑨+.
Assim, a solução que minimiza o erro médio quadrático em relação ao vetor b é dada por:
𝒙+ = 𝑨+ . 𝒃
Gram-Schimdt mostrou que é possível transforma uma base de vetores não ortogonais em uma
base de vetores ortogonais, 𝑣1 , 𝑣2 , … 𝑣𝑛 que gera o mesmo espaço vetorial através do
procedimento descrito a seguir:
Passo 1: Geração de 𝒗𝟏
Fazer 𝑣1 = 𝑦1
Passo 2: Geração de 𝒗𝟐
Gerar 𝒗𝟐 subtraindo de 𝒚𝟐 a porção do mesmo que está na direção 𝑣1
𝒗𝟐 = 𝒚𝟐 − 𝑎𝒗𝟏 (2.1)
Isso é representado graficamente na figura abaixo:
y
y2
v2 =y2 - av1
v1
av1
x
8
13/03/2018
Determinação de a:
Como 𝒗𝟐 é perpendicular a 𝒗𝟏 , temos:
𝒗𝟏 , 𝒗𝟐 = 0 (2.2)
Substituindo (2.1) em (2.2):
𝒗𝟏 , 𝒚𝟐 − 𝑎𝒗𝟏 = 0 (2.3)
Pela propriedade distributiva do produto interno:
𝒗𝟏 ,𝒚𝟐
𝒗𝟏 , 𝒚𝟐 − 𝑎𝒗𝟏 = 0 → 𝒗𝟏 , 𝒚𝟐 − 𝒂(𝒗𝟏 , 𝒗𝟏 ) = 0 → 𝑎 = 𝒗𝟏 ,𝒗𝟏
(2.4)
Substituindo o valor de a dado em (2.4) na expressão (2.1) obtemos:
𝒗 ,𝒚
∴ 𝒗𝟐 = 𝒚𝟐 − 𝒗𝟏,𝒗𝟐 𝒗𝟏 (2.5)
𝟏 𝟏
𝑘−1 𝒗𝒊 ,𝒚𝒌
𝒗𝒌 = 𝒚𝒌 − 𝑖−1 𝒗𝒊 ,𝒗𝒊
𝒗𝒊 (2.7)
Exemplo:
Seja o seguinte conjunto de vetores independentes:
1 −1
𝒚𝟏 = 𝑒 𝒚𝟐 = .
1 2
A partir desse conjunto encontre um conjunto de vetores ortogonais que gere o mesmo sub-
espaço.
UFAM Disciplina: Reconhecimento de Padrões Prof. Cícero F F Costa Filho
Solução:
Passo 1:
1
𝒗1 = 𝒚𝟏 =
1
Passo 2:
−1
𝒗𝟏 ,𝒚𝟐 −1 1 1 1 −1 0.5 1.5
2
𝒗𝟐 = 𝒚𝟐 − 𝒗𝟏 → 𝒗𝟐 = − 1 → 𝒗𝟐 = − =
𝒗𝟏 ,𝒗𝟏 2 1 1
1
1 2 0.5 1.5
9
13/03/2018
Uma matriz pode ser decomposta de várias formas. Nessa revisão relembraremos duas
decomposições: auto decomposição e decomposição por valores singulares.
10
13/03/2018
−1 1 0
Exemplo: Seja a matriz 𝑨 = . Encontre a pseudo-inversa de A.
0 −1 1
Temos que:
2 −1 −0,7 −0,7
𝑨 𝑨𝑻 = →autovetores: , , autovalores:1, 3
−1 2 −0,7 0,7
∴
−0,7 −0,7 −0,7 −0,7
𝑼= → 𝑼𝑻 =
−0,7 0,7 −0,7 0,7
11
13/03/2018
1/ 3 0
𝑫= 3 0 0 → 𝑫+ =
0 1
0 1 0
0 0
Conferência:
−𝟏
𝑨 = 𝑨𝑻 . 𝑨 𝑨𝑻 → não se consegue calcular a pseudo-inversa dessa forma, pois 𝐴𝑇 . 𝐴 é uma
+
matriz singular!
12