METODO DE MINIMOS CUADRADOS

Mínimos cuadrados es una técnica de análisis numérico enmarcada dentro de la

optimización matemática, en la que, dados un conjunto de pares ordenados: variable
independiente, variable dependiente, y una familia de funciones, se intenta encontrar
la función continua, dentro de dicha familia, que mejor se aproxime a los datos (un
"mejor ajuste"), de acuerdo con el criterio de mínimo error cuadrático.

En su forma más simple, intenta minimizar la suma de cuadrados de las diferencias en

las ordenadas (llamadas residuos) entre los puntos generados por la función elegida y
los correspondientes valores en los datos. Específicamente, se llama mínimos
cuadrados promedio (LMS) cuando el número de datos medidos es 1 y se usa el
método de descenso por gradiente para minimizar el residuo cuadrado. Se puede
demostrar que LMS minimiza el residuo cuadrado esperado, con el mínimo de
operaciones (por iteración), pero requiere un gran número de iteraciones para
converger.

Desde un punto de vista estadístico, un requisito implícito para que funcione el método
de mínimos cuadrados es que los errores de cada medida estén distribuidos de forma
aleatoria. El teorema de Gauss-Márkov prueba que los estimadores mínimos
cuadráticos carecen de sesgo y que el muestreo de datos no tiene que ajustarse, por
ejemplo, a una distribución normal. También es importante que los datos a procesar
estén bien escogidos, para que permitan visibilidad en las variables que han de ser
resueltas (para dar más peso a un dato en particular, véase mínimos cuadrados
ponderados).

La técnica de mínimos cuadrados se usa comúnmente en el ajuste de curvas. Muchos

otros problemas de optimización pueden expresarse también en forma de mínimos
cuadrados, minimizando la energía o maximizando la entropía.

REPRESENTACION GRAFICA DE MINIMOS

CUADRADOS
HISTORIA DEL METODO DE MINIMOS Y CUADRADOS

El método de mínimos cuadrados tiene una larga historia que se remonta a los
principios del siglo XIX. En Junio de 1801, Zach, un astrónomo que Gauss había
conocido dos años antes, publicaba las posiciones orbitales del cuerpo celeste Ceres,
un nuevo “pequeño planeta” descubierto por el astrónomo italiano G. Piazzi en ese
mismo año. Desafortunadamente, Piazzi sólo había podido observar 9 grados de su
órbita antes de que este cuerpo desapareciese tras del sol. Zach publicó varias
predicciones de su posición incluyendo una de Gauss que difería notablemente de las
demás. Cuando Ceres fue redescubierto por Zach en Diciembre de 1801 estaba casi
exactamente en donde Gauss había predicho. Aunque todavía no había revelado su
método, Gauss había descubierto el método de mínimos cuadrados. En un trabajo
brillante logró calcular la órbita de Ceres a partir de un número reducido de
observaciones, de hecho, el método de Gauss requiere sólo un mínimo de 3
observaciones y todavía es, en esencia, el utilizado en la actualidad para calcular las
órbitas.

FORMULAS PARA MINIMOS CUADRADOS

. FORMULA GENERAL.

AT.A.X= AT.B

x* = ( AT A )-1ATy

FORMULA PARA ENCONTRAR ERROR DE MÍNIMOS CUADRADOS

𝑏 – 𝐴 𝑥 ∗ 

VECTOR DE ERROR DE MÍNIMOS CUADRADOS

 = b – A x*
NOTA:

Columnas de A LD ATA No es Invertible

Las ecuaciones normales
ATA x* = AT b
Tienen un número infinito de soluciones

EJERCICIOS

1) Resuelva el siguiente problema de mínimos cuadrados para el sistema:

1 0 1
𝑋1
[1 2 ] [ ] = [1 ]
𝑋2
1 1 0

DESARROLLO

 Por método de mínimos cuadrados aplicamos la siguiente fórmula:

AT.A.X= AT.B

Entonces:
1 0 1
1 1 1 𝑋1 1 1 1
[ ] [1 2] [ ] = [ ] [1]
0 2 1 𝑋2 0 2 1
1 1 0
3 3 𝑋1 2
[ ][ ] = [ ]
3 5 𝑋2 2
3𝑋1 + 3𝑋2 2
[ ]=[ ]
3𝑋1 + 5𝑋2 2
De la igualdad se obtiene:
3𝑋1 + 3𝑋2 = 2 … … . . (1) ˄ 3 𝑋1 + 5𝑋2 = 2 … … … (2)
Cambiamos de signo a la primera igualdad por 2 luego sumamos
miembro a miembro dichas igualdades.
−3𝑋1 − 3𝑋2 = −2
3𝑋1 + 5𝑋2 = 2
 2𝑋2 = 0
𝑋2 = 0
Hallamos X1en: 3𝑋1 + 3𝑋2 = 2
3𝑋1 + 0 = 2
𝑋1 = 2/3

Por lo tanto la solución del sistema por mínimos cuadrados es:

2/3
𝑋=[ ]
0
2) Resuelva el siguiente problema de mínimos cuadrados para el sistema:
1 0 1
𝑋1
[−1 2 ] [ ] = [0]
𝑋2
2 −1 2

DESARROLLO

 Por método de mínimos cuadrados aplicamos la siguiente fórmula:

AT.A.X= AT.B

Entonces:
1 0 1
1 −1 2 𝑋1 1 −1 2
[ ] [−1 2 ] [ ] = [ ] [0 ]
0 2 −1 𝑋2 0 2 −1
1 −1 2
3 −4 𝑋1 5
[ ][ ] = [ ]
−3 5 𝑋2 −2
3𝑋1 − 4𝑋2 5
[ ]=[ ]
−3𝑋1 + 5𝑋2 −2
De la igualdad se obtiene:
3𝑋1 + 4𝑋2 = 5 … … . . (1) ˄ − 3 𝑋1 + 5𝑋2 = −2 … … … (2)
Sumamos miembro a miembro dichas igualdades.
3𝑋1 + 4𝑋2 = 5
−3𝑋1 + 5𝑋2 = −2
9𝑋2 = 3
𝑋2 = 1/3
Hallamos X1en: 3𝑋1 + 4𝑋2 = 5
4
3𝑋1 + 3 = 5
 4
3𝑋1 = 5 − 3
11
3𝑋1 = 3

𝑋1 = 1/3

Por lo tanto la solución del sistema por mínimos cuadrados es:

1/3
𝑋=[ ]
1/3

3) Resuelva el siguiente problema de mínimos cuadrados y calcule el error

de mínimos cuadrados para el sistema:
−1 1 0
0 1 𝑋1 1
[ ].[ ] = [ ]
1 1 𝑋2 2
2 1 1
DESARROLLO
 Por método de mínimos cuadrados aplicamos la siguiente fórmula:

AT.A.X= AT.B

Entonces:
−1 1 0
−1 0 1 2 0 1 𝑋1 −1 0 1 2 1
[ ][ ][ ] = [ ][ ]
1 1 1 1 1 1 𝑋2 1 1 1 1 2
2 1 1
6 2 𝑋1 4
[ ][ ] = [ ]
2 4 𝑋2 4
6𝑋1 + 2𝑋2 4
[ ]=[ ]
2𝑋1 + 4𝑋2 4
De la igualdad se obtiene:
6𝑋1 + 2𝑋2 = 4 … … . . (1) ˄ 2𝑋1 + 4𝑋2 = 4 … … … (2)
Multiplicamos a la primera igualdad por 2 y a la segunda igualdad
cambiamos de signo Y sumamos miembro a miembro dichas igualdades
12𝑋1 + 4𝑋2 = 8
−2𝑋1 − 4𝑋2 = −4
10𝑋1 = 4
𝑋1 = 2⁄5
 Hallamos X2 en: 2𝑋1 + 4𝑋2 = 4
2
2 (5) + 4𝑋2 = 4
4
4𝑋2 = 4 − 5

4𝑋2 = 16/5
𝑋2 = 4/5

Por lo tanto la solución del sistema por mínimos cuadrados es:

2/5
𝑋=[ ]
3/5
 Hallamos el error de mínimos cuadrados:

0 −1 1
‖𝐵 − 𝐴𝑋 ‖ = ‖ [1] − [ 0 1 2/5
][ ] ‖
2 1 1 4/5
1 2 1

0 2/5
4/5
‖𝐵 − 𝐴𝑋 ‖ = ‖ [1] − [ ]‖
2 6/5
1 8/5
2
−2/5
1/5
‖𝐵 − 𝐴𝑋 ‖ = ‖ [ ] ‖
4/5
−3/5
4 1 16 9
‖𝐵 − 𝐴𝑋 ‖ = + + +
25 25 25 25

30
‖𝐵 − 𝐴𝑋 ‖ =
25

30 √30
Luego la aproximación real será: √25 = 5
4) Resuelva el siguiente problema de mínimos cuadrados y calcule el error
de mínimos cuadrados para el sistema:
2 −1 2
𝑋1
[1 2 ] [ ] = [1]
𝑋2
1 1 4

DESARROLLO

 Por método de mínimos cuadrados aplicamos la siguiente fórmula:

AT.A.X= AT.B

Entonces:
2 −1 2
2 1 1 𝑋1 2 1 1
[ ] [1 2 ][ ] = [ ] [1]
−1 2 1 𝑋2 −1 2 1
1 1 4
6 1 𝑋1 9
[ ][ ] = [ ]
1 6 𝑋2 4
6𝑋1 + 𝑋2 9
[ ]=[ ]
𝑋1 + 6𝑋2 4
De la igualdad se obtiene:
6𝑋1 + 𝑋2 = 9 … … . . (1) ˄ 𝑋1 + 6𝑋2 = 4 … … … (2)
Multiplicamos a la segunda igualdad por 6 y a la primera igualdad
cambiamos de signo Y sumamos miembro a miembro dichas igualdades.
−6𝑋1 − 𝑋2 = −9
6𝑋1 + 36𝑋2 = 24
35𝑋2 = 15
𝑋2 = 3⁄7

Hallamos X1en: 6𝑋1 + 𝑋2 = 9

3
6𝑋1 + 7 = 9
3
6𝑋2 = 9 − 7

6𝑋2 = 60/7
𝑋1 = 10/7

Por lo tanto la solución del sistema por mínimos cuadrados es:

10/7
𝑋=[ ]
3/7
 Hallamos el error de mínimos cuadrados:

2 2 −1 10/7
‖𝐵 − 𝐴𝑋 ‖ = ‖ [1] − [1 2 ] [ ] ‖
3/7
4 1 1

2 17/7
‖𝐵 − 𝐴𝑋 ‖ = ‖ [1] − [16/7] ‖
4 13/7
−3/7 2
‖𝐵 − 𝐴𝑋 ‖ = ‖ [−9/7] ‖
15/7
9 81 225
‖𝐵 − 𝐴𝑋 ‖ = + +
49 49 49

315
‖𝐵 − 𝐴𝑋 ‖ =
49

315 3√35
Luego la aproximación real será: √ 49 = 7
 DESARROLLO
5) Resuelva el siguiente problema de mínimos cuadrados y calcule el error
de mínimos cuadrados para el sistema:

1 1 2
𝑋1
[1 2 ] [ ] = [4 ]
𝑋2
1 3 3

 Por método de mínimos cuadrados aplicamos la siguiente fórmula:

AT.A.X= AT.B

Entonces:
1 1 2
1 1 1 𝑋1 1 1 1
[ ] [1 2] [ ] = [ ] [4]
1 2 3 𝑋2 1 2 3
1 3 3
3 6 𝑋1 9
[ ][ ] = [ ]
6 14 𝑋2 19
3𝑋1 + 6𝑋2 9
[ ]=[ ]
6𝑋1 + 14𝑋2 19

De la igualdad se obtiene:
3𝑋1 + 6𝑋2 = 9 … … . . (1) ˄ 6𝑋1 + 14𝑋2 = 19 … … … (2)
Multiplicamos a la segunda igualdad por 6 y a la primera igualdad
cambiamos de signo Y sumamos miembro a miembro dichas igualdades.
3𝑋1 + 6𝑋2 = 9 … … … . . (𝑋2)
6𝑋1 + 14𝑋2 = 19 … … … … (𝑋 − 1)

𝑋2 = 1⁄2

Hallamos X1en: 6𝑋1 + 14𝑋2 = 19

𝑋1 = 2

Por lo tanto la solución del sistema por mínimos cuadrados es:

2
𝑋=[ ]
1/2
 Hallamos el error de mínimos cuadrados:

2 1 1 2
‖𝐵 − 𝐴𝑋 ‖ = ‖ [4] − [1 2] [ ] ‖
1/2
3 1 3

−1/2
‖𝐵 − 𝐴𝑋 ‖ = ‖ [ 1 ] ‖
−1/2

√6
Luego la aproximación real será: 2

6) Resuelva el siguiente problema de mínimos cuadrados y calcule el error

de mínimos cuadrados para el sistema:
1 3 2
𝑋1
[1 0 ].[ ] = [0]
𝑋2
2 −1 1
DESARROLLO
 Por método de mínimos cuadrados aplicamos la siguiente fórmula:

AT.A.X= AT.B

Entonces:
1 3 2
1 1 2 𝑋1 1 1 2
[ ] [1 0 ][ ] = [ ] [0]
3 0 −1 𝑋2 3 0 −1
2 −1 1
6 1 𝑋1 4
[ ][ ] = [ ]
1 10 𝑋2 5
6𝑋1 + 𝑋2 4
[ ]=[ ]
𝑋1 + 10𝑋2 5
De la igualdad se obtiene:
6𝑋1 + 𝑋2 = 4 … … . . (1) ˄ 𝑋1 + 10𝑋2 = 5 … … … (2)
Multiplicamos a la segunda igualdad por 6 y a la primera cambiamos de
signo, luego sumamos miembro a miembro dichas igualdades.
−6𝑋1 − 𝑋2 = −4
6𝑋1 + 60𝑋2 = 30
 59𝑋2 = 26

𝑋2 = 26/59
Hallamos X1 en: 6𝑋1 + 𝑋2 = 4
26
6𝑋1 + 59 = 4
26
6𝑋1 = 4 − 59

6𝑋1 = 210/59
𝑋1 = 35/59

Por lo tanto la solución del sistema por mínimos cuadrados es:

35/59
𝑋=[ ]
26/59
 Hallamos el error de mínimos cuadrados:

2 1 3 35/59
‖𝐵 − 𝐴𝑋 ‖ = ‖ [0] − [1 0 ] [ ] ‖
26/59
1 2 −1

2 113/59
‖𝐵 − 𝐴𝑋 ‖ = ‖ [0] − [ 35/59 ] ‖
1 44/59
2
5/59
‖𝐵 − 𝐴𝑋 ‖ = ‖ [−35/59] ‖
15/59
25 1225 225
‖𝐵 − 𝐴𝑋 ‖ = + +
3481 3481 3481

1475
‖𝐵 − 𝐴𝑋 ‖ =
3481

1475 5√59
Luego la aproximación real será: √3481 = = 0.65095
59
7) Resuelva el siguiente problema de mínimos cuadrados y calcule el error
de mínimos cuadrados para el sistema:
1 0 2
𝑋1
[0 2 ] [ ] = [1 ]
𝑋2
1 1 0

DESARROLLO

 Por método de mínimos cuadrados aplicamos la siguiente fórmula:

AT.A.X= AT.B

Entonces:
1 0 2
1 0 1 𝑋1 1 0 1
[ ] [0 2] [ ] = [ ] [1]
0 2 1 𝑋2 0 2 1
1 1 0
2 1 𝑋1 2
[ ][ ] = [ ]
1 5 𝑋2 2
2𝑋1 + 𝑋2 2
[ ]=[ ]
𝑋1 + 5𝑋2 2
De la igualdad se obtiene:
2𝑋1 + 𝑋2 = 2 … … . . (1) ˄ 𝑋1 + 5𝑋2 = 2 … … … (2)
Multiplicamos a la segunda igualdad por 2 y a la primera igualdad
cambiamos de signo, luego sumamos miembro a miembro dichas
igualdades.
−2𝑋1 − 𝑋2 = −2
2𝑋1 + 10𝑋2 = 4
9𝑋2 = 2
𝑋2 = 2⁄9

Hallamos X1en: 2𝑋1 + 𝑋2 = 2

2
2𝑋1 + 9 = 2
2
2𝑋1 = 2 − 9

6𝑋2 = 16/9
𝑋1 = 8/27
 Por lo tanto la solución del sistema por mínimos cuadrados es:
2/9
𝑋=[ ]
8/27
 Hallamos el error de mínimos cuadrados:

2 1 0 2/9
‖𝐵 − 𝐴𝑋 ‖ = ‖ [1] − [0 2] [ ] ‖
8/27
0 1 1

2 2/9
‖𝐵 − 𝐴𝑋 ‖ = ‖ [1] − [16/27] ‖
0 14/27
2
16/9
‖𝐵 − 𝐴𝑋 ‖ = ‖ [ 11/27 ] ‖
−14/27
256 121 196
‖𝐵 − 𝐴𝑋 ‖ = + +
81 729 729

2621
‖𝐵 − 𝐴𝑋 ‖ =
729

2621 √2621
Luego la aproximación real será: √ 729 = = 1.89614
27