UNIVERSIDAD NACIONAL DE INGENIERÍA

Facultad de Ingeniería Mecánica

Escuela Profesional de Ingeniería Mecatrónica

Artificial Intelligence
(MT-616)
Support Vector Machines & Kernels

Paul Cardenas Lizana

Universidad de Nacional de Ingeniería (UNI)

Lima, Peru
Contenido

● Predicción
○ ¿Por qué podrían estar mal las predicciones?
● Support vector machines
○ Trabajando realmente muy bien con modelos lineales.
● Kernels
○ Convirtiendo lo no lineal a lineal.

2
¿Por qué podrían estar mal las predicciones?

No es determinismo
● Voltear una moneda sesgada
● p (caras) = θ
● Estimar θ
● Si θ > 0.5 predice "caras", de lo contrario "sellos"
Un montón de investigación de ML en problemas como este:
● Aprender un modelo
● Haz lo mejor que puedas con lo que tengas disponible (expectativa)

3
¿Por qué podrían estar mal las predicciones?

● Observabilidad parcial
○ Falta algo para predecir y de la observación x

● Ruido en la observación x
○ Error de medición
○ Limitaciones del instrumento

4
¿Por qué podrían estar mal las predicciones?

● Observabilidad parcial
○ Falta algo para predecir y de la observación x

● Ruido en la observación x
○ Error de medición
○ Limitaciones del instrumento http://www.cs.cmu.edu/~wcohen/10-601/bias-variance.pdf

5
¿Por qué podrían estar mal las predicciones?

● No determinismo
● Observabilidad parcial
○ duro, suave
● Bias representacional
● Bias algorítmico
● Recursos limitados

6
Bias representacional

Tener las características correctas (x) es crucial

7
Bias representacional

Tener las características correctas (x) es crucial

8
Support Vector Machines

Trabajando realmente bien con superficies de decisión lineal

9
Fortalezas de SVMs

1. Buena generalización
a. En teoria
b. en la práctica
2. Funciona bien con pocas instancias de entrenamiento.
3. Encuentra el mejor modelo a nivel global
4. Algoritmos eficientes
5. Truco del kernel.

10
Cambio de notación menor

para mejorar la notación utilizada en SVMs

... y hacer fórmulas matriciales más simples.
Vamos a dejar de usar superíndices para la instancia ith
Negrita denota
vector
th
instancia i
No negrita
th
etiqueta de la instancia i denota escalar

característica jth de la instancia ith

11
Separadores lineales

● Instancias de entrenamiento

● Parámetros del modelo Recordar:

Producto interno (punto):

● Hyperplane

● Función de decisión

12
Datos linealmente separables con diferentes líneas de
separación ¿Cuál es la mejor?

Hi Hi Hi

Hi Hi Hi

Dos preguntas:

1. ¿Por qué es mejor un margen más grande?

2. ¿Que w maximiza el margen?

13
Intuiciones

14
Intuiciones

15
Intuiciones

16
Intuiciones

17
Un buen separador

18
Ruido en las observaciones

19
Descartando algunos separadores

20
Mucho ruido

21
Sólo queda un separador

22
Maximizando el margen

23
¿Recuerdas la clase anterior la función de crecimiento?

Todas las dicotomías con una línea cualquiera

24
Dicotomías con margen grande implican menos
dicotomías.

infinito 0.9 0.5 0.4

25
¿Por qué maximizar el margen?

El aumento de margen reduce la capacidad

es decir, menos modelos posibles

Recuerde la clase de teoría del aprendizaje:

Si se cumple lo siguiente:
● Si H está suficientemente acotado en tamaño
● y/o el set de datos de training n es grande,
entonces que el error de training sea pequeño es muy probable que sea
una evidencia de un error pequeño en generalización

26
Separadores “Gordos”

27
Support vectors: margen funcional vs margen geométrico

margin

28
Multiplicadores de lagrange

29
Minimizando ||W||2 sujeto a ….

1. Optimización no convexa vs convexa

a. El problema Primal
b. El problema Dual y la solución
2. Condiciones de KKT
3. Teorema del Kernel (práctica y teorética)
4. Truco del Kernel
5. Support vector con margenes suaves
a. La solucion dual
6. SMO algorithm

30
De no lineal (X) a lineal (Z)

1 1

X→Z
0.5
0

0
−1 0 0.5 1
−1 0 1

31
Dos tipos de datos no separable.

32
Support vectors en el espacio X

● Los SV viven en el espacio Z.

● En el espacio X, solo aparecen

pre-imágenes de los SV.

● El margen se mantiene en el
espacio Z.

33
Medida de error

violación del
margen

34
Repaso de Multiplicadores de lagrange

35
Problema: Multiplicadores de lagrange

36
Multiplicadores KKT

37
multiplicadores KKT

38
39