Introducción: Regressión

Nuevo enfoque
Varianza no constante
Robustes
Aplicaciones
Concluciones y que viene

Reducción suficiente de dimensiones basada en

modelos inversos normales

Liliana Forzani
trabajo en colaboración con R. Dennis Cook

March 23, 2009

Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso
 Introducción: Regressión
Nuevo enfoque
Varianza no constante Racionalidad de PCR
Robustes Review de la literatura
Aplicaciones
Concluciones y que viene

Regresión

I Dada la altura de la madre y el padre (X) quiero estimar o

predecir la altura de un hijo (Y )
I Dado un fragmento de un sonido quiero identificar
(automaticamente) si es un pajaro, un auto o un avión.
I Dada la información en los genes de una persona, predecir si
la persona tiene o no cancer (cancer de seno).

Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso
 Introducción: Regressión
Nuevo enfoque
Varianza no constante Racionalidad de PCR
Robustes Review de la literatura
Aplicaciones
Concluciones y que viene

Regresión

I Dada la altura de la madre y el padre (X) quiero estimar o

predecir la altura de un hijo (Y )
I Dado un fragmento de un sonido quiero identificar
(automaticamente) si es un pajaro, un auto o un avión.
I Dada la información en los genes de una persona, predecir si
la persona tiene o no cancer (cancer de seno).
Regresión lineal: Y |X = a + b T X + , E (Y |X) = a + b T X

Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso
 Introducción: Regressión
Nuevo enfoque
Varianza no constante Racionalidad de PCR
Robustes Review de la literatura
Aplicaciones
Concluciones y que viene

Regresión

I Dada la altura de la madre y el padre (X) quiero estimar o

predecir la altura de un hijo (Y )
I Dado un fragmento de un sonido quiero identificar
(automaticamente) si es un pajaro, un auto o un avión.
I Dada la información en los genes de una persona, predecir si
la persona tiene o no cancer (cancer de seno).
Regresión lineal: Y |X = a + b T X + , E (Y |X) = a + b T X
Regresión en general: Estudiar la distribución condicional de Y |X,
o E(Y |X)

Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso
 Introducción: Regressión
Nuevo enfoque
Varianza no constante Racionalidad de PCR
Robustes Review de la literatura
Aplicaciones
Concluciones y que viene

Regresión

I Dada la altura de la madre y el padre (X) quiero estimar o

predecir la altura de un hijo (Y )
I Dado un fragmento de un sonido quiero identificar
(automaticamente) si es un pajaro, un auto o un avión.
I Dada la información en los genes de una persona, predecir si
la persona tiene o no cancer (cancer de seno).
Regresión lineal: Y |X = a + b T X + , E (Y |X) = a + b T X
Regresión en general: Estudiar la distribución condicional de Y |X,
o E(Y |X)
Gráficamente mucha gente mira el scatterplot. Porque puede estar
tan mal eso? Miremos un poco
Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso
 Introducción: Regressión
Nuevo enfoque
Varianza no constante Racionalidad de PCR
Robustes Review de la literatura
Aplicaciones
Concluciones y que viene

Regresión usando componentes principales

Regresión de Y en X = (X1 , . . . , Xp )T usando componentes

principales
I Obtener V = (a1 , . . . , ad ), d < p con a1 , . . . , ad los primeros
d autovectores de Σ = Cov (X)

I Hacer la regresión de Y en VT X. (d predictores)

Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso
 Introducción: Regressión
Nuevo enfoque
Varianza no constante Racionalidad de PCR
Robustes Review de la literatura
Aplicaciones
Concluciones y que viene

Racionalidad de PCR
I Las combinaciones que desecho son las que tienen menos
variabilidad
I Las nuevas variables son nocorrelacionadas
I ES UNA ESTRATEGIA FACIL, SIMPLE DE ENTENDER
I Minimiza la varianza de los estimadores (estimadores mas
precisos)

Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso
 Introducción: Regressión
Nuevo enfoque
Varianza no constante Racionalidad de PCR
Robustes Review de la literatura
Aplicaciones
Concluciones y que viene

Racionalidad de PCR
I Las combinaciones que desecho son las que tienen menos
variabilidad
I Las nuevas variables son nocorrelacionadas
I ES UNA ESTRATEGIA FACIL, SIMPLE DE ENTENDER
I Minimiza la varianza de los estimadores (estimadores mas
precisos)
I Pero, ECM = VARIANZA + SESGO2
I Varianza está conectada con la varianza de X
I SESGO es la conexión entre X e Y . (Pero los pcs no tienen
conexión con Y )
Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso
 Introducción: Regressión
Nuevo enfoque
Varianza no constante Racionalidad de PCR
Robustes Review de la literatura
Aplicaciones
Concluciones y que viene

Ejemplito

  
1 r
X = (X1 , X2 ), X ∼ N 0, con r cerca de 1.
r 1

Y = X 1 − X2 + 

1+r
I Primer PC: X1 + X2 con peso 2

1−r
I Segundo PC: X1 − X2 con peso 2

Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso
 Introducción: Regressión
Nuevo enfoque
Varianza no constante Racionalidad de PCR
Robustes Review de la literatura
Aplicaciones
Concluciones y que viene

Paradigma de reducción suficiente de dimensiones

Definición: (Cook, 2007) Una función R : Rp → Rd , d ≤ p, es

una reducción suficiente para Y |X si satisface uno de los siguientes
enunciados
(i) reducción forward, Y |X ∼ Y |R(X)
(ii) reducción inversa, X|(Y , R(X)) ∼ X|R(X)
(iii) reducción conjunta, X Y |R(X)

Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso
 Introducción: Regressión
Nuevo enfoque
Varianza no constante Racionalidad de PCR
Robustes Review de la literatura
Aplicaciones
Concluciones y que viene

Paradigma de reducción suficiente de dimensiones

Definición: (Cook, 2007) Una función R : Rp → Rd , d ≤ p, es

una reducción suficiente para Y |X si satisface uno de los siguientes
enunciados
(i) reducción forward, Y |X ∼ Y |R(X)
(ii) reducción inversa, X|(Y , R(X)) ∼ X|R(X)
(iii) reducción conjunta, X Y |R(X)

αT X, α ∈ Rp×d . Subespacio central:

R(X) = T
SY |X = α verificando alguno de los de arriba span(α).

Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso
 Introducción: Regressión
Nuevo enfoque
Varianza no constante Racionalidad de PCR
Robustes Review de la literatura
Aplicaciones
Concluciones y que viene

Estimadores del SC: método de momentos

Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso
 Introducción: Regressión
Nuevo enfoque
Varianza no constante Racionalidad de PCR
Robustes Review de la literatura
Aplicaciones
Concluciones y que viene

Estimadores del SC: método de momentos

I SIR (Li, 1991). Estima Ssir ⊂ SY |X usando de la regresion de
X en Y la E (X|Y ) y usando cov(X).

Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso
 Introducción: Regressión
Nuevo enfoque
Varianza no constante Racionalidad de PCR
Robustes Review de la literatura
Aplicaciones
Concluciones y que viene

Estimadores del SC: método de momentos

I SIR (Li, 1991). Estima Ssir ⊂ SY |X usando de la regresion de
X en Y la E (X|Y ) y usando cov(X).
I SAVE (Cook and Weisberg, 1991). Ssir ⊂ Ssave ⊂ SY |X .
Utilizan E (X|Y ), cov(X|Y ) y cov(X). Bajo suposiciones no
muy fuerte Ssave = SY |X (Shao, Cook y Weisberg, 2007)

Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso
 Introducción: Regressión
Nuevo enfoque
Varianza no constante Racionalidad de PCR
Robustes Review de la literatura
Aplicaciones
Concluciones y que viene

Estimadores del SC: método de momentos

I SIR (Li, 1991). Estima Ssir ⊂ SY |X usando de la regresion de
X en Y la E (X|Y ) y usando cov(X).
I SAVE (Cook and Weisberg, 1991). Ssir ⊂ Ssave ⊂ SY |X .
Utilizan E (X|Y ), cov(X|Y ) y cov(X). Bajo suposiciones no
muy fuerte Ssave = SY |X (Shao, Cook y Weisberg, 2007)
Problema con SIR: coverage, problema con SAVE: eficiencia

Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso
 Introducción: Regressión
Nuevo enfoque
Varianza no constante Racionalidad de PCR
Robustes Review de la literatura
Aplicaciones
Concluciones y que viene

Estimadores del SC: método de momentos

I SIR (Li, 1991). Estima Ssir ⊂ SY |X usando de la regresion de
X en Y la E (X|Y ) y usando cov(X).
I SAVE (Cook and Weisberg, 1991). Ssir ⊂ Ssave ⊂ SY |X .
Utilizan E (X|Y ), cov(X|Y ) y cov(X). Bajo suposiciones no
muy fuerte Ssave = SY |X (Shao, Cook y Weisberg, 2007)
I Combinación de SIR y SAVE (Ye y Weiss, 2003; Zhu, Ohtaki
y Li, 2007). Direction reduction (DR; Li and Wang, 2007).
Son mas eficientes??? Todos estos son estimadores que usan
los dos primeros momentos.

Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso
 Introducción: Regressión
Nuevo enfoque
Varianza no constante Racionalidad de PCR
Robustes Review de la literatura
Aplicaciones
Concluciones y que viene

Estimadores del SC: método de momentos

I SIR (Li, 1991). Estima Ssir ⊂ SY |X usando de la regresion de
X en Y la E (X|Y ) y usando cov(X).
I SAVE (Cook and Weisberg, 1991). Ssir ⊂ Ssave ⊂ SY |X .
Utilizan E (X|Y ), cov(X|Y ) y cov(X). Bajo suposiciones no
muy fuerte Ssave = SY |X (Shao, Cook y Weisberg, 2007)
I Combinación de SIR y SAVE (Ye y Weiss, 2003; Zhu, Ohtaki
y Li, 2007). Direction reduction (DR; Li and Wang, 2007).
Son mas eficientes??? Todos estos son estimadores que usan
los dos primeros momentos.
I (Cook y Ni, 2005, 2006) Minima discrepancia: estima Ssir de
una manera eficiente.
Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso
 Introducción: Regressión
Nuevo enfoque
Modelos para regresión inversa
Varianza no constante
PFC con ∆ general
Robustes
Otras conexiones: SIR
Aplicaciones
Concluciones y que viene

Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso
 Introducción: Regressión
Nuevo enfoque
Modelos para regresión inversa
Varianza no constante
PFC con ∆ general
Robustes
Otras conexiones: SIR
Aplicaciones
Concluciones y que viene

PONER EL EJEMPLO DE ADELANTE CON PC Y SIR...

Modelos para regresión inversa
(Cook, 2007)
X|(Y = y ) := Xy = N(µy , σ 2 Ip ), (1)
con µy = µ + Γνy , Γ ∈ Rp×d , d < p.

Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso
 Introducción: Regressión
Nuevo enfoque
Modelos para regresión inversa
Varianza no constante
PFC con ∆ general
Robustes
Otras conexiones: SIR
Aplicaciones
Concluciones y que viene

Modelos para regresión inversa

(Cook, 2007)
X|(Y = y ) := Xy = N(µy , σ 2 Ip ), (1)
con µy = µ + Γνy , Γ ∈ Rp×d , d < p.
Si (1) es cierto entonces,
Y |X ∼ Y |ΓT X.
Las columnas de Γ son los primeros d autovectores de
Σ = Cov(X).
SΓ es el subespacio central para la regresión de Y en X.

Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso
 Introducción: Regressión
Nuevo enfoque
Modelos para regresión inversa
Varianza no constante
PFC con ∆ general
Robustes
Otras conexiones: SIR
Aplicaciones
Concluciones y que viene

Modelos para regresión inversa

(Cook, 2007)
X|(Y = y ) := Xy = N(µy , σ 2 Ip ), (1)
con µy = µ + Γνy , Γ ∈ Rp×d , d < p.
Si (1) es cierto entonces,
Y |X ∼ Y |ΓT X.
Las columnas de Γ son los primeros d autovectores de
Σ = Cov(X).
SΓ es el subespacio central para la regresión de Y en X.
El estimador de maxima verosimilitud para Γ: son los primeros d
autovectores de Σ.
b
Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso
 Introducción: Regressión
Nuevo enfoque
Modelos para regresión inversa
Varianza no constante
PFC con ∆ general
Robustes
Otras conexiones: SIR
Aplicaciones
Concluciones y que viene

Más modelos de reducción inversa (Cook 2007):

Si
X|(Y = y ) := Xy = N(µy , ∆), PFC
con µy = µ + Γνy , o µy = µ + Γβfy , Γ ∈ Rp×d , d < p,

Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso
 Introducción: Regressión
Nuevo enfoque
Modelos para regresión inversa
Varianza no constante
PFC con ∆ general
Robustes
Otras conexiones: SIR
Aplicaciones
Concluciones y que viene

Más modelos de reducción inversa (Cook 2007):

Si
X|(Y = y ) := Xy = N(µy , ∆), PFC
con µy = µ + Γνy , o µy = µ + Γβfy , Γ ∈ Rp×d , d < p, ,

Y |X ∼ Y |ΓT ∆−1 X

∆−1 SΓ es el subespacio central de Y en X.

Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso
 Introducción: Regressión
Nuevo enfoque
Modelos para regresión inversa
Varianza no constante
PFC con ∆ general
Robustes
Otras conexiones: SIR
Aplicaciones
Concluciones y que viene

EMVs para ∆ general:

(Cook and Forzani, 2007). EMV del subespacio central ∆−1 SΓ

I Hacer la regresión de X en fy
I Calcular la matriz de covarianza de los datos fitteados: Σ
b fit
I Calcular la matriz de los residuos Σ b −Σ
b res = Σ b fit
I El EMV para el subespacio central es Σb −1/2
res Vd donde Vd son
b −1/2
los primeros d autovectores de Σ res Σ
b Σ
b −1/2
res

Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso
 Introducción: Regressión
Nuevo enfoque
Modelos para regresión inversa
Varianza no constante
PFC con ∆ general
Robustes
Otras conexiones: SIR
Aplicaciones
Concluciones y que viene

Conexión entre PC-PFC

Esto da una receta para hacer (bajo este modelo) PC con el

escaling correcto.
I Recordemos: PC, tomar los primeros d autovectores de
cov(X) : Vd . Hacer la regresión de Y en VdT X
I PC, usando correlación: tomar los primeros d autovectores de
cov(diag(Σb −1/2 )X) : Vd . Hacer la regresión de Y en
b −1/2 )X
VdT diag(Σ

Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso
 Introducción: Regressión
Nuevo enfoque
Modelos para regresión inversa
Varianza no constante
PFC con ∆ general
Robustes
Otras conexiones: SIR
Aplicaciones
Concluciones y que viene

Conexión entre PC-PFC

Esto da una receta para hacer (bajo este modelo) PC con el

escaling correcto.
I Recordemos: PC, tomar los primeros d autovectores de
cov(X) : Vd . Hacer la regresión de Y en VdT X
I PC, usando correlación: tomar los primeros d autovectores de
cov(diag(Σb −1/2 )X) : Vd . Hacer la regresión de Y en
b −1/2 )X
VdT diag(Σ
I PFC: calcular los primeros d autovectores de
−1/2 −1/2
cov(Σ
b res X) : Vd . Hacer la regresión de Y en VdT (Σ
b res )X

Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso
 Introducción: Regressión
Nuevo enfoque
Modelos para regresión inversa
Varianza no constante
PFC con ∆ general
Robustes
Otras conexiones: SIR
Aplicaciones
Concluciones y que viene

SIR y PFC

(Cook and Forzani, 2007) El estimador de momentos del espacio

SIR bajo el modelo PFC∆ con Y categorico (como el ejemplo de
los pajaros) es el estimador de máxima verosimilitud del subespacio
central

Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso
 Introducción: Regressión
Nuevo enfoque
Varianza no constante Model
Robustes Estimation
Aplicaciones
Concluciones y que viene

Varianza no constante

X|(Y = y ) = Xy ∼ N(µy , ∆y ), SΓ = span{µy − µ|y ∈ SY }

∆ = E(∆y ), Σ = var(X)

Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso
 Introducción: Regressión
Nuevo enfoque
Varianza no constante Model
Robustes Estimation
Aplicaciones
Concluciones y que viene

Varianza no constante

X|(Y = y ) = Xy ∼ N(µy , ∆y ), SΓ = span{µy − µ|y ∈ SY }

∆ = E(∆y ), Σ = var(X)

(Cook and Forzani, 2007) R(X) = αT X es una reducción lineal

suficiente si y solo si
a) span(Γ) ⊂ span(∆α)

b) α0T ∆−1
y constante

Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso
 Introducción: Regressión
Nuevo enfoque
Varianza no constante Model
Robustes Estimation
Aplicaciones
Concluciones y que viene

Varianza no constante

X|(Y = y ) = Xy ∼ N(µy , ∆y ), SΓ = span{µy − µ|y ∈ SY }

∆ = E(∆y ), Σ = var(X)

(Cook and Forzani, 2007) R(X) = αT X es una reducción lineal

suficiente si y solo si
a) span(Γ) ⊂ span(∆α) (µy = µ + ∆αθνy )

b) α0T ∆−1
y constante

Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso
 Introducción: Regressión
Nuevo enfoque
Varianza no constante Model
Robustes Estimation
Aplicaciones
Concluciones y que viene

Varianza no constante

X|(Y = y ) = Xy ∼ N(µy , ∆y ), SΓ = span{µy − µ|y ∈ SY }

∆ = E(∆y ), Σ = var(X)

(Cook and Forzani, 2007) R(X) = αT X es una reducción lineal

suficiente si y solo si
a) span(Γ) ⊂ span(∆α) (µy = µ + ∆αθνy )

b) α0T ∆−1 T
y constante (∆y = ∆ + Pα(∆) (∆y − ∆)Pα(∆) )

Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso
 Introducción: Regressión
Nuevo enfoque
Varianza no constante Model
Robustes Estimation
Aplicaciones
Concluciones y que viene

Varianza no constante

X|(Y = y ) = Xy ∼ N(µy , ∆y ), SΓ = span{µy − µ|y ∈ SY }

∆ = E(∆y ), Σ = var(X)

(Cook and Forzani, 2007) R(X) = αT X es una reducción lineal

suficiente si y solo si
a) span(Γ) ⊂ span(∆α) (µy = µ + ∆αθνy )

b) α0T ∆−1 T
y constante (∆y = ∆ + Pα(∆) (∆y − ∆)Pα(∆) )

SY |X = span(α)

Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso
 Introducción: Regressión
Nuevo enfoque
Varianza no constante Model
Robustes Estimation
Aplicaciones
Concluciones y que viene

Varianza no constante

T
Xy ∼ N(µ + ∆ανy , ∆ + Pα(∆) Ty Pα(∆) ),

Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso
 Introducción: Regressión
Nuevo enfoque
Varianza no constante Model
Robustes Estimation
Aplicaciones
Concluciones y que viene

Varianza no constante

T
Xy ∼ N(µ + ∆ανy , ∆ + Pα(∆) Ty Pα(∆) ),

Función de máxima verosimilitud

H ny
1X 1 XX
− ny log |∆y | − (Xiy − µy )T ∆−1
y (Xiy − µy )
2 y 2
y =1 i=1

Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso
 Introducción: Regressión
Nuevo enfoque
Varianza no constante Model
Robustes Estimation
Aplicaciones
Concluciones y que viene

Optimization en variedades de Grassman

Despues de varias estimaciones el estimador de maxima

verosimilitud para Sα es el span de cualquier base semiortogonal
b ∈ Rp×d que maximiza sobre SB ∈ G(d,p) la función de máxima
α
verosimilitud
n n 1X ˜ y B|
Ld (SB ) = C + log |BT Σ̃B| − log |Σ̃| − ny log |BT ∆
2 2 2 y

donde B ∈ Rp×d es una matriz semiortogonal cuyas columnas

forman una base para SB , Σ̃ es la covarianza muestral para X y
∆˜ y es la varianza muestra en la población y .

Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso
 Introducción: Regressión
Nuevo enfoque
Robustes. Que estimamos?
Varianza no constante
Robustes. SIR-SAVE-DR-LAD
Robustes
Robustes. Resultados teóricos
Aplicaciones
Concluciones y que viene

Conección con SAVE

Bajo el modelo de X|Y normal Sα = Ssave . Pero el estimador LAD

es diferente al estimador SAVE.

Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso
 Introducción: Regressión
Nuevo enfoque
Robustes. Que estimamos?
Varianza no constante
Robustes. SIR-SAVE-DR-LAD
Robustes
Robustes. Resultados teóricos
Aplicaciones
Concluciones y que viene

Conección con SAVE

Bajo el modelo de X|Y normal Sα = Ssave . Pero el estimador LAD

es diferente al estimador SAVE.

Que pasa si X|Y no es normal y maximizamos la misma función

objetivo? Veamos algunas simulaciones

Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso
 Introducción: Regressión
Nuevo enfoque
Robustes. Que estimamos?
Varianza no constante
Robustes. SIR-SAVE-DR-LAD
Robustes
Robustes. Resultados teóricos
Aplicaciones
Concluciones y que viene

y = (4 a)X1 + N(0,, 1) , X = (X1, … , X8)

80
60 SAVE
Angle
40
20

SIR
0

5 10 15 20

Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso
 Introducción: Regressión
Nuevo enfoque
Robustes. Que estimamos?
Varianza no constante
Robustes. SIR-SAVE-DR-LAD
Robustes
Robustes. Resultados teóricos
Aplicaciones
Concluciones y que viene

y = (4 a)X1 + N(0,, 1) , X = (X1, … , X8)

80 SAVE

DR
60
Angle
40
20

SIR
0

5 10 15 20

Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso
 Introducción: Regressión
Nuevo enfoque
Robustes. Que estimamos?
Varianza no constante
Robustes. SIR-SAVE-DR-LAD
Robustes
Robustes. Resultados teóricos
Aplicaciones
Concluciones y que viene

y = (4 a)X1 + N(0,, 1) , X = (X1, … , X8)

80 SAVE

DR
60
Angle
40

LAD
20

SIR
0

5 10 15 20

Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso
 Introducción: Regressión
Nuevo enfoque
Robustes. Que estimamos?
Varianza no constante
Robustes. SIR-SAVE-DR-LAD
Robustes
Robustes. Resultados teóricos
Aplicaciones
Concluciones y que viene

y = 1 (2a)0.1X21 + ε , X = (X1, … , X8)

80
SIR
60
Angle
40
20

SAVE, DR
0

5 10 15 20

Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso
 Introducción: Regressión
Nuevo enfoque
Robustes. Que estimamos?
Varianza no constante
Robustes. SIR-SAVE-DR-LAD
Robustes
Robustes. Resultados teóricos
Aplicaciones
Concluciones y que viene

y = 1 (2a)0.1X21 + ε , X = (X1, … , X8)

80
SIR
60
Angle
40
20

SAVE, DR and LAD

0

5 10 15 20

Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso
 Introducción: Regressión
Nuevo enfoque
Robustes. Que estimamos?
Varianza no constante
Robustes. SIR-SAVE-DR-LAD
Robustes
Robustes. Resultados teóricos
Aplicaciones
Concluciones y que viene

y = 1 (2a)0.6X1 + a0.01X21 + ε , X = (X1, … , X8)

80

SAVE SIR
60
Angle
40
20
0

2 4 6 8 10

Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso
 Introducción: Regressión
Nuevo enfoque
Robustes. Que estimamos?
Varianza no constante
Robustes. SIR-SAVE-DR-LAD
Robustes
Robustes. Resultados teóricos
Aplicaciones
Concluciones y que viene

y = 1 (2a)0.6X1 + a0.01X21 + ε , X = (X1, … , X8)

80

SAVE SIR
60
Angle

DR
40
20
0

2 4 6 8 10

Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso
 Introducción: Regressión
Nuevo enfoque
Robustes. Que estimamos?
Varianza no constante
Robustes. SIR-SAVE-DR-LAD
Robustes
Robustes. Resultados teóricos
Aplicaciones
Concluciones y que viene

y = 1 (2a)0.6X1 + a0.01X21 + ε , X = (X1, … , X8)

80

SAVE SIR
60
Angle

DR
40
20

LAD
0

2 4 6 8 10

Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso
 Introducción: Regressión
Nuevo enfoque
Robustes. Que estimamos?
Varianza no constante
Robustes. SIR-SAVE-DR-LAD
Robustes
Robustes. Resultados teóricos
Aplicaciones
Concluciones y que viene

y = 1 4X1 + a0.1X22 + ε , X = (X1, X2, … , X8)

80
SIR
Maximum Angle
60

SAVE
40

DR
20
0

5 10 15 20

Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso
 Introducción: Regressión
Nuevo enfoque
Robustes. Que estimamos?
Varianza no constante
Robustes. SIR-SAVE-DR-LAD
Robustes
Robustes. Resultados teóricos
Aplicaciones
Concluciones y que viene

y = 1 4X1 + a0.1X22 + ε , X = (X1, X2, … , X8)

80
SIR
Maximum Angle
60

SAVE
40

DR LAD
20
0

5 10 15 20

Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso
 Introducción: Regressión
Nuevo enfoque
Robustes. Que estimamos?
Varianza no constante
Robustes. SIR-SAVE-DR-LAD
Robustes
Robustes. Resultados teóricos
Aplicaciones
Concluciones y que viene

Robustes: resultados teóricos

˜ y → ∆y and Σ̃ → Σ. Consideremos la función

Asumamos ∆
objetivo
n n 1X ˜ y B|.
Ld (SB ) = C + log |BT Σ̃B| − log |Σ̃| − ny log |BT ∆
2 2 2 y

Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso
 Introducción: Regressión
Nuevo enfoque
Robustes. Que estimamos?
Varianza no constante
Robustes. SIR-SAVE-DR-LAD
Robustes
Robustes. Resultados teóricos
Aplicaciones
Concluciones y que viene

Robustes: resultados teóricos

˜ y → ∆y and Σ̃ → Σ. Consideremos la función

Asumamos ∆
objetivo
n n 1X ˜ y B|.
Ld (SB ) = C + log |BT Σ̃B| − log |Σ̃| − ny log |BT ∆
2 2 2 y

Entonces n1 Ld (SB ) → Kd (SB ) y Sα = arg max Kd (SB ) para α tal

que span(α) = Ssave . Si Ssave = SY |X entonces estamos
estimando (en el lı́mite) el subespacio central.

Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso
 Example
Introducción: Regressión Es un pájaro, un avión o un auto? SIR-SAVE-COMB
Nuevo enfoque Is is a bird, a plane? LAD solución
Varianza no constante Is is a bird, a plane or a car? SIR-SAVE
Robustes Is is a bird, a plane or a car? DR
Aplicaciones Is is a bird, a plane or a car? LAD solución
Concluciones y que viene Is is a bird, a plane or a car? LAD solución sin puntos extremos
Is is a bird, a plane or a car? DR sin puntos extremos

Discriminación-Reducción suficiente de
dimensiones-visualización

I Tenemos unos datos que se llaman datos de entrenamiento:

XY ∈ Rp en diferentes poblaciones Y = 1, . . . , H.
I bT X tal que X|(αT X, Y ) ∼ X|αT X con
Estimamos α
α∈R p×d (es decir las direcciones suficientes)
I bT X
Consideramos los nuevos predictores α
I Dibujamos las combinaciones lineales por poblaciones y se
decide que herrramienta se utilizará para hacer clasificación.

Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso
 Example
Introducción: Regressión Es un pájaro, un avión o un auto? SIR-SAVE-COMB
Nuevo enfoque Is is a bird, a plane? LAD solución
Varianza no constante Is is a bird, a plane or a car? SIR-SAVE
Robustes Is is a bird, a plane or a car? DR
Aplicaciones Is is a bird, a plane or a car? LAD solución
Concluciones y que viene Is is a bird, a plane or a car? LAD solución sin puntos extremos
Is is a bird, a plane or a car? DR sin puntos extremos

Es un pájaro, un avión o un auto? (Con Marcela

Morvidone)

I Objetivo: identificar el sonido hecho por un pajaro, avión o

auto
I los datos de entrenamiento consisten en 58 grabaciones
identificadas como pajaros, 44 como autos 67 como aviones
I De la grabacion fueron obtenidos 13 predictores (usando como
punto de partida una descomposición de frame-wavelettes)
I Nos enfocamos en tratar de reducir más aun los vectores de
dimensión 13

Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso
 Example
Introducción: Regressión Es un pájaro, un avión o un auto? SIR-SAVE-COMB
Nuevo enfoque Is is a bird, a plane? LAD solución
Varianza no constante Is is a bird, a plane or a car? SIR-SAVE
Robustes Is is a bird, a plane or a car? DR
Aplicaciones Is is a bird, a plane or a car? LAD solución
Concluciones y que viene Is is a bird, a plane or a car? LAD solución sin puntos extremos
Is is a bird, a plane or a car? DR sin puntos extremos

Birds (red) vs planes (black) with SIR−SAVE

●
●
First SAVE

●
2

●
●
● ●
● ●
● ●
● ●
●●
● ●● ●● ● ● ●● ●
●●
●
●● ● ●
●
●
●●●● ●●●●
● ●●● ●●
●● ●
● ●●●
● ● ●● ●
0

●
● ●● ●● ● ●●●
● ●
● ● ● ●● ●● ●
● ● ●
● ● ● ●
●
● ●
● ●
● ● ●
● ● ●
●
●
● ●
●
−2

● ●

−2 −1 0 1 2

First SIR

Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso
 Example
Introducción: Regressión Es un pájaro, un avión o un auto? SIR-SAVE-COMB
Nuevo enfoque Is is a bird, a plane? LAD solución
Varianza no constante Is is a bird, a plane or a car? SIR-SAVE
Robustes Is is a bird, a plane or a car? DR
Aplicaciones Is is a bird, a plane or a car? LAD solución
Concluciones y que viene Is is a bird, a plane or a car? LAD solución sin puntos extremos
Is is a bird, a plane or a car? DR sin puntos extremos

Birds (red) vs planes (black) with OUR method

0.05
●
●

0.00
●●
● ●
●
●
●●
●
●
●●●
●
●●●
●
●
●●
●●
●
●●
●●●
●
● ● ●●
● ●
● ● ●
● ● ● ●●●
−0.25 −0.20 −0.15 −0.10 −0.05

●● ●
● ●
● ● ●
● ●●
● ● ● ● ● ●
●
●
● ●
●
● ● ●
● ● ●
●
OURS−2

●
● ●
●
●● ● ●
●
● ●
●●

● ●

● ● ●

0.00 0.05 0.10 0.15

OURS−1

Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso
 Example
Introducción: Regressión Es un pájaro, un avión o un auto? SIR-SAVE-COMB
Nuevo enfoque Is is a bird, a plane? LAD solución
Varianza no constante Is is a bird, a plane or a car? SIR-SAVE
Robustes Is is a bird, a plane or a car? DR
Aplicaciones Is is a bird, a plane or a car? LAD solución
Concluciones y que viene Is is a bird, a plane or a car? LAD solución sin puntos extremos
Is is a bird, a plane or a car? DR sin puntos extremos

Birds (red), planes (black), cars (blue) with SIR−SAVE

●
●
●

●
● ● ● ● ●
●
●● ●
0.00

● ● ● ●● ● ●● ● ●●
●
● ●●● ● ●
● ●● ●
●●●●●●●
●
●●●
●
● ●●●● ● ●
● ● ●
●●
●● ● ● ●●
● ●● ● ●
●● ●● ●●
●
● ● ● ● ●
●● ●● ●●● ●
●
●●
●●
●●●●
●
● ●
● ●● ●● ● ●
● ● ●
● ● ●● ●
●
●
● ●●●●
●●●●
●●●● ●● ●
●●
●
● ● ●● ● ●● ●
● ●● ●
● ● ● ●
●
First SAVE

● ●
● ●
−0.05
−0.10

−0.08 −0.06 −0.04 −0.02 0.00 0.02

First SIR

Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso
 Example
Introducción: Regressión Es un pájaro, un avión o un auto? SIR-SAVE-COMB
Nuevo enfoque Is is a bird, a plane? LAD solución
Varianza no constante Is is a bird, a plane or a car? SIR-SAVE
Robustes Is is a bird, a plane or a car? DR
Aplicaciones Is is a bird, a plane or a car? LAD solución
Concluciones y que viene Is is a bird, a plane or a car? LAD solución sin puntos extremos
Is is a bird, a plane or a car? DR sin puntos extremos

Birds (red), planes (black), cars (blue) with DR1,2,3

1.5 ●
Comb of the first 3 DR predictors

●
1.0

● ●
● ●
●
●
●
●● ●
●●
● ● ●
●● ●
●● ● ●
● ● ●
●●
0.5

● ● ●● ●
●
●● ● ● ●
●
● ●
●
●
●
●
● ● ● ● ●●●
● ●●
●● ●
●●●
●● ●●● ● ●
0.0

● ● ● ●
● ●
● ●●
●
●●
● ●
●●
● ● ●●
● ●●
●●●
●
●
● ●● ●
●●●● ●
● ● ● ●●● ● ●● ● ●●● ●●●● ●
● ● ● ●●
●
●● ● ● ●
● ● ● ● ●● ●
●● ● ●
● ● ●
● ● ●

● ● ●
●

−0.5 0.0 0.5 1.0

Comb of the first 3 DR predictors

Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso
 Example
Introducción: Regressión Es un pájaro, un avión o un auto? SIR-SAVE-COMB
Nuevo enfoque Is is a bird, a plane? LAD solución
Varianza no constante Is is a bird, a plane or a car? SIR-SAVE
Robustes Is is a bird, a plane or a car? DR
Aplicaciones Is is a bird, a plane or a car? LAD solución
Concluciones y que viene Is is a bird, a plane or a car? LAD solución sin puntos extremos
Is is a bird, a plane or a car? DR sin puntos extremos

Birds (r), planes (bck) and cars (blue) with OUR method

0.0
●

●
●
●
●●
●
●
●
●●
●
●
●
●●
●
●●
●
●●
●●●
●
●●
●●
●●●
●
●●●
●●● ●
● ●
● ● ●● ●
●●
●● ● ●
● ●
●●
●
● ●
● ●
● ● ● ●
● ●●
−0.1

●●
● ● ●
●● ●
●
● ● ●●
●
● ●●
● ● ● ● ● ●
●● ● ●
● ● ●
OURS−2

●● ● ● ●
●
●

●● ● ●
●● ●
●
●
●● ●
●
● ● ●
● ●
−0.2

● ● ● ●●
●
●
●
● ●
● ●
●

●●
● ●
−0.3

−0.2 −0.1 0.0 0.1

OURS−1

Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso
 Example
Introducción: Regressión Es un pájaro, un avión o un auto? SIR-SAVE-COMB
Nuevo enfoque Is is a bird, a plane? LAD solución
Varianza no constante Is is a bird, a plane or a car? SIR-SAVE
Robustes Is is a bird, a plane or a car? DR
Aplicaciones Is is a bird, a plane or a car? LAD solución
Concluciones y que viene Is is a bird, a plane or a car? LAD solución sin puntos extremos
Is is a bird, a plane or a car? DR sin puntos extremos

B (r), P (bck) C (bu) with OUR method without outliers

0.0
●●
●●
●●
●
●
●●
●
●
●●●●
●●
●●
●
●
●
●●
●●
●●
● ●●
● ●
● ●●●
● ● ● ●
● ● ●●
●
● ● ●●●
● ● ●
● ● ●● ●●
●●
● ●
●●
−0.1

● ●● ● ● ●● ●
●●
● ●
● ●●
● ● ●●
● ●
●
●●●
● ● ● ●●●
●
● ● ● ●●
●● ● ●●
● ● ● ●●
●
●
OURS−2

●
●
●
−0.2

●
●
● ●
●
●● ●●

●
●

●
−0.3

● ●
●
●
−0.4

−0.35 −0.30 −0.25 −0.20 −0.15 −0.10 −0.05 0.00

OURS−1

Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso
 Example
Introducción: Regressión Es un pájaro, un avión o un auto? SIR-SAVE-COMB
Nuevo enfoque Is is a bird, a plane? LAD solución
Varianza no constante Is is a bird, a plane or a car? SIR-SAVE
Robustes Is is a bird, a plane or a car? DR
Aplicaciones Is is a bird, a plane or a car? LAD solución
Concluciones y que viene Is is a bird, a plane or a car? LAD solución sin puntos extremos
Is is a bird, a plane or a car? DR sin puntos extremos

Birds (red), planes (black), cars (blue) with DR

8
●

●
6
4
DR2

● ●●
●
2

●
● ● ● ●
●●● ●
●●● ●● ●
●● ●●●
●●
●
● ●●●●●
● ●●●
●
●
● ●●●●
●●
●●
●
●
●●
●●●
● ●● ●
●●● ●●● ●
● ● ●
●● ● ● ● ● ●● ●● ●
● ●●●●
● ●● ● ● ●●
● ●●●
● ●●
●●
● ●
●
●●
●
●
●●
●
● ●
●● ● ● ● ●
●
0

●
●
●●● ● ● ●
● ● ●●●
● ● ●
●
● ● ●
● ●
● ● ●●
●
●
●
−2

● ●

0 1 2 3 4

DR1

Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso
 Introducción: Regressión
Nuevo enfoque
Varianza no constante
Robustes
Aplicaciones
Concluciones y que viene

Conclusiones y lo que viene

I Presentamos un nuevo método para estimar reducción
suficiente de dimensiones bajo normalidad condicional de los
predictores dada la respuesta.
I Debido a que usamos la teorı́a de maxima verosimilitud
podemos hacer toda la inferencia clásica sobre predictores,
dimensión, etc ...y además obtenemos los estimadores
asimptoticamente mas eficientes.
I Probamos teoricamente y mostramos con ejemplos que aun
cuando los predictores no son condicioanlmente normales los
estimadores obtenidos son robustos.
I Lo que viene, que pasa cuando p > n?...(Futuro trabajo con
Andrea Bergesio y Dennis Cook)
Liliana Forzani trabajo en colaboración con R. Dennis Cook Reducción suficiente de dimensiones basada en modelos inverso