Pg. 1 Mdulo 13. HERRAMIENTAS ESTADSTICAS-COMPARACIN DE MS DE DOS MUESTRAS: ANOVA (PARTE I). Apuntes
NDICE
1. 2.
COMPARACIN DE MEDIAS ............................................................................3 FUNDAMENTOS DEL ANLISIS DE LA VARIANZA .........................................5 2.1. 2.2. 2.3. Modelo .........................................................................................................5 Hiptesis requeridas ....................................................................................6 Contraste ANOVA ........................................................................................6
3. 4. 5. 6.
TABLA ANOVA ...................................................................................................8 ANLISIS DE LA DIFERENCIA ENTRE LAS MEDIAS .................................... 11 PROCEDIMIENTO DE APLICACIN ............................................................... 11 EJERCICIOS..................................................................................................... 22 6.1. Estudio de durabilidad de alfombras .......................................................... 22
1.
COMPARACIN DE MEDIAS
Supongamos que se estn evaluando las caractersticas de calidad de los productos de tres proveedores. Para ello se han realizado los ensayos cuyos resultados se recogen en la Tabla 1. Si la escala de medida de la calidad es tal que cuanto mayor sea su valor, mejor es su calidad qu proveedor suministra productos con mayor calidad? Prov. A 104,04 98,18 105,84 105,11 99,73 102,58 Prov. B 99,81 94,15 99,53 100,69 96,73 98,18 Prov. C 111,65 110,04 108,29 108,00 106,59 108,91 103,23
Tabla 1: Comparacin de proveedores
Si se representan estos valores en la Figura 1, podra concluirse que los productos fabricados por el proveedor C tienen mejor calidad que los de A y B. Sin embargo, la comparacin entre A y B no es tan concluyente aunque parece que los productos de A son algo mejores que los de B. Resulta pues necesario objetivar este anlisis.
Qu proveedor es mejor?
92
94
96
98
100
102
104
106
108
110
112
A B C
Figura 1 Qu proveedor es mejor?
Qu razonamiento se ha seguido para sacar esta conclusin sobre la calidad de los productos de los proveedores A, B y C? En el caso de C se ha visto que cualquiera de sus muestras es superior a cualquiera de las de A B, de modo que la conclusin es inmediata. Sin embargo, en el caso de la comparacin entre A y B, los resultados estn mezclados, es decir que la variabilidad de los elementos de la misma muestra A B no es mucho menor que la variabilidad global de las muestras A B consideradas como un conjunto. Utilizando los conocimientos estadsticos adquiridos en captulos anteriores, podran compararse las muestras dos a dos con el contraste de la t de Student, pero esto no resulta muy prctico en problemas reales. La herramienta estadstica que sirve para resolver el problema de comparar ms de dos medias es el ANLISIS DE LA VARIANZA, que se llama as precisamente porque compara la variabilidad de las medias muestrales (a travs de la varianza muestral) con la variabilidad de los elementos dentro de la muestra. El ANLISIS DE LA VARIANZA permite tambin descomponer la variabilidad total en componentes independientes que puedan asignarse a causas distintas (ver Tabla 2. Volviendo al caso de los proveedores, si realizando un ANLISIS DE LA VARIANZA se puede concluir que las diferencias entre las medias de alguno de ellos es estadsticamente significativa, entonces se puede afirmar que el proveedor
Mdulo 4 .Versin Septiembre 2005 Pgina - 4 -
en cuestin suministra una calidad distinta; por el contrario, si las diferencias no son estadsticamente significativas, no se puede concluir lo anterior, siendo las fluctuaciones de los datos muestrales entre proveedores nicamente debidas al azar.
FACTOR VARIABILIDAD DEBIDA A LA MQUINA VARIABILIDAD DEBIDA A LA MATERIA PRIMA VARIABILIDAD DEBIDA A LOS TURNOS VARIABILIDAD CAUSAS COMUNES TOTAL 40% 25% 20% 15% 100%
2.
Los valores de las caractersticas de calidad de las piezas de cada proveedor tendrn una variabilidad entorno a un valor medio. Si representamos como yij al valor de la muestra j del proveedor i:
yij = i + uij
El problema a resolver cul de las dos situaciones siguientes es la que explican mejor los datos: Todos los proveedores son iguales, es decir tienen la misma media 1= 2 =3 La media de alguno de los proveedores es diferente a la de los dems.
2.2.
Hiptesis requeridas
Para que se pueda aplicar el ANLISIS DE LA VARIANZA es preciso que se cumplan estas tres hiptesis: Los datos han de ser independientes. Para asegurar esto, las muestras cuyas medias se desea comparar han de extraerse de manera aleatoria. Las poblaciones base de donde proceden las muestras han de ser normales. Las poblaciones base de donde proceden las muestras han de tener misma varianza (heterocedsticidad). la
Estas hiptesis implican que las perturbaciones se distribuyan segn una N(0, 2). 2.3. Contraste ANOVA
Podremos estimar la varianza de la poblacin 2 a travs de los siguientes estimadores: Estimar la varianza de la poblacin 2 a travs de la varianza de cada una de las muestras. Esta estimacin se hace ponderando las varianzas muestrales. Si k es el nmero de muestras (en adelante denominaremos a cada muestra tratamiento, ni es el tamao de la muestra correspondiente a tratamiento i-simo y N es el nmero total de datos disponible en las distintas muestras, el estimador denominado varianza residual se define:
2 2 = sR =
k i
(n 1)
i i
N k
Estimar la varianza de la poblacin 2 suponiendo que los tratamientos no tienen ningn efecto (es decir que todos tienen la misma media). En
Mdulo 4 .Versin Septiembre 2005 Pgina - 6 -
2 $ 2 = sT =
n (y
k i i
y)
k 1
De este modo, si se verifican la hiptesis de que los tratamientos no tienen ningn efecto, ambas estimaciones no podrn diferir mucho. En efecto, si la hiptesis es cierta, el estadstico cociente de ambas varianzas muestrales se distribuye segn una F. Es decir: 2 sT 2 Fk 1, n k sR La metodologa para realizar el ANLISIS DE LA VARIANZA puede resumirse como sigue: Fijar el nivel de significacin para el contraste, por ejemplo =95%. Establecer el contraste de hiptesis: H0: Los tratamientos son todos iguales: 1=2=3==k. H1: Alguno de los tratamientos es diferente. Calcular los estimadores sR2 y sT2.
2 sT Calcular el valor del estadstico 2 sR
2 sT 2 < Fk 1,n k La diferencia entre los tratamientos no es estadsticamente sR significativa con un nivel de significacin .
3.
TABLA ANOVA
ST k 1
Si SD es la suma de los cuadrados con respecto a la media global, el estadstico sD2 es tambin un estimado de 2 si se cumplen las hiptesis de igualdad de medias:
2 sD =
(y
k ni i j
ij
N 1
SD N 1
SD = SR + ST
En cuanto a los grados de libertad: D = R + T , es decir N 1 = ( N k ) + ( k 1) SD se denomina tambin suma corregida de cuadrados y se calcula fcilmente mediante la siguiente ecuacin:
SD =
ni 2 ij
y
i =1 j =1
Ny 2
En general lo ms cmodo es calcular SD y ST, calculando SR por diferencia. Es costumbre presentar el ANLISIS DE LA VARIANZA en forma de tabla: FUENTE DE VARIACIN
ENTRE TRATAMIENT OS (VE) DENTRO DE TRATAMIENT OS (VNE) TOTAL EN RELACIN A LA MEDIA GENERAL (VT)
Tabla 3 ANLISIS DE LA VARIANZA DE 1 FACTOR
SUMA DE CUADRADOS
GRADOS DE LIBERTAD
2
CUADRADO MEDIO
2 sT =
CONTRA STE
2 sT 2 sR
ST =
n (y
k i i k ni
ti
T = k 1
ST k 1
SR = yij yi
i j
R = N k
2 sR =
SR N k
SD =
ni 2 ij
y
i =1 j =1
Ny 2
D = N 1
2 sD =
SD N 1
A esta tabla se le suele denominar tabla ANOVA, (del ingls Analysis of Variance). De amera anloga al anlisis de regresin, al cociente de la variabilidad explicada por los tratamientos respectos de la variabilidad total, se denomina coeficiente de determinacin:
R2 = VE S T = VT S D
Suma de
g. de l. Cuadrado
Mdulo 4 .Versin Septiembre 2005 Pgina - 9 -
Entre trat. Dentro trat. Suma corregida ST2/SR2= F2,12(0,95)= 19,16 3,8853
2 12 14
Medio 146 8 27
Como 19,16 > 3,88 se rechaza la hiptesis de que todos los proveedores son iguales. No obstante, para poder dar por bueno el resultado es preciso comprobar que se satisfacen las hiptesis de partida. Para ello se realiza un anlisis de los residuos (ver Figura 2) sin que se aprecie en l ningn aspecto que haga dudar de la normalidad de sus distribucin.
GRFICO DE RESIDUOS
4 3 2 1 RESIDUO 0 -1 -2 -3 -4 -5 PRO VEEDO R
4.
El anlisis de la varianza nos indica si alguno de los proveedores es distinto, pero no indica cual es. Para resolver esto se puede hacer lo siguiente: 1. Construir una distribucin de referencia con la t de Student para cada uno de los proveedores para ver si solapa o no a los otros. 2. Contrastar las diferencias de las medias de todos los pares posibles de medias utilizando la distribucin de Student. Esto presenta el inconveniente de que si cuantos ms niveles se analicen (proveedores distintos, en este caso) la probabilidad de cometer un error de tipo I aumenta . En efecto, si el nivel de confianza es 0,95 y tenemos 3 proveedores, el nmero de comparaciones es 3; entonces la probabilidad de concluir que un grupo es diferente sin que lo sea es 1-0.953= 0,143. 3. Mtodo de Bonferroni. Es til cuando el nmero de grupos es grande porque corrige en parte el efecto anterior. 4. Realizar comparaciones mltiples. Proporciona intervalos de confianza para las diferencias de las medias de todos los pares de grupos. Los ms utilizados son: a. Dunnet. Se utiliza cuando se toma uno de los grupos como referencia. b. MCB (Multiple Comparation with the Best) de Hsu. Compara con el grupo bueno (el ms alto o el ms bajo. c. Fisher LSD (least significant difference) d. Tukey.
5.
PROCEDIMIENTO DE APLICACIN
En general, el procedimiento de aplicacin del anlisis de la varianza consta de los siguientes pasos (ver esquema en Figura 3). Representacin de los datos
Como en la mayor parte de los procedimientos estadsticos debe comenzarse por representar grficamente los datos. Si el nmero de datos por grupo es menor que 10, se recomienda emplear el diagrama de puntos; si es superior a 10 se recomiendan histogramas o diagramas de caja. En esta representacin deben buscarse valores atpicos. Si estos valores atpicos no se deben a un error o una causa subsanable (por ejemplo, error de transcripcin de datos) debe pensarse en la necesidad de transformar los datos para que cumplan las hiptesis de normalidad. En la Tabla 5 se dan algunas indicaciones de transformaciones recomendadas. De manera general se pueden emplear las transformaciones de Box Cox.
Relacin mediavarianza
Transformacin estabilizadora de la varianza Inversa Inversa de la raz cuadrada Logaritmo Raz cuadrada
2 1,5
-1 1/2 0
0,5 const
No se transforma
Si los datos proceden de un fenmeno de tipo binomial, por ejemplo porcentaje de unidades rechazadas, la transformacin adecuada es y = arcsin(p). Si proceden de un fenmeno de tipo Poisson, por ejemplo nmero de defectos, la transformacin adecuada es y = c. Construccin de la tabla ANOVA y realizacin del contraste Esto puede completarse con la construccin de intervalos de confianza para las medias de cada grupo y los contraste mltiples.
Mdulo 4 .Versin Septiembre 2005 Pgina - 12 -
Validacin de las hiptesis Es muy importante tener en cuenta en todo momento que la validez de las conclusiones est supeditada a que las hiptesis realizadas sean ciertas. Estas comprobaciones pueden hacerse analizando los residuos, es decir las diferencias que existen entre lo explicado por el modelo y los valores obtenidos.
y ij = y i + eij
Por lo tanto es preciso realizar las siguientes comprobaciones:
Independencia de los datos. En caso de que los datos se hayan producido segn patrones temporales, etc. se deben representar los residuos en la secuencia que se obtuvieron y no deben observarse tendencias, rachas, etc. distribuirse
Normalidad de las perturbaciones. Los residuos deben normalmente. Debe representarse en un papel probabilstico.
Heterocedasticidad. Se representan los residuos por grupos tener una dispersin parecida. Ver por ejemplo la Figura 2. Si el nmero de datos es al mismo para todos los grupos, el ANOVA es bastante robusto frente a esta hiptesis.
DIAGRAMA DE PUNTOS
<10
>10 HISTOGRAMA
S ATPICOS?
SE PUEDEN ELIM.? S
No
TRANSF. DATOS
No
IC PARA LA MEDIA
MEDIAS IGUALES?
No
CONTRASTES MLTIPLES
No OK?
S FIN
EJEMPLO 1.
COMPARACIN DE TERMMETROS
Se est realizando una comparacin de cuatro termmetros. Con cada uno de ellos se ha realizado tres ensayos de medida del punto de fusin de un compuesto qumico. Los datos obtenidos son los de la tabla siguiente:
TERMMETRO A TERMMETRO B TERMMETRO C TERMMETRO D 174,0 173,0 171,5 173,5 173,0 172,0 171,0 171,0 173,5 173,0 173,0 172,5
Representacin de los datos Como solo se dispone de 3 datos por termmetro, se representar un diagrama de puntos. APLICACIN MINITAB Minitab dispone de la opcin Graf->DotPlot. Se obtiene:
COMPARACIN DE TERMMETRO
DIAGRAMA DE PUNTOS
171,0
171,5
172,0
172,5 Temp.
173,0
173,5
174,0
A B C D
En este diagrama no se observan diferencias entre termmetros. Si se calculan los estadsticos, los datos anteriores podran encajar en una normal de media 172,58 oC y desviacin 0,996 oC.
N 12
N* 0
Mean 172,58
SE Mean 0,288
StDev 0,996
Minimum 171,00
Q1 171,63
Median 173,00
Q3 173,38
Maximum 174,00
Minitab dispone de la opcin Stat->ANOVA->One Way. Se obtiene la salida siguiente (ver comentarios de interprectacin en maysculas:
One-way ANOVA: Temp. versus TERMMETRO
Source TERMMETRO Error Total S = 0,9014 DF 3 8 11 SS 4,417 6,500 10,917 MS 1,472 0,812 F 1,81 P 0,223
R-Sq = 40,46%
R-Sq(adj) = 18,13%
P= 0,223 LUEGO NO SE PUEDE RECHAZAR LA IGUALDAD DE NINGN TERMMETRO Individual 95% CIs For Mean Based on Pooled StDev --------+---------+---------+---------+(---------*---------) (---------*---------) (---------*---------) (---------*---------) --------+---------+---------+---------+171,6 172,8 174,0 175,2
A B C D
N 3 3 3 3
Pooled StDev = 0,901 LOS INTERVALOS DE CONFIANZA ESTN TODOS SOLAPADOS. ES COHERENTE CON LO ANTERIOR
Tukey 95% Simultaneous Confidence Intervals All Pairwise Comparisons among Levels of TERMMETRO Individual confidence level = 98,74%
TERMMETRO = TERMMETRO A subtracted from: TERMMETRO TERMMETRO B TERMMETRO C TERMMETRO D TERMMETRO TERMMETRO B TERMMETRO C TERMMETRO D Lower -3,1908 -4,0242 -3,5242 Center -0,8333 -1,6667 -1,1667 Upper 1,5242 0,6908 1,1908
TERMMETRO = TERMMETRO B subtracted from: TERMMETRO TERMMETRO C TERMMETRO D TERMMETRO TERMMETRO C TERMMETRO D Lower -3,1908 -2,6908 Center -0,8333 -0,3333 Upper 1,5242 2,0242
TERMMETRO = TERMMETRO C subtracted from: TERMMETRO TERMMETRO D TERMMETRO TERMMETRO D Lower -1,8575 Center 0,5000 Upper 2,8575
EN EL TEST DE TUKEY LOS INTERVALOS DE CONFIANZA DE LAS DIFERENCIAS ENTRE TERMMETROS ESTN TODOS SOLAPADOS. ES COHERENTE CON LO ANTERIOR
Fisher 95% Individual Confidence Intervals All Pairwise Comparisons among Levels of TERMMETRO Simultaneous confidence level = 82,43%
TERMMETRO = TERMMETRO A subtracted from: TERMMETRO TERMMETRO B TERMMETRO C TERMMETRO D TERMMETRO TERMMETRO B TERMMETRO C TERMMETRO D Lower -2,5305 -3,3638 -2,8638 Center -0,8333 -1,6667 -1,1667 Upper 0,8638 0,0305 0,5305
TERMMETRO = TERMMETRO B subtracted from: TERMMETRO TERMMETRO C TERMMETRO D Lower -2,5305 -2,0305 Center -0,8333 -0,3333 Upper 0,8638 1,3638
TERMMETRO = TERMMETRO C subtracted from: TERMMETRO TERMMETRO D TERMMETRO TERMMETRO D Lower -1,1972 Center 0,5000 Upper 2,1972
EN EL TEST DE FISHER LOS INTERVALOS DE CONFIANZA DE LAS DIFERENCIAS ENTRE TERMMETROS ESTN TODOS SOLAPADOS. ES COHERENTE CON LO ANTERIOR
Validacin de las hiptesis Independencia de los datos No se conoce en el orden en el que se han tomado los datos, por lo que no se puede estudiar esta tendencia. En la Figura 5 se ha representado el residuo en funcin de la temperatura, sin que se aprecien tendencias. Normalidad de las perturbaciones En la Figura 6 puede verse la normalidad de los residuos. Heterocedasticidad En la Figura 7 se aprecia que en los termmetros C Y D los datos estn algo ms dispersos. No obstante solo son tres datos y adems al tener el mismo nmero de datos por termmetro, no se considera importante esta indicacin.
COMPARACIN DE TERMMETROS
ANLISIS DE LOS RESIDUOS
1,0
0,5 RESI1
0,0
-0,5
-1,0
95 90 80
Percent
70 60 50 40 30 20 10 5
-3
-2
-1
0 RESI1
Tras este anlisis de residuos quedan validadas las hiptesis y las conclusiones del estudio.
6.
EJERCICIOS
6.1. Estudio de durabilidad de alfombras
Con los datos del fichero Exh_aov.MTW, estudie si alguno de los cuatro tipos de alfombras tiene mayor durabilidad.