Tese doutACB

Ana Cristina da Silva Braga
CURVAS ROC: ASPECTOS FUNCIONAIS E APLICACOES
Universidade do Minho Braga, Dezembro de 2000
Ana Cristina da Silva Braga
CURVAS ROC: ASPECTOS FUNCIONAIS E APLICACOES
Dissertao submetida a Universidade do Minho ca ` para obteno do grau de doutor ca no Ramo de Engenharia de Produo e Sistemas, ca Area de Mtodos Numricos e Estat e e sticos
Universidade do Minho Braga, Dezembro de 2000
Para chegar a realidade, uma ideia comea por ` c se apoderar de espritos fervorosos e escraviza-os; a partir desse momento, eles pertencem-lhe e no a vm diante de si se no o objectivo a atingir. e a Por vezes, esse objectivo parece intangvel: quanto mais nos adiantamos, mais ele nos parece distante. Mas que importa? Os escravos de uma ideia so incapazes de desaa nimar. Marie Curie
Esta dissertao dedicada com todo o carinho ca e aos meus pais e irm a ao Carlos e a Catarina `
Contedo u
Agradecimentos Resumo Abstract 1 Introduo ca 1.1 1.2 1.3 Motivao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ca Objectivos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Estrutura da dissertao . . . . . . . . . . . . . . . . . . . . . ca xiv xvi xix 1 1 5 6 8 8
2 Teoria da Anlise ROC a 2.1 2.2 2.3 2.4 2.5 Perspectiva Histrica . . . . . . . . . . . . . . . . . . . . . . . o
Teoria Estat stica . . . . . . . . . . . . . . . . . . . . . . . . . 11 Teoria de Deteco de Sinal . . . . . . . . . . . . . . . . . . . 18 ca Anlise ROC . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 a Anlise de diagnstico . . . . . . . . . . . . . . . . . . . . . . 25 a o 2.5.1 Problema em estudo . . . . . . . . . . . . . . . . . . . 25
2.6
Curvas ROC . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 2.6.1 2.6.2 Plano Unitrio . . . . . . . . . . . . . . . . . . . . . . 29 a Plano binormal . . . . . . . . . . . . . . . . . . . . . . 31
CONTEUDO 2.6.3 2.6.4
ii Indices de preciso das curvas ROC . . . . . . . . . . . 35 a Area abaixo da curva ROC . . . . . . . . . . . . . . . . 36 38
3 Estado da Arte 3.1
Reviso bibliogrca . . . . . . . . . . . . . . . . . . . . . . . 38 a a 55
4 Principais contributos 4.1 Relao entre a area abaixo da curva ROC e a area do Grco ca a
de Ordenao Dominada . . . . . . . . . . . . . . . . . . . . . 55 ca 4.2 4.3 4.4 4.5 Procedimento de resposta sim-no . . . . . . . . . . . . . . 63 a Procedimento de classicao . . . . . . . . . . . . . . . . . 66 ca Procedimento de escolha forada dupla (2AFC) . . . . . . . 66 c Teoria de deteco de sinal - relao entre o procedimento de ca ca escolha forada dupla e as curvas ROC . . . . . . . . . . . . . 67 c 4.6 4.7 4.8 Anlise de diagnstico e a curva ROC . . . . . . . . . . . . . . 72 a o Relao entre o procedimento 2AFC e a anlise de diagnstico 80 ca a o Relao entre a area abaixo da curva ROC e a estatstica de ca Wilcoxon-Mann-Whitney . . . . . . . . . . . . . . . . . . . . . 81 4.9 Distncia perpendicular no plano binormal . . . . . . . . . . . 83 a
4.10 Comparao atravs de Curvas ROC . . . . . . . . . . . . . . 87 ca e 4.10.1 Amostras Independentes . . . . . . . . . . . . . . . . . 88 4.10.2 Amostras correlacionadas 5 Anlise da curva ROC a 5.1 Relao entre as funes densidade de probabilidade associaca co das aos dados e a forma da curva ROC . . . . . . . . . . . . . 99 5.1.1 5.1.2 Funes densidade de probabilidade Normais . . . . . . 101 co Funo densidade de probabilidade Log ca stica de igual varincia . . . . . . . . . . . . . . . . . . . . . . . . . . 110 a . . . . . . . . . . . . . . . . 92 99
CONTEUDO 5.1.3 Funes densidade de probabilidade Exponenciais neco
iii
gativas . . . . . . . . . . . . . . . . . . . . . . . . . . . 112 5.1.4 Funes densidade de probabilidade Uniformes num inco tervalo (a, b) . . . . . . . . . . . . . . . . . . . . . . . . 115 5.2 Clculo do valor de area abaixo da curva ROC . . . . . . . . . 118 a 5.2.1 5.2.2 Funes densidade de probabilidade Normais . . . . . . 118 co Funes densidade de probabilidade Log co stica de igual varincia . . . . . . . . . . . . . . . . . . . . . . . . . . 120 a 5.2.3 Funes densidade de probabilidade Exponenciais neco gativas . . . . . . . . . . . . . . . . . . . . . . . . . . . 121 5.2.4 Funes densidade de probabilidade Uniformes num inco tervalo (a, b) . . . . . . . . . . . . . . . . . . . . . . . . 122 5.3 Relao entre o valor de area abaixo da curva ROC e a districa buio associada aos dados . . . . . . . . . . . . . . . . . . . . 123 ca 5.3.1 5.3.2 5.4 Distribuies normais . . . . . . . . . . . . . . . . . . . 123 co Distribuies Exponenciais negativas . . . . . . . . . . 126 co
Discusso . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129 a 131
6 Aplicaes co 6.1 A avaliao do risco de morte em recm-nascidos de muito ca e
baixo peso - amostras relacionadas . . . . . . . . . . . . . . . 132 6.1.1 6.1.2 6.1.3 6.1.4 6.2 Testes de hipteses . . . . . . . . . . . . . . . . . . . . 133 o Descrio dos Dados . . . . . . . . . . . . . . . . . . . 134 ca Resultados . . . . . . . . . . . . . . . . . . . . . . . . . 134 Discusso dos resultados . . . . . . . . . . . . . . . . . 140 a
A Idade Gestacional como medida de prognstico: anlise atravs das curvas ROC para amostras o a e relacionadas . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
CONTEUDO 6.2.1 6.2.2 6.2.3 6.3 Descrio dos dados ca
iv . . . . . . . . . . . . . . . . . . . 144
Resultados . . . . . . . . . . . . . . . . . . . . . . . . . 144 Discusso dos resultados . . . . . . . . . . . . . . . . . 150 a
Comparao de unidades de cuidados intensivos neonatais ca amostras independentes. . . . . . . . . . . . . . . . . . . . . . 151 6.3.1 6.3.2 6.3.3 6.3.4 Metodologia . . . . . . . . . . . . . . . . . . . . . . . . 152 Descrio dos dados ca . . . . . . . . . . . . . . . . . . . 159
Resultados Experimentais . . . . . . . . . . . . . . . . 159 Discusso dos resultados . . . . . . . . . . . . . . . . . 167 a 169
7 Programas para o estudo da curva ROC 7.1 7.2 7.3 7.4 7.5 7.6 7.7 7.8 7.9
ROCFIT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170 LABROC1 e LABROC4 . . . . . . . . . . . . . . . . . . . . . 170 INDROC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170 CORROC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171 CORROC2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172 CLABROC . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173 ROCPWRPC . . . . . . . . . . . . . . . . . . . . . . . . . . . 174 LABMRMC . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176 ROCKIT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177
7.10 AccuROC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179 7.11 Outros . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180 8 Novo programa - ROCNPA 8.1 8.2 181
Motivao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181 ca Requisitos do ROCNPA . . . . . . . . . . . . . . . . . . . . . 182 8.2.1 8.2.2 Requisitos do sistema . . . . . . . . . . . . . . . . . . . 182 Notas . . . . . . . . . . . . . . . . . . . . . . . . . . . 182
CONTEUDO 8.3 8.4
Linguagem JAVA . . . . . . . . . . . . . . . . . . . . . . . . . 183 Descrio do ROCNPA . . . . . . . . . . . . . . . . . . . . . . 185 ca 8.4.1 8.4.2 8.4.3 Introduo dos dados . . . . . . . . . . . . . . . . . . . 185 ca Anlise atravs de uma curva ROC . . . . . . . . . . . 190 a e Comparao de duas ou mais curvas ROC . . . . . . . 192 ca
8.5
Comparao de programas para a curva ROC . . . . . . . . . 193 ca 8.5.1 8.5.2 Anlise de um conjunto de dados . . . . . . . . . . . . 193 a Anlise de dois ou mais conjuntos de dados correlacioa nados . . . . . . . . . . . . . . . . . . . . . . . . . . . 197 8.5.3 Anlise de dois ou mais conjuntos de dados independentes199 a
8.6
Discusso e concluso . . . . . . . . . . . . . . . . . . . . . . . 200 a a 202 208 213
Concluso a A Determinao das EMV ca B Teste de Wilcoxon-Mann-Whitney
B.1 Hipteses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214 o B.2 Mtodo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215 e B.3 Amostras de dimenso reduzida . . . . . . . . . . . . . . . . . 216 a B.4 Amostras de grande dimenso . . . . . . . . . . . . . . . . . . 218 a B.5 Observaes Repetidas . . . . . . . . . . . . . . . . . . . . . . 219 co B.6 Potncia de teste . . . . . . . . . . . . . . . . . . . . . . . . . 220 e C Listagem de resultados obtidos nas comparaoes de prograc mas para anlise ROC a 221
C.1 ROCKIT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221 C.2 SPSS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228
CONTEUDO Bibliograa
vi 232
Lista de Figuras
2.1 Um exemplo do modelo de reconhecimento de Thurstone para representar a deteco. . . . . . . . . . . . . . . . . . . . . . . 10 ca 2.2 2.3 Distribuies de duas populaes. . . . . . . . . . . . . . . . . 11 co co Representao de curvas caracter ca sticas de operao. ca . . . . . 13
2.4 Arvore de probabilidades que descreve o comportamento de um observador, no procedimento fundamental de deteco. . . 20 ca 2.5 Sistema de coordenadas num quadrado unitrio, utilizado para a representao de uma ROC. . . . . . . . . . . . . . . . . . . . 24 ca 2.6 2.7 Sobreposio de duas distribuies hipotticas. . . . . . . . . . 26 ca co e Curva ROC, para uma dada capacidade de discriminao, com ca a variao do critrio de deciso. . . . . . . . . . . . . . . . . . 30 ca e a 2.8 Curvas ROC representativas de trs graus de capacidade de e discriminao. . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 ca 2.9 Curva ROC no plano binormal. . . . . . . . . . . . . . . . . . 32
2.10 Funes de densidade de probabilidade Gaussianas, para os co casos designados normais (N) e para os casos designados anormais (A). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 4.1 Grco de Ordenao Dominada (OD) de uma populao. . . 56 a ca ca
4.2 Area acima do grco OD, para X e Y cont a nuas. . . . . . . . 58
vii
LISTA DE FIGURAS
viii
4.3 Area acima do grco OD, para X e Y discretas nitas. . . . . 59 a 4.4 4.5 4.6 Um exemplo de curva ROC. . . . . . . . . . . . . . . . . . . . 62 Acontecimentos numa experincia de procedimento sim-no. 63 e a Acontecimentos numa experincia de procedimento escolha e forada dupla (2AF C). . . . . . . . . . . . . . . . . . . . . . 67 c 4.7 4.8 Distribuies hipotticas para o rudo e para sinal+rudo. . . . 69 co e Relao entre a percentagem de respostas correctas na 2AF C ca e a area abaixo da curva ROC no procedimento sim-no. . . . 71 a 4.9 Relao da area abaixo da curva ROC com a distncia na ca a perpendicular no plano binormal. . . . . . . . . . . . . . . . . 86 4.10 Exemplo esquemtico do modelo bivariado. . . . . . . . . . . . 93 a 5.1
Representao das curvas ROC para distribuies Normais de igual varincia ca co a no plano ROC.
. . . . . . . . . . . . . . . . . . . . . . . . . . . 105
ca co a 5.2 Representao das curvas ROC para distribuies Normais de igual varincia no plano binormal. . . . . . . . . . . . . . . . . . . . . . . . . . . 105 ca co 5.3 Sobreposio de 2 distribuies para o caso a).
. . . . . . . . . . . . 107 . . . . . . . . . . . . 107
5.4 Sobreposio de 2 distribuies para o caso b). ca co
ca ca 5.5 Representao da curva ROC para a situao descrita em a), no plano ROC. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
5.6 Representao da curva ROC para a situao descrita em a), no plano ca ca

binormal. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108 ca ca 5.7 Representao da curva ROC para a situao descrita em b), no plano ROC. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109 ca ca 5.8 Representao da curva ROC para a situao descrita em b), no plano binormal. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109 ca co sticas de igual 5.9 Representao das curvas ROC para distribuies Log varincia no plano ROC. . . . . . . . . . . . . . . . . . . . . . . . 112 a
LISTA DE FIGURAS 5.10 Representao das curvas ROC para distribuies Log ca co sticas de igual
ix
varincia no plano binormal. . . . . . . . . . . . . . . . . . . . . . 113 a
5.11 Representao das curvas ROC para distribuies Exponenciais negativas ca co

no plano ROC.
. . . . . . . . . . . . . . . . . . . . . . . . . . . 114
5.12 Representao das curvas ROC para distribuies Exponenciais negativas ca co

no plano binormal. . . . . . . . . . . . . . . . . . . . . . . . . . . 115 ca co 5.13 Representao das curvas ROC para distribuies Uniformes no plano ROC. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117 ca co 5.14 Representao das curvas ROC para distribuies Uniformes no plano binormal. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
5.15 Sobreposio de duas funes densidade de probabilidade Exponenciais ca co

negativas com diferentes parmetros . a
. . . . . . . . . . . . . . . . 127
6.1 Distribuio de frequncias para os recm-nascidos de baixo peso que ca e e

faleceram e para os que sobreviveram em relao ao CRIB. . . . . . . . 135 ca

faleceram e para os que sobreviveram em relao ao SNAP. . . . . . . . 135 ca

faleceram e para os que sobreviveram em relao ao SNAP-PE. . . . . . 136 ca ca e e 6.4 Distribuio de frequncias para os recm-nascidos de baixo peso que faleceram e para os que sobreviveram em relao ao NTISS. ca
. . . . . . 136
ca e e 6.5 Distribuio de frequncias para os recm-nascidos de baixo peso que faleceram e para os que sobreviveram em relao ao PESOAG. . . . . . 137 ca
6.6
Grco das curvas ROC para os 5 a ndices. . . . . . . . . . . . 139
6.7 Distribuio de frequncias para os bebs que faleceram e para os que ca e e

sobreviveram em funo da IGO, considerando todos os bebs. . . . . . 145 ca e ca e e 6.8 Distribuio de frequncias para os bebs que faleceram e para os que sobreviveram em funo da IGN, considerando todos os bebs. . . . . . 145 ca e
LISTA DE FIGURAS 6.9 Distribuio de frequncias para os bebs que faleceram e para os que ca e e
sobreviveram em funo da IGO (peso < 1500 g). . . . . . . . . . . . 146 ca
6.10 Distribuio de frequncias para os bebs que faleceram e para os que ca e e

sobreviveram em funo da IGN (peso < 1500 g). . . . . . . . . . . . 147 ca
6.11 Curvas ROC para a IGO e para a IGN considerando todos os bebs. . . 148 e 6.12 Curvas ROC para a IGO e para a IGN considerando os bebs com peso e
inferior a 1500 g. . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
6.13 Distribuio de frequncias segundo o CRIB, para os recm-nascidos de ca e e

muito baixo peso que faleceram e para os que sobreviveram, para o hospital 1.
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162
ca e e 6.16 Distribuio de frequncias segundo o CRIB, para os recm-nascidos de muito baixo peso que faleceram e para os que sobreviveram, para o hospital 4.
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162
6.17 Curvas ROC para os 4 hospitais. . . . . . . . . . . . . . . . . . . . 165 6.18 Curvas ROC para as 3 sequelas. 8.1 8.2 8.3 8.4 8.5 . . . . . . . . . . . . . . . . . . . 166
Janela do ROCNPA para abrir ou criar um cheiro de dados. . 187 Janela de dilogo para caracterizao da amostra. . . . . . . . 187 a ca Janela de dilogo para a denio dos nomes das variveis. . . 188 a ca a Denio das escalas. . . . . . . . . . . . . . . . . . . . . . . . 188 ca Caracterizao do resultado. . . . . . . . . . . . . . . . . . . . 189 ca
LISTA DE FIGURAS 8.6 Janela de dados no ROCNPA para um conjunto de quatro
xi
variveis independentes. . . . . . . . . . . . . . . . . . . . . . 190 a 8.7 Janela de grcos produzidos no estudo de um unico conjunto de dados. 192 a 8.8 Comparao das curvas ROC ajustadas produzidas pelo SPSS ca e pelo ROCKIT. . . . . . . . . . . . . . . . . . . . . . . . . . 197
Lista de Tabelas
2.1 2.2 Tabela de contingncia 2x2 na teoria de deteco de sinal . . . 21 e ca Tabela de contingncia 2 2 correspondente a um ponto no e espao ROC. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 c 5.1 5.2 Comparao de areas abaixo da curva ROC . . . . . . . . . . 119 ca Comparao de areas abaixo da curva ROC para funes denca co sidade de probabilidade Normais com varincias diferentes. a 5.3 Comparao de areas abaixo da curva ROC para funes denca co sidade de probabilidade Log sticas com a mesma varincia. a 5.4 Comparao de areas abaixo da curva ROC para funes denca co sidade de probabilidade Exponenciais negativas. 5.5 . . . . . . . 121 . 120 . 119
Comparao de areas abaixo da curva ROC para funes denca co sidade de probabilidade Uniformes num intervalo (a,b). . . . 122
5.6 5.7 5.8 5.9
Resultados para a Normal com nA = nN = 50 . . . . . . . . . 124 Resultados para a Normal com nA = nN = 100 . . . . . . . . . 124 Resultados para a Normal com nA = nN = 500 . . . . . . . . . 125 Resultados para as situaes descritas . . . . . . . . . . . . . . 126 co . 127
5.10 Resultados para a Exponencial negativa com nA = nN = 50
5.11 Resultados para a Exponencial negativa com nA = nN = 100 . 128 5.12 Resultados para a Exponencial negativa com nA = nN = 500 . 128 xii
LISTA DE TABELAS 6.1 Valores de A e SE(A) para os diferentes ndices na previso a de falecimento para os recm-nascidos de muito baixo peso. e 6.2 Matrizes de correlao para os recm-nascidos falecidos (rA ) , ca e e para os recm-nascidos sobrevivos (rN ). e 6.3
xiii
. 138
. . . . . . . . . . . 140
Matrizes de correlao determinadas pela metodologia de ca DeLong e de Hanley e McNeil. . . . . . . . . . . . . . . . . . . 140
6.4
Valores de prova para os testes de comparao mltipla entre ca u os diferentes ndices, pela metodologia de DeLong e de Hanley e McNeil. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
6.5
Valores de A e SE(A) para todos os bebs e para aqueles com e peso abaixo de 1500 g. . . . . . . . . . . . . . . . . . . . . . . 147
6.6 6.7
Descrio das variveis em estudo . . . . . . . . . . . . . . . . 160 ca a Valores de A e SE(A) para os diferentes hospitais na previso a do falecimento segundo a escala do CRIB, para recm-nascidos e de muito baixo peso (< 1500 g). . . . . . . . . . . . . . . . . . 163
6.8
Valores de A e SE(A) para as diferentes sequelas segundo a escala do CRIB. . . . . . . . . . . . . . . . . . . . . . . . . . . 164
6.9
Modelos de regresso log a stica univariados, com a covarivel a CRIBAG para as 3 sequelas. . . . . . . . . . . . . . . . . . . . 165
6.10 Testes de comparao mltipla entre os diferentes hospitais. . 166 ca u 8.1 Resumo dos valores obtidos para o ndice rea abaixo da curva a ROC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196 8.2 Resumo dos valores obtidos para o ndice rea abaixo da curva a ROC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198 8.3 Resumo dos testes de comparao para IGN e IGO. . . . . . . 199 ca
Agradecimentos
No decorrer deste trabalho, que comeou em 1996, tive oportunidade de c poder contar com o apoio de diversas pessoas, que atravs da conana em e c mim depositada e do tempo que me dedicaram, me foram dando fora para c continuar. Quero agradecer em especial ao Prof. Pedro Oliveira, meu orientador cient co neste trabalho, que me motivou para o desenvolvimento do tema e com o seu prossionalismo e amizade me guiou no decorrer deste. Agradeo tambm, c e ao Marco Leal, pela sua colaborao no desenvolvimento do ROCNPA; ca ao Dr. Antnio Gomes da Unidade de Cuidados Intensivos do Hospital o Garcia de Orta, de Almada, e a Dra Sameiro Carvalho da Unidade de ` Cuidados Intensivos do Hospital Maria Pia, no Porto, pela cedncia de e dados e pela sensibilidade que conseguiram transmitir para o tipo de problema que enfrentam; a todo pessoal do Grupo disciplinar de Engenharia de Sistemas e Produo ca Industrial do Departamento de Produo e Sistemas, da Escola de Enca genharia, da Universidade do Minho pelo apoio que me deram e pelo seu esp rito de camaradagem sempre presente;
xiv
xv ao Prof. Charles E. Metz da Universidade de Chicago, pela disponibilizao de alguns dos seus trabalhos, e dos programas desenvolvidos ca pela sua equipa; ao Carlos e a Catarina, por me aturarem. ` Uma ultima palavra para referir que os trabalhos de investigao apresen ca tados nesta dissertao foram suportados pelo programa PRODEP, concurso ca no 1/96 - PRODEP II.
Resumo
A anlise ROC (Receiver Operating Characteristic) uma ferramenta podea e rosa para medir e especicar problemas no desempenho do diagnstico em o medicina. Esta anlise por meio de um mtodo grco simples e robusto, permite a e a estudar a variao da sensibilidade e especicidade, para diferentes valores ca de corte. Neste trabalho feita a descrio da evoluo desta anlise, bem e ca ca a como o desenvolvimento do ndice rea abaixo da curva ROC. a A rea abaixo da curva ROC est associada ao poder discriminante de a a um teste de diagnostico. Analiticamente, a rea abaixo da curva ROC pode a ser determinada atravs de: e mtodos de resoluo numrica, tipo regra do trapzio; e ca e e mtodos estat e sticos: relao com a estat ca stica de WilcoxonMann-Witney [37] e estimativa de mxima verosimilhana [26]. a c Geometricamente, a curva ROC um grco de pares x e y (que e a correspondem, a (1-especicidade) e ` sensibilidade, respectivamente) num a plano designado por plano ROC unitrio. A designao de plano ROC a ca unitrio, deve-se ao facto das coordenadas deste grco representarem media a das de probabilidade, e por conseguinte variarem entre zero e um. Uma questo que se colocou no inicio deste trabalho, foi a seguinte: a xvi
RESUMO
xvii
Dada a versatilidade e robustez da curva ROC, como poder ser modea lada? Para responder a esta questo, procurou-se estudar como que algumas a e hipteses sobre as distribuies associadas a varivel de deciso podem afeco co ` a a tar a forma da curva ROC. Com base na hiptese da Normalidade, e atravs de estudos de simulao, o e ca procurou-se numa primeira abordagem vericar qual a variao da forma da ca curva ROC em funo do parmetro de localizao e/ou de escala para a ca a ca funo densidade de probabilidade dos casos designados por anormais (valoca res maiores na varivel de deciso). a a Consideraram-se ainda as hipteses de funes densidade de probabilio co dade Log sticas e de igual varincia, Exponenciais negativas com diferentes a parmetros de escala e Uniformes num intervalo (a, b). a Para a visualizao da curva ROC, utilizou-se a representao desta no ca ca plano ROC unitrio e no plano binormal. a So apresentados alguns exemplos ilustrativos, no campo da anlise de a a diagnstico em medicina, para melhor compreenso da metodologia em eso a tudo. As primeiras aplicaes tratam amostras correlacionadas, enquanto co que numa outra aplicao tratado um conjunto de dados independentes. ca e Aps um estudo exaustivo dos programas existentes para a anlise ROC, o a chegou-se ` concluso que poderia ser desenvolvido um novo programa para a a melhor cumprimento de alguns dos objectivos. A elaborao de um novo programa, recorrendo a uma nova linguagem ca de programao (JAVA), permite faz-lo correr em plataformas diferentes do ca e DOS ou WINDOWS (como por exemplo LINUX, SOLARIS e UNIX). Este programa visa minimizar o trabalho tido para traar a curva ROC, achar o c valor da area abaixo desta pelos diferentes mtodos sugeridos no desenrolar e
RESUMO
xviii
do trabalho e comparar vrias curvas ROC em termos do a ndice rea abaixo a da curva ROC (para amostras independentes e amostras correlacionadas). Permite ainda, efectuar um ajuste a curva ROC emp ` rica no plano unitrio. a
Abstract
ROC (Receiver Operating Characteristic) analysis is a powerful tool to measure diagnostic performance in medicine. This analysis through a robust graphic method, studies the variation of sensibility and specicity, to dierent cut-o values. In this work the evolution of this analysis is described as well as the relationship with the precision index area under the ROC curve. The area under the ROC curve is an index of the discriminating power of a diagnostic test. Analytically it can be determined through: numerical methods, such as the trapezoidal rule; statistical methods such as the Wilcoxon-Mann-Whitney test [37] or the maximal likelihood estimation [26]. Geometrically, the ROC curve is a x, y graphic (representing 1specicity and sensibility, respectively) in a unitary ROC plane. The unitary designation is due to the fact the coordinates of this graphs are probability measures, and thus its values ranging from zero to one. A question that this work tries to answer is how can the ROC curve be model. To answer this question it was investigated how some hypothesis concerning the distributions of the decision variable might aect the shape of the ROC curve. xix
ABSTRACT
xx
The dependence of the ROC curve shape, from the Normal distribution parameters was studied. Other hypothesis were considered such has Logistic distribution with the same variance, Exponential distribution with dierent scale parameters and Uniform distribution in a given interval (a, b). To visualize the ROC curve two representations were used in the unitary ROC plane and as the binormal plane. Some examples, in medical diagnostic are also presented. The rst application deals with correlated samples whereas in another application independent samples are studied. After an exhaustive review of existing software for ROC analysis, and due to the limitations founded, a new software was developed. This new software, based on JAVA, can be run in dierent platforms from DOS or WINDOWS (for example LINUX, SOLARIS and UNIX). This software allows the drawing of ROC curve, calculate the index area under the ROC curve through dierent methods, and compares dierent ROC curves in terms of the index area (for independent and correlated sample). Finally the empirical t to the curve on the unitary plane is also provided.
Cap tulo 1 Introduo ca

1.1 Motivao ca
Qualquer investigador deparado com a necessidade da anlise de dados, prea cisa de fazer uma escolha racional sobre o mtodo particular de anlise. Dee a vem ser tidas em conta algumas consideraes importantes nessa escolha, co como por exemplo: - o objectivo da investigao; ca - as caracter sticas matemticas das variveis envolvidas; a a - as hipteses estat o sticas feitas sobre estas variveis; a - como foram recolhidos os dados. As duas primeiras consideraes, so de um modo geral, sucientes para co a determinar uma anlise apropriada. No entanto, o investigador deve tambm a e considerar os dois ultimos items antes de nalizar a recomendao. ca Para certos acontecimentos, existem testes baseados quer em observaes co de determinado fenmeno, quer em tcnicas laboratoriais, que permitem a o e
CAP ITULO 1. INTRODUCAO
previso ou deteco desse acontecimento numa fase incipiente de desenvola ca vimento. So exemplos, alguns testes epidemiolgicos que so a base de a o a rastreio para o diagnstico precoce de algumas doenas. o c Uma questo problemtica, e que funcionou como um est a a mulo para o desenvolvimento deste estudo, o problema da discriminao existente num e ca teste de diagnstico, que consiste em conseguir classicar de uma forma preo cisa os casos considerados normais e os anormais. Outra questo que se torna problemtica num teste de diagnstico, prena a o de-se com as denies de exactido e preciso. A preciso est associada co a a a a ` disperso dos valores em sucessivas observaes, enquanto que a exactido a a co a refere-se ` proximidade de uma estimativa do verdadeiro valor que pretende a representar. As limitaes da exactido e da preciso no diagnstico, origico a a o naram a introduo dos conceitos de sensibilidade e especicidade dum teste ca de diagnstico. Estas medidas e os o ndices a elas associados, como a proporo de verdadeiros positivos e a proporo de falsos positivos, so mais ca ca a signicantes do que a exactido, embora no forneam uma descrio unica a a c ca do desempenho de diagnstico. o O maior problema da sensibilidade e da especicidade que estas medie das dependem do critrio de diagnstico ou de um valor de corte, o qual e o e por vezes seleccionado arbitrariamente. Assim, mudando o critrio pode-se e aumentar a sensibilidade com o consequente detrimento da especicidade, e vice-versa. Consequentemente, estas medidas representam um quadro incompleto do desempenho de um teste de diagnstico. o Dever ainda ter-se em considerao, que um critrio de deciso particular a ca e a depende tambm dos benef e cios associados aos resultados correctos e dos custos associados aos incorrectos. Por exemplo, a previso de uma tempestade a que acaba por no ocorrer (falso positivo) tipicamente vista como tendo a e
um custo menor do que em relao a falha na previso de uma tempestade ca ` a que ocorre (falso negativo), assim o critrio a adoptar para um diagnstico e o positivo dever estar do lado mais brando. a Num teste de diagnstico existem dois tipos de erro que podem ocorrer o na deciso, a escolha de uma falha (no sentido de declarar um doente como a so) ou a escolha de um falso alarme (declarar uma pessoa s como doente). a a Por exemplo, para um prossional que tem perante si um dado diagnstico o para uma doena, ao ter de decidir, ele ir preferir um falso alarme a uma c a falha - principalmente se a doena for contagiosa - pois este tipo de erro c conduzir, para este prossional, ao que se poder designar por um mal a a menor em termos de diagnstico. Isto , ele ir optar certamente por um o e a teste mais sens vel. Por outro lado, ele dever estar consciente que uma a terapia dispon para este tipo de doena poder ser efectivamente, cara e vel c a deciente, o que torna o teste pouco espec co. Para contornar este tipo de situaes, foi necessrio desenvolver medico a das alternativas de diagnstico com propriedades mais robustas do que a o sensibilidade e a especicidade per si. A anlise ROC (Receiver Operating a Characteristic) foi a tcnica desenvolvida para tornear este tipo de problema. e A anlise ROC pode ser efectuada atravs de um mtodo grco simples, a e e a e o desempenho de um dado teste poder ser avaliado atravs de a e ndices de preciso simples associados a curva ROC, como por exemplo a area abaixo a ` desta. Considere-se como exemplo um trabalho desenvolvido por Ribeiro et al (1993) [73]. Neste trabalho apresentado o estudo de uma doena rara GM2 e c - gangliosidosis com a variante B1, que geralmente se encontra associada a um determinado grupo tnico-geogrco, e que parece ser excepcionalmente e a frequente em Portugal. Com o objectivo de estabelecer um mtodo de dee
teco desta doena, os autores aplicaram um teste designado por Hex A para ca c identicao dos portadores nas fam ca lias com variante B1, a um grupo designado por B1 variant carrier e a um outro grupo de controle, e compararam estes resultados com os obtidos atravs da anlise de DNA. e a Chegaram a resultados de sensibilidade (0, 996) e especicidade (0, 994) do teste para um valor de corte espec co (0, 195). A abilidade aqui obtida, do teste Hex A para identicao dos portadores nas fam ca lias com variante B1, e a sua utilizao devido aos baixos custos e a atractiva possibilidade ca de automatizao, levaram os investigadores a colocarem a hiptese de este ca o ser uma alternativa ao usual teste de DNA que envolve maiores custos e morosidade no processo. Para responder a questo, se este pode ser um teste vel, isto , com ` a a e elevado poder de discriminao para identicao deste tipo de doena, as ca ca c medidas de sensibilidade e especicidade, determinadas pelos autores, num valor de corte espec co no se tornam sucientes. No entanto, se fosse a efectuada uma anlise estat a stica baseada numa curva ROC para teste Hex A, por exemplo por determinao do ca ndice rea abaixo da curva, podera se-ia avaliar de uma forma mais precisa o desempenho deste como teste de diagnstico alternativo ao teste de DNA. o Considere-se o problema, formulando as seguintes hipteses: o H0 : O indiv duo apresenta a doena, D c duo no apresenta a doena, D a c H1 : O indiv Assim, para um valor de corte espec co a representao ROC d a proca a babilidade de no rejeitar H0 , isto , considerar que o indiv a e duo apresenta a doena. c
De uma forma geral, o grande motivo que levou ao desenvolvimento deste trabalho de doutoramento foi a necessidade de explorar e sistematizar a anlise da curva ROC e os a ndices a ela associados, dado o vasto campo de aplicabilidade desta anlise e a facilidade de tratamento matemtico, proa a curando justicar a sua robustez. Por outro lado, a necessidade de encontrar um programa que possibilite a sistematizao dos clculos, assim como, a ca a apresentao dos resultados grcos da anlise ROC, levou ao desenvolvica a a mento de um programa de apoio para esta anlise. a
1.2
Objectivos
Tendo em conta o plano de doutoramento inicialmente traado, delinearam-se c os seguintes objectivos: 1. Explicitar a relao entre a estat ca stica U de Wilcoxon-Mann-Whitney e o valor da area abaixo da curva ROC. 2. Procurar uma expresso anal a tica para a curva ROC que traduza uma relao entre a sensibilidadee e a especicidade no plano ROC unitrio, ca a e analisar se na realidade a sua forma varia consoante a distribuio ca associada aos dados. 3. Procurar uma curva de ajuste ` curva ROC emp a rica. 4. Tratar algumas aplicaes atravs da metodologia ROC, e analisar os co e resultados obtidos. 5. Desenvolvimento de um programa com implementao em diferentes ca plataformas (WINDOWS, LINUX, UNIX e Macintosh) para o estudo da curva ROC e comparaes de testes atravs desta metodologia. O co e
programa procurar minimizar o trabalho necessrio para o desenho da a a curva ROC, calcular o valor da area abaixo da curva ROC pelos diferen tes mtodos sugeridos, e comparar vrias curvas ROC (para amostras e a independentes e amostras correlacionadas).
1.3
Estrutura da dissertao ca
Esta dissertao desenvolve-se ao longo de oito cap ca tulos. O conjunto de objectivos propostos na seco anterior traduzem, ainda que parcialmente, o ca modo como o trabalho foi estruturado. Nesta seco ao apresentar a orgaca nizao da dissertao, pretende-se orientar o leitor nas linhas seguidas ao ca ca longo do seu desenvolvimento. Assim, aps esta introduo, o segundo cap o ca tulo apresenta uma perspectiva histrica sobre a anlise ROC assim como a sua relao com a teoria o a ca estat stica, a teoria de deteco do sinal e a anlise de diagnstico. ca a o No cap tulo 3 apresentado uma breve descrio do estado da arte. So e ca a referidos os trabalhos resultantes de uma longa pesquisa bibliogrca sobre a o tema anlise ROC. a No quarto cap tulo sero apresentados os principais contributos para o a desenvolvimento da anlise ROC. So analisados trabalhos como o de Bamber a a [8], Green e Swets [33], Metz [58], Iverson [47] e DeLong [22]. O cap tulo 5 surge como resposta ao segundo e terceiro pontos referidos nos objectivos. Procura-se determinar uma relao entre as funes densica co dade de probabilidade associadas aos dados e a forma da curva ROC e, por outro lado, determinar um ajuste ` curva ROC emp a rica. No cap tulo 6 so apresentadas algumas aplicaes recorrendo a anlise a co ` a de dados atravs da curva ROC, nomeadamente do e ndice de preciso area a
abaixo da curva. So utilizados conjuntos de dados correlacionados e indea pendentes. O cap tulo 7 faz a apresentao dos programas estudados para o desenca rolar do trabalho proposto, assim como as suas principais caractersticas. Para responder as diculdades tidas no cap ` tulo 6, no que diz respeito a ` anlise de dados ROC, foi desenvolvido um programa que se designou por a ROCNPA, e que apresentado no cap e tulo 8. Neste cap tulo so analisadas a diferentes situaes utilizando os programas j existentes e o ROCNPA. So co a a confrontados os resultados obtidos e apresentadas as vantagens e desvantagens do novo programa. Por m, so apresentadas algumas concluses gerais sobre o trabalho a o realizado, e apontam-se algumas linhas de orientao para futuros trabalhos ca de investigao. ca
Cap tulo 2 Teoria da Anlise ROC a

A anlise ROC (Receiver Operating Characteristic) teve origem na teoria de a deciso estat a stica e foi desenvolvida entre 1950 e 1960 para avaliar a deteco ca de sinais em radar e na psicologia sensorial [58]. A potencial utilidade da anlise ROC em avaliar diagnsticos mdicos foi desde ento utilizada por a o e a vrios autores [58] e, subsequentemente, foi aplicada com sucesso a uma a grande variedade de testes de diagnstico [82] e em particular no diagnstico o o de imagem mdica [67], [11]. e Consequentemente, as vrias aplicaes da anlise ROC a medicina estia co a ` mularam o desenvolvimento de metodologias de anlise estat a stica dos dados ROC [58], [37].
2.1
Perspectiva Histrica o
A necessidade da obteno de medidas de discriminao precisas j um proca ca e a blema de longa data. Um dos campos em que esta medida foi primeiramente desenvolvida foi no campo da psicologia sensorial. Gustav Theodor Fechner (1801-1887) foi considerado o pioneiro. O seu
CAP ITULO 2. TEORIA DA ANALISE ROC
objectivo era derrubar o materialismo e concebeu a psicof sica para o ajudar, procurando demonstrar uma relao emp ca rica entre a mente e o corpo [80]. Para Fechner, um est mulo deveria ser apresentado a cada sujeito centenas de vezes, com o objectivo de obter uma estimativa relativamente estvel de a respostas positivas. Considerou como respostas positivas armaes do tipo: co Sim, reconheo o est c mulo A (como oposto ao B) O est mulo A maior do que o est e mulo B. Posteriormente este procedimento foi designado por critrio de comparao e ca mltipla ou escolha-forada [80]. u c Fechner representou gracamente a proporo de respostas positivas conca tra a medida f sica da intensidade do est mulo e obteve assim, uma funo ca psicomtrica [80]. e No seguimento dos trabalhos de Fechner, Louis Leon Thurstone (18871955), continuou o estudo da anlise discriminante. Demonstrou como os a mtodos de Fechner poderiam ser utilizados para quanticar os atributos e psicolgicos do est o mulo na realidade no suscept a medio f a vel ca sica, por exemplo, para determinar a superioridade da escrita com a mo direita [80]. a O modelo de Thurstone comea por colocar a hiptese de sobreposio das c o ca distribuies de intensidade psicolgica de dois est co o mulos semelhantes, como exemplicado na gura 2.1. O modelo prossegue com algumas hipteses o espec cas, incluindo a normalidade, no existncia de correlao entre os a e ca est mulos e igualdade de varincias. a No modelo representado na gura 2.1, assume-se que o efeito sensorial varia de acordo com a distribuio da esquerda quando o est ca mulo nulo, S0 , ou rudo, est presente, e varia de acordo com a distribuio da direita, a ca S1 , quando um dado sinal adicionado ao rudo. O critrio para uma e e
10
S0
S1
Efeito Sensorial (x)
Figura 2.1: Um exemplo do modelo de reconhecimento de Thurstone para representar a deteco. ca
resposta positiva, c, considerado xo em determinado ponto onde raramente e excedido pelo rudo, sem discriminao poss abaixo deste ponto [80]. e ca vel A hiptese de simetria de Thurstone, equivalente a assumir um critrio o e e de deciso, isto , a considerar um valor de corte, c, que corresponde ao ponto a e onde as duas distribuies se cruzam. [80]. co O passo seguinte em psicof sica foi dado em 1940 por H. Richard Blackwell. Blackwell defendeu um procedimento semelhante ao da comparao-mltipla, ca u que designou por escolha-forada. Debruou-se sobre o problema de deteco, c c ca no qual um dos dois est mulos considerado como sendo o est e mulo nulo. As duas distribuies, na abordagem de Blackwell, no tm de ser obrigaco a e toriamente iguais; uma, designada por rudo, poderia ser Normal como no modelo de Thurstone enquanto que a outra com maior mdia, eventualmente e com varincia diferente, poderia representar o que designou por sinal [80]. a A partir de 1950, os estudos no campo da psicof sica nomeadamente no dom nio da audio e viso, foram conduzidos por vrios autores, entre eles ca a a
CAP ITULO 2. TEORIA DA ANALISE ROC John Swets [80].
11
2.2
Teoria Estat stica
O problema em termos de testes de hipteses, ou tomada de decises eso o tat sticas, pode ser representado da mesma forma que Thurstone e Blackwell representam o problema de discriminao. A gura 2.2 mostra uma repreca sentao hipottica para este tipo de problema. A distribuio da esquerda ca e ca representa nesta situao, a hiptese nula, H0 , e a da direita uma hiptese ca o o alternativa, H1 . Assim, as hipteses do problema podero ser especicadas como: o a ca e H0 : A populao tem mdia = 0 ; H1 : A populao tem mdia = 1 . ca e Com base numa observao x, uma das hipteses aceite. ca o e
Figura 2.2: Distribuies de duas populaes. co co
e o Como pode ser vericado na gura 2.2, H0 a hiptese nula que considera que a populao tem mdia = 0 e H1 a hiptese alternativa ca e e o
12
que considera que a populao tem mdia = 1 . Assim, a area sombreca e ada a direita do critrio de deciso, c, representa a probabilidade de cometer ` e a um erro de tipo I, que corresponde a probabilidade de rejeitar H0 quando ` e ` e a H0 verdadeira; a area sombreada a esquerda do critrio de deciso, c, representa a probabilidade de cometer um erro de tipo II, que corresponde a ` probabilidade de no rejeitar H0 quando H1 verdadeira. a e A construo do teste estat ca stico equivalente a dividir o eixo x em duas e regies, separadas pelo critrio de deciso c. Valores de x menores que c o e a conduziro a aceitao da hiptese nula, H0 , e valores de x maiores que c a ` ca o e conduziro a aceitao da hiptese alternativa, H1 . Consoante o critrio de a ` ca o deciso escolhido, pode-se determinar a probabilidade de cometer um erro a de tipo I ou tipo II (gura 2.2). Existem princ pios gerais para os testes de hipteses que obedecem a deo terminadas regras desenvolvidas por Neyman e Pearson. A principal regra associada a estes, e a mais familiar em estat stica, xar a probabilidade de e cometer um erro de tipo I arbitrariamente (a um n de signicncia usuvel a almente de 0.05 ou 0.01) e depois escolher um critrio de forma a minimizar e a probabilidade de cometer um erro de tipo II. Estes autores demonstraram que o melhor teste denido em termos da razo da verosimilhana. Aceitae a c se H1 quando a razo das verosimilhanas excede determinado valor c, que a c e escolhido para produzir a probabilidade desejada de cometer um erro de tipo I [80]. A potncia do teste denida por: e e Prob (erro de tipo I ) sob H0 k= 1 Prob (erro de tipo II ) sob H 1 Sob as regras de Neyman-Pearson, xa-se a probabilidade de cometer um erro de tipo I e escolhe-se a razo de verosimilhana igual a c de forma a a c
CAP ITULO 2. TEORIA DA ANALISE ROC maximizar a potncia do teste. e
13
Assim poss e vel denir a curva caracterstica de operao, que no ca a e mais do que a representao grca do complementar da funao potncia do ca a c e teste (1 k). A curva ROC uma maneira grca de comparar duas curvas e a caracter sticas de operao - a que se deniu anteriormente, em que se xa a ca probabilidade de cometer um erro de tipo I arbitrariamente, e uma outra que mostra a variao em probabilidade de um erro de tipo I para um valor xo ca de probabilidade de cometer um erro de tipo II. Na gura 2.3, encontram-se representadas as curvas caractersticas de operao para as duas situaes ca co descritas, considerando um teste hipottico para duas distribuies Normais e co com igual varincia. a
1 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0 0 5 10 15

,
N P NP
2 20 25 30
35 40
45 50
55 60
Figura 2.3: Representao de curvas caracter ca sticas de operao. ca
A curva ROC, transmite a informao da conjuno destas duas curvas ca ca de operao, isto , mostra como podem variar os dois tipos de erro, com a ca e mudana de critrio de deciso. c e a Um outro avano na teoria da deciso estat c a stica, por volta de 1940, foi
14
dado por Abraham Wald. Wald demonstrou que algumas regras de deciso a diferentes - como a maximizao da proporo de decises correctas, maxica ca o mizao do valor esperado de uma deciso e maximizao da m ca a ca nima recompensa - so unicadas pela razo das verosimilhanas [80]. Posteriormente, a a c Green e Sweets [33], descrevem algumas das regras de deciso mais utilizadas a em estat stica que a seguir se apresentam. 1. Maximizao de uma combinao ponderada. ca ca No caso da existncia de duas alternativas, os resultados podero ser e a descritos por quatro probabilidades diferentes. Apenas duas dessas probabilidades so independentes, dado que: a P (H0 | h0 ) + P (H1 | h0 ) = 1 e P (H0 | h1 ) + P (H1 | h1 ) = 1 Assim, o objectivo seria, sempre que poss vel, maximizar P (H1 | h1 ), ao mesmo tempo que se minimizaria P (H1 | h0 ). Geralmente, no se consegue a satisfazer os dois objectivos simultaneamente, pelo que se opta pela maximizao da quantidade: ca {P (H1 | h1 ) P (H1 | h0 )} onde uma constante, > 0 [33]. e Designando por A o conjunto de todos acontecimentos que conduzem a ` aceitao de h1 , ento a probabilidade de H1 ser aceite quando h1 verdadeira ca a e dada por, e
(2.1)
15
P (ei | h1 ) = P (H1 | h1 )
ei A
(para o caso discreto) (para o caso cont nuo).
P (ei | h1 ) = P (H1 | h1 )
ei A
De forma anloga, a probabilidade de uma aceitao incorrecta da hiptese a ca o h1 , dada por, e
P (ei | h0 ) = P (H1 | h0 )
ei A
(para o caso discreto) (para o caso cont nuo).
P (ei | h0 ) = P (H1 | h0 )
ei A
Com o objectivo de maximizar P (H1 | h1 ), deve-se escolher a regio A de a forma que:
P (H1 | h1 ) P (H1 | h0 ) =
ei A
P (ei | h1 )
ei A
P (ei | h0 )
(para o caso discreto) =

ei A
P (ei | h1 )
ei A
P (ei | h0 )
(para o caso cont nuo) seja to grande quanto poss a vel. Note-se que apenas se deve incluir em A, acontecimentos cuja razo de a verosimilhanas de um acontecimento ek para a hiptese h1 em relao a c o ca ` hiptese h0 - l10 (ek ) - satisfaam a condio[33]: o c ca P (ek | h1 ) . P (ek | h0 )
l10 (ek ) =
16
Assim, a primeira regra de deciso pode ser denida da seguinte forma: a Uma regra de deciso que maximize P (H1 | h1 ) P (H1 | h0 ), consiste em a escolher H1 se e s se a razo de verosimilhanas para todos acontecimentos o a c e e ei , l10 (ei ) , onde o valor do critrio adoptado. 2. Maximizao do valor esperado. ca Considere-se uma situao de deciso binria para a qual certos valores ca a a e custos esto denidos para os quatro resultados poss a veis. Na notao que ca se apresenta o primeiro subscrito corresponde a alternativa apresentada e o ` segundo a alternativa escolhida [33]. ` V00 valor associado a escolha correcta de H0 ; ` ` V01 valor (custo) associado a escolha incorrecta de H1 (quando de e facto H0 , a alternativa correcta); signica que a pessoa perde e V01 quando este tipo de escolha incorrecta efectuada. V11 valor associado a escolha correcta de H1 ; ` V10 valor (custo) associado a escolha incorrecta de H0 (quando de ` facto H1 , a alternativa correcta); signica que a pessoa perde e e V10 quando este tipo de escolha incorrecta efectuada. O valor esperado de uma estratgia de deciso, (d), denido por: e a e
E (d) = V00 P (h0 ) P (H0 | h0 ) + V11 P (h1 ) P (H1 | h1 ) V10 P (h1 ) P (H0 | h1 ) V01 P (h0 ) P (H1 | h0 ) (2.2)
Supondo que o objectivo maximizar o valor esperado dado pela exe presso da equao (2.2), ento a questo que se levanta como determinar a ca a a e
17
as regies de aceitao de h0 e h1 de forma a atingir esse objectivo. Note-se o ca que maximizar o valor esperado, considerando os valores dos custos e as probabilidades a priori xas, equivalente a maximizar uma expresso do tipo e a da denida na equao (2.1) [33]. ca Para demonstrar esta equivalncia, consideram-se as relaes e co P (H0 | h0 ) = 1 P (H1 | h0 ) e P (H0 | h1 ) = 1 P (H1 | h1 ) donde resulta, que:
E (d) = V00 P (h0 ) V00 P (h0 ) P (H1 | h0 ) + V11 P (h1 ) P (H1 | h1 ) V10 P (h1 ) + V10 P (h1 ) P (H1 | h1 ) V01 P (h0 ) P (H1 | h0 ). Como V00 P (h0 ) e V10 P (h1 ) so constantes, maximizar o valor esperado a equivalente a maximizar a quantidade: e
[V11 P (h1 ) + V10 P (h1 )] P (H1 | h1 ) [V00 P (h0 ) + V01 P (h0 )] P (H1 | h0 ) Rearranjando, vir: a P (H1 | h1 ) (V00 + V01 ) P (h0 ) P (H1 | h0 ). (V11 + V10 ) P (h1 ) (2.3)
Maximizar a equao (2.3), equivalente a maximizar uma expresso da ca e a forma dada na equao (2.1) com ca
18
(V00 + V01 ) P (h0 ) . (V11 + V10 ) P (h1 )
(2.4)
Consequentemente, o valor esperado maximizado pela aceitao de h1 e ca para todos os acontecimentos cuja razo de verosimilhanas de h1 em relao a c ca e ca a h0 igual ou superior ao valor de , como denido na equao (2.4) [33]. 3. Maximizao da percentagem de respostas correctas. ca Considerando que os custos associados aos erros so nulos e o valor de uma a deciso correcta igual a um, maximizar o valor esperado de uma estratgia a e de deciso equivalente a maximizar a percentagem de respostas correctas. a e Atendendo a que nestas condies, co P (h0 ) P (h1 )
e a a c se P (h1 ) aumentar, necessrio uma menor razo de verosimilhanas para que H1 seja escolhido.
2.3
Teoria de Deteco de Sinal ca
A deteco de sinais electromagnticos na presena de um rudo foi analisada, ca e c em 1940 como um problema de teste de hipteses estat o sticas. O rudo foi identicado como sendo a hiptese nula, H0 , enquanto o rudo mais sinal o estava associado com a hiptese alternativa, H1 . o Por exemplo, no contexto dos radares, os erros de tipo I so designados a falsos alarmes, enquanto que os erros de tipo II so falhas, e ambos a so considerados perigosos numa situao de defesa, dado que os seus custos a ca variam com os diferentes tratamentos e as reaces dispon co veis ao tratamento.
19
Na teoria de deteco do sinal, o observador tem como tarefa, decidir com ca base na aleatoriedade, qual dos est mulos resultado do rudo mais sinal, ou e do rudo. O problema fundamental de deteco, pode ser visto da seguinte ca forma [28]: Existe uma ocorrncia aleatria de dois acontecimentos, rudo mais e o sinal (sn) e rudo (n), e cada acontecimento ocorre num intervalo de tempo bem denido; O est mulo f sico, ou evidncia relativo a cada acontecimento, varia de e experincia para experincia, e tem um resultado, que a representao e e e ca probabil stica do acontecimento; Aps cada observao, o observador deve tomar uma deciso do tipo o ca a sim ou no. a Assim, o procedimento de deciso, envolve dois elementos bsicos: acona a tecimento deciso. Cada est a mulo deve ser classicado em uma de duas categorias, sn ou n. Designando por P (sn), a probabilidade associada a presena de sinal, e ` c P (n), a probabilidade associada a ausncia de sinal (s rudo), no caso de ` e o dois acontecimentos:
P (sn) + P (n) = 1. Estas probabilidades so usualmente dadas pela experincia ou natureza a e e, normalmente, no se encontram sob controle do observador. a Um modelo do tipo acontecimento deciso, poder ser descrito em a a termos de arvore de probabilidades como ilustra a gura 2.4.
20
Natureza P(n) n P(N|n) P(S|n) P(N|sn) P(sn) sn P(S|sn)
Acontecimento:
Deciso:
N P(n,N)
S P(sn,S)
P(n,S) P(sn,N)
Figura 2.4: Arvore de probabilidades que descreve o comportamento de um observador, no procedimento fundamental de deteco. ca
Nesta situao a deciso do observador do tipo: sim, o sinal encontraca a e se presente, S ou no, o sinal encontra-se ausente, N. a O desempenho de um observador numa experincia num unico intervalo e e usualmente medido em termos de probabilidades conjuntas de acontecimento resposta. Estas probabilidades so baseadas quer no valor da probabilidade a a prior da existncia de sinal, P (sn), quer nos valores das duas probabilidades e condicionadas, P (S | sn) e P (S | n). Assim, dene-se: - aceitao correcta: P (sn, S) = P (S | sn) P (sn); ca - rejeio incorrecta: P (sn, N ) = [1 P (S | sn)] P (sn); ca - rejeio correcta: P (n, N ) = [1 P (S | n)] P (n); ca - aceitaao incorrecta: P (n, S) = P (S | n) P (n). c Note-se que, por exemplo, P (sn, S) designa a probabilidade de acertar, enquanto que P (S | sn) representa a fraco de acertos. ca
21
No problema fundamental de deteco com dois acontecimentos e duas ca respostas, denido anteriormente, existem quatro resultados poss veis. Esta situao pode ser descrita na forma de uma tabela de contingncia 2 2, ca e padro onde os dois acontecimentos (sn e n) poss a veis alternativos representam as colunas e as duas respostas permitidas (sim e no) representam as a linhas, como se ilustra na tabela 2.1.
Tabela 2.1: Tabela de contingncia 2x2 na teoria de deteco de sinal e ca

Acontecimento Ru do+Sinal (sn) Ru (n) do
a = P (S | sn)
Sim (S) Resposta No (N) a (acerto ou verdadeiro positivo)
b = P (S | n)
(falso alarme ou falso positivo)
c = P (N | sn)
(valor omisso ou falso negativo)
d = P (N | n)
(verdadeiro negativo)
Seja X a designao para uma varivel aleatria. Se X for discreta, ca a o ento P (x | sn) a probabilidade condicional de x dado o acontecimento a e sn; P (x | n) a probabilidade condicional para o mesmo valor de x, dado e o acontecimento n. Se a varivel aleatria for cont a o nua, ento os corresa pondentes elementos de probabilidade so f (x | sn) dx e f (x | n) dx, onde a f (x | sn) e f (x | n) so as funes densidade de probabilidade associadas, a co respectivamente, `s duas distribuies da varivel aleatria X. a co a o Na situao em estudo interessa que as duas distribuies da varivel ca co a aleatria X apresentem uma area de sobreposio. Um valor de x neste o ca intervalo de sobreposio dever transportar a informao na base da qual o ca a ca observador deve efectuar uma deciso racional. a
CAP ITULO 2. TEORIA DA ANALISE ROC Dene-se a funo razo de verosimilhana, por: ca a c P (x | sn) P (x | n)
22
l(x) = e
para o caso discreto
(2.5)
l(x) =
f (x | sn) f (x | n)
para o caso cont nuo.
(2.6)
A razo de verosimilhana l(x) uma funo do valor numrico de x, e a c e ca e esta funo exprime a mudana de razo entre as correspondentes funes de ca c a co probabilidade, ou funes densidade de probabilidade, das duas distribuies co co de X.
2.4
Anlise ROC a
A anlise ROC (Receiver Operating Characteristic), teve a sua origem na a teoria de deteco de sinal. Assim, a ROC pode provir de uma tabela de ca contingncia 2 2, do tipo da ilustrada na tabela 2.1. e A ROC assim baseada em duas quantidades que contm toda a ine e formao da tabela 2.1, uma designada por fraco de verdadeiros positivos ca ca (FVP), denida por a/(a + c), e outra designada por fraco de falsos posica tivos (FFP), denida por b/(b + d), a fraco de falsos negativos e a fraco ca ca de verdadeiros negativos so os respectivos complementares. a Pode-se denir a ROC (Receiver Operating Characteristic) de duas formas diferentes, uma mais restritiva, em termos da razo de verosimilhanas, a c e uma outra mais geral, em termos da varivel de deciso x [28]. a a
Denio 1 Deniao de ROC em termos de l(x) - Uma ROC sumaria o ca c conjunto poss de matrizes 2 2, que resulta quando um valor de corte c = vel
23
l(x0 ) varia de uma forma contnua do seu maior valor possvel at ao menor e poss vel. Este conjunto de matrizes 2 2 unico para as duas distribuioes e c de X. Denio 2 Denio de ROC em termos de x - Uma ROC sumaria o ca ca conjunto poss de matrizes 2 2, que resulta quando intervalos disjuntos vel do eixo do x so sucessivamente adicionados ao intervalo de aceitao; a a ca incluso de intervalos comea com o intervalo vazio e termina com todo o a c eixo do x. Os conjuntos poss veis de matrizes 2 2 esto restringidos pelas a duas distribuies de X. co
Por exemplo, dado um par de distribuies de X cont co nuas, apenas uma ROC resulta da utilizao de l(x) como critrio de deciso. Dado o mesmo par ca e a de distribuies, existe um grande nmero de ROC s, cada uma dependendo co u da ordem de incluso dos intervalos em x no critrio de aceitao [28]. a e ca O sistema de coordenadas da ROC apresenta como ordenadas a proporo de acertos, P (S | sn), e como abcissas a proporo de falsos alarmes ca ca P (S | n). Quando as probabilidades so projectadas linearmente, os valores a de coordenadas variam de zero at um, e todas as ROC poss e veis esto lia mitadas por um quadrado unitrio. A diagonal positiva deste quadrado a a e designada linha do acaso, em que P (S | sn) = P (S | n); a diagonal negativa, corresponde a P (S | sn) = 1 P (S | n). A gura 2.5, ilustra o sistema de coordenadas utilizado para representar uma ROC. Cada ponto neste espao ROC corresponde a uma matriz 2 2. c Se o observador utilizar uma regra de deciso pura, isto , se o observador for a e coerente nas suas respostas para cada x, ento, de acordo com as denies a co dadas de ROC, esta dever comear em (0, 0) e terminar em (1, 1); sob estas a c condies a ROC dever ser no decrescente em todo o seu percurso [28]. co a a

1
24
0,8
P(S | sn)
0,6 (0.2,0.5) 0,4
0,2
0 0 0,2 0,4 P(S | n) 0,6 0,8 1
P(S | n) = P(S | sn) (linha do acaso) P(S | sn) = 1- P(S | n) (diagonal negativa)
Figura 2.5: Sistema de coordenadas num quadrado unitrio, utilizado para a representao de uma ROC. ca
Tabela 2.2: Tabela de contingncia 2 2 correspondente a um ponto no e espao ROC. c Ru do+Sinal (sn) Ru (n) do Sim (S) No (N) a 0,5 0,5 0,2 0,8
Se considerar por exemplo, a matriz 2 2 para uma determinada regra de deciso, dada pela tabela 2.2, o ponto que lhe corresponde no espao ROC a c apresenta de coordenadas (0, 2; 0, 5) como ilustrado na gura 2.5. A ROC para um observador, em termos da razo de verosimilhanas, sua c
25
maria uma relao especica entre as duas distribuies de probabilidade. ca co Dado que a anlise ROC apresenta muitas aplicaes nos mais variados a co dom nios, foi proposto que a designao ROC signicava Relative Operating ca Characteristic [28].
2.5
2.5.1
Anlise de diagnstico a o
Problema em estudo
Considere-se a varivel em estudo representada por x e que valores baixos a de x favorecem a deciso normal (T ) e valores elevados de x favorecem a a deciso anormal (T + ). a Designe-se ainda, por f (x|A) a distribuio dos valores de x para os casos ca designados anormais, xA , e por f (x|N ) a distribuio dos valores de x para ca ca a os casos designados normais, xN ; ou seja, a distribuio de xA dever ser centrada a direita da de xN . ` Gracamente, a situao descrita, poderia ser ilustrada pela gura 2.6. ca Como se pode vericar a partir desta gura, as distribuies de xA e xN , co sobrepem-se, e isto signica que, alguns dos casos inicialmente identicados o como normais podero ter leituras como anormais, e por outro lado, alguns a dos casos inicialmente identicados como anormais podero ter leituras como a normais. Para qualquer teste de diagnstico xado um valor de corte para a o e varivel em estudo, valor que determina a classicao dos indiv a ca duos como anormais ou normais. Assim, qualquer teste avaliado pela comparao e ca relativa da fracao de verdadeiros positivos (FVP), fraco de falsos positivos c ca (FFP), fracao de verdadeiros negativos (FVN) e fraco de falsos negativos c ca (FFN).

T
-
26
f(x|N)
f(x|A) FVN
FVP
FFN
FFP
eixo de deciso, x
Figura 2.6: Sobreposio de duas distribuies hipotticas. ca co e
Em termos de diagnstico, a fraco de verdadeiros positivos (FVP) coro ca responde ` probabilidade de decidir que a caracter a stica em questo est prea a sente, quando de facto est presente. Por outro lado, a fraco de verdadeiros a ca negativos (FVN) corresponde ` probabilidade de decidir que a caracter a stica est ausente, quando esta de facto est ausente. a a Estas duas denies conduzem a outras duas directamente relacionadas, co a fraco de falsos positivos e a fraco de falsos negativos, dadas por : ca ca no de decises falsas positivas o o n de casos realmente negativos
FFP = e
FFN =
no de decises falsas negativas o o n de casos realmente positivos
Note-se que estas fraces representam, respectivamente, as fraces de co co
27
casos designados por realmente negativos e as fraces de casos designados co por realmente positivos que so decididos incorrectamente. a Se se assumir que todos os casos podem ser diagnosticados como positivos ou negativos (no que diz respeito a uma determinada doena), ento, o c a nmero de decises correctas mais o nmero de decises incorrectas dever u o u o a ser igual ao nmero de casos com esse estado actual. u Assim, verica-se que: FV P + FFN = 1 e F V N + F F P = 1. A gura 2.6, pretende explicitar a relao entre o valor de corte e a deca nio dessas fraces, sendo claro que diminuir a FFP conduz a um aumento ca co de FFN. Em geral, um teste de diagnstico tende a ser avaliado por duas destas o medidas, FVP (sensibilidade) e FVN (especicidade). Metz [58], dene sensibilidade como sendo a probabilidade de decidir se a doena em questo est c a a presente quando de facto est presente, e especicidade como sendo a probaa bilidade de decidir se a doena em questo est ausente quando, de facto est c a a a ausente. Em termos de diagnstico, poder-se- denir sensibilidade como a o a capacidade que um teste tem para detectar a doena no indiv c duo, e a especicidade como a capacidade que o teste tem para excluir os indivduos isentos de doena. Assim, valores de corte elevados, conduzem a um teste c pouco sens vel e muito espec co, por outro lado, valores de corte baixos, conduzem a um teste muito sens e pouco espec vel co. Num teste de diagnstico as hipteses podem ser denidas como: o o
CAP ITULO 2. TEORIA DA ANALISE ROC H0 : O indiv duo anormal, XA e H1 : O indiv duo normal, XN , e consequentemente:
28
= P rob(erro de tipo I ) = P (rej H0 |H0 ) = P (T |XA ) = = 1 P (T + |XA ) = 1 sensibilidade
(2.7)
= P rob(erro de tipo II ) = P (aceitar H0 |H1 ) = P (T + |XN ) = = 1 P (T |XN ) = 1 especif icidade
(2.8)
Atendendo a que o valor de corte dene a regio de rejeio, isto , dene a ca e a dimenso dos erros de tipo I e de tipo II, ` medida que se varia o valor a a de corte estes erros vo variando, existindo um balano, a medida que a c ` aumenta, diminui, e vice-versa. Na prtica torna-se desejvel ter um teste que seja ao mesmo tempo a a altamente sens vel e altamente espec co, pois um valor de corte xa um par sensibilidade/especicidade. Estes pares podem ser representados como valores de coordenadas y e x dando origem ao grco designado por curva a ROC. Este grco permite ter uma noo da capacidade de discriminao de a ca ca um teste, como ser visto na seco 2.6. a ca A representao ROC em termos de diagnstico, d a probabilidade de ca o a aceitar H0 , isto , considerar o indiv e duo anormal.
29
2.6
2.6.1
Curvas ROC
Plano Unitrio a
Por denio, uma curva ROC a representao grca dos pares sensica e ca a bilidade ou FVP (ordenadas) e 1- especicidade ou FFP (abcissas), resultantes da variao do valor de corte ao longo de um eixo de deciso, x, a ca a representao grca assim resultante designada por curva ROC no plano ca a e unitrio. a Com efeito, uma curva ROC uma descrio emp e ca rica da capacidade do sistema de diagnstico poder discriminar entre dois estados num universo, o onde cada ponto da curva representa um compromisso diferente entre a FVP e a FFP que pode ser adquirido pela adopo de um diferente valor de corte ca de anormalidade ou n cr vel tico de conana no processo de deciso [58]. c a Sob o ponto de vista da teoria de testes de hipteses estat o sticas, uma curva ROC conceptualmente equivalente a uma curva que mostra a relao e ca entre a potncia de teste e a probabilidade de cometer um erro de tipo I com e a variao do valor crtico (valor de corte) do teste estat ca stico [58]. Consoante os critrios adoptados poder-se- fazer corresponder um ponto e a na curva ROC. Assim, pode-se denir, um critrio estrito (por exemplo, e apenas se designa o paciente positivo quando a evidncia da doena muito e c e forte) como sendo aquele que conduz a uma pequena fraco de falsos positica vos e tambm a uma relativamente pequena fraco de verdadeiros positivos, e ca isto , gera um ponto na curva ROC que se situa no canto inferior esquerdo do e espao ROC. Progressivamente critrios menos estritos conduzem a maiores c e fraces de ambos os tipos, isto , pontos colocados no canto superior direito co e da curva no espao ROC. Esta situao pode ser descrita gracamente pela c ca curva ROC apresentada na gura 2.7.
30
1,00
0,80
Critrio brando Critrio moderado
FVP (sensibilidade)
0,60
0,40 Critrio estrito
0,20
0,00 0,00
0,20
0,40
0,60
0,80
1,00
FFP (1-especificidade)
Figura 2.7: Curva ROC, para uma dada capacidade de discriminao, com ca a variao do critrio de deciso. ca e a
No que diz respeito ao desempenho de diferentes sistemas de diagnstico, o e considerando a situao em que as curvas ROC associadas a dois sistemas ca de diagnstico distintos no se cruzam, o sistema com a curva ROC mais o a prxima do canto superior esquerdo, fornece um maior poder discriminante. o Na gura 2.8, apresentam-se trs graus de discriminao poss e ca veis fornecidos pelas curvas ROC. Quando as curvas ROC se cruzam ento podem-se classicar os sistemas a para um conjunto de fraces de falsos positivos ou verdadeiros positivos de co interesse no sentido do diagnstico, tendo em conta os custos e benef o cios de um diagnstico alternativo, se necessrio [58]. o a

1,0
31
,8
FVP (sensibilidade)
,6
,4
Discriminao elevada
,2
mdia baixa
0,0 0,0 ,2 ,4 ,6 ,8 1,0
acaso
FFP (1 - especificidade)
Figura 2.8: Curvas ROC representativas de trs graus de capacidade de e discriminao. ca
2.6.2
Plano binormal
Existe uma outra forma de visualizar a curva ROC, atravs da representao e ca no plano binormal, que um grco cujas coordenadas usuais de probabilie a dade so reescaladas de forma a que os valores dos desvios a Normal sejam a ` linearmente espaados. c A forma de representar os dados da ROC no plano binormal atravs do e e papel de probabilidades normal [33]. A escala de probabilidades constru e da fazendo o clculo do valor z, para cada valor de P , de acordo com a equao: a ca

z
32
100 P (z) = 2
x2 exp 2
Assim, o papel de probabilidades normal usa escalas de probabilidade para cada um dos seus eixos (gura 2.9).
4
FVP (sensibilidade)
-2
acaso
ROC -4 -4 -2 0 2 4
FFP (1- especificidade)
Figura 2.9: Curva ROC no plano binormal.
A vantagem deste tipo de grco que a curva ROC para distribuies a e co Normais uma linha recta e a separao entre as mdias das duas distrie ca e buies pode ser retirada deste grco, como funo da diferena entre o co a ca c valor da ordenada e da abcissa. A ilustrao de uma representao deste ca ca tipo encontra-se na gura 2.9. Metz [58] refere que, de um modo geral uma curva ROC, especicada e assumindo que esta segue uma forma particular com um ou mais parmetros a ajustveis. (...) A forma funcional binormal para a curva ROC utilizada a e
33
muito frequentemente e verica-se que fornece bons ajustes `s curvas ROC a emp ricas, medidas numa grande variedade de situaes. co No entanto Swets (1996) [80], refere que nem todos os dados no plano binormal se ajustam a uma linha recta, acrescentando que de facto isto representa uma diculdade. Este autor menciona tambm, que um desvio a e ` linearidade viola a hiptese da Normalidade, e um declive no unitrio viola o a a a hiptese da igualdade de varincias. o a Segundo Metz [58], a curva ROC binormal pode ser interpretada, em termos de uma varivel de deciso x, proveniente de duas densidades Gausa a sianas, em que
f (x|h0 ) =
(x N )2 exp 2 2 2N 2N 1
(2.9)
designa a funo densidade de probabilidade para os casos designados por ca normais, e
f (x|h1 ) =
1
2 2A
exp
(x A )2 2 2A
(2.10)
designa a funo densidade de probabilidade para os casos designados por ca anormais. Considera ainda que a , b 1 b
XN
N (0, 1)
XA
isto , que a forma funcional binormal para a curva ROC pode ser expressa e pelo par de equaes: co
F F P (c) = (c)
(2.11)
CAP ITULO 2. TEORIA DA ANALISE ROC e F V P (c) = (a b c)
34
(2.12)
onde a distribuio cumulativa da Normal padro, e os parmetros a e ca a a e b determinam a curva ROC, e c determina um ponto particular da curva [58]. Para demonstrar este resultado considere-se que XN a designao para e ca os valores da varivel de deciso para os indiv a a duos considerados normais, e XA a designao para os valores da varivel de deciso para os indiv e ca a a duos considerados anormais, num teste de diagnstico cuja varivel de deciso o a a e x. Hipoteticamente, pode-se descrever a situao atravs do grco da gura ca e a 2.10.
FVP
f(x|n)
f(x|a)
0 Varivel de deciso, x
a/b
FFP
Figura 2.10: Funes de densidade de probabilidade Gaussianas, para os co casos designados normais (N) e para os casos designados anormais (A).
35
F F P (c) =
c
f (x | n) dx = (+) (zn )c c0 1 = 1 (c) = (c) c.q.d.
=1
F V P (c) =
c
f (x | a) dx = (+) (za )c = 1
c a a
. (2.13)
Por outro lado da equao (2.12), vem: ca
(a b c) = [ (b c a)] = 1 (b c a) = 1
c a/b 1/b
. (2.14)
Da comparao das equaes (2.13) e (2.14), resulta que: ca co
a =
a b 1 a = b
c.q.d.
A vantagem da representao binormal, como j se referiu, que a curva ca a e ROC uma linha recta. Num cap e tulo posterior procurar-se- demonstrar a qual a forma funcional binormal para a curva ROC quando so consideradas a outras funes densidade de probabilidade que no a Normal, e determinar, co a para o caso das Normais, o signicado dos parmetros a e b. a
2.6.3
Indices de preciso das curvas ROC a
Existe uma variedade de ndices que foram propostos para especicar e/ou resumir as curvas ROC emp ricas ([58], [80]). Designa-se por ndice ou conjunto de ndices, aquele que especica uma curva ROC se essa curva puder
36
ser reconstitu na totalidade a partir de um valor (ou valores) conhecido da do ndice (ou ndices). As fraces de verdadeiros positivos e falsos positivos, como denidos anco teriormente so a ndices que representam dois tipos de preciso de diagnstico, a o e podem ser utilizados para representao da curva ROC. ca Tambm como j referido, a fraco de verdadeiros positivos (FVP ) dee a ca signa o mesmo que sensibilidade, isto , corresponde ` proporo de positivos e a ca correctamente identicados. Por outro lado, a fraco de verdadeiros negatica vos (FVN ) designa o mesmo que especicidade, que corresponde a proporo ` ca de negativos correctamente identicados. Existem outros ndices que podem ser utilizados para sumariar uma curva ROC [58], como por exemplo o valor da fraco de verdadeiros positivos num ca ponto de referncia de fraco de falsos positivos, F V P (F F P0 ), e o e ca ndice rea abaixo da curva ROC, AZ . a
2.6.4
Area abaixo da curva ROC
Como mencionado por vrios autores ([37], [58], [80]), a area abaixo da curva a ROC um dos e ndices mais utilizados para sumariar a qualidade da curva. De entre os mtodos para clculo de areas abaixo de uma curva ROC, e a podem ser considerados os seguintes: (i) regra do trapzio; e (ii) estimao de mxima verosimilhana, [38], (ver anexo A); ca a c (iii) a partir do declive e termo de intercepo da representao ca ca dos dados originais em papel de probabilidades binormal, [58] [47]; (iv) aproximao a estat ca ` stica U de Wilcoxon-Mann-Whitney [38].
37
Como resultado dos mtodos propostos para o clculo da area abaixo da e a curva ROC, os erros padro associados a esta, podem ser obtidos de trs a e maneiras: (i) como resultado da estimativa de mxima verosimilhana [38]; a c (ii) a partir da varincia da estat a stica de Wilcoxon (apndice B); e (iii) como resultado da aproximao a estat ca ` stica U de WilcoxonMann-Whitney [38].
Cap tulo 3 Estado da Arte

Neste cap tulo procurou-se fazer uma compilao de algum do material pesca quisado sobre o tema da anlise ROC (Receiver Operating Characteristic). a Sero descritas sumariamente as referncias bibliogrcas utilizadas no dom a e a nio da anlise ROC. a
3.1
Reviso bibliogrca a a
O maior contributo para o desenvolvimento da teoria da anlise ROC foi a dado pela teoria de deteco de sinal e tambm por experincias realizadas ca e e no campo da psicologia. Dos pioneiros no estudo das estimativas de mxima verosimilhana dos a c parmetros da teoria de deteco de sinal, salienta-se o trabalho desenvolvido a ca por Dorfman e Alf (1969) com o mtodo - rating-method - para determinao e ca destas estimativas e respectivos intervalos de conana [27]. Neste trabalho, c os autores, com base no modelo de Thurstone com dois est mulos associados, desenvolvem uma soluo para este caso, fornecendo tambm procedimentos ca e para obteno da matriz de varincias-covarincias e intervalos de conana. ca a a c
38
CAP ITULO 3. ESTADO DA ARTE
39
Para a resoluo das equaes de verosimilhana, apresentam o mtodo ca co c e de scoring como uma modicao do mtodo de Newton-Raphson. Neste ca e mtodo, as segundas derivadas parciais esperadas substituem as segundas e derivadas parciais observadas utilizadas no mtodo tradicional de Newtone Raphson. O mtodo de scoring, requer um conjunto de aproximaes inicie co ais ou estimativas preliminares dos parmetros. Referem que este mtodo, a e quando comparado com o mtodo do gradiente para resoluo de problemas e ca deste tipo, apresenta uma convergncia mais rpida. Este resultado iria ser e a posteriormente utilizado num algoritmo para estimao dos parmetros na ca a anlise ROC. a Green e Swets, em 1966 [33], apresentam um estudo sobre o desenvolvimento da teoria de deteco de sinal e a sua aplicao ao campo da psica ca cof sica. Os autores fazem uma introduo a teoria das probabilidades, teoria ca ` estat stica de deciso, anlise de propagao de ondas e tcnicas experimena a ca e tais. Revem as experincias bsicas que suportam a aplicao da teoria de e e a ca deteco em psicof ca sica e descrevem aplicaes experimentais desta teoria a co uma variedade de problemas substanciais em psicologia. Irvin Pollack e R. Hsieh (1969) [69] descrevem algumas medidas de preciso utilizadas em psicologia, nomeadamente o a ndice de . Neste artigo, os autores descrevem dois paradigmas bsicos em experincias psicof a e sicas, o das respostas Sim-No e o da escolha-forada, referenciam as demonsa c traes feitas por Green e Swets (1966) [33] da relao da area abaixo da co ca curva ROC com a percentagem de respostas correctas no procedimento de escolha-forada e no de respostas Sim-No. Salientam a importncia c a a do ndice rea abaixo da curva ROC e o facto de este ser uma medida noa a paramtrica e, por conseguinte, no serem necessrios pressupostos sobre as e a a distribuies subjacentes aos dados. Referem que o maior problema do uso co
40
desta medida, o desconhecimento da sua distribuio amostral. Com base e ca em estudos de simulao, obtm resultados para a variao da area abaixo ca e ca da curva ROC para amostras independentes e para amostras correlacionadas pressupondo vrios tipos de distribuies e fazendo variar as medidas cena co trais e de disperso. No so conclusivos quanto aos seus resultados, mas a a a apresentam discusses bastante importantes quanto a poss o ` vel variao da ca distribuio da area abaixo da curva ROC. ca Swets e Pickett (1982) [81] estudam a avaliao de sistemas de diagnstico ca o a partir de mtodos provenientes da teoria de deteco de sinal. Este estudo e ca procura conduzir os diversos resultados que surgem na avaliao do desempeca nho de um sistema de diagnstico, ao longo de uma vasta gama de situaes o co nas quais estes sistemas so utilizados. Estas situaes incluem a medicina, a co o controlo de qualidade industrial, a inspeco de materiais e mquinas, a ca a estratgia militar, a pesquisa de informao e a investigao criminal. Ree ca ca ferem ainda que o diagnstico em qualquer das suas formas pode ser visto o como um problema de deteco de sinal e classicaao, e a teoria moderna ca c de detecao de sinal fornece os melhores mtodos dispon c e veis para avaliar sistemas de diagnstico. Estes mtodos fornecem um ndice vlido e vel da o e a a preciso do diagnstico e, por conseguinte, satisfazem um primeiro objectivo a o da avaliao. ca Apresentam tambm o algoritmo desenvolvido por Dorfman e Alf (proe grama RSCORE) para obteno das estimativas de mxima verosimilhana ca a c dos parmetros da teoria de deteco de sinal para o mtodo de scoring. Este a ca e programa aplica uma variante do mtodo de Newton-Raphson, designado por e mtodo de scoring. O programa calcula as estimativas preliminares atravs e e do mtodo dos m e nimos quadrados como valores iniciais para o mtodo de e scoring.
41
Dorfman, em 1973 [26], compara a ecincia do programa RSCORE com e outras subrotinas alternativas, como por exemplo a STEPIT, que uma e subrotina que envolve um procedimento do tipo escolha-directa. O contributo de C. E. Metz foi um dos mais signicativos para o desenvolvimento da metodologia da anlise atravs de curvas ROC para avaliao de a e ca sistemas de diagnstico no campo da medicina, nomeadamente em tcnicas o e de imagem mdica radiolgica. Em 1978 [56] mostra como os diversos cone o ceitos associados a anlise ROC esto relacionados. Apresenta, tambm, de` a a e nies para os termos sensibilidade e especicidade, fraces de verdadeiros co co positivos e de falsos positivos, fraces de verdadeiros negativos e de falsos co negativos. Questiona os conceitos de preciso e exactido como media a das de diagnstico. Analisa o signicado da curva ROC, descreve algumas o curvas ROC experimentais e compara-as. Estabelece uma relao entre a ca anlise ROC e a anlise da razo custo/proveito de uma tomada de deciso. a a a a So introduzidos os conceitos de custo mdio de diagnstico e proveito a e o l quido mdio, para analisar situaes de compromisso para diversos tipos e co de erros de diagnstico. o Metz num trabalho conjunto ([60], [58]) apresenta uma nova aproximao ca considerando um modelo binormal bivariado, para testar diferenas signic cativas entre duas curvas ROC medidas a partir de dados correlacionados, e mostra como esta aproximao pode ser utilizada para delinear trs testes ca e estat sticos distintos, um teste de qui-quadrado bivariado aos parmetros, a teste para as fraces de verdadeiros positivos e teste ao co ndice rea abaixo a da curva ROC. Em 1986, este autor apresenta mais um trabalho sobre a anlise ROC na a imagem radiolgica [57], em que apresentado um conjunto de referncias o e e bibliogrcas neste dom a nio e desenvolvido os conceitos de anlise ROC no a
CAP ITULO 3. ESTADO DA ARTE diagnstico de imagem mdica. o e
42
O ndice rea abaixo da curva ROC uma medida muito utilizada a e para avaliar o desempenho de sistemas de diagnstico. Trabalhos como o de o Bamber [8] revelam uma relao importante entre este ca ndice e a estat stica no paramtrica, U , de Wilcoxon-Mann-Whitney, o que foi um contributo a e signicativo para o conhecimento da estat stica associada a este. A relao vericada por Bamber foi aproveitada por Hanley e McNeil ca (1982) [37] que, baseados no signicado de area abaixo da curva ROC, e uti lizando as ligaes entre vrios conceitos estat co a sticos, desenvolveram tcnicas e anal ticas para explicitar as propriedades estat sticas da curva. Apresentam uma rotina de clculo para a estat a stica de Wilcoxon-Mann-Whitney, assim como para os respectivos erros padro (SE). Os autores salientam ainda a a importncia da no existncia de pressupostos distribucionais para estes a a e clculos. Neste artigo apresentada ainda uma forma de determinao da dia e ca menso optima da amostra (considerando a igualdade entre as dimenses das a o amostras dos casos normais e anormais). Estes autores abordam tambm, e um mtodo para detectar diferenas signicativas entre areas abaixo de duas e c curvas ROC a partir da dimenso da amostra, n, e para vrios n a a veis de conana, 80%, 90% e 95%. c Em 1983, Hanley e McNeil [38] estendem a anlise desenvolvida em [37] a a uma classe mais vasta de situaes, quando duas ou mais curvas ROC so co a geradas usando o mesmo conjunto de dados. Nesta situao torna-se neca cessrio a introduo de uma medida de associao entre os dois conjuntos a ca ca de observaes sobre os dados em questo. Neste artigo apresentada uma co a e tabela que a partir da mdia dos coecientes de correlao rA (coeciente de e ca correlao no paramtrico para os casos designados anormais) e rN (coecica a e ente de correlao no paramtrico para os casos designados normais), e da ca a e
43
mdia das areas A1 e A2 , determina o coeciente de correlao r entre as reas e ca a das duas curvas ROC. E ainda estabelecida uma relao para o nmero de ca u indiv duos necessrios em casos de experincias com emparelhamento e para a e amostras independentes. Ainda em 1983, McNeil e outros [55] apresentam um estudo para duas tcnicas de imagem, utilizando a metodologia descrita por Swets e Pickett e [81], com uma modicao para dados emparelhados, comparando-a com a ca metodologia desenvolvida por Hanley e McNeil [38]. Para comparao de duas ou mais curvas ROC para dados correlacioca nados, DeLong e outros (1988) [22] apresentam uma aproximao no paca a ramtrica, baseando-se na determinao de uma matriz de varincias-covarie ca a a ncias para um vector genrico de estat e sticas U . Estes autores referem que a tabela de valores de r determinada por Hanley e McNeil [38] apresenta limitaes, nomeadamente o facto de ser aplicada somente em situaes em co co que a diferena mdia das areas abaixo das curvas ROC a comparar supec e e rior a 0.7. Neste artigo os autores apresentam uma metodologia alternativa, utilizando uma aproximao no paramtrica que explora as propriedades da ca a e estat stica U de Mann-Whitney. A tcnica utilizada para fornecer estimatie vas consistentes dos elementos da matriz varincias-covarincias do vector U a a a desenvolvida no mtodo das componentes estruturais de Sen (1960). e e Um artigo com aplicao da metodologia de DeLong foi desenvolvido por ca Rockette (1990) [75], para a comparao de dois conjuntos de dados para ca sistemas de imagem. Autores como Hanley, McNeil e DeLong, basearam os seus estudos no ndice rea abaixo da curva ROC e a sua aproximao a estat a ca ` stica U de Wilcoxon-Mann-Whitney, para comparao de sistemas de diagnstico. Poca o rm, outros autores desenvolveram alguns estudos com base na teoria de e
44
deteco de sinal, utilizando outros ca ndices de discriminao, como d, de ca e m [69], [28] e [80]. Hanley (1988) [36] apresenta algumas razes da imensa aplicabilidade o da curva ROC, baseada nos pressupostos desenvolvidos na abordagem paramtrica da teoria de deteco de sinal, designada por curva ROC no plano e ca binormal. Neste artigo, algumas justicaes formuladas por vrios autores para o co a uso da forma binormal so citadas, nomeadamente: a
- A distribuio Gaussiana a natural - ...many of random vaca e riables describing natural phenomena may be considered to be the sum of large, relatively constant number of other independent, random variables;...since we often believe that sensory events are composed of multitude of similar, smaller events, the Central Limit Theorem might be invoked to justify the Gaussian assumption [33] [pg.54-58]; a - Outras distribuies podem ser aproximadas pela Gaussiana co ...the binomial, Poisson, hypergeometric, and chi-squared distributions can, under certain conditions, be closely approximated by the Normal distribution [33] [pg. 58]; a - O eixo de deciso pode ser transformado para produzir distria buies Gaussianas- ...any monotonic transformation of decisionco variable axis yields generally dierent underlying distributions but the same ROC curve [28]; - Outras formas ROC parecem aproximar-se de uma recta no
CAP ITULO 3. ESTADO DA ARTE papel binormal - ...the plot of Power-Law ROCs in binormal coordinate shows that they are nearly straight lines [28] ; - Resultados emp ricos mostram que a forma binormal se ajusta a uma recta - ...it is a highly robust, empirical result, wich is now substantiated in dozen of diverse applications, that empirical ROC is very similar in form to a theoretical ROC derived from normal probability distributions. In practice, in other words, the ROC curve is adequately described by a straight line when plotted on binormal graph [81] [pg. 5 e 30]; a - Tratabilidade matemtica e convenincia - ...it has the convea e nient property that all possible binormal ROC curves are transformed into straight lines if plotted on normal deviate axes [59] citando [33]; ...it is relatively easy to t by eye and is easily tted by statistical techniques that give estimates of the slope and intercept of binormal ROC [81] [pg. 31]. a
45
Hanley [36] acrescenta ainda a esta lista de popularidade da forma binormal , o facto dos programas dispon veis para traar a curva ROC, utilizarem c esta forma por facilidade em termos de clculo. a O modelo binormal foi, sem dvida, o mais utilizado para descrever sisu temas de diagnstico. Autores como Swets [78], [79] e Ratcli [71], aplicam o esta metodologia em campos associados a psicologia. ` Iverson e outros, em 1992 [47], atravs da generalizao das propriedades e ca do modelo padro da Normal na teoria de deteco de sinal, apresentam a ca denies importantes no desenvolvimento da teoria ROC, como por exemplo co
46
o teorema da area. Estes autores demonstram tambm, neste artigo, para e uma curva ROC no plano binormal, a relao entre a distncia da recta ca a ajustada a origem e o valor da area abaixo da curva ROC. ` Muitos autores, como Philbrick (1980) [68], Diamond (1986) [23], Hlatky (1987) [41] e Tavel (1987) [83], optaram pelo uso da sensibilidade e da especicidade como medidas de preciso de diagnstico apesar das suas limitaes. a o co Diamond (1986) [23] apresenta uma aplicao destes conceitos como meca dida de estudo de diagnstico em doenas coronrias. Conclu no entanto, o c a , que a sensibilidade e a especicidade no devero ser consideradas sucientes a a num grupo de referncia pequeno. e Philbrick (1980) [68] e Hlatky (1987) [41] apresentam trabalhos com aplicao destes conceitos ao estudo de doenas coronrias, apresentando ca c a algumas vantagens do seu uso nos testes de diagnstico. o No estudo de Hlatky [41], os autores conclu ram que a sensibilidade e a especicidade variam com as caracter sticas cl nicas e, por conseguinte, deveriam ser tidos em conta os factores cl nicos no desempenho da anlise a do teste de diagnstico. o Tambm em 1987, Tavel [83] revela a importncia do uso da especicidade e a e da sensibilidade como medidas de diagnstico e discute poss o veis falhas na sua utilizao. Apresenta como soluo para o problema da dependncia da ca ca e sensibilidade e da especicidade das distribuies de respostas negativas e co positivas ao teste, a vericao do estudo prospectivamente para todos os ca pacientes. Begg (1991) [9] efectua um resumo sobre as metodologias de diagnstico o utilizadas em medicina. Refora a ideia de que necessrio fazer um correcto c e a planeamento da experincia, no que diz respeito a recolha de dados, escolha e ` de um gold standard (grupo referncia) e metodologia utilizada na anlise e a
47
estat stica. Refere-se ` anlise ROC como sendo um dos ultimos ressurgia a mentos na anlise de diagnstico e uma boa medida de preciso de um teste a o a de diagnstico. o John A. Swets, em 1996 [80] apresenta uma coleco de artigos sobre a ca teoria de deteco do sinal e a anlise ROC em psicologia e diagnstico. Este ca a o livro composto por trs grandes blocos; no primeiro bloco apresentado e e e um conjunto de artigos sobre conceitos tericos associados a anlise ROC e o ` a teoria do sinal; no segundo bloco so apresentados dois artigos sobre preciso a a e ecincia de diagnstico; por m, no terceiro bloco, o autor apresenta um e o conjunto de artigos referentes as aplicaes desta teoria nos mais diversos ` co campos. Em 1996 Halpern e outros [35], num estudo sobre comparao de sistemas ca de diagnstico, desenvolveram um novo mtodo para comparao das curvas o e ca ROC baseado no que designaram por pontos ptimos de operao (OOP o ca Optimal Operating Points). Referem que a ecincia do diagnstico poder e o a ser avaliada apenas pela comparao de pontos optimos de operao, para ca ca um valor xo de fraces de verdadeiros positivos ou de fraces de falsos co co positivos, em alternativa ao ndice rea abaixo da curva ROC. a Um conjunto de autores como, Swets (1979) [82], Gatsonis (1990) [31], Henkelman (1990) [39], Rifkin [74], Colliver (1992) [18], Mossman (1994) [61], Chen (1994) [17], Parker (1995) [67], Burdette [11], Eskicioglu (1996) [29], Jiang [48], McMillan (1996) [54] e Holmes[42], utilizam a metodologia da anlise ROC, quer para determinao de valores optimos de valores de corte, a ca quer para comparaes de diferentes testes, nos mais diferentes campos, como co por exemplo psicologia, medicina e tcnicas de imagem. e Swets (1979) [82] utilizou um protocolo para a avaliao rigorosa de ca um sistema de diagnstico em medicina, num estudo comparativo de duas o
48
tcnicas radiolgicas para deteco, localizao e diagnstico de leses ceree o ca ca o o brais: tumograa computorizada (TC) e scanning radionuclear (RN). Para tal, utilizou as leituras de seis tcnicos em TC e outros seis em RN. Traou e c as ROC em papel de probabilidades binormal para cada um dos seis leitores em separado. Gatsonis (1990) [31] discute a avaliao de tecnologias cl ca nicas em radiologia, concentrando-se essencialmente em estudos prospectivos, isto , estudos e nos quais os pacientes so recrutados e testados com ferramentas cl a nicas, em vez de serem seleccionados na base de um estudo retrospectivo. Neste artigo os autores tecem algumas consideraes a ter em conta no estudo comparaco tivo de tcnicas de imagem radiolgica, nomeadamente no que diz respeito e o ao grupo de investigao, tcnicas a analisar, instituies participantes, deca e co senvolvimento de um protocolo para o estudo, implementao do controle de ca qualidade, metodologia estat stica utilizada e pressupostos de utilizao. ca Para Henkelman (1990) [39], a avaliao de testes de diagnstico mdico ca o e requer, tradicionalmente, preciso, avaliao independente do estado da doena ca c a do paciente contra o qual o teste pode ser comparado. Salientam que a anlise ROC uma aproximao para avaliao de testes de diagnstico, que a e ca ca o possui tcnicas anal e ticas que permitem traar um grco de FVP (fraces c a co de verdadeiros positivos) versus a FFP (fraco de falsos positivos), a curva ca ROC, cujos pontos de operao correspondem a pares de sensibilidade/especica cidade. A anlise ROC independente de certos factores como a prevalncia a e e da doena na populao e da escolha do critrio de deciso pelo observador. c ca e a No entanto, a anlise ROC continua a requerer uma medida do verdadeiro a estado da doena em cada paciente. Descrevem um mtodo de anlise que c e a utiliza os dados ROC para comparar a preciso de testes de diagnstico que a o apresentam problemas provenientes da necessidade de um gold standard.
49
O mtodo desenvolvido aplicvel a situaes em que as comparaes so e e a co co a realizadas para dois ou mais testes, e cada um deles apresenta um elevado n de preciso (rea abaixo da curva ROC acima de 0.9). O mtodo pode vel a a e tambm ser aplicado a situaes em que existe gold standard, para avaliar a e co consistncia dos dados. O mtodo produziu resultados equivalentes a anlise e e ` a ROC convencional na comparao do TAC (Tomograa Axial Computorica zada), da ressonncia magntica e de RS (Cintigraa Radionuclear) obtida a e para metastases vivas. Neste artigo apresentado um comentrio de Metz, que salienta que o obe a jectivo do estudo de Henkelman foi comparar dois ou mais testes radiolgicos o quando no existe gold standard nem consensus diagnosis dos testes em a estudo. Os seus mtodos empregam o uso de mistura de distribuies, isto e co , os dados so gerados a partir (neste caso) de duas populaes, doentes e e a co no doentes, mas onde o verdadeiro estado de doena desconhecido. No a c e seu exemplo, so comparados trs testes radiolgicos, sendo cada um testado a e o nos cinco pontos usuais de uma escala de classicao. As trs variveis lacca e a tentes cont nuas correspondentes a estas classicaes foram assumidas como co sendo geradas a partir da mistura de duas distribuies normais trivariadas, co tal como na anlise ROC convencional. Os parmetros destas distribuies a a co e a proporo de mistura (ou prevalncia da doena) foram estimadas utica e c lizando um algoritmo iterativo que deu as estimativas de mxima verosimia lhana. Os autores comparam os resultados desta anlise com a anlise conc a a vencional onde o verdadeiro diagnstico conhecido, e provaram uma certa o e consistncia. No entanto, o uso desta metodologia tem srias e potenciais e e limitaes. Uma importante limitao que os parmetros das distribuies co ca e a co componentes podem no ser na realidade identicveis, especialmente se as a a distribuies estiverem perto uma da outra. Um outro problema potencial co
50
causado pelo facto de num conjunto radiolgico no se disporem de dados e o a cont nuos, apenas resultados numa escala com cinco classicaes. co Rifkin [74], atravs da utilizao do programa CORROC2, espec e ca co para anlise ROC para duas amostras correlacionadas, desenvolvido por Metz, a compara duas tcnicas de imagem, a ressonncia magntica (MRI) e a ule a e trasonograa (US), na deteco do cancro da prstata em diversos estdios ca o a da doena. Este estudo permitiu-lhes concluir, que nenhuma das tcnicas c e avaliadas, se mostrou eciente na deteco precoce deste tipo de doena. ca c Tambm Goddard e outros (1990) [32] avaliam o desempenho de alguns e kits de diagnstico para determinar os n o veis de serum prostatic acid phosphatase em pacientes com diferentes estdios de cancro na prstata, a o sendo cada paciente estudado com vrios kits. Comparam os resultados oba tidos atravs da metodologia da curva ROC, assumindo que os dados seguem e uma distribuio Normal, que a transformao logar ca ca tmica dos dados segue uma Normal, e nenhum tipo de distribuio associada aos dados. Vericaca ram diferenas importantes entre os resultados das diferentes aproximaes. c co Armam que para este conjunto de dados, a aproximao a Normal dever ca ` a ser utilizada com extrema precauo. A transformao logar ca ca tmica d resula tados que so comparados favoravelmente com os da no paramtrica, mas a a e uma aplicao irreectida do mtodo deveria ser evitada. ca e No estudo de Colliver e outros (1992) [18] utilizaram-se critrios quantitae tivos, assim como consideraes prticas para determinar os valores optimos co a para o comprimento do teste de screen (isto , o nmero de casos) e a locae u lizao do valor de corte. Utilizaram-se as curvas ROC para vrios testes de ca a screen, variando o comprimento, onde os pontos em cada curva correspondem a diferentes valores de corte no teste de screen. Os resultados demonstraram que pode ser obtida uma boa preciso com um teste de screen que contenha a
51
apenas uma tera parte do comprimento total, e o valor de corte para este c teste deveria ser ligeiramente acima da mdia dos n e veis que maximizam a sensibilidade e a especicidade. Referem tambm que um indicador quantitae tivo comum da preciso descrita por uma curva ROC, a area abaixo da curva, a pode ser interpretado como sendo a probabilidade de uma classicao corca recta de pares examinados. Calcularam a area abaixo da curva ROC atravs e da regra do trapzio. e Mossman (1994) [61] recomenda o uso da anlise ROC para avaliar o efeito a de deteco ou previso da violncia. O autor arma que os mtodos ROC ca a e e descrevem a exactido dos a ndices que no so afectados por classicaes de a a co base ou pelos enviesamentos cl nicos a favor ou contra a previso dos erros a de tipo I ou de tipo II. Os mtodos ROC ocupam uma posio central ou e ca unicada nos processos de determinao e uso de ferramentas de diagnstico ca o na medicina cl nica e foram utilizados para avaliar a previso da delinquncia a e juvenil. Numa primeira anlise, o autor explica como a anlise ROC pode a a auxiliar os investigadores a descrever e avaliar a previso da violncia. Consia e dera a construo da curva ROC assente no pressuposto de que a distribuio ca ca normal bivariada. Os autores utilizaram um software denominado ROCFIT e que d os a ndices da anlise ROC. a Chen e outros (1994) [17] procuram utilizar a anlise ROC para estudar a a exactido do CBCL (Child Behavior Checklist) para testes de decincia a e de ateno de desordem hiperactiva (ADHD) [crianas com ADHD tm vaca c e lores elevados de CBCL]. Os autores comparam esta escala para quatro grupos, com outras escalas diferentes, e concluem que a CBCL a melhor para e qualquer destes grupos. Referenciam a anlise ROC de qualidade (QROC) a como sendo uma poss transformao para a anlise ROC, utilizando como vel ca a ndices os valores de kappa e dQ (distncia de cada sintoma do ponto ideal). a
52
Concluem que ` medida que a ecincia do diagnstico aumenta, o valor de a e o dQ diminui. Parker (1995) e outros [67], em estudos de cancro da mama, utilizaram a tcnica da anlise ROC, atravs do e a e ndice rea abaixo da curva ROC, para a avaliao de um sistema de classicao. Testaram um conjunto de 42 casos ca ca onde se obteve um valor para a area abaixo da curva ROC de 0.91 usando uma combinao de seis tipos de clusters de calcicaao. ca c Em Burdette (1996) [11], atravs da utilizao do programa CORROC2, e ca feita a comparao de duas tcnicas de diagnstico da doena de Alzheimer. e ca e o c Eskicioglu (1996) [29] desenvolve uma tcnica de melhoramento da imae gem sem ter de recorrer as ferramentas padro para medir a qualidade de ` a imagens reconstru das, como o caso do mtodo da mdia quadrtica do e e e a erro normalizada (NMSE). O autor considera tambm, a anlise ROC como e a uma poss ferramenta para a medida de qualidade da imagem, mas que no vel entanto, envolve muitos custos e demora de tempo. Refere ainda que devido a estes factores, a anlise ROC se torna demasiado espec a ca para cobrir uma gama de modalidades no campo da imagem mdica e suas aplicaes. e co Jiang e outros (1996) [48], utilizam a metodologia ROC, usando o programa LABROC4, para classicao e comparao de uma tcnica compuca ca e torizada de deteco de microcalcicaes benignas ou malignas (origem do ca co cancro da mama), com a tcnica usual dos radiologistas. e McMillan e outros (1996) [54] pretendem determinar o desempenho clnico de trs tipos de frmulas de u e o dos cerebroespinais, (CSF) IgG, utilizando os dados obtidos a partir de dois mtodos quantitativos. Os mtodos usae e dos foram os da anlise ROC e o dos a ndices de deciso. Foram traados a c grcos para comparar a RN (rate nephelometric) e a RIEP (rocket immua noelectrophoretic). Estas frmulas foram utilizadas para determinar o teste o
53
clinicamente mais preciso para o diagnstico da esclerose mltipla, tendo em o u conta a sua preciso e o custo efectivo da anlise. Utilizando o mtodo RN a a e com uma determinada concordncia, para um valor de corte de 90% de espea cicidade, o ndice IgG d melhor desempenho cl a nico. Os autores conclu ram que a curva ROC e a anlise dos grcos dos a a ndices de deciso, fornecem a ferramentas valiosas na determinao e comparao do desempenho cl ca ca nico de testes laboratoriais novos e dos j existentes. a Ainda no campo da medicina, para o estudo dos ndices de avaliao ca de risco neonatal inicial, The International Neonatal Network (1993) [64] determinou que o CRIB um e ndice robusto para determinar o risco neonatal inicial e mais preciso do que o peso a nascena. ` c Em 1994, Rautonen e outros [72] utilizaram tambm a metodologia ROC e para avaliar o risco de morte para recm-nascidos prematuros atravs de trs e e e ndices: CRIB, SNAP e SNAP-PE. Atravs das curvas ROC procuraram e determinar qual o melhor ndice para a previso do risco de morte. a Courcy-Wheeler e outros (1995) [21], num estudo prospectivo para recme nascidos com muito baixo peso a nascena (<1500 g) e prematuros (< 32 ` c semanas), procuraram determinar a capacidade do CRIB face a idade gesta` cional, para prever as taxas de mortalidade e morbilidade e ainda os tempos de permanncia nas Unidades de Cuidados Intensivos Neonatais, utilizando e para o efeito estudos atravs da anlise ROC. e a Aps a apresentao da pesquisa bibliogrca efectuada no enquadrao ca a mento do tema desta dissertao, pode-se vericar, por um lado, a existncia ca e de muitos contributos neste dom nio, por outro, a grande diversidade de aplicaes da anlise ROC. co a Este cap tulo pretende tambm mostrar como alguns trabalhos desenvole vidos em dom nios como a teoria de deteco de sinal, teoria estat ca stica e
54
anlise de diagnstico, serviram de ponto de partida para o surgir da anlise a o a ROC. Assim, sob uma perspectiva cronolgica, e atendendo a evoluo da o ` ca teoria da anlise ROC, poder-se-` agrupar a informao recolhida em dois a a ca blocos bsicos: a - o da teoria de deteco de sinal que conduz a uma abordagem designada ca por paramtrica, pois os pressupostos em que esta assenta so os da Normae a lidade das distribuies, modelo apresentado por Thurstone referenciado em co [80]; - o desenvolvido em torno da aproximao do ca ndice rea abaixo da curva a ROC a estat ` stica no paramtrica de Wilcoxon-Mann-Whitney, iniciado em a e estudos como o de Bamber [8], que conduz a abordagem no paramtrica. ` a e Verica-se ainda que a maioria das aplicaes da metodologia ROC utiliza co a abordagem paramtrica, o que pode ser devido, entre outros factores para e alm dos enunciados por Hanley em [36], a existncia de programas que e ` e utilizam apenas este tipo de abordagem.
Cap tulo 4 Principais contributos para o desenvolvimento da anlise a ROC

Este cap tulo procurar dar a conhecer quais foram os principais contributos a para o desenvolvimento da anlise ROC (Receiver Operating Characteristic). a Assim, apresentar-se- o resumo de alguns trabalhos que contribu a ram de uma forma signicativa para o desenvolvimento da teoria da anlise ROC, a realizados por diferentes autores, assim como algumas relaes importantes. co
4.1
Relao entre a rea abaixo da curva ROC ca a e a rea do Grco de Ordenao Domia a ca nada
Em 1975, os grcos ROC foram interpretados por Bamber [8], como uma a variante da designada curva de Ordenao Dominada - Ordinal Dominance ca 55
CONTRIBUTOS Curve (OD).
56
O grco de Ordenao Dominada (Ordinal Dominance Graph) para as a ca variveis X e Y , ou (X, Y ) OD foi denido por Darlington (1975) [8]. Dadas a duas variveis aleatrias X e Y , e c uma constante arbitrria, considere-se o a o a grco cujo eixo coordenado horizontal dado pela probabilidade P (X c), a e e o eixo coordenado vertical dado pela probabilidade P (Y c). Designe-se e por T (c), o ponto traado neste grco, para todos os valores poss c a veis de c, desde a +. O grco assim resultante designado por grco de a e a Ordenao Dominada de uma populao, como exemplicado na gura 4.1. ca ca
Figura 4.1: Grco de Ordenao Dominada (OD) de uma populao. a ca ca
Uma propriedade deste tipo de grcos que so invariantes no sentido a e a de preservao de transformaes, isto , dada uma funo m estritamente ca co e ca
CONTRIBUTOS
57
crescente, denida para todos os valores das variveis aleatrias X e Y , ento a o a o grco OD para X e Y idntico ao grco OD para m(X) e m(Y ). a e e a Bamber [8] desenvolveu o seu trabalho considerando as variveis aleatrias a o X e Y cont nuas, ou ento discretas nitas, apresentando as denies de a co grco OD para os dois casos. a Citando este autor, segundo Birnbaum e Klose (1957), uma varivel a aleatria X diz-se estocasticamente menor ou igual do que outra varivel o a aleatria Y , para qualquer constante c, se: o P (X c) P (Y c). Bamber arma ainda que duas variveis aleatrias X e Y dizem-se estoa o casticamente comparveis quer no caso de X ser estocasticamente menor ou a igual do que Y , quer no caso contrrio, Y ser estocasticamente menor ou igual a do que X. Se se considerar a diagonal positiva (P (X c) = P (Y c)), como a linha que une os pontos (0, 0) e (1, 1), no plano onde se encontra traado o c grco OD, ento duas variveis aleatrias X e Y dizem-se estocasticamente a a a o comparveis se e s se a curva OD se encontra, por completo, abaixo da a o diagonal positiva. Bamber designa area acima do grco OD para X e Y por A(X, Y ). Se a X e Y forem cont nuas, e se fY designar a funo densidade de probabilidade ca de Y , ento: a
A(X, Y ) =
0
P (X c) dP (Y c)
+
P (X c) fY (c) dc
= P (X Y ).
CONTRIBUTOS
58
Figura 4.2: Area acima do grco OD, para X e Y cont a nuas.
que corresponde a area sombreada na gura 4.2. ` Para X e Y discretas nitas considera-se c1 , ..., ck o conjunto ordenados de valores que X e Y podem tomar com probabilidade no nula. Seja ainda, a a a a c0 um valor arbitrrio menor que c1 . A rea acima do grco OD pode ser calculada dividindo esta em trapzios, e calculando a area de cada trapzio. e e Considere-se, assim, Ai a area do trapzio considerado na gura 4.3. e Analiticamente, poder-se-` calcular a area de cada trapzio atravs de: a e e
Ai = P (Y = ci ) = P (Y = ci )
1 1 P (X ci ) + P (X ci1 ) 2 2 1 P (X ci1 ) + P (X = ci ) . 2
CONTRIBUTOS
59
Figura 4.3: Area acima do grco OD, para X e Y discretas nitas. a
Como A(X, Y ) igual a soma dos diversos Ai , vem: e `

k
A(X, Y ) =
i=1 k
P (Y = ci )
P (X ci1 ) +
1 P (X = ci ) 2
k
=
i=1
1 P (Y = ci ) P (X ci1 ) + 2 1 P (X = Y ) 2
P (Y = ci ) P (X = ci )
i=1
= P (X < Y ) +
(4.1)
Dado que para X e Y cont nuas, P (X = Y ) nula, ento a equao e a ca (4.1) vlida para ambas as situaes, variveis aleatrias discretas nitas e e a co a o variveis aleatrias cont a o nuas. A partir da equao (4.1) nota-se que a medida de area A(X, Y ) avalia ca
CONTRIBUTOS
60
a distncia a qual a distribuio de X se encontra da distribuio de Y , a ` ca ca em termos proporcionais. Ento, A(X, Y ) pode tomar qualquer valor desde a um m nimo igual a zero at um mximo igual a um. O valor mximo e a a e obtido se e s se a distribuio de X compreender valores, por completo, o ca abaixo dos da distribuio de Y sem existncia de sobreposio das duas ca e ca distribuies. De forma anloga A(X, Y ) = 0, se e s se a distribuio de co a o ca X compreender valores por completo, acima dos da distribuio de Y sem ca existncia de sobreposio das duas distribuies. Por outro lado, se as duas e ca co distribuies forem identicamente distribu co das, isto , se apresentarem uma e sobreposio completa, ento A(X, Y ) = 1 . De salientar ainda que A(X, Y ) ca a 2 e A(Y, X) so complementares, pelo facto de que a sua soma sempre um. a e Bamber [8] arma que as propriedades de A(X, Y ) tornaram-na uma medida util, da dimenso ou importncia, da diferena entre duas populaes. a a c co Da mesma forma que se deniu um grco OD de populao, pode-se a ca tambm denir um grco OD para uma amostra, sem perda de generalie a dade dos conceitos introduzidos. Assim, considere-se uma amostra aleatria o com NX observaes da varivel aleatria X, e uma amostra aleatria com co a o o NY observaes da varivel aleatria Y . Seja p(X c) a proporo de obco a o ca a servaes de NX de X que so menores ou iguais que uma constante c, e co a p(Y c) a proporo de observaes de NY de Y que so menores ou iguais ca co que uma constante c. Para cada c, seja t(c) o ponto de coordenada horizontal p(X c) e coordenada vertical p(Y c), ento um grco OD amostral a a para X e Y formado por pontos t(c) para todo c de a +. Para e qualquer c, cada coordenada do ponto t(c) um estimador no enviesado e a para as correspondentes coordenadas de T (c). Neste sentido, o grco OD a amostral para X e Y , pode ser considerado um estimador no enviesado do a grco OD da populao de X e Y . a ca
CONTRIBUTOS
61
Dada uma amostra aleatria com NX observaes da varivel aleatria X, o co a o co a o a e uma amostra aleatria com NY observaes da varivel aleatria Y , ento o existe um total de NX .NY combinaes poss co veis de X com Y . Designe-se por p(X < Y ), p(X = Y ) e p(X = Y ) a proporo dos pares NX NY para os ca quais X < Y , X = Y e X = Y , respectivamente. Ento os estimadores no a a enviesados de P (X < Y ), P (X = Y ) e P (X = Y ) so p(X < Y ), p(X = Y ) e a p(X = Y ), respectivamente. Se designar por a(X, Y ) a area acima do grco a OD amostral, ento pela regra do trapzio, semelhante ` equao (4.1), vir: a e a ca a
a(X, Y ) =
i=1 k
p(Y = ci )
p(X ci1 ) +
1 p(X = ci ) 2
k
=
i=1
1 p(Y = ci ) p(X ci1 ) + 2
p(Y = ci ) p(X = ci )
i=1
1 = p(X < Y ) + p(X = Y ). 2
(4.2)
Para vericar que a(X, Y ) um estimador no enviesado para A(X, Y ), e a basta tomar o valor esperado em ambos os membros da equao (4.2): ca
E [a(X, Y )] = E p(X < Y ) +
1 p(X = Y ) 2 1 = E [p(X < Y )] + E [p(X = Y )] 2 1 = P (X < Y ) + P (X = Y ) 2
donde resulta,
E [a(X, Y )] = A(X, Y ). Assim, a rea acima do grco OD amostral um estimador no enviea a e a sado da area acima do grco OD da populao. a ca
CONTRIBUTOS
62
Bamber [8] refere-se tambm ` existncia de uma relao entre o estimae a e ca dor a(X, Y ) e a estat stica U de Mann-Whitney. Dado que a estat stica U denida como sendo o nmero total de pares (X, Y ) para os quais X < Y , e u ento se X e Y forem cont a nuas, U . NX NY
a(X, Y ) =
Este um resultado importante, na medida que permite maior simplicie dade no clculo desta grandeza. a A curva ROC pode ento ser visualizada como uma variante do grco a a OD, por rotao deste, isto , a curva ROC pode ser vista como um grco ca e a cujo eixo coordenado vertical corresponde a P (Y c) e o eixo coordenado horizontal corresponde a P (X c), como exemplicado na gura 4.4.
Figura 4.4: Um exemplo de curva ROC.
CONTRIBUTOS
63
A partir deste grco, tambm poss observar que a area acima do a e e vel grco OD corresponde ` area abaixo da curva ROC. a a
4.2
Procedimento de resposta sim-no a
Green e Swets [33] utilizaram a metodologia da teoria de deteco de sinal ca em problemas de deciso no campo da psicologia. Pode-se dizer que a coma ponente principal da teoria de deteco a aplicao da teoria de deciso a ca e ca a situaes nas quais aos sinais pode ou no ser adicionada uma perturbao co a ca aleatria, o rudo. o No designado procedimento de resposta sim-no, o observador do acona tecimento responde sim se pensar que o sinal est presente nessa exa perincia, e responde no no caso contrrio. Neste tipo de procedimento e a a assume-se que o observador decide a sua escolha baseado num critrio e, e para cada experincia, se a sua leitura (impresso) excede o critrio pre a e e adoptado, ele responde sim. Poder-se-` representar uma sequncia t a e pica de acontecimentos associados a este procedimento de deteco binria como ca a exemplicado na gura 4.5.
Int. de aviso
Int. de observao
Retorno Int. de resposta S/N
s/n?
Tempo
Figura 4.5: Acontecimentos numa experincia de procedimento sim-no. e a
CONTRIBUTOS
64
Neste tipo de procedimento designa-se por s e n as duas alternativas de est mulo, que correspondem respectivamente, presena de sinal e rudo. As c respostas poss veis do observador iro ser designadas por S (sim sinal ) e a N (no sinal, rudo). No existe outro tipo de resposta, nomeadamente o a a observador no pode responder no sei. a a Como existem apenas dois graus de liberdade neste procedimento, isto , e basta o conhecimento de duas probabilidades para se conhecerem as outras duas, dado que a representao do acontecimento est ca mulo-resposta, se pode resumir a uma tabela 2 2, como referido no cap tulo anterior. Toda a informao contida nesta tabela se pode resumir a um ponto ca num grco a duas dimenses, cujo eixo coordenado horizontal dado pela a o e probabilidade de falso alarme, P (S | n) e o eixo coordenado vertical dado e pela probabilidade de acerto, P (S | s) [33], [8]. Consoante a mudana de c critrio de deciso do observador, cria-se um novo ponto no grco. Para e a a um critrio muito baixo, o ponto encontra-se situado nas coordenadas (1, 1). e ` A medida que o critrio de deciso aumenta, as duas coordenadas diminuem e a e poder-se-` traar uma curva cont a c nua, at um critrio de deciso muito e e a elevado, que termina no ponto de coordenadas (0, 0). O grco criado por a este conjunto de pontos designado por curva ROC sim-no [33], [8]. e a Green e Swets [33] demonstram que o declive da curva ROC em qualquer ponto igual ao critrio da razo de verosimilhanas que gera esse ponto. e e a c Considere-se o caso de variveis cont a nuas, seja f (e | s) a designao para ca a funo densidade de probabilidade quando a hiptese s verdadeira, e ca o e f (e | n) a designao para a funo densidade de probabilidade quando a ca ca hiptese n verdadeira, ento por denio: o e a ca f (e|s) f (e|n)
l(e) =
CONTRIBUTOS
65
As coordenadas da curva ROC podem ser expressas como funo de um ca critrio c da seguinte forma: e
P (S|s) =
c +
f (e|s) de f (e|n) de.

c
P (S|n) =
Diferenciando estas expresses em ordem ao limite inferior c, obtm-se: o e
d P (S|s) = f (c|s) dc d P (S|n) = f (c|n). dc Utilizando a regra, dy/dx = (dy/dc)(dc/dx), o declive num ponto determinado pelo critrio c, [33]: e e d P (S|s) d P (S|n) f (c|s) = l(c). f (c|n)
=
c
Para o caso discreto, critrios sucessivos da razo de verosimilhanas dee a c terminam os declives entre pontos sucessivos da curva ROC [33]. Reciprocamente, se existem alguns pontos na curva ROC, e se o processo de deciso a e baseado no critrio da razo das verosimilhanas, ento os valores do critrio e a c a e da razo de verosimilhanas poder ser inferido a partir dos declives das a c a linhas que unem pontos sucessivos. Um resultado importante que advm desta relao, que uma curva e ca e ROC baseada no critrio da razo de verosimilhanas tem uma probabilidade e a c de acerto que uma funo montona crescente da probabilidade de falso e ca o alarme, e um declive que montono decrescente. e o
CONTRIBUTOS
66
4.3
Procedimento de classicao ca
No procedimento de classicao utiliza-se o mesmo formato de apreca sentao do procedimento sim-no, como ilustra o esquema da gura 4.5. ca a A sequncia de ocorrncia de acontecimentos f e e sicos nos dois procedimentos a mesma, o que difere a natureza da resposta do observador. No procee e dimento sim-no a resposta do tipo binrio, no procedimento de clasa e a sicao existe um maior nmero de respostas poss ca u veis [33]. Por exemplo, respostas com cinco categorias cuja primeira categoria representa a certeza, s at ` quinta categoria que representa quase a certeza de que s no est e a a a presente, consequentemente n est. a
4.4
Procedimento de escolha forada duc pla (2AFC)
O procedimento de escolha forada dupla (2AFC) difere do procedimento c sim-no e do procedimento de classicao, denidos anteriormente, no a ca sentido de que dois intervalos de observao precedem a resposta. ca Poder-se-` representar uma sequncia t a e pica de acontecimentos associados a este procedimento de deteco como exemplicado na gura 4.6, [33]: dois ca intervalos de observao so dados, o sinal ocorre sempre num deles e o ca a observador forado a escolher um dos intervalos. e c No procedimento de 2AFC usual utilizar-se uma notao ligeiramente e ca diferente dos outros dois casos anteriores. Assim, designa-se por sn como o acontecimento que dene a ocorrncia de sinal no primeiro intervalo, mas e no no segundo, de forma similar, ns dene o acontecimento que indica a a ocorrncia de sinal no segundo intervalo, mas no no primeiro. Por exemplo, e a
CONTRIBUTOS
67
Int. de aviso
2 Int. de 1 Int. de observao observao
Retorno Int. de resposta <sn> / <ns> ?
s/n?
s/n?
Tempo
Figura 4.6: Acontecimentos numa experincia de procedimento escolha e forada dupla (2AF C). c
na situao em que a ocorrncia de sinal se verica no primeiro intervalo ca e temporal, isto , sn , um falso alarme corresponde aqui a decidir que o sinal e ocorre no segundo intervalo temporal, e uma resposta correcta de que o sinal ocorre no primeiro intervalo, corresponde a um acerto. Para proceder a comparao dos trs procedimentos de deciso (sim` ca e a no, classicao e 2AFC), Green e Swets [33], assumem a existncia a ca e de simetria na deciso do observador, no sentido de que no existe tendncia a a e na seleco de um intervalo relativamente a outro. ca
4.5
Teoria de deteco de sinal - relao entre ca ca o procedimento de escolha forada dupla c e as curvas ROC
No procedimento de escolha forada dupla (2AFC) so considerados dois c a acontecimentos e1 e e2 , que correspondem a cada intervalo de observaes. co Neste tipo de procedimento, o objectivo do observador consiste em decidir
CONTRIBUTOS
68
se o primeiro sinal, s e o segundo um no sinal (rudo), n, ou o contrrio. e a a Assume-se que o critrio de deciso do observador baseado no critrio e a e e da razo das verosimilhanas [33] dado por: a c f (ei | s) f (ei | n)
l(ei ) =
(i = 1, 2).
(4.3)
No procedimento de escolha forada dupla existem duas expresses para c o a razo de verosimilhanas, uma para cada acontecimento. a c Assume-se que o observador escolhe o primeiro intervalo, se e s se, a o razo de verosimilhanas associada a este intervalo maior que a razo de a c e a verosimilhanas associada ao segundo [33]. c Se a regra de deciso do observador a seleco do intervalo que produza a e ca maior razo de verosimilhanas, ele estar correcto, se a razo de verosimia c a a lhanas associada a distribuio do sinal+rudo for maior do que a razo c ` ca a de verosimilhanas associada apenas a distribuio do rudo. Isto , os dois c ` ca e intervalos do procedimento de escolha forada dupla podem ser vistos como c duas amostras aleatrias provenientes de duas distribuies estat o co sticas: uma designada por sinal, e outra por rudo (gura 4.7) [33]. Nesta situao pode-se considerar que o observador estar correcto, se ca a a amostra proveniente da distribuio do sinal tiver uma maior razo de ca a verosimilhanas do que a amostra proveniente do rudo. Suponha-se que o c valor da razo de verosimilhanas retirado da distribuio do sinal c; ento a c ca e a o observador estar correcto se o valor da razo de verosimilhanas retirado a a c da distribuio do rudo for menor que c. ca Seja ls a razo de verosimilhanas para distribuio do sinal, e ln a razo a c ca a de verosimilhanas para distribuio do rudo, o observador estar correcto c ca a se ls = c e ln < c. Assim, se as duas amostras forem independentes, a probabilidade da ocorrncia conjunta ser o produto das duas probabilidades. e a
CONTRIBUTOS
69
Figura 4.7: Distribuies hipotticas para o rudo e para sinal+rudo. co e
Isto , designando por p2AF C (C) a probabilidade de resposta correcta no e procedimento de escolha forada dupla: c
p2AF C (C) = P (ls = c) P (ln < c)
(4.4)
Assim, a probabilidade total do observador estar correcto ser dada por a [33]:
+
P2AF C (C) =
P (ls = c) P (ln < c) dc
(4.5)
Desde que ls e ln estejam distribu das segundo f (x | s) e f (x | n), respectivamente, poder-se-` escrever a equao (4.5) como: a ca
+
P2AF C (C) =
f (c | s)
f (x | n) dx
dc.
(4.6)
Agora a correspondncia entre a percentagem de respostas correctas no e procedimento de escolha forada dupla e a classicao da curva ROC comea c ca c a emergir porque, como se ir demonstrar o lado direito da equao (4.6) a ca envolve quantidades dadas pela curva ROC [33].
CONTRIBUTOS
70
Se o critrio de deciso do observador for c, a probabilidade de um falso e a alarme dada por P (ln > c), isto e e
+
P (ln > c) = ou
f (x | n) dx = Pc (S | n)
(4.7)
P (ln < c) = e
f (x | n) dx = 1 Pc (S | n)
(4.8)
dPc (S | s) d = dc dc
+ c
f (x | s) dx = f (c | s).
(4.9)
Pode-se utilizar estas equaes e substituir na equao (4.6). Note-se que co ca a equao (4.9) d a relao entre c e P (S | s), assim os limites de integrao ca a ca ca podem ser determinados. Quando c positivo e bastante elevado, ento e a P (S | s) = 0 analogamente para largos valores negativos de c, P (S | s) = 1. Assim,
P2AF C (C) =
1 0
dPc (S | s) [1 Pc (S | n)] [1 Pc (S | n)] dPc (S | s)

1
(4.10)
P2AF C (C) =
0
[1 Pc (S | n)] dPc (S | s)
(4.11)
A ilustrao desta demonstrao em termos grcos encontra-se na gura ca ca a 4.8, que mostra que a percentagem de respostas correctas no procedimento de escolha forada dupla simplesmente a rea abaixo da curva ROC no c e a procedimento de resposta sim-no. a
CONTRIBUTOS
1 0,9 0,8 0,7 0,6
dP c (S | s) 1 - P c (S | n) linha com declive c
71
P(S | s) acerto
0,5 0,4 0,3 0,2 0,1 0 0 0,1 0,2
Ponto gerado pelo critrio c
0,3
0,4
0,5
0,6
0,7
0,8
0,9
P(S | n) falso alarme
Figura 4.8: Relao entre a percentagem de respostas correctas na 2AF C e ca a area abaixo da curva ROC no procedimento sim-no. a
Green e Swets [33] provaram ainda que a curva ROC para o procedimento de escolha forada dupla simtrica em relao a diagonal negativa, e os c e e ca ` resultados seriam os mesmos se a escolha do observador reca sse sobre o segundo intervalo (e2 ), isto se a ordem de aparecimento do ru fosse e do invertida. A nota mais importante e que convm aqui salientar, que todas as e e derivaes so independentes da distribuio associada as hipteses consideco a ca ` o radas. Assim, provaram que a area abaixo da curva ROC uma medida de e probabilidade que independente do tipo de distribuio associada, isto , a e ca e rea abaixo da curva ROC uma estat a e stica no paramtrica. a e
CONTRIBUTOS
72
4.6
Anlise de diagnstico e a curva ROC a o
Charles E. Metz desenvolveu um conjunto de trabalhos sobre a aplicabilidade da anlise ROC a sistemas de diagnstico, nomeadamente no campo da imaa o gem radiolgica. Em [56] apresenta alguns princ o pios bsicos da anlise ROC, a a como o signicado de sensibilidade e especicidade no desempenho dos testes e diagnstico. o Dene sensibilidade e especicidade como duas medidas de preciso de a um teste de diagnstico, dadas pelas fraces: o co no de decises verdadeiras positivas o o de casos realmente positivos n no de decises verdadeiras negativas o . no de casos realmente negativos
sensibilidade =
especif icidade =
Dene tambm, valor de corte, como sendo um valor que pode ser seleccie onado arbitrariamente de entre os valores poss veis para a varivel de deciso, a a e acima do qual o paciente classicado como positivo (teste de diagnstico e o positivo, presena de doena), e abaixo do qual o paciente classicado como c c e negativo (teste de diagnstico negativo, ausncia de doena). o e c Assim, se existir alguma sobreposio entre a distribuio dos casos classica ca cados como positivos e a distribuio dos casos classicados como negativos, ca e forando o valor de corte a percorrer todos os valores poss c veis da varivel a de deciso, podem-se obter vrios pares de fraces de verdadeiros positivos a a co (sensibilidade) e de falsos positivos (1 - especicidade), que correspondero, a segundo Metz [56], aos eixos coordenados y e x de um grco que este a designou por curva ROC para o teste de diagnstico. Esta curva pode deso crever as caractersticas de deteco associadas ao teste, e o observador pode ca operar em qualquer ponto da curva desde que seleccione o valor de corte
CONTRIBUTOS apropriado de deciso. a
73
Para Metz [56] uma curva ROC convencional descreve os compromissos que podem ser tomados entre a F V P e a F F P , com a variao dos diferentes ca valores de corte ou critrios de deciso. Metz arma que a anlise ROC e a a fornece uma descrio da detectabilidade da doena independentemente da ca c prevalncia desta e dos efeitos de escolha do critrio de deciso. e e a Um outro aspecto, sobre o qual Metz se debrua [56], a anlise custo/proc e a veito para um diagnstico, tendo em conta as fraces denidas para a anlise o co a ROC. O custo mdio de um teste de diagnstico, C, denido como [56]: e o e
C = C0 + CV P P (V P ) + CV N P (V N ) + CF P P (F P ) + CF N P (F N ) ca C0 : dene o custo de realizao do teste; CV P : dene o custo mdio das consequncias mdicas de uma e e e deciso correctamente positiva (benef a cio); e P (V P ) = P (D+ ) P (T + | D+ ) com P (D+ ) a prevalncia da doena em questo, e P (T + | D+ ) a proporo de indiv c a ca duos com teste positivo e que na realidade tm a doena; e c e e e CV N : dene o custo mdio das consequncias mdicas de uma deciso correctamente negativa (benef a cio); P (V N ) = P (D ) P (T | D ) com P (D ) = 1 P (D+ ), e ca duos com teste negativo e que P (T | D ) a proporo de indiv na realidade no tm a doena; a e c e e e CF P : dene o custo mdio das consequncias mdicas de uma deciso incorrectamente positiva; a (4.12)
CONTRIBUTOS P (F P ) = P (D ) P (T + | D ); e e e CF N : dene o custo mdio das consequncias mdicas de uma deciso incorrectamente negativa; a P (F N ) = P (D+ ) P (T | D+ );
74
Atendendo a que os benef cios podero ser expressos como custos negatia vos, ento a expresso (4.12) pode ser rearranjada, conduzindo a: a a
C = [CF N CV P ] P (D+ ) + [CF P CV N ] P (D )
P (T + | D+ ) P (T + | D ) (4.13)
+ C0 + CV N P (D ) + CF N P (D+ )
Uma anlise preliminar da expresso 4.13 revela que, independentemente a a dos custos mdios das consequncias de deciso, a mdia dos custos (C) e e a e aumenta ou diminui consoante o custo de realizao do teste (C0 ). Assim, por ca exemplo, se um novo teste se revelar mais eciente, isto , fornecer melhores e decises em termos de diagnstico, mas apresentar um custo de realizao o o ca muito elevado, poder-se-` vericar um aumento do custo de diagnstico. a o Em 1983, Metz [60] desenvolveu um trabalho em que apresenta uma nova aproximao para testar diferenas signicativas entre duas curvas ROC para ca c dados correlacionados. Em 1986, Metz [58] apresenta um artigo onde efectua a anlise estat a stica para dados ROC na avaliao de desempenho de ca diagnstico, para os casos em que se tem duas amostras independentes ou o duas amostras relacionadas. Neste artigo o autor descreve as propriedades estat sticas de um conjunto de dados ROC classicados (em imagem mdica e radiolgica), procedimentos apropriados para o ajuste de uma curva ROC e o ainda, testes que podero ser utilizados para avaliar a signicncia estat a a stica
CONTRIBUTOS
75
da diferena aparente entre duas curvas ROC. Considera que os dados ROC c classicados provm de distribuies multinomiais que podem ser relacionae co das com os parmetros de um modelo subjacente em termos de teoria de a deteco de sinal. Neste artigo, Metz [58] apresenta a curva ROC como ca sendo uma descrio emp ca rica da capacidade de um sistema de diagnstico o para discriminar entre dois estados, onde cada ponto da curva representa um compromisso diferente entre as fraces j anteriormente denidas (F V P e a co a F F P ), pela adopo de um valor de corte de anormalidade ou n crtico de ca vel conana diferente, no processo de deciso. Para procurar um ajuste para os c a dados, uma curva ROC pode ser descrita, assumindo que esta apresenta uma forma funcional particular com um ou mais parmetros ajustveis [58]. A a a forma funcional binormal para a curva ROC utilizada em muitas situaes e co prticas, revelando na sua maioria bons ajustes as curvas ROC emp a ` ricas [58]. Esta forma expressa as coordenadas da curva ROC atravs do par de e expresses dadas pelas equaes (2.11) e (2.12), como visto anteriormente. o co Metz refere ainda que o mtodo de classes (rating method ) muito utilie e zado na maior parte dos casos prticos [58]. Nesta aproximao requerido a ca e ao observador que seleccione uma classe (categoria ou conana) de entre c algumas existentes. A utilizao de k categorias fornece k 1 estimativas de ca pontos de operao na curva ROC convencional (para alm dos pontos (0, 0) ca e e (1, 1)). Em diagnstico de imagem mdica so utilizadas, normalmente, o e a cinco a seis categorias diferentes [58]. Os dados em classes, foram interpretados de acordo com um modelo desenvolvido por Metz [60], [58], que se passa a descrever. Considerem-se I categorias, onde o observador pode denir (I 1) valores de corte, ci , no eixo da varivel de deciso. A probabilidade da classe i a a e igual a probabilidade de que o resultado da varivel deciso esteja entre ci1 ` a a
CONTRIBUTOS
76
e ci , com c0 = e cI = +. Assim, para as imagens designadas por realmente negativas, a probabilidade de uma classe i dada por: e
ci
pi =
ci 1
f (x | n) dx
(4.14)
onde f (x | n) a funo densidade de probabilidade na varivel de deciso e ca a a x para as imagens designadas por realmente negativas. De forma semelhante, pode-se denir:
ci
i =
ci 1
f (x | a) dx
(4.15)
que corresponde a probabilidade de uma classe i, onde f (x | a) a ` e funo densidade de probabilidade na varivel de deciso x para as imagens ca a a designadas por realmente positivas. Se se considerar que a F F P representa a probabilidade de a varivel a de deciso x ter um valor maior ou igual que ci para um ensaio realmente a negativo, tem-se:
+
F F P (ci ) = =
ci I j=i+1
f (x | n) dx pj
(4.16) (4.17)
considerando a equao (4.14), onde 1 i I 1 e I o nmero de ca e u categorias. De forma semelhante, a F V P associada ao valor de corte ci pode ser dada por:
+
F V P (ci ) = =
ci I j=i+1
f (x | a) dx j
(4.18) (4.19)
CONTRIBUTOS
77
Estas relaes fornecem a base terica para o clculo das estimativas dos co o a pontos da curva ROC para um conjunto de dados em classes [58]. Considere-se que os dados com I categorias so provenientes de Mn exa e perincias independentes para os casos realmente negativos, e Ma experincias e independentes para os casos realmente positivos. Os dados iro consistir em a I nmeros ki (1 i I) que representam o nmero de experincias realu u e mente negativas na categoria i, e I nmeros li (1 i I) que representam u o nmero de experincias realmente positivas na categoria i. Assim, u e
I
ki = Mn
i=1
(4.20)
e
I
li = Ma .
i=1
(4.21)
Se as experincias forem independentes, ento o conjunto de variveis e a a aleatrias {ki : (1 i I)} e {li : (1 i I)} seguem uma distribuio o ca multinomial com probabilidades de classe pi e i , respectivamente. A soma parcial:
I
K>i =
j=i+1
kj
(4.22)
representa o nmero de experincias realmente negativas para as quais a u e e classe maior do que i foi obtida. Ento para Mn experincias deste tipo, a a soma parcial dada pela equao (4.22), segue uma distribuio binomial com ca ca valor esperado dado por Mn F F P (ci ). Assim, para (1 i I 1): K>i Mn
F F P (ci ) =
(4.23)
CONTRIBUTOS
78
fornece uma estimativa no enviesada do valor de F F P associada ao a isimo observador com valor de corte ci . De acordo com a estat e stica binomial, o desvio padro desta estimativa dado por: a e F F P (1 F F P ) . Mn
F F P =
(4.24)
De forma anloga, pode-se deduzir uma estimativa para F V P . Denindo a a soma parcial [58],
I
L>i =
j=i+1
lj
(4.25)
que representa o nmero de experincias realmente positivas para as quais u e e a classe maior do que i foi obtida. Para Ma experincias deste tipo, a estimativa no enviesada do valor de F V P associada ao isimo observador com a e valor de corte ci , pode ser dada por: L>i Ma
F V P (ci ) = com desvio padro: a
(4.26)
F V P =
F V P (1 F V P ) . Ma
(4.27)
Este procedimento descrito por Metz [58] pode ser posto em prtica para a obteno de (I 1) estimativas, para 1 i I 1, de pares (F F Pi , F V Pi ) ca na curva ROC. Estes (I 1) pares coordenados, que vm do canto superior e direito para a esquerda no espao unitrio ROC com o decrscimo de i desde c a e (I 1) at 1, corresponde a (I 1) valores de corte que o observador adopta e na denio das I categorias de conana que ele emprega. ca c Note-se que as (I 1) estimativas dos pontos da curva ROC esto correlaa cionadas, porque os dados {kj , lj : (i + 1 j I)} utilizados para o clculo a
CONTRIBUTOS
79
da isima coordenada so inclu e a dos no clculo das coordenadas (i 1) , (i 2) , a

(i 3) , ....
Se no se considerar nenhuma forma funcional para a curva ROC, ento a a as (I 1) coordenadas dos pares ROC calculados directamente dos dados em classes, podem ser representados num plano unitrio com barras de erro a horizontais e verticais obtidas a partir das equaes (4.24) e (4.27), e uma co curva de ajuste pode ser traada perto dos pontos e passando em (0, 0) e c (1, 1). Se considerar a forma funcional binormal para a curva ROC, as probabilidades pi e i , anteriormente denidas, podem ser expressas na forma: pi = (ci ) (ci1 )
(4.28)
i = (b ci a) (b ci1 a)
(4.29)
Desta forma, com os dados com I categorias, pode-se determinar os valores dos (I + 1) parmetros ajustveis {a, b, ci : (1 i I 1)} que proa a duzam o melhor ajuste aos dados. Metz, salienta, de entre os algoritmos para determinar as EMV, o desenvolvido por Dorfman e Alf [27], que utiliza o mtodo de scoring, para e resoluo das equaes no lineares resultantes da derivao em ordem aos ca co a ca parmetros de interesse (ver anexo A). Neste trabalho [58] desenvolvido a e sumariamente, a possibilidade deste sistemas de equaes poder ser resolco vido por um mtodo iterativo do tipo de Newton-Raphson. Aponta que a e diferena entre estes dois mtodos, reside essencialmente no facto de que, no c e mtodo de scoring as somas que envolvem as derivadas parciais de segunda e ordem, referentes `s probabilidades pi e i , tendem para zero. Tal facto a
CONTRIBUTOS
80
torna este mtodo computacionalmente mais estvel. Por outro lado, este e a mtodo acede automaticamente a preciso das estimativas que ele produz, e ` a produzindo as varincias e covarincias das estimativas dos parmetros. a a a
4.7
Relao entre o procedimento 2AFC e a ca anlise de diagnstico a o
Como j referido anteriormente, em diagnstico interessa classicar os ina o div duos como normais (baixos valores no eixo de deciso, xN ) e anormais a ca (elevados valores no eixo de deciso, xA ). Nesta situao a area abaixo da a curva ROC pode ser vista como uma medida de probabilidade de classicao ca correcta de um par (normal, anormal). Fazendo o paralelismo entre o demonstrado por Green e Swets [33] para a 2AFC e a anlise de diagnstico, c designa o valor de corte, corresponde a o ` verdadeira area abaixo da curva ROC [37] (P2AF C (C)), normal ser a a a designao para sinal e anormal ser a designao para rudo. ca a ca Assim, chega-se ` concluso a a
= P2AF C (C) = P (xA > xN ) em que P (xA > xN ) a probabilidade de tomar uma deciso correcta em e a anlise de diagnstico. a o
CONTRIBUTOS
81
4.8
Relao entre a rea abaixo da curva ROC ca a e a estat stica de Wilcoxon-Mann-Whitney
Considere-se uma amostra de dimenso nA para os indiv a duos classicados duos classicados como anormais, A, e outra de dimenso nN para os indiv a como normais, N; o procedimento de teste consiste em fazer todas as nA nN comparaes poss co veis entre os valores xA da amostra nA e os valores xN da amostra nN , graduando cada comparao de acordo com a regra, ca 1 T (xA , xN ) = 2 0
1
se xA > xN (concordante) se xA = xN se xA < xN (discordante) (4.30)
co e fazendo a mdia dos T para todas as nA nN comparaes, vem: e s 1 nA nN

nA nN
W =
.
i=1 j=1
Tij (xA , xN )
(4.31)
que uma estat e stica que no depende dos valores de x, mas apenas das a graduaes, designada como estat co stica de Wilcoxon-Mann-Whitney [37]. Como cada comparao classicada por 1, ca e
1 2
ou 0, o valor mdio de W e
estar entre 0 e 1, e reecte, como no poderia deixar de ser, qual a proporo a a ca de xA s que so maiores que xN . a Como nem todas as nA nN comparaes so independentes, inclui-las co a todas mera convenincia, e o erro padro de W tem em conta esta poss e e a vel intercorrelao [37]. Assim, a probabilidade de atribuir uma classicao ca ca correcta igual a mdia ponderada de todas as combinaes de pares de e ` e co classicaes poss co veis. Seja A o acontecimento que designa a atribuio de uma classicao. ca ca Ento P (A), dada por a e
CONTRIBUTOS no de pares concordantes P (classicar correctamente) = total de pares poss veis
82
Atendendo a que a distribuio dos xA s se encontra a direita da districa ` buio dos valores de xN , um par classicado como concordante se e s se ca e o xA > xN . Se se considerar uma amostra de dimenso nA para os indiv a duos duos classicados como anormais, A, e outra de dimenso nN para os indiv a classicados como normais, N, denida a estat stica T na equao (4.30), ca poder-se-` concluir que a
o nA nN
de pares concordantes =
i=1 j=1
Tij (xA , xN ).
u co veis para cada par (anormal, Sendo nA nN o nmero de comparaes poss normal), o quociente destas duas quantidades:
nA nN
P (classicar correctamente) =
1 nA n N
.
i=1 j=1
Tij (xA , xN ) = W.
traduz o que se designou por estat stica de Wilcoxon-Mann-Whitney, e tambm a proporo de pares correctamente classicados. e ca Assim, como provado por Green e Swets [33], = P2AF C (C), e por outro lado em termos de anlise de diagnstico P2AF C (C) = P (xA > xN ), decora o rente da demonstrao de Bamber [8], prova-se que ca P (classicar correctamente) = W, donde se pode concluir que
= P2AF C (C) = P (xA > xN ) Prova-se que a area abaixo da curva ROC uma medida de probabilidade e que independente do tipo de distribuio associada, isto , a area abaixo da e ca e
CONTRIBUTOS
83
curva ROC pode ser quanticada atravs de uma estat e stica no paramtrica, a e nomeadamente a estat stica de Wilcoxon-Mann-Whitney e, por conseguinte poder-se-` tambm determinar qual o erro padro associado a esta medida, a e a como consta no anexo B.
4.9
Distncia perpendicular no plano binora mal
Segundo Iverson (1992) [47], o desempenho na deteco, de um procedimento ca de resposta sim-no pode ser captado na forma de uma curva ROC, reprea sentando a fraco de verdadeiros positivos, acertos, versus a fraco de ca ca falsos positivos, falsos alarmes. Assumindo a curva ROC como uma funo ca estritamente crescente e que pode ser representada por um par (Xs , Xn ) de variveis aleatrias absolutamente cont a o nuas, cada uma concentrada no contexto da recta real, de forma que, para cada critrio numrico c, a probabilie e dade de um verdadeiro positivo (acerto), pV P , e a probabilidade de um falso positivo (falso alarme), pF P , tm funes cauda, como ilustrado na gura e co 4.7 (pgina 69), dadas pelas expresses: a o
pV P = P (Xs > c)
(4.32)
pF P = P (Xn > c).
(4.33)
Assim Xn e Xs surgem como variveis de deciso estat a a stica. A aplicao ca da teoria de deteco de sinal a problemas espec ca cos de deteco, envolve ca variveis de deciso Xn e Xs gozando de propriedades especiais. Por exema a a e plo, frequente o caso em que Xn e Xs so do mesmo tipo, isto , existem e
CONTRIBUTOS
84
quantidades s > 0, n > 0, s e n e uma varivel aleatria X, independente a o da provenincia sou ntal que, e
Xs = s X + s
Xn = n X + n
(4.34)
Considere-se o modelo padro da teoria de deteco de sinal no qual Xn a ca e Xs em (4.32) e (4.33) so gaussianas. As relaes de (4.34) so automatia co a camente satisfeitas com a varivel X distribu como Z a da N (0, 1). Sendo a funo de distribuio de Z, com zV P = 1 (pV P ) e zF P = ca ca a 1 (pF P ), resulta de (4.32) e (4.33) que as variveis zV P e zF P satisfazem a equao linear: ca
zV P = m(zF P + d) com n s s n n
(4.35)
m= e
d =
(4.36)
zV P =
s n n + zF P . n s
A ligao entre o procedimento sim-no e o da escolha-forada, como ca a c j referido anteriormente, fornecida pelo teorema da area como descrito a e por Green e Swets [33], e traduzido pela expresso: a
P2AF C = P (Xs > Xn ).
(4.37)
Quando as variveis aleatrias Xs e Xn na equao (4.37) so gaussianas, a o ca a obtm-se, em termos da notao referida em (4.34), e ca
CONTRIBUTOS
85
P2AF C = P (n Z s Z< s n ) onde Z e Zso independentes e identicamente distribu a das segundo uma N (0, 1). Usando o facto de Z ser simtrico, e consequentemente e
n Z + s Z determina-se:
2 2 n + s Z
(4.38)
P2AF C = P
Z<
s n 2 2 n + s
(4.39)
Escrevendo zc = 1 (P2AF C ), as equaes (4.35), (4.36) e (4.39) combico nadas conduzem a equao linear nas variveis zV P , zF P e zc , ` ca a s zV P n zF P=
2 2 s + n zc .
(4.40)
E por vezes conveniente escrever a equao (4.40) na sua forma polar, ca fazendo,
cos = Assim,
s 2 2 s + n
sin =
n 2 2 s + n
,0<<
. 2
cos zV P sin zF P= zc
(4.41)
Esta ultima forma torna evidente que zc = 1 (P2AF C ) corresponde ` distncia na perpendicular a partir da origem at ` linha denida pela a a e a equao (4.35) cujo declive m = tan . ca e Atravs da gura 4.9 e a partir da equao (4.35), chega-se a uma exe ca presso para a area abaixo da curva ROC no plano binormal : a
CONTRIBUTOS
86
Az =
a 1 + m2
4 3 2
b a
z_VP
0 -1 -2 -3 -4 -4 -3 -2
6 zc
referncia Az = 0.5
ROC -1 0 1 2 3 4
z_FP
Figura 4.9: Relao da area abaixo da curva ROC com a distncia na perca a pendicular no plano binormal.
Uma outra forma de demonstrar este resultado consiste em considerar as relaes trigonomtricas associadas a um angulo . Assim, considerando co e o grco da gura 4.9, e das relaes trigonomtricas, sabe-se que para um a co e determinado angulo , tem-se: 1 1 + (tan )2 e para um tringulo rectngulo, as relaes podem ser dadas por: a a co
cos =
(4.42)
CONTRIBUTOS
87
cos =
zc cateto adjacente = hipotenusa a
(4.43)
igualando as expresses (4.42) e (4.43), vem: o zc = a 1 1 + (tan )2
Atendendo ainda a que tan = b (ver gura 4.9), resulta: zc = a . 1 + b2
a Como zc corresponde a um ponto do grco binormal cujos eixos coordenados so expressos em valores de desvios normais, este ponto representa a e um valor de 1 (A), isto , representa o desvio normal a que corresponde a probabilidade A. A expresso assim resultante para AZ da forma: a e a 1 + b2
AZ =
c.q.d.
(4.44)
4.10
Comparao atravs de Curvas ROC ca e
Uma das maiores virtualidades das curvas ROC consiste na possibilidade de comparar testes diferentes, como por exemplo, em diagnstico mdico. Em o e geral, constri-se um teste de hipteses efectuando o seguinte procedimento: o o (1) escolha da hiptese nula que possa estar relacionada com os o parmetros da curva ROC ; a (2) estimao dos parmetros relevantes das duas curvas ROC, asca a sim como as incertezas e correlaes existentes nesses parmetros; co a
CONTRIBUTOS (3) formao da estat ca stica do teste que dever seguir uma distria buio padro se a hiptese nula for verdadeira; ca a o (4) calculo do valor de prova (valor-p) de que um resultado da estat stica de teste, pelo menos como extremo, poder provir da a distribuio assumida. ca
88
4.10.1
Amostras Independentes
Nos trabalhos desenvolvidos nesta area, Metz ([60], [58]) impe como condies o co que os parmetros podem ser estimados assumindo a forma funcional binora mal para as curvas ROC utilizando como mtodo de estimao o mtodo de e ca e scoring. Teste bivariado do Qui-Quadrado aos parmetros a Assumindo a forma funcional binormal para as curvas ROC de dois sistemas de diagnstico, x e y, estas podem ser especicadas pelos pares de parmetros o a (ax , bx ) e (ay , by ) que correspondem respectivamente, ao termo da ordenada na origem e declive na representao da curva ROC no plano binormal. A ca hiptese nula de que os dois conjuntos de dados em classes provm de uma o e unica ROC comum equivalente a testar a hiptese: e o H 0 : ax = a y b x = b y . Se H0 for verdadeira e as EMV, ax , ay , bx e by seguem distribuio normal, ca ento pode-se construir uma estat a stica de teste [58] v = W1 que segue uma distribuio do Qui-Quadrado com 2 graus de liberdade, e ca
CONTRIBUTOS
89
= a x ay , b x b y w11 w12 W= w21 w22 com
w11 = var(ax ) + var(ay ) 2 cov (ax , ay ) w22 = var(bx ) + var(by ) 2 cov bx , by w12 = w21 = cov(ax , bx ) + cov(ay , by ) cov ax , by cov ay , bx .
(4.45) (4.46)
(4.47)
Quando se trata de amostras independentes, os termos cruzados da matriz de covarincias so nulos. a a Teste ` fraco de verdadeiros positivos, FVP a ca Existem algumas situaes em que pode ter interesse vericar se dois sistemas co de diagnstico conduzem a curvas ROC com o mesmo valor de F V P num o ponto particular de F F P0 [58]. Ento para dois sistemas de diagnstico, x e a o y, a hiptese nula relevante o e
H0 : F V Px (F F P0 ) = F V Py (F F P0 ) . Quando duas curvas ROC se cruzam, esta hiptese nula pode ser vero dadeira num ponto particular de F F P0 , quando o teste bivariado do QuiQuadrado falso [58]. e Considerando a forma funcional binormal para cada uma das curvas ROC, ento pode-se utilizar uma equao do tipo da referida na expresso (4.35) a ca a para testar a hiptese nula. o
CONTRIBUTOS Assim: ax + bx 1 (F F P0 ) = ay + by 1 (F F P0 ) ou ento, com c0 = 1 (1 F F P0 ) = 1 (F F P0 ) a (bx by ) c0 (ax ay ) = 0
90
(4.48)
(4.49)
ca Se H0 for verdadeira e as EMV, ax , ay , bx e by seguem distribuio normal, ento pode-se construir uma estat a stica de teste [58] v = bx by c0 (ax ay )
cuja distribuio Normal com mdia zero e desvio padro ca e e a w11 2 c0 w12 + b2 w22 0
v =
onde os wij s so dados pelas equaes (4.45 )-(4.47). Da mesma forma, a co tratando-se de amostras independentes, os termos cruzados da matriz de covarincias so nulos. a a Teste ` rea abaixo da curva ROC, AZ aa Aqui a hiptese nula relevante assume que os dois conjuntos de dados, em o classes, provm de curvas ROC com igual area abaixo desta. e
H 0 : AZ x = A Z y Na situao em que duas curvas ROC se cruzam, a hiptese nula do teste ca o da area pode ser verdadeira, quando a do teste bivariado falsa e a do teste e ` F V P falsa, excepto num ponto unico de F F P0 [58]. a e
CONTRIBUTOS
91
A equao (4.44) expressa o ca ndice AZ em termos de dois parmetros da a curva ROC binormal. Para um nmero de experincias elevado, as incertezas u e relativas nas estimativas dos parmetros das duas curvas ROC (ax , ay , bx e a by ) tornam-se pequenas, e estas estimativas aproximam-se de uma Normal. Assim, se H0 for verdadeira, a diferena entre os c ndices AZ para dois sistemas de diagnstico, x e y: o v = ax 1+ b2 x ay 1+ b2 y (4.50)
segue aproximadamente distribuio Normal com mdia zero e varincia ca e a [58]

4 2 v 4
=
i=1 j=1
v i
v j
cov i , j
(4.51)
onde {i : i = 1, 2, 3, 4} = {ax , ay , bx , by } representa o conjunto dos quatro parmetros das duas curvas ROC. Tratando-se de amostras independentes, a os termos cruzados da matriz de covarincias na equao (4.51) so nulos, e a ca a os restantes termos podero ser estimados pelo mtodo de scoring. a e Teste ` rea abaixo da curva ROC, A Abordagem no paramtrica aa a e Um outro mtodo para testar se as diferenas entre duas areas abaixo das e c curvas ROC provenientes de amostras independentes so signicativas, cona siste na utilizao da razo cr ca a tica z, denida por Hanley e McNeil [38]: A1 A2
2 2 SE1 + SE2
z=
N (0, 1).
As reas abaixo das curvas ROC para cada uma das modalidades a coma parar (A1 e A2 ) e os erros padro respectivos (SE1 e SE2 ), so obtidos a a atravs da aproximao a estat e ca ` stica de Wilcoxon-Mann-Whitney. Quando
CONTRIBUTOS
92
os valores da area abaixo da curva ROC so superiores a 0.5, os erros padro a a associados as areas, podem ser obtidos atravs da expresso [37] e a
SE(A) =
A (1 A) + (nA 1) (Q1 A2 ) + (nN 1) (Q2 A2 ) (4.52) nA nN
em que Q1 corresponde ` probabilidade de duas imagens anormais, alea atoriamente escolhidas serem classicadas com maior suspeio do que uma ca imagem normal aleatoriamente escolhida, e Q2 corresponde ` probabilidade a de uma imagem anormal, aleatoriamente escolhida ser classicada com maior suspeio do que duas imagens normais aleatoriamente escolhidas. ca Hanley e McNeil [37] provaram que sob a assumpo do modelo exponenca cial negativo (modelo que conduziu a valores de erros padro mais conservaa tivos quando comparado com outros modelos, como o Gaussiano ou Gama), Q1 e Q2 podem ser expressos como uma funo do ca ndice rea abaixo da a curva ROC, isto , e A 2A 2 A2 . 1+A
Q1 =
Q2 =
A substituio destas expresses na equao (4.52 ) conduz ao valor de ca o ca erro padro esperado para qualquer valor de A. a
4.10.2
Amostras correlacionadas
Para detectar correctamente uma diferena signicativa entre curvas ROC c medidas no mesmo paciente ou na mesma imagem, o efeito da covarincia a na varincia da diferena dever ser estimada e incorporada no teste. Para a c a
CONTRIBUTOS
93
conjuntos de dados correlacionados, os termos das covarincias nas equaes a co (4.45), (4.47) e (4.51) so normalmente diferentes de zero, necessitando, por a isso, de ser estimados por um mtodo. e A aproximao desenvolvida por Metz [60] baseada na generalizao do ca e ca modelo binormal, que este designou por modelo binormal bivariado. Considera-se neste modelo, duas variveis de deciso x e y correlacioa a nadas, provenientes de uma de duas funes de densidade de probabilidade co conjuntas Normais, f (x, y | n) e f (x, y | a). Cada uma destas densidades tem mdias e desvios padres diferentes nas direces de x e y, e cada uma e o co e caracterizada por diferentes coecientes de correlao, rn e ra , como se pode ca ver no exemplo da gura 4.10.
varivel de deciso y
by -1
Distribuio para os casos positivos (coef. corr. ra)
u4
bx-1
a x b x
ay by
u3
1 1 (0,0)
varivel de deciso x
u2 u1 Distribuio para os casos negativos (coef. corr. rn ) t1 t2 t3 t4
Figura 4.10: Exemplo esquemtico do modelo bivariado. a
Considerem-se as seguintes notaes, introduzidas por Metz [60]: co pij : probabilidade de um par de categorias i e j das imagens
CONTRIBUTOS consideradas negativas, n; ij : probabilidade de um par de categorias i e j das imagens consideradas positivas, a; a a ti1 e ti : barreiras na varivel de deciso x; uj1 e uj : barreiras na varivel de deciso y; a a (ax , bx ): parmetros da curva ROC quando a observao em x a ca e tida individualmente; (ay , by ): parmetros da curva ROC quando a observao em y a ca e tida individualmente. Assim,
94
pij = L(ti , uj , rn ) + L(ti1 , uj1 , rn ) L(ti1 , uj , rn ) L(ti , uj1 , rn ) (4.53)
onde L(x, y, r) a funo de distribuio acumulada para a normal bivae ca ca riada:

+ +
L(x, y, r) =
x
dv
y
g(v, w, r) dw,
com
x2 2rxy + y 2 1 exp 2 (1 r2 ) 2 1 r2 a funo densidade de probabilidade da Normal bivariada padro. ca a g(v, w, r) = De forma anloga, para uma experincia realmente positiva, dene-se: a e
ij = L(bx ti ax , by uj ay , ra ) + L(bx ti1 ax , by uj1 ay , ra ) L(bx ti1 ax , by uj ay , ra ) L(bx ti ax , by uj1 ay , ra )
(4.54)
CONTRIBUTOS
95
Segundo Metz [58] o mtodo de scoring poder ser utilizado para detere a minar as EMV para os parmetros do modelo binormal bivariado para os a dados em classes e correlacionados. Com estas estimativas, e com as estimativas dos termos cruzados da matriz de covarincias, para as curvas ROC em a estudo, pode-se aplicar qualquer um dos testes descritos para o caso de duas amostras independentes, tendo em considerao os valores das covarincias. ca a Qualquer um dos trs testes mencionados, s exacto no limite dos grane oe des nmeros, mas, no entanto, apresentam um bom desempenho para amosu tras com 50 casos de cada tipo (negativo e positivo) [58]. Metz [58] refere que uma aproximao util para testar as diferenas para ca c dados correlacionados foi a de Hanley e McNeil [55], que emprega a estat stica de Wilcoxon-Man-Whitney para dados correlacionados para o teste ao ndice rea abaixo da curva ROC. a Teste ` rea abaixo da curva ROC, A Abordagem no paramtrica aa a e A razo cr a tica z permite testar se as diferenas entre duas areas abaixo das c curvas ROC, provenientes do mesmo conjunto de dados, so aleatrias ou a o signicativas. Esta razo denida como [38]: a e A1 A2
2 SE1 2 + SE2 2 r SE1 SE2
z=
onde A1 e SE1 e A2 e SE2 correspondem as reas observadas e erros ` a padro estimados da curva ROC para as modalidades 1 e 2, respectivamente; a r, representa a correlao estimada entre A1 e A2 . ca Esta quantidade z reporta-se `s tabelas da distribuio Normal padro, a ca a e valores de z acima de um determinado valor evidenciam, estatisticamente, que as verdadeiras reas ROC so diferentes. A importncia da introduo a a a ca do termo 2 r SE1 SE2 no denominador da expresso devido ao facto de a e
CONTRIBUTOS
96
os dados estarem correlacionados, porque foram recolhidos sobre a mesma amostra, e a ausncia deste termo implicaria um denominador de maior vae lor e, consequentemente, o valor de z mais pequeno o que, eventualmente, reduziria a possibilidade de detectar diferenas signicativas entre as duas c modalidades [38]. Clculo do coeciente de correlao entre reas O mtodo sugerido a ca a e por Hanley e McNeil em [38] utiliza uma tabela para determinao do coecica ente de correlao entre areas, r. Calculam-se dois coecientes de correlao ca ca intermdios, que so depois convertidos a correlao entre A1 e A2 atravs e a ` ca e da tcnica sugerida em [38]. Assim, determina-se o coeciente de correlao, e ca rN , para as classicaes dadas para os pacientes normais e o coeciente co de correlao, rA , para as classicaes dadas para os pacientes anormais ca co para as duas modalidades. Cada um destes coecientes pode ser calculado pelas formas tradicionais utilizando, quer o mtodo de clculo do produto e a dos momentos para a correlao de Pearson, quer o mtodo do tau de Kenca e dall. Como as curvas ROC em medicina so normalmente obtidas a partir a de dados numa escala ordinal, utiliza-se o tau de Kendall para calcular rN e rA . e O coeciente de correlao mdio, (rN +rA )/2, e a area mdia, (A1 +A2 )/2, ca e vo constituir as entradas numa tabela constru por Hanley e McNeil [38], a da a partir da qual se retira o valor de r. Os coecientes de correlao entre areas podem tambm ser determinados ca e atravs do mtodo sugerido por DeLong e DeLong em [22]. Este mtodo utie e e liza uma aproximao no paramtrica ao clculo da area abaixo de curvas ca a e a ROC, para conjuntos de dados correlacionados, utilizando a teoria das estat sticas U-generalizadas para estimao da matriz de covarincias, quando ca a
CONTRIBUTOS
97
se comparam duas ou mais curvas ROC. Segundo este mtodo, admitindo que e se tem m indiv duos que apresentam na realidade a doena e n indiv c duos que no tm a doena, a matriz de covarincias estimada para o vector de a e c a parmetros (rea abaixo da curva ROC ) = 1 , 2 , ..., k , em que k reprea a senta o nmero de modalidades a comparar, tal que: u e 1 1 S10 + S01 . m n
S=
Seja Xi , i = 1, 2, ..., m e Yj , j = 1, 2, ..., n os valores das variveis nos a quais o teste de diagnstico baseado, e supondo que valores elevados da o e varivel teste esto associados a presena de doena, as matrizes S10 e S01 a a ` c c com dimenso k k so denidas, respectivamente, para o (r, s) elemento, a a pelas expresses das equaes (4.55) e (4.56): o co sr,s 10 1 = m1 1 = n1
m i=1 n j=1 r V10 (Xi ) r s V10 (Xi ) s
(4.55)
sr,s 01
r V01 (Yj ) r
s V01 (Yj ) s
(4.56)
r r V10 e V01 , representam as componentes em X e Y , respectivamente, para
a r-sima estat e stica r , denidas por:

r V10
1 = n 1 m
n j=1 m
Xir , Yjr
( i = 1, 2, ..., m)
(4.57)
r V01 =
Xir , Yjr
(j = 1, 2, ..., n)
(4.58)
i=1
com (X, Y ) denida atravs da expresso da equao (4.59): e a ca
CONTRIBUTOS 1 (X, Y ) = 2 0
1
98
Y <X Y =X Y >X (4.59)
De salientar que a mdia desta funo (X, Y ), conduz a estimativa da e ca ` estat stica de Mann-Whitney, que corresponde a um estimador da area abaixo da curva ROC (), como referido anteriormente.
Cap tulo 5 Anlise da curva ROC a

5.1 Relao entre as funes densidade de proca co babilidade associadas aos dados e a forma da curva ROC
Com este estudo pretendese vericar como que algumas hipteses sobre e o as distribuies associadas a varivel de deciso podem afectar a forma da co ` a a curva ROC. Com base na hiptese da Normalidade, e atravs de estudos de simulao o e ca procurou-se numa primeira abordagem vericar qual a variao da forma da ca curva ROC em funo do parmetro de localizao e/ou de escala para a ca a ca funo densidade de probabilidade dos casos designados por anormais (maica ores valores da varivel de deciso). a a Numa segunda abordagem, criaram-se as seguintes hipteses para os casos o denominados normais e para os casos denominados anormais: (i) duas distribuies Normais; co
99
CAP ITULO 5. ANALISE DA CURVA ROC (ii) duas distribuies Log co sticas e de igual varincia; a
100
(iii) duas distribuies Exponenciais negativas com diferentes parmetros co a de escala ; (iv) duas distribuies Uniformes num intervalo (a, b). co Para a visualizao da curva ROC, utilizou-se a representao desta no ca ca plano ROC unitrio e no plano binormal. a Autores como Swets [80], armam que a forma das funes densidade co de probabilidade na varivel de deciso determina a forma da curva ROC. a a Procurou-se assim, atravs de mtodos grcos (no plano unitrio e no plano e e a a binormal ) e anal ticos, validar ou no esta armao. a ca Para o estudo sobre a forma da curva ROC consideraram-se as seguintes condies: co a varivel de deciso cont a a e nua; os casos designados por normais correspondem a valores menores da varivel de deciso, e os casos designados por anormais correspondem a a aos maiores valores da varivel de deciso; a a existe sobreposio entre as funes densidade de probabilidade, isto ca co , existe uma area de sobreposio entre as duas funes densidade de e ca co probabilidade associadas aos casos normais e anormais. Com base nestas condies realizaram-se os estudos de simulao descritos co ca nas seces seguintes. co
CAP ITULO 5. ANALISE DA CURVA ROC
101
5.1.1
Funes densidade de probabilidade Normais co
A hiptese da Normalidade a mais utilizada no desenvolvimento da teoo e ria clssica de deteco de sinal, pelo que foi considerada em primeiro lua ca gar. Admita-se que a varivel x tem distribuio Normal, com mdia N a ca e
2 2 e varincia N sob h0 , e com mdia A e varincia A sob h1 , pelo que as a e a
funes densidade de probabilidade respectivas so: co a
f (x|h0 ) =
(x N )2 exp 2 2N 2
< x < + < N < +, N > 0 (5.1)
f (x|h1 ) =
A 2
exp
(x A )2 2 2A
< x < + < A < +, A > 0 (5.2)
As coordenadas da curva ROC determinadas para as hipteses denidas o anteriormente, e para um dado valor de corte c, sero dadas por: a
F V P = P (H1 | h1 ) =
f (x | h1 ) dx = 1
c A A
(5.3)
F F P = P (H1 | h0 ) =
f (x | h0 ) dx = 1
c N N
(5.4)
onde representa a funo distribuio acumulada da Normal padro. ca ca a As equaes (5.3) e (5.4) contm inicialmente quatro parmetros de inco e a teresse, relativos `s duas distribuies Normais mas, de facto, apenas dois a co
102
desses parmetros so relevantes para a anlise. Considerando a seguinte a a a transformao de varivel, ca a 1 (x N ) N
y=
(5.5)
faz com que a distribuio de x segundo h0 tenha uma mdia zero e ca e desvio padro unitrio e a distribuio, segundo h1 , ter uma mdia de a a ca a e a ca (A N ) /N e um desvio padro de A /N . Com esta transformao, a distncia entre as duas mdias (A N ) e a razo dos desvios padro a e a a a a A /N so os parmetros de interesse [33]. Reescrevendo as expresses (5.3) e (5.4), tendo em considerao a transo ca formao linear referida em (5.5), obtm-se: ca e F V P = (d b b q)
(5.6)
F F P = (q)
(5.7)
Este par de equaes fornece uma forma funcional para a curva ROC, co em funo dos parmetros d e b e para um dado valor de corte c ca a ca com q = (c N ) /N . Tendo em conta a transformao linear sugerida, os parmetros d e b tero as seguintes expresses: a a o (A N ) N N A
d =
(5.8)
b=
(5.9)
103
As equaes (5.6) e (5.7) mostram que a curva ROC pode ser dada explico citamente pela forma: F V P = d b + b 1 (F F P )
(5.10)
Nos eixos coordenados do papel de probabilidades binormal, a curva ROC dada por: e 1 (F V P ) = d b + b 1 (F F P )
(5.11)
onde 1 (F V P ) e 1 (F F P ) representam os eixos coordenados correspondentes `s probabilidades F V P (sensibilidade) e F F P (1-especicidade), a d b = a a ordenada na origem e b o declive da recta representada no e plano binormal. Consequentemente, a expresso para o clculo do valor da a a rea abaixo da curva ROC ser dada por: a a a 1 + b2
Az =
(5.12)
Johnson, Kotz e Balakrishnan [49] apresentam vrias aproximaes a 1 , a co que podem ser usadas para examinar analiticamente as curvas no plano binormal, como: 1 (p) 5.5310
0.1193
1p p
1 , p>
1 2
1 (p) 0.4115
1p p
+ ln
1p p
1 , p
1 2
104
1 (p) a ln
1p p
+b, p
1 2
onde a e b devero satisfazer a condio a ca 1 1.3682 a 1.3862 a
b =
No entanto estas expresses podem no produzir linhas rectas no caso o a Normal devido aos erros associados as aproximaes. ` co Funes densidade de probabilidade Normais com igual varincia co a As funes densidade de probabilidade Normais de igual varincia foram as co a primeiras a serem consideradas por Thurstone [80], como referido anteriormente. Nesta situao o ca ndice de discriminao mais utilizado : ca e A N
d =
que expressa a diferena entre as mdias das duas funes densidade de c e co probabilidade em termos de desvio padro. a As coordenadas da curva ROC, para estas hipteses, e para um dado o valor de corte c so dadas pelas expresses das equaes (5.3) e (5.4). A a o co equao (5.11), d a forma da curva ROC para a situao em estudo. ca a ca Procurando ilustrar a situao descrita, geraram-se amostras aleatrias ca o com valores de N = 50 e N = A = = 5, e A = 55, A = 60 e A = 70, e obtiveram-se os resultados apresentados na gura 5.1 em termos de representao no plano ROC unitrio, e na gura 5.2 em termos de plano ca a binormal . Os valores escolhidos para os parmetros no so representativos a a a de nenhuma situao em particular, dado que o objectivo deste estudo aveca e riguar o efeito da diferena entre as mdias e a razo dos desvios, A /N . c e a

1,0
105
,8
Sensibilidade
,6
,4 d' = 4 ,2 d' = 2 d' = 1 0,0 0,0 ,2 ,4 ,6 ,8 1,0 d' = 0
1- especificidade
Figura 5.1: Representao das curvas ROC para distribuies Normais de igual varincia ca co a
no plano ROC.
6 5 4 3 2 1 0 d' = 4 -1 -2 -3 -6 -5 -4 -3 -2 -1 0 1 2 3 d' = 2 d' = 1 d' = 0
z_(sensibilidade)
z_(1-especificidade)
Figura 5.2: Representao das curvas ROC para distribuies Normais de igual varincia ca co a
no plano binormal.
106
A partir da anlise da gura 5.1 verica-se que a medida que d a ` aumenta, o poder discriminante tambm aumenta (curva mais chegada ao canto superior e esquerdo a que corresponde d 4), e consequentemente, obtm-se um maior = e valor de area abaixo da curva ROC, mantendo-se no entanto a forma da curva. Da anlise da gura 5.2, importante salientar que a representao a e ca no plano binormal de cada uma destas curvas uma recta bem denida, e podendo-se assim, determinar os valores dos respectivos declives e das ordenadas na origem, atravs da expresso denida na equao (5.11). e a ca
2 2 Funes densidade de probabilidade Normais com N = A co
No caso das funo densidade de probabilidade para os casos designados por ca anormais e para os casos designados por normais terem varincias diferentes, a foram consideradas as seguintes situaes: co A > 1; N A <1 b) N a) Hipoteticamente observar-se-ia uma situao semelhante a ilustrada nas ca ` guras 5.3 e 5.4, respectivamente. Experimentalmente considerou-se, N = 50, A = 60 e resultados obtidos encontram-se nas guras 5.5 e 5.6. Para a segunda situao N = 50, A = 60 e ca obtidos encontram-se nas guras 5.7 e 5.8.
A N A N
= 4. Os
= 0.25. Os resultados
107
10
20
30
40
2N
50
60
2A
70
80
90
100
110 120
130
Figura 5.3: Sobreposio de 2 distribuies para o caso a). ca co
10
20
30
40
50
60
70
80
90
100
110
120
2N
2A
Figura 5.4: Sobreposio de 2 distribuies para o caso b). ca co

1,0
108
,8
Sensibilidade
,6
,4
,2 ROC 0,0 0,0 ,2 ,4 ,6 ,8 1,0 acaso
1-especificidade
Figura 5.5: Representao da curva ROC para a situao descrita em a), no plano ROC. ca ca
2,0
1,5
z_sensibilidade
1,0
,5
0,0
-,5 ROC -1,0 -4 -2 0 2 4 acaso
Figura 5.6: Representao da curva ROC para a situao descrita em a), no plano ca ca
binormal.

1,0
109
,8
Sensibilidade
,6
,4
,2 ROC 0,0 0,0 ,2 ,4 ,6 ,8 1,0 acaso
1-especificidade
Figura 5.7: Representao da curva ROC para a situao descrita em b), no plano ROC. ca ca
z_sensibilidade
-2
ROC -4 -1,5 -1,0 -,5 0,0 ,5 1,0 1,5 acaso
Figura 5.8: Representao da curva ROC para a situao descrita em b), no plano ca ca
binormal.
110
Da anlise do grco da gura 5.5, verica-se que o cruzamento com a a a diagonal positiva ocorre para valores mais baixos do valor de corte, o que e indicativo da existncia de uma certa proporo de indiv e ca duos classicados como anormais para baixos valores de corte. Na gura 5.6, notria a relao linear devida a normalidade e o declive e o ca ` inferior a um devido a razo de desvios criada (declive = ` a
N A N A
= 0.25).
A situao ilustrada nos grcos da gura 5.7 e 5.8, corresponde a razo ca a ` a = 4. O cruzamento com a diagonal positiva vericado na gura 5.7
decorre de uma situao em que existe uma certa quantidade de indiv ca duos classicados como normais para elevados valores de corte. Na gura 5.8, a relao linear devido a normalidade evidente, e o declive ca ` e superior a um tambm. e
5.1.2
Funo densidade de probabilidade Log ca stica de igual varincia a
A funo densidade de probabilidade log ca stica semelhante ` funo densie a ca dade de probabilidade normal (Gaussiana), e as funes densidade de proco babilidade log sticas de igual varincia para os casos denominados normais a e para os casos denominados anormais conduzem a curvas ROC semelhantes `s produzidas pelas funes densidade de probabilidade normais de igual a co varincia [80]. a A funo densidade de probabilidade log ca stica pode ser representada pela seguinte expresso com mdia , e varincia a e a
2 2 3
[63]:
f (x) =
exp (x) 1 + exp (x)

2
< x < + < < +, >0
(5.13)
111
As coordenadas da curva ROC determinadas para as hipteses formuladas o para as distribuies log co sticas, e para um dado valor de corte c, sero dadas a por:
F V P = P (H1 |h1 )
+
=
c
f (x|h1 ) dx = 1 1 + exp
c A
(5.14)
F F P = P (H1 |h0 )
+
=
c
c N f (x|h0 ) dx = 1 1 + exp
(5.15)
Rearranjando as equaes 5.14 e 5.15, conclu que a relao entre esco -se ca tas duas probabilidades para a distribuio log ca stica dada pela seguinte e expresso: a F F P exp N A 1 1 exp N A FFP
FV P =
(5.16)
que caracteriza a forma funcional da curva ROC no plano unitrio, quando a as funes densidade de probabilidade associadas aos dados so ambas log co a sticas com a mesma varincia. a As guras 5.9 e 5.10 ilustram a forma das curvas ROC quando as funes co densidade de probabilidade so log a sticas para valores xos de N = 50 e N = A = = 5, fazendo A = 55, A = 60 e A = 70, nos plano ROC unitrio e no plano binormal, respectivamente. a
112
Verica-se assim que a forma das curvas ROC semelhante ao caso em e que se considera as duas funes densidade de probabilidade normais de igual co varincia. Na representao no plano binormal (gura 5.10) pode-se ver, a ca contudo, que a representao ainda aproximadamente uma recta, notandoca e se, no entanto, a medida que a distncia entre as mdias aumenta, uma ` a e concavidade, vericando-se para d 4 uma concavidade bastante acentuada. =
5.1.3
Funes densidade de probabilidade Exponencico ais negativas
Assumindo que a varivel x tem distribuio Exponencial negativa, com a ca parmetro N sob h0 e com parmetro A sob h1 as expresses para as funes a a o co densidade de probabilidade sero: a
1,0
,8
Sensibilidade
,6
,4 d' = 4 ,2 d' = 2 d' = 1 0,0 0,0 ,2 ,4 ,6 ,8 1,0 d' = 0
1- especificidade
Figura 5.9: Representao das curvas ROC para distribuies Log ca co sticas de igual
varincia no plano ROC. a

5 4 3 2 1 0 -1 d' = 4 -2 -3 -4 -4 -3 -2 -1 0 1 2 3 4 5 d' = 2 d' = 1 d' = 0
113
z_(sensibilidade)
Figura 5.10: Representao das curvas ROC para distribuies Log ca co sticas de igual
varincia no plano binormal. a
f (x|h0 ) =
1 N
exp x N exp x A
N > 0,
x>0
(5.17)
f (x|h1 ) =
1 A
A > 0,
x>0
(5.18)
As coordenadas da curva ROC determinadas para as hipteses formuladas o para as distribuies Exponenciais, e para um dado valor de corte c, sero co a dadas neste caso por:
+
F V P = P (H1 |h1 ) =
c +
f (x|h1 ) dx = exp
c A c N
(5.19)
F F P = P (H1 |h0 ) =
f (x|h0 ) dx = exp
(5.20)
Rearranjando as equaes 5.19 e 5.20, conclu que a relao entre estas co -se ca duas probabilidades para a distribuio Exponencial negativa dada pela ca e
CAP ITULO 5. ANALISE DA CURVA ROC seguinte expresso: a F V P = F F P N /A
114
(5.21)
que caracteriza a forma funcional da curva ROC no plano unitrio, quando a as funes densidade de probabilidade associadas aos dados so ambas Exco a ponenciais negativas, e com a condio A > N . ca
1,0
,8
Sensibilidade
,6
,4
6
,2
6 6
0,0 0,0 ,2 ,4 ,6 ,8 1,0
1- especificidade
Figura 5.11: Representao das curvas ROC para distribuies Exponenciais negativas ca co
no plano ROC.
As guras 5.11 e 5.12 ilustram a forma das curvas ROC quando as funes co densidade de probabilidade so Exponenciais negativas para um valor xo a a de N = 10, fazendo A = 20, A = 30 e A = 100, no plano ROC unitrio e no plano binormal, respectivamente. A partir da gura 5.11, verica-se que a forma das curvas ROC pouco se altera em relao aos dois casos considerados anteriormente (normais de igual ca varincia e log a sticas de igual varincia). No entanto, da anlise da gura a a

5 4 3 2 1 0 -1
115
z_(sensibilidade)
6
-2 -3 -4 -8 -6 -4 -2 0 2 4 6
6 6
Figura 5.12: Representao das curvas ROC para distribuies Exponenciais negativas ca co
no plano binormal.
5.12, e como resultado da relao no linear entre FVP e FFP - expresso ca a a 5.21 - constata-se que a representao no plano binormal no linear. ca a e
5.1.4
Funes densidade de probabilidade Uniformes co num intervalo (a, b)
Assumindo que a varivel x tem distribuio Uniforme, especicamente, sob a ca ca o h0 , x tem distribuio Uniforme no intervalo (a0 , b0 ) e sob a hiptese h1 , x tem distribuio Uniforme no intervalo (a1 , b1 ), as formas para as funes ca co densidade de probabilidade respectivas, sero: a
f (x|h0 ) =
1 b 0 a0
a 0 x b0
(5.22)
116
f (x|h1 ) =
1 b 1 a1
a 1 x b1
(5.23)
As coordenadas da curva ROC determinadas para as hipteses formuladas o para as distribuies Uniformes, e para um dado valor de corte c, sero dadas co a neste caso por:
F V P = P (H1 |h1 ) =
b1 c b0 c
f (x|h1 ) dx =
b1 c b 1 a1 b0 c b0 a0
(5.24)
F F P = P (H1 |h0 ) =
f (x|h0 ) dx =
(5.25)
Rearranjando as equaes 5.24 e 5.25, a relao entre estas duas probaco ca bilidades para a distribuio Uniforme dada pela seguinte expresso: ca e a
FV P =
b 1 a0 b 0 a0 + .F F P b 1 a1 b 1 a1
(5.26)
que caracteriza a forma funcional da curva ROC no plano unitrio, quando a as funes densidade de probabilidade associadas aos dados so ambas Unico a formes. Nos estudos de simulao efectuados para a distribuio Uniforme, consideramca ca se as seguintes situaes: co 1. XN U (0, 4) e XA U (2, 6); 2. XN U (0, 2) e XA U (0, 4); 3. XN U (0, 1) e XA U (0, 4). Os resultados obtidos encontram-se representados na gura 5.13 e 5.14 em termos de plano ROC e plano binormal, respectivamente.

1,0
117
,8
Sensibilidade
,6
,4
Xn~U(0,1); Xa~U(0,4) Xn~U(0,2);
,2
Xa~U(0,4) Xn~U(0,4); Xa~U(2,6)
0,0 0,0
acaso
,2
,4
,6
,8
1,0
1- especificidade
Figura 5.13: Representao das curvas ROC para distribuies Uniformes no plano ca co
ROC.
z_(sensibilidade)
2
Xn~U(0,1);
Xa~U(0,4) Xn~U(0,2); Xa~U(0,4)
Xn~U(0,4); Xa~U(2,6)
-1 -3 -2 -1 0 1 2 3 4
acaso
Figura 5.14: Representao das curvas ROC para distribuies Uniformes no plano ca co
binormal.
118
Da anlise do grco da gura 5.13, verica-se que a forma da curva ROC a a se altera por completo em relao aos casos descritos das normais, log ca sticas e exponenciais negativas. Quando se faz a representao no plano binormal, ca gura 5.14, torna-se evidente a relao no linear. ca a
5.2
Clculo do valor de rea abaixo da curva a a ROC
Como mencionado por vrios autores ([37], [58], [80]), a area abaixo da curva a ROC um dos e ndices mais utilizados para sumariar a qualidade da curva. Como referido anteriormente, existem vrios mtodos para clculo de a e a reas abaixo de uma curva ROC. Nesta seco, comparam-se os valores para a ca o caso das funo densidade de probabilidade Normais consideradas na seco ca ca 5.1, utilizando:
1. o declive e termo de intercepo da representao dos dados ca ca originais em papel de probabilidades binormal [58]; 2. a aproximao a estat ca ` stica U de Wilcoxon-Mann-Whitney [38].
5.2.1
Funes densidade de probabilidade Normais co
Quando as funes densidade de probabilidades so Normais, existem duas co a situaes a considerar, a da igualdade de varincias e a da diferena de co a c varincias. Assim, para o caso de normais de igual varincia iro corresa a a ponder declives unitrios no plano binormal. Os resultados obtidos atravs a e do mtodo de regresso linear simples, encontram-se na tabela 5.1: e a
CAP ITULO 5. ANALISE DA CURVA ROC Tabela 5.1: Comparao de areas abaixo da curva ROC ca A 55 60 70 a 1 2 4 b 1 1 1 r2 1.0 1.0 1.0
a 1+b2
119
Az =
a 1+b2
A (WMW) 0.744 0.916 0.9996
0.707 1.414 2.828
0.760 0.921 0.998
No caso das funes densidade de probabilidade para os casos designaco dos por anormais e para os casos designados por normais terem varincias a co diferentes (N = A ), foram consideradas as seguintes situaes: A = 4 > 1; N A b) = 0.25 < 1. N a) Da mesma forma, utilizando a regresso linear e simples, obtiveram-se os a resultados descritos na tabela 5.2 Tabela 5.2: Comparao de areas abaixo da curva ROC para funes densica co dade de probabilidade Normais com varincias diferentes. a Modelo a) b) a b r2
a 1+b2
Az =
a 1+b2
A (WMW) 0.705 0.604
1.689 3.451 0.881 0.475 0.254 0.921
0.470 0.460
0.681 0.677
Na construo dos modelos de regresso linear simples, o mtodo utilizado ca a e para a estimao dos parmetros a e b, foi o mtodo dos m ca a e nimos quadrados. Da anlise dos resultados da tabela 5.1, verica-se que os valores obtidos a para Az e A no variam muito, sendo apenas vericada alguma diferena a a c n vel da segunda e terceira casa decimal. Assim, ser l a cito armar que o
120
clculo do a ndice rea abaixo da curva ROC, para o caso em que as duas a funes densidade de probabilidade so Normais com igual varincia, poco a a der ser feito quer atravs da aproximao a estat a e ca ` stica de Wilcoxon-ManWhitney, quer atravs da aproximao no plano binormal em que as rectas e ca so bem denidas com declive unitrio. a a Na tabela 5.2, verica-se os valores obtidos para Az e A apresentam maior variao, sendo no caso a) ao n da primeira casa decimal. Nesta situao, ca vel ca apesar da normalidade, que indicada pela linearidade no plano binormal, e existe diferena em termos dos desvios (declive no unitrio), e o ajuste em c a a a e a co termos de r2 no to bom como nas situaes descritas anteriormente na tabela 5.1.
5.2.2
Funes densidade de probabilidade Log co stica de igual varincia a
Para efectuar a anlise de regresso linear simples, consideraram-se os moa a delos traados no grco da gura 5.10. Os resultados obtidos encontram-se c a resumidos na tabela 5.3. Tabela 5.3: Comparao de areas abaixo da curva ROC para funes densica co dade de probabilidade Log sticas com a mesma varincia. a A 55 60 70 a b r2
a 1+b2
Az =
a 1+b2
A (WMW) 0.734 0.687 0.936
0.560 0.983 0.996 1.078 0.970 0.983 2.019 0.953 0.953
0.399 0.774 1.461
0.655 0.781 0.928
Da anlise dos resultados da tabela 5.3, verica-se que a maior diferena a c nos valores de Az e A regista-se nos dois primeiros casos. Apesar do valor
121
de r2 indicar uma boa qualidade do ajuste, a anlise do grco da gura a a 5.10, revela a no existncia de linearidade, pelo que o mtodo de estimao a e e ca do ndice rea abaixo da curva ROC atravs de Az , poder no ser o mais a e a a indicado.
5.2.3
Funes densidade de probabilidade Exponencico ais negativas
Para o caso das funes densidade Exponenciais negativas, na anlise de co a regresso linear simples, consideraram-se os modelos traados no grco da a c a gura 5.12. Os resultados obtidos encontram-se resumidos na tabela 5.4. Tabela 5.4: Comparao de areas abaixo da curva ROC para funes densica co dade de probabilidade Exponenciais negativas. A 20 30 100 a b r2
a 1+b2
Az =
a 1+b2
A (WMW) 0.643 0.767 0.946
0.558 0.800 0.999 0.850 0.716 0.996 1.507 0.458 0.992
0.436 0.691 1.370
0.669 0.755 0.915
Na tabela 5.4, verica-se que os resultados obtidos para o ndice rea a c vel da abaixo da curva ROC, Az e A, apenas apresentam diferenas a n segunda casa decimal, e os valores de r2 indicam uma boa qualidade do ajuste. No entanto, tendo em conta a informao fornecida pelo grco ca a da gura 5.12, a relao linear no to evidente, pelo que o mtodo de ca a e a e estimao prefer nesta situao seria atravs da aproximao a estat ca vel ca e ca ` stica de Wilcoxon-Mann-Whitney.
122
5.2.4
Funes densidade de probabilidade Uniformes co num intervalo (a, b)
Para efectuar a anlise de regresso linear simples, consideraram-se os modea a los traados no grco da gura 5.14, que correspondem as seguintes situaes c a ` co criadas: 1. XN U (0, 4) e XA U (2, 6) 2. XN U (0, 2) e XA U (0, 4) 3. XN U (0, 1) e XA U (0, 4). Os resultados obtidos encontram-se resumidos na tabela 5.5. Tabela 5.5: Comparao de areas abaixo da curva ROC para funes densica co dade de probabilidade Uniformes num intervalo (a,b). Modelo 1 2 3 a b r2
a 1+b2
Az =
a 1+b2
A (WMW) 0.910 0.692 0.864
1.463 0.925 0.831 0,788 0.598 0.950 1.282 0.516 0.918
1.074 0.676 1.139
0.859 0.751 0.873
No caso dos valores obtidos de Az e A para as densidades Uniformes consideradas, registados na tabela 5.5, verica-se que existem diferenas a c n da primeira casa decimal (modelo 1 e 2). Se se analisar os valores de vel r2 , verica-se que a qualidade do ajuste pior em relao aos casos descritos e ca nas seces anteriores. co De uma forma geral, pode-se concluir que se as densidades no forem a normais, a estimao do ca ndice rea abaixo da curva ROC atravs de Az a e dever ser cautelosa e analisada em conjunto com a representao da curva a ca ROC no plano binormal.
123
5.3
Relao entre o valor de rea abaixo da ca a curva ROC e a distribuio associada aos ca dados
O objectivo deste estudo, foi vericar qual a variao do ca ndice rea abaixo da a curva ROC, com os parmetros centrais e/ou disperso das funes densidade a a co de probabilidade associadas aos dados. Para estudar a variao do ca ndice rea abaixo da curva ROC para dia ferentes valores dos parmetros centrais e/ou disperso consideraram-se as a a distribuies Exponencial negativa e Normal. A razo da escolha destas disco a tribuies, que a primeira apresenta caudas pesadas e a segunda simtrica. co e e e Nas seces que se seguem, so descritos alguns procedimentos experico a mentais tidos em conta, assim como os resultados obtidos.
5.3.1
Distribuies normais co
Neste estudo considerou-se que a distribuio associada aos dados era Normal ca com mdia e varincia 2 , cuja densidade pode ser expressa por: e a
(x )2 1 f (x) = exp 2 2 2
< x < + < < +, >0
Com base no pressuposto que a distribuio para os casos denominados ca

2 normais era Normal com parmetros (N , N ), e para os casos denominados a 2 anormais era tambm Normal com parmetros (A , A ), realizaram-se as e a
experincias descritas nas seces seguintes. e co
CAP ITULO 5. ANALISE DA CURVA ROC Igual parmetro de disperso, a a
124
Considerando N = A = 5, e amostras com dimenso nA = nN = 50, a efectuaram-se trs experincias, comeando por xar N = 50 e fazendo e e c variar o valor de A de 50, 60 e 70. Para cada conjunto gerado repetiu-se a experincia dez vezes. e Realizou-se o mesmo tipo de estudo para amostras de dimenso nA = a nN = 100 e nA = nN = 500. Os resultados obtidos em termos de valores mdios, para a area abaixo da curva ROC, A e erro padro associado a e a esta, SE(A) (calculados pelo mtodo sugerido por Hanley e McNeil [37]), e encontram-se resumidos nas tabelas 5.6, 5.7 e 5.8, respectivamente.
Tabela 5.6: Resultados para a Normal com nA = nN = 50 A = 50 A = 60 A = 70 A SE(A) 0.493 0.058 0.929 0.037 0.997 0.006
Tabela 5.7: Resultados para a Normal com nA = nN = 100 A = 50 A = 60 A = 70 A SE(A) 0.485 0.041 0.929 0.019 0.998 0.003
Da anlise conjunta dos resultados destas trs tabelas, pode-se vericar a e que ` medida que a diferena entre as mdias N e A aumenta, o valor da a c e
CAP ITULO 5. ANALISE DA CURVA ROC Tabela 5.8: Resultados para a Normal com nA = nN = 500 A = 50 A = 60 A = 70 A SE(A) 0.530 0.018 0.922 0.009 0.998 0.001
125
rea abaixo da curva ROC tambm aumenta e o erro padro diminui. Este a e a aumento deve-se ao facto de as funo densidade de probabilidade associadas ca aos dados se encontrarem menos sobrepostas, sendo de prever que o valor de rea abaixo da curva ROC tenda para um quando estas se encontrarem a completamente separadas, situao que indica poder discriminante perfeito. ca Diferentes parmetros centrais e de disperso a a Neste caso procurou-se fazer uma variao do parmetro de disperso e ver ca a a qual a inuncia no valor da area abaixo da curva ROC. e Fixou-se a dimenso da amostra nA = nN = 100 para N = 50 e A = 60, a com A /N > 1 (ver gura 5.4), consideraram-se as seguintes situaes: co (i) 5 N = ; A 10 N 5 (ii) = ; A 15 5 N (iii) = . A 20
Os resultados obtidos em termos de valores mdios das experincias efece e tuadas, encontram-se resumidos na tabela 5.9.
CAP ITULO 5. ANALISE DA CURVA ROC Tabela 5.9: Resultados para as situaes descritas co (i) A (ii) (iii)
126
0.812 0.726 0.698
SE(A) 0.031 0.036 0.037 Da anlise dos resultados da tabela 5.9, verica-se que a medida que A a ` aumenta em relao a N o valor de area abaixo da curva ROC diminui. Esta ca diminuio deve-se ao facto de a funo densidade de probabilidade para os ca ca casos considerados anormais se tornar mais achatada, o que signica maior disperso de valores e consequentemente maior area de sobreposio com a a ca funo densidade de probabilidade dos casos considerados normais. ca
5.3.2
Distribuies Exponenciais negativas co
Assumindo que a varivel x tem distribuio Exponencial negativa, de acordo a ca com as expresses das equaes (5.17) e (5.18), comeou-se por xar o valor o co c de N = 10 para os casos denominados normais e fez-se variar o parmetro a para os casos denominados anormais, A , de forma que a relao fosse do ca tipo:
A = k N . Gracamente ter-se-ia uma situao semelhante a ilustrada na gura 5.15. ca `
Consideraram-se amostras de igual dimenso (nA = nN = 50, nA = nN = a 100 e nA = nN = 500), e geraram-se assim, Exponenciais negativas xando

f(x) 0,12
0,1 0,08 0,06 0,04 0,02 0 0 10 20 30 40
f(x)=0.1e -0.1x f(x)=0.05e
-0.05x
127
Figura 5.15: Sobreposio de duas funes densidade de probabilidade Exponenciais ca co

negativas com diferentes parmetros . a
N = 10 e fazendo variar de 10, 15, 20 e 100, repetindo-se o processo aleatrio o dez vezes. Os resultados em termos de valores mdios, obtidos neste estudo para a e rea abaixo da curva ROC, A e erro padro associado a esta, SE(A) (calculaa a dos pelo mtodo sugerido por Hanley e McNeil [37]), encontram-se resumidos e nas tabela 5.10, 5.11 e 5.12.
Tabela 5.10: Resultados para a Exponencial negativa com nA = nN = 50 A = 10 A = 15 A = 20 A = 100 A SE(A) 0.543 0.058 0.607 0.056 0.705 0.052 0.907 0.031
128
Da anlise conjunta dos resultados nestas trs tabelas, verica-se que de a e uma forma geral a medida que o parmetro A aumenta, o valor da area ` a abaixo da curva ROC tambm aumenta, o que signica maior poder discrie minante e revela o maior afastamento das duas curvas, consequentemente menor area de sobreposio entre as duas densidades. E para N = A , o ca valor da area abaixo da curva ROC est prximo de 0.5, o que signica a no a o a existncia de poder discriminante, isto , as curvas encontram-se sobrepostas. e e Verica-se tambm, que quanto maior for o valor de k, mais signicativo e o aumento no valor de area abaixo da curva ROC, o que pode ser explicado e pela forma da funo densidade de probabilidade da Exponencial negativa, ca como ilustrado na gura 5.15. Por outro lado, o aumento da dimenso das amostras faz baixar signicaa tivamente os valores dos erros padro, que passam a ser da ordem de 1% para a
129
amostras de grande dimenso (nA = nN = 500), no se vericando contudo a a grandes diferenas em termos de valores de area abaixo da curva ROC nas c trs tabelas para todos os casos. e
5.4
Discusso a
A generalidade dos estudos sobre curvas ROC assume a hiptese da Normao lidade para a distribuio dos dados. Para curvas ROC emp ca ricas, geradas a partir de dados amostrais, autores como Swets [80] e Metz [57] referem que, no plano binormal, estas podem ser aproximadas por rectas. Na seco ca 5.1, vrias curvas ROC foram geradas a partir de distribuies no normais. a co a Como se pode ver pelas guras apresentadas, com excepo do caso Unica forme, as curvas ROC no plano unitrio no parecem apresentar grandes a a diferenas de forma. No entanto, a representao no plano binormal mostra c ca claramente uma relao no linear. Apesar de certos segmentos destas curvas ca a poderem apresentar um comportamento linear, a aproximao por uma recta ca no plano binormal, s justicada pela prtica generalizada e por amostras oe a de pequena dimenso. Ora, tal aproximao pode induzir concluses erradas a ca o quanto a forma da distribuio subjacente aos dados. ` ca Na seco 5.2, a anlise das tabelas 5.2 - 5.5, revela duma forma geca a ral, bons ajustes de rectas no plano binormal em termos de r2 (r2 > 0.8), notando-se, no entanto, que os valores mais baixos do coeciente de determinao se vericam para um dos modelos normais com varincias diferentes ca a (A > N ) e para um modelo da Uniforme (XN U (0, 4) e XA U (2, 6)). Contudo, uma anlise pormenorizada de res a duos permitiria averiguar que o padro destes no aleatrio, nomeadamente no caso da Uniforme, pelo a a e o que a qualidade do ajuste linear dever ser analisado conjuntamente, em a
CAP ITULO 5. ANALISE DA CURVA ROC termos de r2 e padro de res a duos.
130
Este estudo averiguou, tambm, a diferena existente no valor do e c ndice rea abaixo da curva ROC, utilizando dois tipos de abordagem, a abordagem a paramtrica que considera o ajuste dos dados ROC num plano binormal, e e a abordagem no paramtrica que considera a aproximao deste a e ca ndice ao valor da estat stica de Wilcoxon-Mann-Whitney. Apesar dos valores determinados de Az e A no variarem muito, vericandoa se em alguns casos apenas diferenas a n da segunda casa decimal, neste c vel estudo optar-se-` pela abordagem no paramtrica, pois garante a inexistncia a a e e de pressupostos distribucionais associados aos dados. Por outro lado, em termos matemticos, a estat a stica de Wilcoxon-Mann-Whitney envolve menos clculos, tornando-se num processo mais simples. A abordagem paramtrica, a e envolve um processo de clculo mais complexo, para alm de se ter de estia e mar os parmetros associados a recta de ajuste (o termo de intercepo e o a ` ca declive da recta) e vericar a qualidade do ajuste linear. Na seco 5.3 verica-se, dum modo geral, que o aumento de area abaixo ca da curva ROC mais signicativo quando se faz variar os parmetros de e a localizao da Normal do que na variao do parmetro da Exponencial neca ca a gativa. Este aumento deve-se a forma espec ` ca das funo densidade de ca probabilidade da Normal e da exponencial negativa, que no caso da Normal permite maior sobreposio das funes densidade de probabilidade quando ca co as mdias se aproximam, e menor quando estas se afastam. e Este estudo permitiu analisar a diferena de comportamento, em termos c de ndice rea abaixo da curva ROC, numa situao em que as funes dena ca co sidade de probabilidade so simtricas, de uma outra em que as funes a e co densidade de probabilidade possuem caudas pesadas.
Cap tulo 6 Aplicaoes c

Como descrito em cap tulos anteriores, o ndice rea abaixo da curva ROC a uma medida sumria da curva ROC, que pode ser utilizada para avaliar o e a desempenho de um sistema de diagnstico. A principal vantagem deste o ndice que a sua utilizao no depende da distribuio associada aos dados. e ca a ca A aplicabilidade da anlise ROC, atravs do estudo das curvas ROC a e e muito vasta. Salientam-se areas como a psicologia, o controle de qualidade, a medicina, a imagem radiolgica, entre outras. o Neste cap tulo procura-se ilustrar a utilizao desta tcnica atravs de alca e e guns exemplos, nomeadamente no campo da medicina, para o qual se disps o de dados gentilmente cedidos, pelo servio de Neonatologia do Hospital Garc cia de Orta de Almada.
131
CAP ITULO 6. APLICACOES
132
6.1
A avaliao do risco de morte em recmca e nascidos de muito baixo peso - amostras relacionadas
O peso do recm-nascido foi durante muito tempo a medida mais importante e de risco neonatal inicial, sobretudo devido a sua importncia e facilidade de ` a avaliao. Contudo, comearam a ser necessrias formas de avaliao mais ca c a ca precisas para o risco de mortalidade neonatal inicial, permitindo assim a comparao entre servios, regies e mesmo pa ca c o ses. Classicamente, as taxas de mortalidade neonatal so consideradas um dos a indicadores mais importantes para a avaliao do desempenho dos cuidados ca de sade e do estgio de desenvolvimento da prpria sociedade. Cada vez u a o mais, os recm-nascidos de muito baixo peso (menos de 1500 gramas ao e nascer) contribuem de forma signicativa para as taxas de mortalidade e morbilidade. Nos ultimos anos foram desenvolvidas escalas de gravidade cl nica com este objectivo. Dessas escalas, salientam-se o CRIB (Clinical Risk Index for Babies), NTISS (Neonatal Therapeutical Intervention Score System), SNAP (Score for Neonatal Acute Physiology) e SNAP-PE (Score for Neonatal Acute Physiology - Perinatal Extension). De notar que estes diferentes sistemas de pontuao implicam a recolha de variveis ao longo de determinado per ca a odo de tempo. Assim, e para os sistemas referidos, o nmero de variveis a u a recolher varia entre 6 (CRIB ), 26 (SNAP ), 29 (SNAP-PE ) e 48 (NTISS ). Todas estas variveis so recolhidas nas primeiras 24 horas de vida, sendo, a a excepcionalmente para o CRIB, o per odo reduzido para as 12 horas posteriores ao parto. Por esta razo, o CRIB torna-se num a ndice mais fcil de ser a usado, quer em termos de tempo, quer em termos do nmero de variveis. u a
133
O diagnstico como processo imperfeito que , conduz a que num teste o e em que se pretende classicar os indiv duos em anormais e normais exista sempre a possibilidade de cometer um de dois tipos de erros: classicar um indiv duo anormal como normal e, vice-versa, classicar um indivduo normal como anormal. Este estudo teve como principal objectivo, comparar, no mesmo conjunto de indiv duos, quatro tipos diferentes de ndices de gravidade cl nica para determinao do risco de morte para recm-nascidos de muito baixo peso. Os ca e quatro ndices estudados foram, CRIB, NTISS, SNAP e SNAP-PE . Inclui-se ainda, a varivel PESO por esta ser tambm uma medida de risco neonatal. a e
6.1.1
Testes de hipteses o
Sob o ponto de vista cl nico existe a necessidade de avaliar duma forma precisa o risco de mortalidade neonatal inicial para os recm-nascidos de muito e baixo peso, pois este grupo contribui de forma signicativa para as taxas de mortalidade e morbilidade. Assim, uma escala de gravidade clnica com elevado poder discriminante entre dois estados (falecido e sobrevivo), poder a funcionar como ndice indicativo do desempenho das unidades de cuidados intensivos neonatais, porque tem em conta outras diferenas no risco, nomec adamente aquelas que dizem respeito a severidade inicial da doena. ` c Neste teste de diagnstico, as hiptese para o problema so: o o a H0 : O recm-nascido vai falecer, M e e H1 : O recm-nascido vai sobreviver, V Assim, de acordo com as expresses denidas para os erros de tipo I o (equao (2.7)) e de tipo II (equao (2.8)), verica-se que para um valor de ca ca corte espec co a representao ROC d a probabilidade de aceitar H0 , isto ca a
CAP ITULO 6. APLICACOES , considerar que o recm-nascido de muito baixo peso vai falecer. e e
134
6.1.2
Descrio dos Dados ca
A amostra em estudo constitu por 169 recm-nascidos de muito baixo e da e peso (menos de 1500 g) internados na Unidade de Neonatologia do Hospital Garcia de Orta. Esta recolha foi feita de um modo retrospectivo sobre a mesma amostra, por forma a permitir a comparao entre as diversas escalas, ca durante o per odo de trs anos, de 1992 a 1995. Dos 169 recm-nascidos de e e muito baixo peso em estudo, 133 sobreviveram , tendo-se observado 36 obitos. Como foi referido, para alm das escalas de gravidade em estudo, o peso e do recm-nascido foi tambm inclu como uma escala de gravidade per e e do si, atravs do agrupamento em nove classes. As classes foram determinadas e tendo em considerao a gama de valores observados (entre 540 g e 1500 g); ca o seu nmero foi calculado por forma a garantir a maior area abaixo da curva u ROC em relao a escala cont ca ` nua.
6.1.3
Resultados
Nas guras 6.1, 6.2, 6.3, 6.4 e 6.5 esto representados os grcos de distria a buio de frequncias para os recm-nascidos de baixo peso que faleceram e ca e e para os que sobreviveram. Como se pode vericar, em todos estes grcos existe uma sobreposio a ca das distribuies para os recm-nascidos de baixo peso falecidos e sobrevico e vos. A anlise grca mostra tambm que as diversas escalas apresentam a a e diferentes graus de sobreposio das distribuies de falecidos e sobrevivos. ca co

50
135
40
Percentagem (%)
30
20
10 sobrevivo 0 0 2 4 6 8 10 12 14 16 falecido
CRIB
Figura 6.1: Distribuio de frequncias para os recm-nascidos de baixo peso que faleca e e
ceram e para os que sobreviveram em relao ao CRIB. ca
12
10
Percentagem (%)
2 sobrevivo 0 0 4 8 12 16 20 24 28 44 falecido
SNAP
ceram e para os que sobreviveram em relao ao SNAP. ca

8
136
Percentagem (%)
sobrevivo 0 0 4 8 12 16 20 24 28 33 37 46 55 falecido
SNAPPE
ceram e para os que sobreviveram em relao ao SNAP-PE. ca
16 14
12
Percentagem (%)
10
6 4
2 0 4 6 8 10 12 14 16 18 20 22 24 26 28 30
sobrevivo falecido
NTISS
ceram e para os que sobreviveram em relao ao NTISS. ca

30
137
Percentagem (%)
20
10
sobrevivo 0 falecido
ceram e para os que sobreviveram em relao ao PESOAG. ca
Desta anlise verica-se ainda que, para os a ndices CRIB, SNAP, SNAPPE e NTISS, valores elevados da varivel de deciso, x, tendem a indicar a a a ocorrncia de falecimento. Com a varivel PESOAG verica-se precisamente e a o contrrio, dado que se verica uma maior taxa de sobrevivncia entre os a e bebs de peso mais elevado. e Curvas ROC A metodologia utilizada para o clculo das areas abaixo das curvas ROC a (A), e respectivos erros padro (SE(A)), foi a aproximao no paramtrica a a ca a e ` estat stica de Wilcoxon-Mann-Whitney (equao (4.31)) sugerida por Hanley ca e McNeil [37]. Na tabela 6.1, encontra-se o resumo destes valores para os vrios a ndices.
0 44 ] >1 440 1 0; 34 ] ]1 40 13 0; 24 ] ]1 40 12 0; 14 ] ]1 40 11 0; 04 ]1 0] 04 ;1 40 ]9 ] 40 ;9 40 ]8 ] 40 ;8 40 ]7 ] 40 ;7 40 ]6 0 64 <=
PESOAG
138
Tabela 6.1: Valores de A e SE(A) para os diferentes ndices na previso de a falecimento para os recm-nascidos de muito baixo peso. e Indice CRIB PESOAG SNAP SNAPPE NTISS Area abaixo da curva ROC (A) 0.90 0.77 0.88 0.88 0.84 Erro padro a (SE(A)) 0.03 0.05 0.03 0.03 0.04
Como referido em cap tulos anteriores, gracamente a curva ROC representa a probabilidade de um verdadeiro positivo em funo da probabilidade ca de um falso positivo para uma gama de valores de corte. Neste estudo, traaram-se as curvas ROC emp c ricas para os cinco ndices no plano ROC unitrio, como ilustrado na gura 6.6. a ` A curva ROC que se aproxima mais do canto superior esquerdo, corresponder o a ndice que deve ser preferido para previso do risco de morte para a os recm-nascidos de baixo peso. No entanto, apesar do CRIB apresentar a e maior area, existe uma diculdade resultante do cruzamento das curvas. Coecientes de correlao ca As matrizes de correlao para os recm-nascidos falecidos (rA ) e para os ca e recm-nascidos sobrevivos (rN ) foram determinadas pelo tau Kendall e apree sentam-se na tabela 6.2.

1,0
139
,8
Sensibilidade
,6
,4
PESOAG SNAPPE SNAP
,2
NTISS CRIB
0,0 0,0
acaso
,2
,4
,6
,8
1,0
1 - especificidade
Figura 6.6: Grco das curvas ROC para os 5 a ndices.
Os valores do coeciente de correlao, rHM e rDL , determinados pela ca metodologia de Hanley e McNeil [55] e a partir da rotina descrita por DeLong e DeLong em [22], encontram-se na tabela 6.3.
140
Tabela 6.2: Matrizes de correlao para os recm-nascidos falecidos (rA ) , ca e e para os recm-nascidos sobrevivos (rN ). e
CRIB -0.100 NTISS 0.043 0.169 SNAP -0.053 0.365 0.250 SNAPPE -0.377 0.263 0.143 0.585
rA
rN
CRIB -0.368
NTISS -0.258 0.488
SNAP -0.203 0.465 0.494
SNAPPE -0.406 0.380 0.375 0.579
PESOAG CRIB NTISS SNAP
Tabela 6.3: Matrizes de correlao determinadas pela metodologia de ca DeLong e de Hanley e McNeil.
CRIB -0.011 NTISS 0.101 0.346 SNAP 0.126 0.203 0.194 SNAPPE 0.545 0.241 0.206 0.669
rDL rHM
CRIB -0.19
NTISS -0.09 0.27
SNAP -0.11 0.34 0.31
SNAPPE -0.35 0.25 0.205 0.495
Testes de comparao mltipla ca u Os resultados dos testes de comparao mltipla considerando os valores de ca u rHM e rDL da tabela 6.3, encontram-se resumidos na tabela 6.4 em termos de valor de prova.
6.1.4
Discusso dos resultados a
A comparao das areas abaixo das curvas ROC, permite concluir que o ca melhor ndice para avaliao do risco de falecimento em recm-nascidos de ca e muito baixo peso o CRIB, pois aquele que apresenta maior valor de area e e (A = 0.90) com menor erro padro (SE(A) = 0.03). a
141
Tabela 6.4: Valores de prova para os testes de comparao mltipla entre ca u os diferentes ndices, pela metodologia de DeLong e de Hanley e McNeil.
CRIB 0.027 NTISS 0.183 0.195 SNAP 0.045 0.668 0.416 SNAPPE 0.005 0.684 0.409 0.971
pDL pHM
CRIB 0.038
NTISS 0.226 0.219
SNAP 0.056 0.637 0.380
SNAPPE 0.084 0.682 0.409 0.977
No entanto, de salientar que devido aos cruzamentos existentes entre e as curvas, poder-se-ia ter efectuado o teste a fraco de verdadeiros posi` ca tivos (sensibilidade) F V P , para um ponto particular de fraco de falsos ca positivos (1-especicidade) F F P0 , como descrito por Metz [58] (ver 4.10.1). Tal teste poderia ser justicado se o objectivo do estudo fosse avaliar o desempenho dos diferentes ndices num ponto particular da fraco de falsos ca positivos. Atravs do grco da gura 6.6 verica-se que, para valores baie a xos da escala do CRIB, poder haver melhor desempenho dos outros a ndices (SNAP, SNAPPE e NTISS ). Em termos cl nicos, esta diferena no se jusc a tica, dado que para valores baixos nas escalas (indicador de sobrevivncia), e todos devero apresentar um bom desempenho. Este cruzamento do CRIB a e explicado pela existncia de uma determinada proporo de recm-nascidos e ca e de baixo peso que morre com um valor baixo de CRIB (grco da gura a 6.1). Vericou-se ainda, de uma forma geral, que a correlao existente entre os ca vrios a ndices mais signicativa para os recm-nascidos sobrevivos do que e e para os recm-nascidos falecidos; tal poder dever-se ao facto da dimenso e a a da amostra de casos sobrevivos (133) ser signicativamente mais elevada do que a de casos falecidos (36).
142
Da anlise dos coecientes de correlao, r, obtidos pelas duas metodoa ca logias, verica-se que no existem diferenas em termos dos testes de coma c parao mltipla sendo no entanto a metodologia sugerida por DeLong e Deca u Long mais exacta, dado que utiliza a teoria das estatsticas U-generalizadas para estimao da matriz de covarincias em vez de valores aproximados. ca a Resultante das comparaes mltiplas, usou-se um n de signicncia, co u vel a = 0.005 o que garante globalmente um n de 5%; a partir da tabela 6.4, vel no se vericaram diferenas signicativas entre os a c ndices. E de salientar que o desenho retrospectivo deste estudo pode ter afectado o desempenho dos ndices SNAP, SNAPPE e NTISS. Como nem todos os testes inclu dos nestes ndices so feitos rotineiramente, a sua incluso por a a via do estudo pode no ser justicada. a Importa notar que, devido a natureza retrospectiva do estudo e ainda ` pelo facto de os dados relativos aos diferentes ndices terem sido recolhidos sobre a mesma amostra, no poss garantir a sua independncia. a e vel e A avaliao do desempenho dos cinco ca ndices estudados no foi conclusiva a quanto ao que poder apresentar melhor performance, no entanto a avaliar a pela complexidade das escalas (em termos do nmero de variveis a recolher u a e tempo de recolha) em relao ao CRIB e, pelo facto deste ca ndice apresentar um maior valor de area abaixo da curva ROC e menor erro padro, sugere-se a que o CRIB poder ser considerado o melhor a ndice indicativo do risco de mortalidade neonatal.
143
6.2
A Idade Gestacional como medida de prognstico: anlise atravs das curvas o a e ROC para amostras relacionadas
A idade gestacional considerada um factor de prognstico muito importante e o de uma gravidez, quer no que diz respeito a mortalidade, quer relativamente ` ao aparecimento de doenas ou sequelas no beb [6]. c e Em geral, os recm-nascidos com melhor prognstico de sobrevivncia e o e possuem idades gestacionais elevadas. Por isso, a idade gestacional torna-se um factor importante na deciso de desencadear ou no um parto. a a O mtodo mais utilizado, e mais vel para medio da idade gestacional e a ca a ecograa. A Idade Gestacional Obsttrica (IGO) a idade gestacional e e e atribu pela ecograa, corrigida por alguns factores associados com outros da mtodos de datao, como por exemplo, a data da ultima menstruao [65], e ca ca [24], [5]. A Idade Gestacional Neonatal (IGN) avalia a idade gestacional aps o o nascimento, pois nem sempre se sabia a data da ultima menstruao, ou ca ento, a idade gestacional atribu no era compat a da a vel com o aspecto do beb. Duma forma geral a IGN toma um valor superior em relao a IGO. e ca ` A anlise de diagnstico pretende, neste caso, determinar a inuncia a o e da idade gestacional como factor de prognstico no parto (beb falecido ou o e sobrevivo), mas tambm comparar as duas medidas, IGO e IGN, avaliando e se alguma das escalas superior. e As hipteses estat o sticas formuladas so as mesmas da seco 6.1.1, e a a ca metodologia a utilizar a descrita na seco 4.10.2, dado que se tratam de e ca amostras relacionadas. Efectuou-se tambm, uma comparao atravs do teste-t para dados eme ca e
144
parelhados, para tentar comprovar que na realidade a IGN toma valores superiores em relao a IGO ca `
6.2.1
Descrio dos dados ca
A amostra em estudo constitu por 223 bebs nascidos no Hospital Gare da e cia de Orta, em Portugal. Esta recolha foi feita de um modo retrospectivo sobre a mesma amostra, por forma a permitir a comparao entre as duas ca idades gestacionais, durante o ano de 1995. Dos 223 bebs, 194 sobreviveram e (classicados como sobrevivos), tendo sido registado 29 obitos (classicados como falecidos). Foram ainda considerados os bebs de risco, isto , bebs e e e com muito baixo peso a nascena (inferior a 1500 g), num total de 157, tendo ` c sido observado 26 obitos e 131 sobrevivos.
6.2.2
Resultados
Nas guras 6.7 e 6.8 esto representadas as distribuies de frequncias para a co e os bebs que faleceram e para os que sobreviveram, em funo da IGO e e ca da IGN, considerando todos os bebs, e nas guras 6.9 e 6.10 considerando e apenas os recm-nascidos de muito baixo peso (inferior a 1500 g), respectie vamente.
Como se pode vericar pela anlise dos grcos das guras 6.7, 6.8, 6.9 e a a 6.10, as distribuies dos bebs sobrevivos e dos bebs falecidos sobrepemco e e o se. Pode ainda vericar-se que, de uma forma geral, valores elevados de idade gestacional tendem a indicar que o beb vai sobreviver e valores baixos de e idade gestacional tendem a indicar que o beb ir falecer. Note-se ainda a e a existncia de sobrevivos para baixos valores de idade gestacional. e

25
145
20
Percentagem (%)
15
10
5 sobrevivo 0 21 24 26 28 30 32 34 36 38 40 falecido
IGO
Figura 6.7: Distribuio de frequncias para os bebs que faleceram e para os que ca e e
sobreviveram em funo da IGO, considerando todos os bebs. ca e
30
Percentagem (%)
20
10
sobrevivo 0 24 26 28 30 32 34 36 38 40 falecido
IGN
sobreviveram em funo da IGN, considerando todos os bebs. ca e

30
146
Percentagem (%)
20
10
sobrevivo 0 21 24 26 28 30 32 34 36 falecido
IGO
sobreviveram em funo da IGO (peso < 1500 g). ca
Areas abaixo da curva ROC e erros padro a Os valores observados da area abaixo da curva ROC e os respectivos erros padro, para a IGO e a IGN, para o conjunto de todos os bebs e para aqueles a e que possuem peso abaixo de 1500 g, encontram-se resumidos na tabela 6.5.

30
147
Percentagem (%)
20
10
sobrevivo 0 24 26 28 30 32 34 36 38 falecido
IGN
sobreviveram em funo da IGN (peso < 1500 g). ca
Tabela 6.5: Valores de A e SE(A) para todos os bebs e para aqueles com e peso abaixo de 1500 g. Bebs de e Todos os bebs e A IGO 0.803 SE(A) 0.05 0.05 peso < 1500 g A 0.815 0.833 SE(A) 0.05 0.05
IGN 0.812
Curvas ROC Na gura 6.11 e 6.12, representam-se as curvas ROC para a IGO e a IGN para todos os bebs e considerando apenas os recm-nascidos de muito baixo e e
CAP ITULO 6. APLICACOES peso (inferior a 1500 g), respectivamente.

1,0
148
,8
Sensibilidade
,6
,4
,2
IGO IGN
0,0 0,0 ,2 ,4 ,6 ,8 1,0
acaso
1- especificidade
Figura 6.11: Curvas ROC para a IGO e para a IGN considerando todos os bebs. e

1,0
149
,8
Sensibilidade
,6
,4
,2
IGO IGN
0,0 0,0 ,2 ,4 ,6 ,8 1,0
acaso
1- especificidade
Figura 6.12: Curvas ROC para a IGO e para a IGN considerando os bebs com peso e
inferior a 1500 g.
Testes ` diferena das reas a c a (i) Matrizes de correlao Os valores do coeciente de correlao para ca ca os bebs falecidos (rA ) foram de 0.874 e 0.877, considerando todos os bebs e e e somente os bebs de peso inferior a 1500 g, respectivamente. Para bebs soe e brevivos (rN ) foram 0.544 e 0.507, para os dois estudos considerados. Estes coecientes foram determinados pelo tau de Kendall. Os valores dos coecientes de correlao obtidos da tabela de Hanley e McNeil (rHM ) foram ca 0.66 e 0.63, respectivamente. Calcularam-se ainda os valores dos coecientes de correlao utilizando a metodologia de DeLong, obtendo-se rDL = 0.734 e ca rDL = 0.649, considerando todos os bebs e somente os bebs de peso inferior e e a 1500 g, respectivamente.
150
(ii) Testes de hipteses Quer para o estudo considerando todos os bebs o e quer para o estudo em que se consideram apenas bebs de muito baixo peso, e no se vericaram diferenas signicativas entre a IGO e a IGN, em termos a c do ndice rea abaixo da curva ROC, tendo sido observados os valores de a prova de 0.827 e 0.676, respectivamente, quando se utiliza a metodologia de Hanley e McNeil. Utilizando a metodologia de DeLong, os valores de prova observados foram 0.805 e 0.667, respectivamente.
6.2.3
A comparao das areas abaixo das curvas ROC, para o estudo que considera ca todos os bebs e para o estudo que considera os bebs de peso inferior a 1500 e e g, nada permite concluir quanto a melhor medida de avaliao do risco de ` ca morte para os bebs nos dois estudos efectuados, tal como conrmado e e pelos testes ` diferena das areas. No entanto, pelos valores de area abaixo a c da curva ROC, verica-se que a idade gestacional pode ser considerada como um factor de prognstico importante para a sobrevivncia dos bebs, sendo o e e assim um indicador importante na tomada de deciso sobre a induo de um a ca parto. A comparao entre os dois mtodos de datao, IGO e IGN, permite ca e ca concluir que a diferena mdia (1.26 semanas) estatisticamente signicativa c e e (t = 9.035, p < 0.01).
151
6.3
Comparao de unidades de cuidados inca tensivos neonatais - amostras independentes.
A comparao do desempenho de unidades de cuidados intensivos neonaca tais baseada na sua taxa de mortalidade necessita de mtodos exactos para e ajustar as diferenas existentes no risco inicial dos seus pacientes, pois esta c comparao ter de ter em conta no s os aspectos associados aos bebs ca a a o e nascidos na unidade, mas tambm quais as condies em que so recebidos e co a os recm-nascidos provenientes de outras unidades. Assim, uma unidade de e cuidados intensivos neonatais poder apresentar uma elevada taxa de mora talidade e no entanto esta ser devida a recepo de recm-nascidos externos ` ca e a esta unidade, com um risco inicial muito elevado. Como o peso a nascena foi desde sempre uma medida importante na ` c determinao do risco neonatal inicial, no houve necessidade de desenvolver ca a novos sistemas de classicao para os cuidados intensivos neonatais. No ca entanto, a mortalidade espec ca para o peso a nascena poder no ser ` c a a suciente como indicador do desempenho das unidades de cuidados intensivos neonatais porque no tem em conta outras diferenas no risco, nomeadamente a c aquelas que dizem respeito a severidade inicial da doena [64]. ` c O CRIB (Clinical Risk Index for Babies), foi desenvolvido e validado entre 1988 e 1990. Trata-se de um ndice de gravidade cl nica para recme nascidos de muito baixo peso (inferior a 1500 g), determinado pela associao ca de seis variveis, como mencionado na seco 6.1. Essas variveis so o peso a ca a a ` nascena, a idade gestacional, a malformao congnita, o mximo excesso a c ca e a de base nas primeiras 12 horas ps parto, os n o veis mximos e m a nimos de FiO2 nas primeiras 12 horas ps parto. o
152
Em [64] faz-se uma comparao dos cuidados oferecidos por unidades de ca cuidados intensivos neonatais de vrios hospitais (hospital 1 - H1 , hospital a 2 - H2 , hospital 3 - H3 e hospital 4 - H4 ) usando o CRIB como medida de risco neonatal inicial. Como vericado na seco 6.1, devido a complexidade de recolha de ca ` variveis, e pelo valor da area abaixo da curva ROC, o CRIB foi considerado a como o melhor indicador do risco de mortalidade neonatal. Para os recm-nascidos sobrevivos, o e ndice CRIB pode estar associado ao aparecimento de algumas sequelas. HIVPPVV (Imagens ecogrcas neua rolgicas alteradas), ROP (Retinopatia da Prematuridade) e DBP (Displasia o Bronco-Pulmonar ) so trs importantes sequelas que podero exibir alguma a e a associao com este ca ndice. Assim para estudar de que forma podero estar associados o aparecimento a de sequelas ao ndice CRIB, mediu-se esta poss associao utilizando a vel ca anlise atravs de curvas ROC e tambm, a regresso log a e e a stica, para cada uma das sequelas mencionadas.
6.3.1
Metodologia
Anlise ROC a Uma aproximao poss para testar se a diferena entre duas curvas ROC, ca vel c associadas a conjuntos de dados independentes signicativa, envolve o e ndice rea, A, que sumaria cada curva ROC em termos da area abaixo a desta. Aqui, a hiptese nula relevante que os dois conjuntos de dados em o e questo, provm de curvas ROC com areas abaixo destas semelhantes: a e H0 : A2 A1 = 0
153
H1 : A2 A1 = 0. Um mtodo para testar se as diferenas entre duas areas abaixo das curvas e c ROC provenientes de amostras independentes so signicativas, consiste na a utilizao da razo cr ca a tica z, denida em 4.10.1. Regresso log a stica com variveis independentes policotmicas a o Em qualquer problema de regresso a quantidade chave o valor mdio da a e e varivel resposta, dado o valor da varivel independente. Esta quantidade a a normalmente designada por mdia condicional e pode ser expressa por e e E (Y | x), onde Y designa a varivel resposta e x designa o valor da varivel a a independente. Na regresso linear assume-se que esta mdia pode ser expressa como uma a e equao linear em x, do tipo: ca E (Y | x) = 0 + 1 x. A partir desta expresso, verica-se que E (Y | x) pode tomar qualquer a valor com x a variar de a +. Contudo, com dados dicotmicos, esta o medida dever estar compreendida entre zero e um, inclusive. a Considere-se (x) = E (Y | x). A forma espec ca do modelo de regresso log a stica para uma varivel resposta dicotmica, tem a forma: a o exp (0 + 1 x) . 1 + exp (0 + 1 x)
(x) =
(6.1)
A transformao de (x) denominada por transformao logit. Esta ca e ca transformao denida em termos de (x), como sendo ca e
154
g(x) = ln
(x) 1 (x)
= 0 + 1 x. A importncia desta transformao que g(x) tem muitas propriedades a ca e desejveis dos modelos de regresso linear. O logit g(x) linear nos seus a a e parmetros, uma funo cont a e ca nua, e pode variar de a +, consoante o dom nio de variao de x. ca Uma diferena importante entre os modelos de regresso linear e o da c a regresso log a stica diz respeito a distribuio condicional da varivel resposta. ` ca a Na regresso linear assume-se que uma observao da varivel resposta pode a ca a ser expressa como y = E (Y | x) + , em que designado por erro, e d o e a desvio de uma observao em relao a mdia condicional. A hiptese mais ca ca ` e o comum que este erro segue uma distribuio Normal com mdia zero e ca e e varincia constante ao longo dos n a veis da varivel independente; assim a resulta que a distribuio da varivel resposta dado x, ser Normal com mdia ca a a e E (Y | x), e varincia constante. Quando a varivel resposta dicotmica, a a e o este pressuposto no se verica. Nesta situao, deve-se expressar o valor a ca da varivel resposta dado x como y = (x) + . Aqui a quantidade pode a assumir um dos dois valores poss veis: = 1 (x)
Y =1 com probabilidade (x), e
Y =0
= (x)
com probabilidade 1 (x). Ento, tem uma distribuio com mdia a ca e zero e varincia igual a (x) [1 (x)], isto , a varivel resposta segue uma a e a
155
distribuio binomial com probabilidade dada pela mdia condicional, (x). ca e Ajuste do modelo de Regresso Log a stica Considere-se uma amostra de n observaes independentes do par (xi , yi ) co a com i = 1, 2, , n, e yi e xi , designam, respectivamente, o valor da varivel resposta e o valor da varivel independente, correspondente ao isimo ina e div duo. Para ajustar um modelo de regresso log a stica do tipo do da equao ca (6.1), torna-se necessrio estimar os parmetros desconhecidos, 0 e 1 . a a Na regresso linear o mtodo mais utilizado o dos m a e e nimos quadrados. Neste mtodo escolhe-se os valores de 0 e 1 que minimizam a soma dos e quadrados dos desvios dos valores observados de Y em relao aos valores ca previstos baseados no modelo especicado. Sobre as usuais condies para a co regresso linear, o mtodo dos m a e nimos quadrados conduz a estimadores com um nmero de propriedades estat u sticas desejveis. Infelizmente, quando este a mtodo aplicado a um modelo de resposta dicotmica, os estimadores no e e o a apresentam as mesmas propriedades. O mtodo geral de estimao alternativo ao da funo dos m e ca ca nimos quadrados, para o modelo de regresso linear (quando o termo do erro nora e malmente distribu do), o mtodo da mxima verosimilhana. Para aplicar e e a c este mtodo, tem de se comear por construir a designada funo de verosie c ca milhana. c A funo de verosimilhana, expressa a probabilidade dos dados obserca c vados como uma funo dos parmetros desconhecidos. Os estimadores de ca a mxima verosimilhana (EMV) destes parmetros, so escolhidos de forma a c a a a maximizarem a funo de verosimilhana. ca c Para o modelo de regresso log a stica dicotmica, onde a varivel resposta o a
156
est codicada por Y = 0 e Y = 1, a funo de probabilidade condicional a ca pode ser expressa atravs de e (x) se Y = 1 P (Y | x) = 1 (x) se Y = 0 Assim, para os pares (xi , yi ), quando yi = 1 a contribuio para a funo ca ca ca de verosimilhana (xi ), e para os pares cujo valor yi = 0 a contribuio c e para a funo de verosimilhana 1 (xi ), onde a quantidade (xi ) deca c e signa o valor de (x) calculada num valor xi . Uma forma de expressar a e e contribuio para a funo de verosimilhana do par (xi , yi ) atravs do ca ca c termo: (xi ) = (xi )yi [1 (xi )]1yi . Desde que as observaes sejam independentes, a funo de verosimico ca lhana dada por: c e
l() =
i=1 n
(xi ) (xi )yi [1 (xi )]1yi (6.2)
=
i=1
e onde (xi ) representa P (Y = 1 | xi ), tambm designada por probabilidade de sucesso. O mtodo da mxima verosimilhana estabelece que se utiliza para as e a c estimativas de , os valores que maximizam a expresso (6.2). Matematicaa mente, torna-se mais fcil trabalhar a expresso do logaritmo da verosimia a lhana, dada por c
157
L() = ln [l()] =
i=1
{yi ln [ (xi )] + (1 yi ) ln [1 (xi )]} .
(6.3)
Para achar o valor de que maximiza L(), deriva-se a expresso (6.3) em a ordem a cada parmetro e igualam-se as expresses obtidas a zero, obtendo-se a o assim as equaes de verosimilhana: co c L() = 0 L() = 1
n
[yi (xi )]
i=1 n
xi [yi (xi )] .
i=1
Para a regresso log a stica dicotmica, as equaes de verosimilhana so o co c a no lineares em , o que requer mtodos de resoluo de equaes no lineares a e ca co a do tipo Newton-Raphson. Interpretao dos coecientes estimados ca Dene-se razo das possibilidades da varivel resposta Y = 1 versus a varivel a a a resposta cujo valor Y = 0, para valores da covarivel x = a versus x = b, e a como: P (Y = 1 | x = a)/P (Y = 0 | x = a) . P (Y = 1 | x = b)/P (Y = 0 | x = b)
(a, b) =
Num modelo com uma unica covarivel, onde a varivel resposta binria, a a e a o coeciente do declive do logit idntico ao logaritmo da razo das possibie e a lidades (odds ratio):
1 = ln (a, b) = (a, b) = exp 1 .
158
No caso da existncia de variveis independentes policotmicas, nee a o e cessrio recorrer a criao de variveis design. Hosmer e Lemeshow [43], a ` ca a discutem os vrios mtodos de criao destas variveis. Referem que a escoa e ca a lha de um mtodo particular, poder depender em alguns casos do objectivo e a da anlise e do estgio de desenvolvimento do modelo. a a O agrupamento escolhido para a varivel CRIB, teve em conta os dados a referentes ao hospital 4, de tal modo que a forma e o poder discriminatrio o das curvas ROC seja mantido, isto , a area abaixo da curva em funo do e ca CRIB agrupado seja aproximadamente a mesma. Neste estudo, para o delineamento dos modelos de regresso log a stica, utilizou-se o agrupamento da varivel CRIB em trs classes (1 [0, 3]; 2 a e [4, 6]; 3 [7, 20]) e o mtodo designado por Indicator (1), que se passa a e descrever. No caso de uma varivel policotmica com trs classes, k = 3, so nea o e a cessrias duas variveis de design; por exemplo, segundo o mtodo utilizado, a a e ter-se- a: Variveis a design CRIB Baixo Moderado Elevado CRIBAG (classe) [0 ; 3] [4 ; 6] 7 (1) (2) (3) D1 0 1 0 D2 0 0 1
Este o mtodo mais utilizado na regresso log e e a stica [43], em que o grupo de referncia aquele em que todas as variveis design so iguais a zero. e e a a Hosmer e Lemeshow [43], demonstraram que o valor dos coecientes do modelo da regresso log a stica assim obtido, e o valor do log odds, o mesmo. e
159
6.3.2
Descrio dos dados ca
A amostra em estudo constitu por 234 recm-nascidos de muito baixo e da e peso (inferior a 1500 g) provenientes de 4 hospitais em Portugal durante o ano de 1995. A distribuio por hospital : 77 para o hospital 1, 33 para o hospital ca e 2, 45 para o hospital 3 e 79 para o hospital 4. Destes 234 recm-nascidos, 183 e sobreviveram e 51 faleceram. As taxas de mortalidade registadas em cada hospital foram 17% para o hospital 1, 24% para o hospital 2, 31% para o hospital 3 e 20% para o hospital 4. Na tabela 6.6 encontra-se uma descrio ca das variveis em estudo. a
6.3.3
Resultados Experimentais
Nas guras 6.13, 6.14, 6.15, 6.16, esto representados os grcos de distria a buio de frequncias segundo o CRIB, para os recm-nascidos de muito baixo ca e e peso que faleceram e para os que sobreviveram, para os diferentes hospitais inclu dos no estudo.
CAP ITULO 6. APLICACOES Tabela 6.6: Descrio das variveis em estudo ca a Varivel a Clinical Risk Index for Babies CRIB agrupado em classes 1 - [0, 3] 2 - [4, 6] 3-7 Hospitais 1 2 3 4 Sequelas Imagem ecogrca a Neurolgica o 0 = No a 1 = menos grave 2 = mais grave HIVPPVV agrupado segundo a existncia e Retinopatia da Prematuridade Displasia Broncopulmonar Morte 0 = No a 1 = Sim 0 = No a 1 = Sim 0 = No a 1 = Sim 0 = sobrevivo 1 = falecido Nominal MORTE Nominal DBP Nominal ROP Nominal HIVPPVVA Nominal HIVPPVV Nominal H1 H2 H3 H4 Ordinal CRIBAG Valores 0, 1,..., 20 Tipo Ordinal Designao ca CRIB
160

Hospital 1
30
161
25
Percentagem (%)
20
15
10
5 sobrevivo 0 0 1 2 3 4 5 6 7 8 9 10 12 13 14 16 18 19 falecido
CRIB
Figura 6.13: Distribuio de frequncias segundo o CRIB, para os recm-nascidos de ca e e

Hospital 2
40 35 30
Percentagem (%)
25 20 15 10 5 0 0 1 2 3 4 6 7 8 9 10 11 12 14 sobrevivo falecido
CRIB


Hospital 3
40 35 30
162
Percentagem (%)
25 20 15 10 5 0 0 1 2 3 4 5 7 8 9 13 17 18 sobrevivo falecido
CRIB

Hospital 4
40 35 30
Percentagem (%)
25 20 15 10 5 0 0 2 4 6 8 10 13 sobrevivo falecido
CRIB

163
Da anlise destes grcos, verica-se que existe sobreposio das distria a ca buies para os recm-nascidos de baixo peso falecidos e sobrevivos. Note-se co e ainda, que um aumento na escala de CRIB tende a indicar a ocorrncia de e falecimento. De notar que, no hospital 1 se verica a ocorrncia de um maior nmero e u de mortes, para os valores mais baixos da escala de CRIB. Areas abaixo da curva ROC e erros padro a Tal como nas seces anteriores, a metodologia utilizada para o clculo das co a reas abaixo das curvas ROC (A), e respectivos erros padro (SE(A)), foi a a a aproximao no paramtrica a estat ca a e ` stica de Wilcoxon-Mann-Whitney (equao (4.31)) sugerida por Hanley e McNeil [37]. Os resultados encontramca se resumidos nas tabelas 6.7 e 6.8, respectivamente.
Tabela 6.7: Valores de A e SE(A) para os diferentes hospitais na previso do a falecimento segundo a escala do CRIB, para recm-nascidos de muito baixo e peso (< 1500 g).
Hospital H1 H2 H3 H4 Area abaixo da curva ROC (A) 0.59 0.79 0.84 0.92 Erro padro a (SE(A)) 0.09 0.10 0.07 0.05
164
Tabela 6.8: Valores de A e SE(A) para as diferentes sequelas segundo a escala do CRIB.
Sequela HIVPPVVA ROP DBP Area abaixo da curva ROC (A) 0.78 0.82 0.76 Erro padro a (SE(A)) 0.05 0.05 0.07
Modelos de regresso log a stica com covarivel policotmica a o Para a construo dos modelos de regresso log ca a stica, utilizou-se como covarivel, para os trs modelos traados, o CRIBAG com as categorias 1, a e c 2 e 3. A metodologia utilizada foi a descrita em 6.3.1. Os trs modelos e de regresso log a stica obtidos, encontram-se resumidos na tabela 6.9. Nesta tabela, representa-se para cada caso, a seguinte informao: ca (1) as estimativas para os coecientes, ; (2) a estimativa do erro padro para o coeciente estimado, SE(); a (3) o valor da estat stica de Wald, W = 2 /V AR(); (4) a estimativa da razo das possibilidades, ; a (5) o valor de prova do teste de signicncia dos parmetros esa a timados
Da anlise destes trs modelos, verica-se que o unico coeciente para o a e qual no se rejeita a hiptese deste ser nulo, o CRIBAG(2) para a sequela a o e DBP.
165
Tabela 6.9: Modelos de regresso log a stica univariados, com a covarivel a CRIBAG para as 3 sequelas.
Sequela HIV P P V V A Covarivel a CRIBAG(1) CRIBAG(2) CON ST. ROP CRIBAG(1) CRIBAG(2) CON ST. DBP CRIBAG(1) CRIBAG(2) CON ST. 1.435 2.269 1.920 1.341 2.283 2.370 1.935 0.811 2.890 SE() 0.519 0.458 0.260 0.617 0.533 0.331 0.654 0.725 0.388 W 7.64 24.56 54.68 4.72 18.38 51.38 8.75 1.25 55.40 6.9 2.3 3.8 9.8 4.2 9.7 valor p 0.000 0.000 0.000 0.030 0.000 0.000 0.003 0.263 0.000
Curvas ROC Na gura 6.17, representam-se as quatro curvas ROC para os diferentes hospitais e na gura 6.18 as trs curvas ROC para as diferentes sequelas segundo e a escala de CRIB, sendo a representao feita sobre o mesmo espao ROC. ca c
1,0
,8
Sensibilidade
,6
,4
Hospital 4 Hospital 3
,2
Hospital 2 Hospital 1
0,0 0,0
acaso
,2
,4
,6
,8
1,0
1 - especificidade
Figura 6.17: Curvas ROC para os 4 hospitais.

1,0
166
,8
Sensibilidade
,6
,4 ROP ,2 HIVPPVVA DBP 0,0 0,0 ,2 ,4 ,6 ,8 1,0
1- especificidade
Figura 6.18: Curvas ROC para as 3 sequelas.
Testes de comparao mltipla ca u Os resultados dos testes de comparao mltipla encontram-se resumidos ca u na tabela 6.10 em termos de valor de prova, de acordo com a metodologia referida em 4.10.1, para amostras independentes.
Tabela 6.10: Testes de comparao mltipla entre os diferentes hospitais. ca u valor de prova H2 H3 H4 H1 0.124 0.049 0.667 0.004 0.136 0.267 H2 H3
167
6.3.4
Por comparao das areas abaixo das curvas ROC para os diferentes hospitais ca pode dizer-se que o hospital H4 apresenta um melhor desempenho, em termos de CRIB, do que todos os outros, pois aquele que apresenta maior valor de e rea abaixo da curva ROC (A = 0.92) e menor erro padro (SE(A) = 0.05). a a Atravs da anlise de comparaes mltiplas, para os quatro hospitais, e a co u verica-se que no existem diferenas signicativas em termos de desempenho a c de cuidados intensivos neonatais, entre o hospital H1 e os hospitais H2 e H3 , sendo signicativa apenas a diferena entre o hospital H1 e o hospital c vel H4 . Estes testes foram feitos de forma a garantir globalmente um n de signicncia = 0.05, pelo que nas comparaes mltiplas entre os vrios a co u a hospitais se usou um n vel de signicncia de /6 para cada comparao a ca individual. A anlise das curvas ROC para as trs sequelas, segundo o CRIB para os a e indiv duos sobrevivos, vericou-se que a sequela ROP apresenta maior valor de rea (A = 0.82) e menor erro padro (SE(A) = 0.05), o que demonsa a tra a utilidade deste ndice como indicador do risco de aparecimento destas sequelas. Interpretao dos coecientes do modelo de regresso log ca a stica: HIVPPVVA para CRIBAG(1) = 1.435, (2, 1) = 4.2, signica que a medida que a escala de CRIB aumenta, quando se ` comparam as classes de CRIBAG 2 e 1, a possibilidade do aparecimento desta sequela aumenta cerca de 4.2 vezes. HIVPPVVA para CRIBAG(2) = 2.269, (3, 1) = 9.7, signica que a medida que a escala de CRIB aumenta, quando se ` comparam as classes de CRIBAG 3 e 1, a possibilidade do apa-
CAP ITULO 6. APLICACOES recimento desta sequela aumenta cerca de 9.7 vezes. ROP para CRIBAG(1) = 1.341, (2, 1) = 3.8, signica que a ` medida que a escala de CRIB aumenta, quando se comparam as classes de CRIBAG 2 e 1, a possibilidade do aparecimento desta sequela aumenta cerca de 3.8 vezes. ROP para CRIBAG(2) = 2.283, (3, 1) = 9.8, signica que ` medida que a escala de CRIB aumenta, quando se comparam as a classes de CRIBAG 3 e 1, a possibilidade do aparecimento desta sequela aumenta cerca de 9.8 vezes. Para o DBP, verica-se que a hiptese do coeciente ser nulo o para o CRIBAG(2), no dever ser rejeitada (valor prova = a a 0.263), o que poder signicar, que para este caso os valores ina termdios da varivel CRIB esto fortemente associados ao apae a a recimento da sequela.
168
Da anlise das sequelas em termos de modelos de regresso log a a stica, vericou-se que de uma forma geral a possibilidade de aparecimento das sequelas aumenta com o aumento da escala de CRIB, vericando-se ainda que este aumento se torna mais signicativo para as sequelas HIVPPVVA e ROP para valores de CRIB superiores a sete. Relativamente a sequela DBP, vericou-se que o tipo de associao com ` ca o CRIB, se encontra reectido no menor valor abaixo da curva ROC determinado para as trs sequelas. e
Cap tulo 7 Programas para o estudo da curva ROC

Os clculos associados a anlise ROC, tal como descritos em cap a ` a tulos anteriores, so bastante morosos, exigindo clculo matricial e representaes a a co grcas de alguma complexidade. Naturalmente, foram desenvolvidos alguns a programas computacionais para o estudo das curvas ROC. Neste captulo pretende-se fazer uma exposio sumria, dos principais programas compuca a tacionais dispon veis. O primeiro algoritmo desenvolvido neste campo deve-se a Dorfman e Alf [27] que elaborou um programa em FORTRAN para determinao das esca timativas de mxima verosimilhana dos parmetros de uma curva ROC, a c a considerando o modelo binormal. Uma equipa que desde 1980 tem trabalhado no desenvolvimento de programas para o estudo da curva ROC, liderada por Metz, tem apresentado um conjunto de programas diferentes e espec cos para as mais variadas situaes, considerando sempre a hiptese do modelo binormal. co o
169
CAP ITULO 7. PROGRAMAS PARA O ESTUDO DA CURVA ROC 170
7.1
ROCFIT
Desenvolvido em Junho de 1989, o programa ROCFIT tem como objectivo estimar, pelo mtodo de mxima verosimilhana, a curva ROC binormal, e a c assim como os parmetros a esta associados, para um conjunto de dados a categricos em classes. A base matemtica para este algoritmo de ajuste o a de uma curva ROC foi desenvolvida por Dorfman em [27], e encontra-se explicada em anexo (Apndice A). e
7.2
LABROC1 e LABROC4
O LABROC1 um programa para estimao, atravs do mtodo da mxima e ca e e a verosimilhana, da curva ROC binormal e respectivos parmetros, para conc a juntos de dados cont nuos. O LABROC4 a designao para uma verso e ca a criada para computadores de grande porte (tipo Workstations). A base matemtica para este algoritmo de ajuste de uma curva ROC a mesma da a e desenvolvida para o ROCFIT. Este programa assume que a curva ROC uma linha recta no plano e binormal, isto , no plano cujos eixos coordenados so expressos em termos e a de desvios-normais, ou de forma equivalente, assume que os dados originais so provenientes de distribuies normais. a co
7.3
INDROC
O INDROC foi criado em Junho de 1989, por Charles E. Metz e Helen B. Kronman da Universidade de Chicago [14]. O objectivo deste programa e calcular a signicncia estat a stica de diferenas aparentes entre duas curvas c ROC no plano binormal estimadas a partir de conjuntos de dados categricos o
CAP ITULO 7. PROGRAMAS PARA O ESTUDO DA CURVA ROC 171 e independentes, utilizando: - teste bivariado do qui-quadrado para comparao dos parmetros ca a estimados a e b das duas curvas ROC; - teste z univariado, para testar a diferena entre as areas abaixo c das duas curvas ROC (Az ); - teste z univariado, as fraces de verdadeiros positivos (F V P ) ` co de duas curvas ROC num determinado valor de fraco de falsos ca positivos (F F P0 ). O INDROC assume que os dois conjuntos de dados no so correlacioa a nados, que as categorias para cada conjunto provm de uma de duas distrie buies multinomiais, dos casos designados por actualmente negativos (norco mais), e dos casos designados por actualmente positivos (anormais). A aproximao utilizada neste programa, que s vlida para conjuntos ca oe a de dados independentes, envolve o clculo das estimativas de mxima verosia a milhana dos parmetros a e b das curvas ROC associados a cada conjunto. c a
7.4
CORROC
O CORROC, foi um dos primeiros programas a ser desenvolvido pela equipa de Charles E. Metz. Trata-se de um programa espec co para dados categricos correlacionados. Calcula as estimativas de mxima verosimilhana o a c dos parmetros associados a duas curvas ROC, considerando o modelo bia normal bivariado como descrito em [60]. Para vericar se a diferena entre c duas curvas ROC provenientes de dados categricos correlacionados estao e tisticamente signicativa, so utilizados os seguintes testes: a
CAP ITULO 7. PROGRAMAS PARA O ESTUDO DA CURVA ROC 172 - teste bivariado do qui-quadrado para comparao dos parmetros ca a estimados a e b das duas curvas ROC; - teste z univariado, para testar a diferena entre as areas abaixo c das duas curvas ROC (Az ); - teste z univariado, as fraces de verdadeiros positivos (F V P ) ` co de duas curvas ROC num determinado valor de fraco de falsos ca positivos (F F P0 ); Este programa foi inicialmente desenvolvido para DOS, e posteriormente revisto por Helen B. Kronman, Pu-Lan Wang e Jong-Her Shen em 1980 [16].
7.5
CORROC2
A verso para IBM-PC do CORROC, foi posteriormente desenvolvida pela a equipa da Universidade de Chicago, composta por Charles E. Metz, Helen B. Kronman, Pu-Lan Wang, Jong-Her Shen e Ben Herman, em 1993 [16]. A designao para esta nova verso foi CORROC2. ca a O objectivo deste programa calcular as estimativas de mxima verosie a milhana dos parmetros para dados ROC classicados em classes e correlac a cionados, baseando-se no pressuposto de uma distribuio normal bivariada. ca Para vericar se a diferena entre duas curvas ROC provenientes de dados c classicados em classes e correlacionados, estatisticamente signicativa, so e a utilizados os mesmos testes do programa CORROC. Em termos tcnicos, o CORROC2 difere do CORROC na medida em que e o CORROC2 cria automaticamente os dois conjuntos de matrizes de dados que so necessrias para o algoritmo de estimao da mxima verosimilhana a a ca a c [16].
CAP ITULO 7. PROGRAMAS PARA O ESTUDO DA CURVA ROC 173 O CORROC2 tal como o CORROC, utiliza uma modicao do programa ca de Dorfman (RSCORE II), para obter as estimativas de mxima verosimia lhana para os parmetros a e b e para os limites das classes separadamente c a para cada curva. Conjuntamente com o clculo dos coecientes de correlao a ca directamente a partir das duas matrizes dos dados, estas estimativas so posa teriormente utilizadas como pontos iniciais, no mtodo de scoring [26], para e determinar as estimativas de mxima verosimilhana dos parmetros considea c a rando o modelo binormal-bivariado, assumido para os dados correlacionados, proposto por Metz [60]. Quer o CORROC, quer o CORROC2, so programas a escritos em FORTRAN.
7.6
CLABROC
A verso para IBM-PC do CLABROC, foi tambm desenvolvida pela equipa a e da Universidade de Chicago, em 1993 [12]. O CLABROC um programa e para tratamento de dois conjuntos de dados contnuos correlacionados. Foi desenvolvido a partir do CORROC2. Os objectivos do CLABROC so: a - calcular as estimativas de mxima verosimilhana dos parmetros a c a do modelo para dados cont nuos correlacionados e a curva ROC binormal associada a estes dados; - determinar a signicncia estat a stica da diferena entre duas c curvas ROC, estimada pelos trs testes estat e sticos desenvolvidos para o CORROC2. Numa primeira etapa, o programa CLABROC categoriza automaticamente os dados cont nuos de uma forma arbitrria, de forma que resultem a
CAP ITULO 7. PROGRAMAS PARA O ESTUDO DA CURVA ROC 174 no mximo dez classes [12]. De seguida, os conjuntos de dados marginais a criados so analisados independentemente atravs de um programa modia e cado de Dorfman, para obter as estimativas de mxima verosimilhana dos a c parmetros a e b, e para os limites das classes separadamente para cada curva. a Da mesma forma do procedimento desenvolvido no CORROC2, estas estimativas vo ser utilizadas como pontos iniciais, no mtodo de scoring [26], a e para determinar as estimativas de mxima verosimilhana dos parmetros, a c a considerando o modelo binormal-bivariado, assumido para os dados correlacionados.
7.7
ROCPWRPC
O ROCPWRPC foi criado em Junho de 1989, pela mesma equipa da Universidade de Chicago. O objectivo do programa ROCPWRPC prever a potncia e e estat stica dos trs testes desenvolvidos, quer para amostras independentes e quer para amostras correlacionadas, para averiguar diferenas signicativas c entre duas curvas ROC. O modelo binormal-bivariado no qual este programa baseado encontra-se descrito em [58]. e O programa ROCPWRPC, necessita que o utilizador especique: (1) os parmetros a e b assumidos para cada uma das curvas ROC a a serem testadas, e o nmero de categorias utilizadas para denir u essas curvas ROC; (2) os coecientes de correlao assumidos pelo modelo binormalca bivariado para os casos designados por actualmente negativos e para os casos designados por actualmente positivos segundo as distribuies na varivel de deciso; co a a
CAP ITULO 7. PROGRAMAS PARA O ESTUDO DA CURVA ROC 175 (3) a razo entre o nmero de casos actualmente positivos (anora u mais) e o nmero de casos actualmente negativos (normais), o u qual se assume igual para os dois conjuntos de dados; (4) conjuntos de fraces de falsos positivos, correspondentes aos co valores esperados dos pontos de operao assumidos nas duas ca curvas ROC. O programa calcula ento as varincias e covarincias para as estimativas a a a dos parmetros a e b para as duas curvas ROC utilizando os dados esperados a associados aos limites das categorias da varivel de deciso (valores de corte) a a que so resultado das fraces de falsos positivos especicadas. Finalmente, a co o programa utiliza as varincias e covarincias calculadas para determinar a a a potncia estat e stica dos trs testes como funo do nmero de casos actuale ca u mente negativos [15]. Os testes estat sticos so: a (1) teste bivariado do qui-quadrado de diferenas simultneas enc a tre os parmetros a e b das duas curvas ROC; A potncia cala e e culada em termos de uma distribuio do 2 no centrado com ca a dois graus de liberdade; (2) teste z univariado, para testar a diferena entre as areas c abaixo das duas curvas ROC (Az ); A potncia calculada em e e termos de uma distribuio Normal padro no-centrada, com a ca a a varincia da diferena do a c ndice rea aproximada em termos da a varincia e covarincia dos parmetros ROC, por uma expresso a a a a convencional da derivada parcial de primeira ordem [15]. (3) teste z univariado (bilateral), as fraces de verdadeiros po` co sitivos (F V P ) de duas curvas ROC num determinado valor de fraco de falsos positivos (F F P0 ); A potncia calculada para ca e e
CAP ITULO 7. PROGRAMAS PARA O ESTUDO DA CURVA ROC 176 valores de fraco de falsos positivos iguais a 0.02, 0.05, 0.10, ca 0.15, 0.20 e 0.25 essencialmente da mesma forma utilizada para o teste anterior.
7.8
LABMRMC
O algoritmo empregue no programa LABMRMC foi delineado por Donald Dorfman, Kevin Berbaum e Charles E. Metz, e foi escrito por Benjamin A. Herman e Hatem AbuDagga, e encontra-se dispon numa verso beta para vel a PC, desde Abril 1997. Os objectivos do programa LABMRMC so: a - calcular as estimativas dos parmetros do modelo binormal bia variado para dados cont nuos ou discretos, em classes, at cinco e potenciais testes de diagnstico correlacionados (tratamentos, na o terminologia estat stica) e at rmax leitores de imagem (rmax e cerca de dez nesta verso, mas este nmero pode ser congue a u rado pelo utilizador) e assim, estimar as curvas ROC binormais associadas a estes dados; - calcular a signicncia estat a stica da diferena entre as mdias c e das areas abaixo das curvas ROC que so estimadas para os dois a testes de diagnstico (isto , tratamentos), utilizando a metodoo e logia jackkinife e ANOVA [25]. O LABMRMC assume que a verdadeira curva ROC para cada combinao ca leitor-tratamento representada por uma linha recta nos eixos coordenados e de desvios normais. Num primeiro passo, LABMRMC categoriza automaticamente os dados cont nuos no sentido de produzir uma gama apropriada de pontos de
CAP ITULO 7. PROGRAMAS PARA O ESTUDO DA CURVA ROC 177 operao em cada curva ROC. Os conjuntos de dados marginais criados desta ca forma, so ento analisados, independentemente, para obter as estimativas a a de mxima verosimilhana dos parmetros convencionais, a ordenada na oria c a gem, a, o declive, b, e os limites das classes separadamente para cada curva ROC binormal. De seguida, o programa LABMRMC a metodologia jackkinife para determinao das estimativas dos designados pseudovalores do ca ndice rea abaixo a da curva ROC, Az , e com estes atravs da metodologia ANOVA, determinar e a signicncia estat a stica entre as condies. co
7.9
ROCKIT
O programa ROCKIT a combinao dum conjunto de programas desene ca volvidos pela equipa da Universidade de Chicago, num unico programa com capacidades adicionais, como por exemplo, analisar conjuntos de dados parcialmente correlacionados. Este programa substitui o ROCKFIT, LABROC1, INDROC, CORROC2, e CLABROC. O ROCKIT est delineado para ajusa tar curvas ROC binormais quer para conjuntos de resultados de diagnstico o cont nuos, quer categricos. o Os objectivos do ROCKIT so: a - calcular as estimativas de mxima verosimilhana dos parmetros a c a do modelo convencional binormal para os dados introduzidos; - calcular as estimativas de mxima verosimilhana dos parmetros a c a do modelo binormal bivariado para dados de dois testes de diagnstico potencialmente correlacionados, e tambm estimar as o e curvas ROC binormais resultantes destes dados e as suas correlaes; co
CAP ITULO 7. PROGRAMAS PARA O ESTUDO DA CURVA ROC 178 - determinar a signicncia estat a stica da diferena entre duas c curvas ROC, estimada por um dos trs testes estat e sticos desenvolvidos para INDROC ou CORROC2. Neste programa so permitidos dados de trs tipos: a e (1) resultados de testes no emparelhados. As duas condies so a co a aplicadas a amostras independentes - por exemplo, dois testes de diagnstico diferentes aplicados a pacientes diferentes, ou dois rao diologistas que fazem os seus ju no que diz respeito a presena zos ` c de uma determinada doena em imagens diferentes; c (2) resultados de testes correlacionados na totalidade, nos quais os dados para as duas condies so medidos para cada caso numa co a ` unica amostra. As duas condies para cada par teste-resultado co podero corresponder, por exemplo, dois testes de diagnstico dia o ferentes realizados no mesmo paciente, ou dois radiologistas que fazem os seus ju no que diz respeito a presena de uma deterzos ` c minada doena na mesma imagem; c (3) resultados parcialmente correlacionados - por exemplo, dois testes de diagnstico diferentes efectuados na mesma amostra de o pacientes e que para um conjunto adicional de pacientes, apenas efectuado um teste de diagnstico. e o O ROCKIT assume que a verdadeira curva ROC para cada condio ca e representada por uma linha recta no plano binormal. Tal como no LABMRMC, o ROCKIT comea por categorizar automac ticamente os dados cont nuos no sentido de produzir uma gama apropriada de pontos de operao em cada curva ROC. Os conjuntos de dados margica nais criados desta forma so ento analisados, para obter as estimativas de a a
CAP ITULO 7. PROGRAMAS PARA O ESTUDO DA CURVA ROC 179 mxima verosimilhana dos parmetros, a (ordenada na origem), b (declive), a c a e limites das classes separadamente para cada curva ROC binormal. Se os dados so correlacionados ou parcialmente correlacionados, ento os a a coecientes de correlao so calculados directamente das matrizes de dados ca a bivariados categricos para os casos actualmente positivos e actualmente neo gativos, e posteriormente utilizadas pelo ROCKIT como estimativas iniciais, para calcular (atravs do mtodo de scoring) as estimativas de mxima veroe e a similhana dos parmetros do modelo binormal bivariado. O procedimento c a matemtico aplicado pelo ROCKIT, encontra-se desenvolvido em [60]. a
7.10
AccuROC
A primeira verso do programa AccuROC foi criada para DOS em 1993 por a Vida [85]. Em Janeiro de 1999 apresentada a verso 1.2 para Windows e a 95 e, mais tarde, surge a verso 2.0 para Windows 95/98/NT. A verso 1.2 a a do AccuROC uma verso mais evolu do que a verso inicial descrita e a da a por Vida em [85], com a adio de um interface grco e novas capacidades ca a estat sticas. O AccuROC utiliza mtodos no paramtricos como as estat e a e sticas de Mann-Whitney e do qui-quadrado para calcular e representar curvas ROC para amostras individuais e compara curvas ROC para amostras independentes e para amostras correlacionadas. A verso 2.0 do AccuROC para Windows: a efectua a anlise ROC para um unico teste, utilizando o mtodo de a e DeLong; compara curvas ROC para amostras independentes utilizando o erro padro desenvolvido por DeLong; a
CAP ITULO 7. PROGRAMAS PARA O ESTUDO DA CURVA ROC 180 compara duas ou trs curvas ROC para amostras correlacionadas utie lizando a metodologia desenvolvida por DeLong; utiliza a metodologia de bootstrap, para determinar erros padro, limia tes de conana, percentis, correco de tendncia e limites de conana c ca e c acelerados, atravs da metodologia desenvolvida por Efron e Tbishirani; e representa gracamente uma, duas ou trs curvas ROC; e permite copiar e colar as curvas ROC para outros documentos do Windows 95; permite exportar as coordenadas dos grcos para outros pacotes grcos; a a efectua os clculos para determinar a potncia estat a e stica permitindo estimar a dimenso da amostra requerida; a calcula uma grande variedade de medidas de desempenho do teste para cada valor de corte.
7.11
Outros
Existem pacotes estat sticos de carcter mais generalizado, como por exema plo o S-Plus e o SPSS, que nas suas ultimas verses incluem a anlise da o a curva ROC, apenas para um conjunto de dados. Efectuam o clculo da area a abaixo da curva ROC e respectivo erro padro pelo mtodo no paramtrico a e a e da estat stica de Wilcoxon-Mann-Whitney, determinam os valores das coordenadas do grco ROC no plano ROC unitrio e traam a curva ROC a a c emp rica. No caso do SPSS, tambm dado como opo o ajuste segundo o e e ca modelo bi-exponencial.
Cap tulo 8 Novo programa - ROCNPA

8.1 Motivao ca
Como descrito no cap tulo 7, existe uma vasta gama de programas desenvolvidos nos mais variados campos da anlise ROC, desde o ajuste da curva ROC, a passando pela determinao de medidas de diagnstico como a sensibilidade ca o e especicidade, ` avaliao de desempenho de sistemas de diagnstico. a ca o A grande maioria dos programas desenvolvidos baseia-se numa abordagem paramtrica, considerando modelos como o binormal ou o binormal bie variado (no caso de duas amostras correlacionadas). Por outro lado, o unico programa que efectua uma abordagem no pa a ramtrica, o AccuROC, f-lo no mximo para um conjunto de trs testes de e a a e diagnstico. Saliente-se ainda que em termos grcos todos os programas o a desenvolvidos at ` data apresentam diversas lacunas. Entre elas, salienta-se ea a impossibilidade de visualizao directa da curva ROC emp ca rica. Por ultimo, todos estes programas foram desenvolvidos apenas para pla taformas de suporte como DOS e WINDOWS. Assim, devido as diculdades ` encontradas na anlise dos dados trabalhados no cap a tulo 6, procurou-se 181
CAP ITULO 8. NOVO PROGRAMA - ROCNPA
182
criar um programa que se tornasse verstil para a anlise ROC, tendo como a a objectivos principais: - determinar um ajuste para a curva ROC; - avaliar o desempenho do teste de diagnstico atravs de um o e ndice de determinao simples e livre de hipteses distribucioca o nais; - comparar mais do que trs sistemas de diagnstico, quer os dae o dos sejam provenientes de amostras independentes, quer de amostras correlacionadas.
8.2
8.2.1
Requisitos do ROCNPA
Requisitos do sistema
O ROCNPA foi desenvolvido para poder ser utilizado em qualquer tipo de mquina que possua no m a nimo 32 MB de memria RAM. Por outro lado o encontra-se preparado para correr em qualquer tipo de sistema operativo, como WINDOWS, LINUX, UNIX e MacOSX.
8.2.2
Notas
A linguagem utilizada na elaborao do ROCNPA foi o JAVA que por ser ca uma linguagem que tem por base a programao orientada aos objectos, ca apresenta um conjunto de requisitos bastante atractivos. O JAVA corre sobre um ambiente espec co denominado mquina virtual. Assim, o seu maior a atractivo o facto de se poder correr qualquer programa desenvolvido em e JAVA em qualquer plataforma (sistema operativo + CPU) para a qual esteja j desenvolvida a mquina virtual. a a
183
Neste momento, existe mquina virtual de JAVA para WINDOWS 95/ a 98/ NT/ 2000 (Intel), UNIX (Solaris), LINUX (Intel) e Macintosh (MacOSX) Por este facto, a mquina onde ir ser instalado o ROCNPA ter de ter a a a instalada a verso 1.2.2 ou superior do JDK (JAVA Development Kit) ou a JRE (JAVA Runtime Environment) ambos dispon veis para download em http://java.sun.com/.
8.3
Linguagem JAVA
A linguagem JAVA comeou a ser desenvolvida no in dos anos 90 no seio c cio de uma pequena equipa de engenheiros de software da Sun Microsystems, liderada por James Gosling [52]. O objectivo desta equipa era desenvolver uma linguagem para equipamentos electrnicos com chips programveis o a tais como torradeiras, mquinas de lavar, agendas electrnicas de bolso, entre a o outros. Os principais requisitos da linguagem a desenvolver, eram a robustez e a segurana (pois os utilizadores de tais dispositivos no admitem erros ou c a falhas), o baixo custo (os programas teriam de ser simples) e a independncia e dos chips (dado que os construtores com grande facilidade os substituem por outros). O que torna o JAVA uma linguagem muito atractiva, para toda a indstria u de computadores, que no apenas uma nova linguagem de programao, e a e ca que efectuada por objectos e quase totalmente pura (contrariamente ao e C++), mas sobretudo porque o JAVA se posicionou como um atractivo e apropriado ambiente de programao e desenvolvimento de aplicaes no conca co texto actual, principalmente a partir do lanamento do sistema JDK (JAVA c Development Kit). A Sun Microsystems apresenta o JAVA como sendo um linguagem sim-
184
ples, orientada aos objectos, distribu da, interpretada, robusta, segura, neutra em termos de arquitectura, portvel, com bom desempenho, de mltiplas a u threads, dinmica e orientada para a Internet [52]. a O JAVA considerado simples porque, apesar de ter herdado muitas e construes das linguagens C e C++, eliminou um razovel conjunto de co a construes responsveis pela pouca transparncia e grande obscuridade co a e semntica e complexidade dos programas em C e C++, nomeadamente ala guns apontadores e alocaes de memria entre outros. Por outro lado, o co o JAVA foi criado como linguagem de programao orientada aos objectos, ao ca contrrio do C++, que consistiu numa quase bem conseguida extenso de C a a para programao por objectos. ca A robustez da linguagem JAVA deve-se ao facto do JAVA ser uma linguagem fortemente tipada. No tem apontadores, todos os acessos a arrays a e strings so validados pelo compilador. As converses entre tipos so esa o a taticamente vericadas. Possui mecanismos para captura e tratamento de excepes, ou seja, a ocorrncia de uma dada excepo durante a execuo co e ca ca do programa pode ser tratada atravs de instrues prprias codicadas pelo e co o programador. A segurana dos programas tem no s a ver com a garantia de que a sua c a o execuo no vai corromper a mquina onde este executado, mas tambm ca a a e e com poss veis garantias quanto a sua origem [52]. O JAVA seguro por ser ` e robusto e tambm por possuir processos internos de vericao do designado e ca bytecode (cdigo interpretado pela mquina virtual), que o cdigo gerado o a e o pelo compilador. Por outro lado, o JAVA permite incluir chaves criptogrcas a no prprio cdigo, possibilitando deste modo a identicao da origem do o o ca mesmo. O JAVA ainda uma linguagem cujo desempenho no pode ser compae a
185
rado com o conseguido por linguagens como o C ou mesmo o Pascal para certas aplicaes. Porm, sendo uma linguagem distribu e orientada para co e da a Internet, a sua eventual falta de desempenho relativizada se comparada e com as velocidades de comunicao e transmisso de dados. Possibilita ainda ca a a execuo simultnea de processos livres que realizam diferentes tarefas, pelo ca a que considerada uma linguagem de mltiplas threads. e u Devido a este vasto conjunto de qualidades da linguagem JAVA, optou-se pela sua utilizao na realizao do programa para estudo das curvas ROC. ca ca
8.4
8.4.1
Descrio do ROCNPA ca
Introduo dos dados ca
Os dados podero ser introduzidos de trs formas diferentes: a e - directamente a partir do teclado; - a partir de um cheiro de dados do EXCEL, por simples cpia dos o valores da varivel; a - a partir de um cheiro previamente criado. A janela de dilogo, aquando da iniciao do programa, do tipo da a ca e apresentada na gura 8.1. Se se optar pela criao de um novo cheiro de dados, o programa apreca senta uma janela de comando para questionar quantas variveis esto em a a estudo, como exemplicado na gura 8.2. Caso o nmero de variveis seja u a superior ou igual a dois, ter-se- logo de caracterizar a amostra, isto , idena e ticar se se trata de dados provenientes de amostras correlacionadas ou independentes. Aps a caracterizao da amostra, o utilizador depara-se com um conjunto o ca de janelas com caixas de dilogo muito simples, que lhe permitem completar a
186
a denio da sua amostra, ou seja, a atribuio de nome as variveis, qual o ca ca ` a valor que corresponde ao teste positivo (se so os valores menores ou maiores a da escala que correspondem ao teste positivo) e por m como caracterizada e a varivel resultado. Todo este procedimento de escolha encontra-se ilustrado a nas guras 8.3, 8.4, 8.5.
187
Figura 8.1: Janela do ROCNPA para abrir ou criar um cheiro de dados.
Figura 8.2: Janela de dilogo para caracterizao da amostra. a ca
188
Figura 8.3: Janela de dilogo para a denio dos nomes das variveis. a ca a
Figura 8.4: Denio das escalas. ca
189
Figura 8.5: Caracterizao do resultado. ca
Na gura 8.6, apresenta-se o aspecto da janela de dados para quatro amostras independentes, cujo maior valor da escala corresponde ao teste positivo e o resultado positivo signica falecimento (morto) e o negativo signica sobrevivncia (vivo). Depois de criado o cheiro de dados, ele pode e ser guardado com um nome e uma extenso .roc para posterior utilizao. a ca
190
Figura 8.6: Janela de dados no ROCNPA para um conjunto de quatro variveis independentes. a
8.4.2
Anlise atravs de uma curva ROC a e
Aps a introduo dos dados, o ROCNPA permite efectuar a anlise atravs o ca a e das curvas ROC. Esta anlise pode ser efectuada de uma forma completa, a atravs do comando < Executar todos > no menu < T estes > da janela de e dados, onde o programa produz um conjunto de resultados para anlise, noa meadamente os grcos das distribuies de frequncias para cada varivel, a co e a as curvas ROC emp ricas, as curvas ROC no plano binormal, as curvas ajustadas no plano unitrio, os resultados em termos de area abaixo da curva a ROC e respectivos erros padro e tambm os valores de prova resultantes a e dos testes de comparaes mltiplas. Ainda no menu < T estes >, permico u e
CAP ITULO 8. NOVO PROGRAMA - ROCNPA tido executar cada um destes processos individualmente.
191
Cada um dos resultados mencionados produzido numa janela em see parado, permitindo posteriormente a sua visualizao individual ou em sica multneo. Pretende-se que com os grcos de distribuies de frequncias, o a a co e utilizador tenha uma ideia do comportamento da varivel de um forma sima ples e rpida. As curvas ROC emp a ricas so produzidas pela unio dos pontos a a coordenados, que correspondem aos pares (1especif icidade, sensibilidade), calculados para cada caso. Posteriormente, estas probabilidades P so transa formadas em valores z, que vo constituir as coordenadas de um novo grco. a a O plano assim resultante designado por plano binormal, e a curva ROC ree presentada neste eixo coordenado a curva ROC binormal. Um bom ajuste e ` curva ROC no plano unitrio poder ser produzido atravs do ajuste de a a a e uma recta no plano binormal, salvaguardando as hipteses subjacentes a este o modelo, como descrito no cap tulo 2. O ndice rea abaixo da curva ROC determinado por trs processos a e e diferentes: a regra do trapzio, a aproximao no paramtrica a estat e ca a e ` stica de Wilcoxon-Mann-Whitney e a aproximao no plano binormal atravs dos ca e coecientes estimados da recta de regresso. Os valores dos erros padro so a a a determinados pela rotina sugerida por Hanley e McNeil [37]. Na gura 8.7 encontra-se exemplicado o conjunto de janelas de resultados produzidas para uma unica curva ROC.
192
Figura 8.7: Janela de grcos produzidos no estudo de um unico conjunto de dados. a
8.4.3
Comparao de duas ou mais curvas ROC ca
O ROCNPA permite a comparao de mais do que trs curvas ROC quer se ca e trate de dados provenientes de amostras independentes ou correlacionadas. Tal facto supera os programas existentes nesta area. A comparao efectu ca e ada atravs do e ndice rea abaixo da curva ROC por comparaes mltiplas a co u dois a dois, utilizando a estat stica de teste z, denida por Hanley e McNeil [38]. Para os casos de dados provenientes de amostras correlacionadas, o coeciente de correlao entre areas calculado utilizando o procedimento deca e senvolvido por DeLong e DeLong [22]. Os resultados produzidos em termos grcos so as distribuies de frequncias a a co e para cada varivel, as curvas ROC emp a ricas, as curvas ROC no plano binormal, as curvas ajustadas no plano unitrio. Os resultados em termos a
193
anal ticos so os valores da area abaixo da curva ROC e respectivos erros a padro e tambm os valores de prova resultantes dos testes de comparaes a e co mltiplas. u
8.5
Comparao de programas para a curva ca ROC
Nesta seco procurar-se-` analisar alguns dos programas disponveis para ca a anlise de dados atravs de curvas ROC, utilizando para cada caso espec a e co os dados tratados no cap tulo 6. Para anlise de uma unica curva ROC, optou-se por utilizar o SPSS 9.0 a devido a sua versatilidade como pacote estat ` stico. Seleccionou-se tambm, um conjunto de programas desenvolvidos pela e equipa de Metz, como por exemplo o LABMRMC, o CLABROC e o ROCKIT, que utilizam uma abordagem paramtrica. Para uma abordagem no e a paramtrica utiliza-se o AccuROC 2.3 desenvolvido por Vida [86] e o proe grama desenvolvido no ambito deste trabalho.
8.5.1
Anlise de um conjunto de dados a
Quando se pretende analisar apenas um conjunto de dados, no contexto da anlise ROC, procura-se numa primeira fase, como em qualquer abordagem a de anlise de dados, averiguar qual a natureza da varivel em estudo. a a Com o objectivo de ilustrar o desempenho de cada um dos programas em estudo, utilizou-se a varivel CRIB j estudada no cap a a tulo 6. Tratase uma varivel ordinal, cuja escala varia entre 0 e 20, e tal como referido a nesse cap tulo, trata-se de um ndice de risco neonatal inicial. Os dados
194
dizem respeito a 169 recm-nascidos de muito baixo peso, e foram recolhidos e durante o ano de 1995, na Unidade de Cuidados Intensivos Neonatais do Hospital Garcia de Orta. A anlise ser efectuada pelos programas SPSS, a a ROCKIT, AccuROC e ROCNPA. A introduo de dados em programas estat ca sticos como o SPSS relae tivamente simples, pois as novas verses j se encontram preparadas para o a importao de dados directamente a partir de outros programas, como por ca exemplo o EXCEL. Por outro lado, a introduo de dados directamente a ca partir do SPSS muito fcil, pois a sua folha de dados est preparada para e a a a correcta identicao de variveis e introduo de dados. ca a ca Como em qualquer anlise estat a stica de dados, comeou-se por fazer c uma anlise descritiva da varivel CRIB, traando tabelas de frequncias, a a c e grcos de barras que permitissem visualizar a distribuio dos valores para a ca os recm-nascidos sobrevivos e falecidos. De seguida, atravs do comando e e [Graphs] [ROC Curve] inicia-se o processo de anlise atravs da curva a e ROC. Aps esta seleco de comandos aparece uma nova janela para seleco o ca ca da varivel em estudo e das opes que se pretende no que diz respeito ao a co grco, como o traar a diagonal, intervalos de conana e coordenadas dos a c c pontos da curva ROC. Da anlise dos resultados obtidos atravs do SPSS, verica-se que este a e permite efectuar o ajuste a um conjunto particular de dados, apresentando um ajuste para a curva ROC assim como o valor da area abaixo da curva ROC e o respectivo erro padro, determinados pela aproximao a estat a ca ` stica de Wilcoxon-Mann-Whitney. Produz ainda os limites do intervalo de conana c para um determinado grau de conana, e os valores de sensibilidade e 1 c especif icidade para um conjunto de valores de corte. Os resultados desta anlise encontram-se no anexo C. a
195
Efectuando a anlise no programa ROCKIT, verica-se que a introduo a ca dos dados pode ser feita directamente a partir do teclado, ou ento (o que a aconselhado pelos autores), atravs de cheiros do WORD ou EXCEL e e convertidos posteriormente para um formato de texto, como referido em [13]. A criao dos cheiros de dados a partir do EXCEL ou WORD aconselhvel ca e a porque a sua introduo directa atravs do teclado fastidiosa e morosa ca e e quando se trata de dados no agrupados. a Este programa produz um conjunto de valores resultantes da estimativa de mxima verosimilhana para a curva ROC binormal, como se pode ver a c no anexo C. No produz, no entanto, qualquer tipo de grco, fornecendo a a as coordenadas para a curva ROC ajustada pelo procedimento paramtrico. e Para traar o grco, ter-se-` de recorrer a um programa com mdulo grco, c a a o a como por exemplo o EXCEL. No AccuROC a introduo dos dados tem de ser efectuada tambm ca e atravs de um cheiro de texto com caracter e sticas espec cas e cuja extenso .roc. Os resultados produzidos pelo AccuROC so os valores de a e a sensibilidade e especif icidade, rea abaixo da curva ROC e respectivo erro a padro utilizando uma abordagem no paramtrica e intervalos de conana a a e c para o ndice rea abaixo da curva ROC. Apresenta ainda a signicncia a a estat stica para a comparao do valor da area abaixo da curva ROC obtido ca com o valor 0.5 (diagonal no informativa). Em termos grcos produz a a a curva ROC emp rica no plano unitrio. a Em termos de anlise de resultados, a tabela 8.1 apresenta o resumo dos a valores obtidos em cada um dos programas testados, para o ndice rea abaixo a da curva ROC e respectivos erros padro, considerando a varivel CRIB. a a A utilizao do subscrito z, em Az , signica que o valor da area abaixo da ca curva ROC determinado a partir da sua forma funcional binormal, atravs e e
196
Tabela 8.1: Resumo dos valores obtidos para o ndice rea abaixo da curva a ROC SPSS A = 0.899 ROCKIT A = 0.899 AccuROC A = 0.899 ROCNPA A = 0.899
SE(A) = 0.034 SE(A) = 0.035 Az = 0.901 SE(Az ) = 0.033 da equao (5.12). ca
SE(A) = 0.034 SE(A) = 0.034 Az = 0.901 SE(Az ) = 0.033
Como seria de esperar, o valor de A obtido em cada um dos programas o mesmo, pois a abordagem no paramtrica utilizada em todos eles a e a e e mesma, isto , a aproximao a estat e ca ` stica de Wilcoxon-Mann-Whitney. No grco da gura 8.8 procurou-se traar os ajustes dados pelo SPSS e a c pelos pontos coordenados fornecidos pelo ROCKIT. Verica-se que o ajuste ` curva ROC produzido pelos dois programas a e praticamente o mesmo. Da anlise dos programas testados para o estudo de a um unico conjunto de dados, verica-se que o ROCNPA acrescenta para alm e da facilidade na introduo dos dados, s igualvel a um pacote estat ca o a stico como o SPSS, uma anlise grca mais completa que o AccuROC e uma a a anlise do a ndice rea abaixo da curva ROC to completa como no ROCKIT. a a Para alm destas caracter e sticas, o ROCNPA fornece um ajuste a curva ROC ` directamente da anlise dos dados. a

1,0
197
,8
Sensibilidade
,6
,4
,2
PROGRAMA
ROCKIT
0,0 0,0 ,2 ,4 ,6 ,8 1,0
SPSS
1 - especificidade
Figura 8.8: Comparao das curvas ROC ajustadas produzidas pelo SPSS e ca pelo ROCKIT.
8.5.2
Anlise de dois ou mais conjuntos de dados cora relacionados
Para analisar dois conjuntos de dados correlacionados, no contexto da anlise a ROC, utilizou-se os dados referentes `s variveis IGN (Idade Gestacional a a Neonatal) e IGO (Idade Gestacional Obsttrica), j estudadas no cap e a tulo 6. Trata-se de variveis numa escala ordinal que varia entre 20 e 40 semanas, a e um menor valor da escala indica que o recm-nascido ir falecer (teste e a positivo), enquanto que um maior valor da escala indicar que o recma e nascido ir sobreviver (teste negativo). Dos dados relativos aos 223 bebs, 194 a e sobreviveram (classicados como sobrevivos), tendo sido registado 29 obitos (classicados como falecidos). A anlise ROC ser efectuada utilizando os a a programas ROCKIT, CLABROC, AccuROC e ROCNPA.
198
Quando se cria o cheiro de dados, para este conjunto de variveis, h a a que ter em conta que se trata de uma varivel cujo menor valor da escala, a corresponde ao teste positivo. O resultado da anlise no programa ROCKIT a encontra-se no anexo C. No CLABROC, verso para WINDOWS, a anlise igual a efectuada a a e ` pelo ROCKIT, o cheiro de dados que diferente. Neste programa, apenas e e permitido a anlise de dois conjuntos de dados correlacionados. e a Em termos de anlise de resultados, a tabela 8.2 apresenta o resumo dos a valores obtidos em cada um dos programas testados, para o ndice rea abaixo a da curva ROC e respectivos erros padro, considerando a varivel CRIB. a a Tabela 8.2: Resumo dos valores obtidos para o ndice rea abaixo da curva a ROC CLABROC
Az (IGN) = 0.818 SE(Az ) = 0.048 Az (IGO) = 0.811 SE(Az ) = 0.046
ROCKIT
Az (IGN) = 0.819 SE(Az ) = 0.052 Az (IGO) = 0.815 SE(Az ) = 0.048 A(IGN) = 0.812 SE(A) = 0.050 A(IGO) = 0.803 SE(A) = 0.051
AccuROC
ROCNPA
Az (IGN) = 0.819 SE(Az ) = 0.052 Az (IGO) = 0.815 SE(Az ) = 0.048
A(IGN) = 0.812 SE(A) = 0.053 A(IGO) = 0.803 SE(A) = 0.048
A(IGN) = 0.812 SE(A) = 0.050 A(IGO) = 0.803 SE(A) = 0.051
Na tabela 8.3 encontra-se o resumo dos resultados obtidos da comparao ca das duas escalas, em termos do teste ao ndice rea abaixo da curva ROC, a tendo em conta que se trata de dados correlacionados. O AccuROC efectua a comparao utilizando o mtodo dos contrastes e a estat ca e stica do quiquadrado denida em Delong e DeLong [22].
CAP ITULO 8. NOVO PROGRAMA - ROCNPA Tabela 8.3: Resumo dos testes de comparao para IGN e IGO. ca CLABROC z = 0.2915 p = 0.7707 ROCKIT z = 0.1538 p = 0.8778 AccuROC Q = 0.0557 p = 0.8134 ROCNPA p = 0.734
199
A anlise destes valores permite concluir que os resultados das coma paraes mltiplas conduzem ao mesmo tipo de deciso independentemente co u a do teste utilizado. Quando se pretende comparar mais do que trs conjuntos de dados core relacionados, o ROCKIT encrava e o AccuROC no o permite. Assim o a ROCNPA apresenta a vantagem de poder efectuar os clculos de uma forma a simples e rpida, apresentando uma folha de resultados que pode ser guara dada num formato HTML. O formato HTML um formato universalmente e difundido, regulamentado (www.w3c.org) e aberto, ou seja, no s existem a o diversos programas capazes de o ler e mostrar como tambm poss exae e vel minar o seu contedo em qualquer simples editor de texto. u
8.5.3
Anlise de dois ou mais conjuntos de dados ina dependentes
Para ilustrar a anlise de dois ou mais conjuntos de dados independentes a atravs de curvas ROC, utilizou-se o conjunto de dados referentes a come ` parao de desempenho em termos de cuidados prestados para os quatro hosca pitais estudados do cap tulo 6. Trata-se de um conjunto de quatro variveis a independentes, pelo que ` partida reduz as opes em termos de programas a co
200
dispon veis. A anlise foi efectuada no ROCKIT e no ROCNPA. Vericoua se que apenas o ROCNPA apresentou resultados, pois o ROCKIT tornou a apresentar problemas.
8.6
Discusso e concluso a a
Como pode ser vericado atravs dos resultados obtidos, o ROCNPA apree senta praticamente os mesmos resultados em termos de valores de area abaixo da curva ROC e respectivos erros padro. Tal facto devido a utilizao a e ` ca das mesmas metodologias empregues nos outros programas. A abordagem no paramtrica utilizada, a aproximao a estat a e ca ` stica de Wilcoxon-MannWhitney, tambm a utilizada no ROCKIT e no AccuROC e, por outro e e lado, a abordagem paramtrica, aproximao a Normal, apesar de utilizar e ca ` um mtodo de estimao de parmetros diferente, conduz a resultados semee ca a lhantes. Quanto a capacidade de clculo dos programas testados, vericou-se que ` a o ROCNPA apresenta maior versatilidade em termos do nmero de variveis, u a quer para o caso de amostras correlacionadas, quer de amostras independentes. Os resultados obtidos no ROCNPA podem ser facilmente transportados para qualquer processador de texto, dado que os grcos podem ser guardaa dos num formato de imagem do tipo .gif ou ento directamente colocados no a texto por um sistema copiar colar. A folha de resultados anal ticos apresenta um formato livre, HTML, que como referido anteriormente, permite o seu tratamento em qualquer tipo de processador de texto. Saliente-se ainda, que devido aos requisitos da linguagem de programao ca utilizada, o JAVA, o ROCNPA confere maior facilidade quer em termos de
CAP ITULO 8. NOVO PROGRAMA - ROCNPA introduo de variveis, quer na anlise de resultados. ca a a
201
Concluso a
O estudo que acabou de ser descrito incidiu fundamentalmente sobre trs e questes bsicas: o a - procura de uma expresso anal a tica que traduza a curva ROC; - tratamento de algumas aplicaes atravs da metodologia ROC; co e - desenvolvimento de um programa para a anlise ROC. a No que diz respeito a primeira questo, o desenvolvimento foi efectuado ` a no cap tulo 5, seco 5.1. A anlise apresentada, foi feita atravs de estudos ca a e de simulao, partindo do pressuposto que as duas distribuies, as dos casos ca co normais e a dos anormais, tinham a mesma forma funcional. Concluiu-se que a relao no linear encontrada na representao no plano unitrio, por via ca a ca a da transformao em escalas de probabilidade normal, s produz uma recta ca o quando a distribuio subjacente aos dados segue uma distribuio Normal. ca ca Em todos os outros casos estudados, tal transformao produziu relaes no ca co a lineares. Este estudo permitiu ainda concluir que no caso da Normalidade, a representao no plano binormal, permite, retirar os parmetros de interesse ca a relativos as duas distribuies atravs da ordenada na origem e do declive da ` co e recta no plano binormal. 202
CONCLUSAO
203
O estudo efectuado sobre a aplicao da anlise atravs da curva ROC ca a e a casos reais, como o da avaliao do risco de morte em recm-nascidos de ca e muito baixo peso, permitiu avaliar de entre cinco tipos diferentes de ndices de gravidade cl nica qual o mais indicado para determinao do risco de ca morte para este grupo de recm-nascidos. Nesta avaliao, as variveis em e ca a estudo so correlacionadas, tendo sido determinado o valor do ndice rea a a abaixo da curva ROC e respectivos erros padro. a A avaliao do desempenho dos cinco ca ndices estudados no foi conclusiva a quanto ao que poder apresentar melhor performance, dado que o resultado a dos testes de comparao mltipla para o ca u ndice rea abaixo da curva ROC, a no permitiu detectar diferenas estatisticamente signicativas. No entanto, a c a avaliar pela complexidade das escalas (em termos do nmero de variveis a u a recolher e tempo de recolha), em relao ao CRIB e, pelo facto deste ca ndice apresentar um maior valor de area abaixo da curva ROC e menor erro padro, a sugere-se que o mesmo poder ser considerado o melhor a ndice indicativo do risco de mortalidade neonatal. Numa outra aplicao, para amostras correlacionadas, estudou-se a Idade ca Gestacional como medida de prognstico. Nesta situao, o objectivo da o ca anlise de diagnstico , no s, determinar a inuncia da idade gestacioa o e a o e nal como factor de prognstico no parto (beb falecido ou sobrevivo), mas o e tambm comparar as duas medidas de idade gestacional, IGO e IGN, avalie ando se alguma das escalas superior. e A comparao das areas abaixo das curvas ROC, para o estudo efectuado, ca nada permitiu concluir quanto a melhor medida de avaliao do risco de ` ca morte para os bebs nos dois casos analisados, os recm-nascidos de muito e e baixo peso e o conjunto de todos os recm-nascidos, tal como conrmado e e pelos testes ` diferena das areas. No entanto, pelos valores de area abaixo a c
CONCLUSAO
204
da curva ROC, verica-se que a idade gestacional pode ser considerada como um factor de prognstico importante para a sobrevivncia dos bebs, sendo o e e assim um indicador importante na tomada de deciso sobre a induo de um a ca parto. Com base nos resultados obtidos no primeiro estudo - que permitiu identicar o CRIB como sendo o melhor indicador do risco de mortalidade neonatal para recm-nascidos de muito baixo peso, quer devido a menor complexidade e ` de recolha de variveis quer pelo valor da area abaixo da curva ROC - foi a sugerido que se zesse uma comparao dos cuidados oferecidos por unidades ca de cuidados intensivos neonatais (UCIN) de vrios hospitais, usando o CRIB a como medida de risco neonatal inicial. Assim, foram avaliadas quatro UCIN de hospitais portugueses, utilizando a metodologia das curvas ROC. A anlise estat a stica atravs de comparaes mltiplas, para os quatro e co u hospitais, permitiu averiguar que no existiam diferenas signicativas em a c termos de desempenho de cuidados intensivos neonatais, entre a UCIN do hospital H1 e as dos hospitais H2 e H3 , sendo signicativa apenas a diferena c entre a UCIN do hospital H1 e a do hospital H4 . Foi ainda realizada uma outra anlise referente ` associao entre o a a ca ndice CRIB com o aparecimento de trs sequelas nos recm-nascidos sobrevivos. e e A anlise das curvas ROC para as trs sequelas, segundo o CRIB para os a e indiv duos sobrevivos, vericou-se que a sequela ROP apresenta maior valor de rea (A = 0.82) e menor erro padro (SE(A) = 0.05), o que demonsa a tra a utilidade deste ndice como indicador do risco de aparecimento destas sequelas. Por m, devido as diculdades de clculo surgidas no decorrer do cap ` a tulo 6, e ainda as limitaes impostas pelos programas existentes para anlise ` co a atravs de curvas ROC, desenvolveu-se um novo programa, o ROCNPA. e
CONCLUSAO
205
O ROCNPA permitiu colmatar algumas lacunas existentes no campo da anlise atravs de curvas ROC, nomeadamente: a e - realizao dos clculos de uma forma simples e rpida; ca a a - apresentao de uma grande componente grca - curva ROC emp ca a rica no plano unitrio, curva ROC no plano binormal e curva ROC ajustada a no plano unitrio. Permite ainda, a sobreposio de mais do que trs a ca e curvas ROC emp ricas no mesmo plano unitrio; a - apresentao de uma folha de resultados - valor da area abaixo da ca curva ROC calculada atravs da regra do trapzio, da aproximao e e ca ` estat a stica de Wilcoxon-Mann-Whitney e da aproximao binormal, ca apresentando tambm o valor do erro padro respectivo. e a Para a comparao entre vrios testes, para o caso de amostras indepenca a dentes ou correlacionadas, so apresentados os valores de prova das coma paraes mltiplas dois a dois. Para o caso de amostras correlacionadas co u apresenta ainda, as matrizes de covarincia e correlao calculadas segundo a ca o procedimento de DeLong e DeLong. H ainda que salientar que o ROCNPA o unico programa para anlise a e a atravs de curvas ROC que pode ser utilizado num outro tipo de plataforma e que no o WINDOWS ou DOS, o que o poder tornar mais atractivo, espea a cialmente para utilizadores de outros sistemas operativos, como por exemplo o LINUX, UNIX e Macintosh.
E sabido, que qualquer trabalho de investigao, nomeadamente aquele ca que envolve um projecto de doutoramento, deve ter um m, sob pena de se
CONCLUSAO
206
arrastar indenidamente e de no constituir mais do que um motivo de saa tisfao intelectual para quem nele est envolvido. Por conseguinte, a melhor ca a retribuio que um investigador pode ter quando apresenta um trabalho que ca passou anos a desenvolver, a de sentir que ele no se esgota em si prprio e a o e abre portas para nova reexo. Assim, um investigador ao pr termo aos a o seus estudos, dever ter a conscincia de que o dom a e nio em que trabalhou ter muito para explorar. Nesta mensagem procurarei apresentar algumas a propostas que podero servir de objecto de trabalhos futuros de investigao a ca dentro do dom nio da anlise atravs de curvas ROC. a e Em primeiro lugar, a abordagem no paramtrica a anlise ROC parece a e ` a recolher a preferncia da larga maioria dos trabalhos mais recentes. Cone tudo, existem algumas questes que necessitam de ser aprofundadas e que o constituem seguramente propostas de investigao futura, nomeadamente o ca clculo dos erros padro associados as areas para amostras independentes, a a ` a comparao entre os mtodos propostos por Hanley e McNeil [38] e Deca e Long e DeLong [22] para o clculo do coeciente de correlao e o estudo dos a ca mtodos de estimao dos parmetros da recta no plano binormal. e ca a Tal como foi apresentado nos estudos de simulao realizados (ver seco ca ca 5.1.1) poss e vel gerar curvas que cruzam a diagonal principal, por vezes designadas por curvas ROC imprprias. Se bem que, para dados normais, o o cruzamento seja indicador de varincias diferentes para os casos normais a e anormais, fundamental estudar as implicaes, nomeadamente sobre a e co utilidade do teste em causa. Por outro lado, na comparao entre testes alternativos usual enconca e trar curvas ROC emp ricas que se cruzam, questo que continua em aberto. a Apesar de ser sempre poss denir qual o teste prefer para diferentes vel vel gamas de sensibilidade e especicidade, a denio de um ca ndice de avaliao ca
CONCLUSAO global continua por fazer.
207
No dom do estudo da forma da curva ROC e das distribuies associnio co adas aos dados, foi apenas tratada a situao de distribuies com a mesma ca co forma funcional. No entanto, poder constituir uma linha de investigao a ca futura o estudo de mistura de distribuies. co A anlise ROC pode ser tambm percepcionada como um processo de a e ajuda na tomada de deciso, nomeadamente na escolha entre testes alternaa tivos. Contudo, uma area de grande potencial, e s levemente aorada neste o trabalho, a comparao entre Unidades de Cuidados Intensivos, contrie ca buindo para a avaliao da sua performance. Potencialmente, a anlise ROC ca a tambm pode contribuir para comparar/treinar a capacidade de diagnstico e o de mdicos, em particular, nos diagnsticos que impliquem a avaliao de e o ca imagens.
Termino este trabalho com um pensamento de Julien Huxley, que revela um pouco do que o esp e rito cient co:
Uma das coisas para que a cincia serve e para nos dar ideia da nossa ignorncia. e a
Apndice A e Determinao das EMV dos ca parmetros na Teoria de a Deteco de Sinal, para dados ca agrupados em classes
O procedimento para obteno de estimativas de mxima verosimilhana ca a c para os parmetros na Teoria de Deteco de Sinal, para dados agrupados a ca em classes, foi desenvolvido em 1969 por Dorfman e Alf em [27]. Considere-se o modelo para dados agrupados em classes como descrito por Dorfman e Alf [27], em que os acontecimentos experimentais so constitu a dos por duas classes de est mulos, S1 e S2 , e por um conjuntode respostas Rj (j = 1, ..., n + 1). Axioma A.1 Em cada experincia, a introduo de um Si conduz a um e ca acontecimento x situado num espao unidimencional contnuo. c Axioma A.2 Para um conjunto innito de experincias, a introduo de e ca 208
APENDICE A. DETERMINACAO DAS EMV
209
um Si est associada a uma distribuio Normal dos acontecimentos x com a ca

2 a mdia i e varincia i . e
Axioma A.3 Existe um conjunto de valores de corte Zk (k = 1, ..., n ), tal que: e (i) x < Z1 a resposta R1 , (ii) x > Zn a resposta Rn +1 , e (iii) Zk < x < Zk+1 , a resposta Rk+1 (j = k + 1) para todo k < n . e Axioma A.4 As experincias so consideradas mutuamente independentes. e a Destes axiomas resulta que P (Rj | S1 ) = F (Zk=j ) F (Zk=j1 ) (A.1)
e ca ca onde Zk = (xk 1 ) /1 , F a funo de distribuio acumulada da Normal, F (Z0 ) = 0, e F (Zn +1 ) = 1. P (Rj | S2 ) = F (bZk=j a) F (bZk=j1 a), onde b = 1 /2 , e a = (2 1 ) /2 . Maximiza-se a funo de verosimilhana em ordem aos parmetros a, ca c a b e todos os Zk s, efectuando a diferenciao do logar ca tmo da funo de ca o verosimilhana em ordem a a, b e todos os Zk , igualando estas expresses a c zero, e resolvendo este conjunto de equaes. Para os dados agrupados em co classes, o logar tmo da funo de verosimilhana dado por: ca c e
2 n +1
(A.2)
log L =
i=1 j=1
rij log Pij ,
(A.3)
e u mulo i, e Pij a probabilidade de Rj e onde rij o nmero de Rj s ao est dado Si .
210
Diferenciando a equao (A.3) em ordem ao parmetro a, depois de subsca a tituir as equaes (A.1) e (A.2) em (A.3), obtm-se: co e
n
log L = n2 a
f (bZj a)
j=1
r2,j /n2 r2,j+1 /n2 , F2,j F2,j1 F2,j+1 F2,j
(A.4)
onde F2,j = F (bZj a), F1,j = F (Zj ) e ni o nmero de si s. Diferencie u ando a equao (A.3) em ordem ao parmetro b, resulta: ca a
n
log L = n2 b
f (bZj a) (Zj )
j=1
r2,j /n2 r2,j+1 /n2 . F2,j F2,j1 F2,j+1 F2,j
(A.5)
Diferenciando equao (A.3) em ordem a Zk , vem: ca
log L r2,j /n2 r2,j+1 /n2 = n2 f (bZj a)(b) Zk F2,j F2,j1 F2,j+1 F2,j r1,j /n1 r1,j+1 /n1 . + n1 f (Zj ) F1,j F1,j1 F1,j+1 F1,j
(A.6)
Igualando estas derivadas parciais a zero, obtm-se um conjunto de equaes e co no lineares, cuja soluo poder ser obtida por uma adaptao do mtodo a ca a ca e de Newton-Raphson, por vezes designado por mtodo de scoring [27]. e Especicamente, dado um vector de estimativas consistente, mas insuciente, um vector de estimativas melhorado obtido a partir de: e S1 = S0 + A1 r,
(A.7)
e e onde S0 o vector de estimativas, S1 o vector de estimativas melhorado, r o vector das primeiras derivadas parciais com as estimativas iniciais substie tuidas pelas desconhecidas, e A1 a matriz inversa de {E ( 2 log L/1 2 )} . e e a Depois do processo iterativo estar completo, A1 a matriz de varinciacovarincia [27]. a
APENDICE A. DETERMINACAO DAS EMV As segundas derivadas, so dadas pelas seguintes expresses: a o 2 log L = n2 a2
n n
211
f2,j
j=1
f2,j f2,j1 f2,j+1 f2,j , F2,j F2,j1 F2,j+1 F2,j
2 log L E = n2 b2
f2,j Zj
j=1
f2,j Zj f2,j1 Zj1 f2,j+1 Zj+1 f2,j Zj . F2,j F2,j1 F2,j+1 F2,j
2 log L f2,j f2,j = n2 f2,j b2 2 Zk F2,j F2,j1 F2,j+1 F2,j f1,j f1,j n1 f1,j . F1,j F1,j1 F1,j+1 F1,j
2 log L = n2 a b
f2,j Zj
j=1
f2,j f2,j1 f2,j+1 f2,j . F2,j F2,j1 F2,j+1 F2,j
2 log L f2,j f2,j1 f2,j+1 f2,j = n2 f2,j b . a Zk=j F2,j F2,j1 F2,j+1 F2,j 2 log L f2,j f2,j1 f2,j+1 f2,j = n2 f2,j b . b Zk=j F2,j F2,j1 F2,j+1 F2,j 2 log L = 0, E Zkm Zkn m = n.
Estimativas consistentes, mas insucientes de Zk s podem ser obtidas pela resoluo do seguinte conjunto de equaes: ca co
k 1
P1j
j=1
= Zk
(A.8)
onde Pij = rij /ni , e
Pij
signica a transformao inversa de F ca
(desvios normais padronizados).
212
Para obter estimativas consistentes de a e b, considera-se o seguinte par de equaes: co
P2j
j=1 k+1 1
= bZk a. = bZk+1 a.
(A.9)
P2j
j=1
Substituindo Zk e Zk+1 nestas equaes, resolvendo em ordem a a e b, e co fazendo a mdia das solues para cada par de equaes ao longo de todos e co co conjuntos de pontos, obtm-se as estimativas consistentes de a e b. e
Apndice B e Teste de Wilcoxon-Mann-Whitney

As tcnicas no paramtricas apresentam vrias vantagens sobre os mtodos e a e a e tradicionais de inferncia estat e stica. Uma vantagem que no incorporam e a todas as hipteses restritivas caracter o sticas dos testes paramtricos. Por e outro lado, os testes no paramtricos trabalham com graduaes em vez dos a e co valores das observaes, o que os torna mais simples e rpidos, em termos de co a clculo, para pequenas amostras. a No entanto, o uso das graduaes torna as tcnicas no paramtricas co e a e menos sens veis `s medidas do erro de tipo I do que os testes tradicionais a [66]. O teste de Mann-Whitney um teste no paramtrico para comparao e a e ca de duas distribuies e foi primeiramente introduzido para o caso em que co n1 = n2 por Wilcoxon (1945). O teste de Wilcoxon foi expandido para o caso de amostras com dimenso diferente por White (1952) e Van der Reya den (1952). Um teste equivalente ao de Wilcoxon foi tambm desenvolvido e independentemente e introduzido por Festinger (1946). 213
APENDICE B. TESTE DE WILCOXON-MANN-WHITNEY
214
Mann e Whitney (1947) parecem ter sido os primeiros a considerar amostras de diferentes tamanhos e a fornecer tabelas para usar com amostras de pequena dimenso [19]. a Dado que o teste atribu a vrios autores, existe a interrogao de e do a ca que nome lhe atribuir, pelo que se utilizar a designao de Wilcoxon-Manna ca Whitney por terem sido estes os primeiros a desenvolverem este tipo de teste no paramtrico. a e
B.1
Hipteses o
Quando so efectuadas medies ordinais, o teste U de Mann-Whitney pode a co ser usado para testar se dois grupos independentes foram retirados da mesma populao. Este um dos testes mais potentes para comparao de duas ca e ca distribuies e a alternativa mais utilizada em relao ao teste paramtrico, co e ca e o teste t. Supondo que se tm duas populaes, populao A e populaao B, a e co ca c hiptese nula : o e co a e H0 : As duas distribuies de probabilidade A e B so idnticas. Uma hiptese alternativa direccional, H1 , contra a qual se pode testar H0 o e ca e H1 : A distribuio de A estocasticamente maior do que B. Deve-se aceitar H1 se a probabilidade de uma classicao de A ser maior ca e ca do que uma classicao de B, for superior a 1 . Isto , se a for uma observao ca 2 da populao A, e b uma observao da populao B, ento H1 tal que ca ca ca a e e ca P (a > b) > 1 . Se a evidncia suportar H1 , isto implica que o a distribuio 2
215
dos valores correspondentes ` populao A se encontram a direita dos da a ca ` populao B (situao semelhante a ilustrada na gura 2.1 do captulo 2, em ca ca ` que B corresponderia a S0 e A a S1 ). Ter-se- o caso em que a mdia da a e distribuio A estaria a direita da de B. ca ` Claro, que tambm se pode prever a situao contrria, isto , considerar e ca a e como hiptese alternativa: o ca e H1 : A distribuio de B estocasticamente maior do que A. a Neste caso H1 dever ser tal que P (a > b) < 1 . 2 Para o teste bilateral, isto , para a previso de diferenas que no implie a c a a quem direco, H1 dever ser tal que P (a > b) = 1 . ca 2
B.2
Mtodo e
Seja n1 o nmero de casos no menor dos dois grupos independentes, e n2 o u nmero de casos no maior. Para aplicar o teste U, primeiro combinam-se as u observaes ou classicaes dos dois grupos, e atribuem-se as graduaes de co co co uma forma crescente. De seguida, escolhe-se um grupo, por exemplo, o grupo com n1 casos. O valor de U (estat stica usada no teste) dado pelo nmero de vezes que a e u classicao no grupo com n2 casos precede a classicao no grupo com n1 ca ca casos na graduao. ca Considere-se um exemplo em que existem dois grupos, um designado por anormal , A, com trs casos, e um outro designado por normal, N, com e quatro casos. Nesta situao, n1 = 3 e n2 = 4. Suponha-se ainda, que se ca registam as seguintes observaes: co Grupo A Grupo N 9 11 15 5 8 10 12
216
Para determinar U , comea-se por ordenar estas observaes por ordem c co crescente, da seguinte forma 5 N 8 N 9 A 10 N 11 A 12 N 15 A
Agora considere-se o grupo designado por N, e conte-se o nmero de u classicaes A que precede cada classicao no grupo N. co ca Assim, neste exemplo ter-se- a:
U =0+0+1+2=3 o nmero de vezes que a classicao A precede a classicao N 3. u ca ca e A distribuio amostral de U sob H0 conhecida, e com este conhecica e mento pode-se determinar a probabilidade associada a ocorrncia sob H0 de ` e qualquer U como extremo de um valor observado de U .
B.3
Amostras de dimenso reduzida a
Quando nem n1 nem n2 , so maiores do que 8, a tabela J existente em [77], a pode ser utilizada para determinar a probabilidade associada a ocorrncia ` e sob H0 de qualquer U como extremo de um valor observado de U . Para determinar a probabilidade sob H0 associada aos seus dados, o ina vestigador apenas precisa de conhecer n1 (dimenso do grupo mais pequeno), n2 e U . Com esta informao ele pode ler o valor de p da tabela apropriada ca para os seus valores. No exemplo considerado anteriormente, para n1 = 3, n2 = 4 e U = 3, retira-se da tabela J que P (U 3) = 0.200.
217
Os valores das probabilidades apresentados na tabela J so para o teste a unilateral. Para o teste bilateral, o valor de p retirado da tabela deveria ser multiplicado por dois. Para valores de n1 e n2 elevados, o mtodo de contagem para determinar e o valor de U poder ser um pouco fastidioso. Um mtodo alternativo, que a e d resultados idnticos, atribuir graduao 1 ao valor mais pequeno do a e e ca conjunto (n1 + n2 ) do grupo de classicaes e assim sucessivamente. Ento, co a
U2 = W2
n2 (n2 + 1) 2 n1 (n1 + 1) U2 = n1 n2 + W1 2
(B.1)
ou equivalentemente
n1 (n1 + 1) 2 n2 (n2 + 1) U1 = n1 n2 + W2 2 U1 = W1
(B.2)
onde W1 representa a soma das graduaes para o grupo 1 e W2 representa co a soma das graduaes para o grupo 2. co e a Pode-se transformar U1 em U2 atravs da expresso: U2 = n1 n2 U1 consequentemente P (U2 U1 ) = P (U2 n1 n2 U1 ). Existe um outro tipo de tabela que d o valor do ponto cr a tico correspondente a um determinado valor de U , para valores de n2 entre 9 e 20 (tabela K [77]).
(B.3)
218
A distribuio de base da tabela K assenta no menor dos valores entre U1 ca e U2 , usualmente designado por U .
B.4
Amostras de grande dimenso a
Foi demonstrado por Mann e Whitney (1947), que quando n1 e n2 aumentavam em dimenso, a distribuio de U rapidamente se aproxima da distria ca buio Normal, com ca n 1 n2 2
U = e desvio padro a
U =
n1 n2 (n1 + n2 + 1) 12
a Assim, quando n2 > 20, pode-se determinar a signicncia de um valor observado U , atravs de e U U N (0, 1) U U
n1 n2 2
zU =
zU =
n1 n2 (n1 +n2 +1) 12
(B.4)
Quando se faz a aproximao a Normal para a distribuio de U , no ca ` ca a interessa qual das frmulas se utiliza para o clculo do valor de U , pois o a o valor absoluto de z dado pela expresso da equao B.4 ser o mesmo a ca a independentemente da expresso utilizada no clculo de U . O sinal de z a a depende de que valor se utiliza, U ou U mas o valor no. , a
219
B.5
Observaoes Repetidas c
Numa experincia cient e ca usual se vericarem observaes repetidas. e co Para o teste de Wilcoxon-Mann-Whitney, se as repeties ocorrem no mesmo co grupo, o valor de U no afectado, mas se estas ocorrem em grupos difea e rentes o valor de U j afectado. No entanto este efeito insignicante. a e e Vericando-se a existncia de observaes repetidas, pode-se utilizar uma e co correco que vlida quando se est perante a aproximao a distribuio ca e a a ca ` ca normal para amostras de grande dimenso. a O efeito dos empates nas graduaes mudar a variabilidade do conjunto co e das graduaes. Assim, a correco para os empates dever ser efectuada a co ca a n do desvio padro da distribuio de U . O desvio padro corrigido para vel a ca a os empates dado por [77] e n1 n2 N (n 1) N3 N 12
U = onde N = n1 + n2
(B.5)
T = (t3 t) /12 (com t o nmero de observaes repetidas para uma dada u co graduao) ca T determinado pela soma dos T para todos os grupos com obe s servaes repetidas. co Com a correco para as observaes repetidas o valor de z vir ca co a U
n1 n2 N (n1) n1 n2 2 N 3 N 12
zU =
(B.6) T
220
B.6
Potncia de teste e
Em termos de potncia de teste, poder-se- comparar este teste no pae a a ramtrico com o seu similar em termos paramtricos, o teste t. e e Se o teste de Mann-Whitney for aplicado a dados que poderiam ser analisados pelo teste paramtrico mais potente, o teste t, a sua potncia aproximae e se de 95, 5% com o aumento de N , e est perto de 95% mesmo para amostras a de dimenso moderada. E ento, uma excelente alternativa ao teste t, no a a a tendo as condies restritivas que se encontram associadas a este teste [77]. co
Apndice C e Listagem de resultados obtidos nas comparaes de programas co para anlise ROC a
Neste anexo apresentado um conjunto de listagens resultantes das come paraes de programas para anlise ROC efectuadas no cap co a tulo 8.5. Pretendese assim, elucidar o leitor sobre o tipo de comandos que tero de efectuar, a para proceder a anlise estat ` a stica de dados utilizando a curva ROC, ou o tipo de resultados que podero esperar aquando a utilizao de cada um dos a ca programas testados.
C.1
ROCKIT
Date - 23-Nov-00 Time - 15:15:38
221
APENDICE C. RESULTADOS DOS PROGRAMAS ROC
222
ROCKIT (Windows95 version 0.9 BETA):
Maximum Likelihood Estimation of a Binormal ROC Curve
From CONTINUOUSLY-Distributed Test Results Original input of 133 Actually-NEGATIVE cases 6. 1. 5. 0. 3. 1. 6. 1. 1. 3. 0. 4. 8. 3. 3. 1. 4. 9. 0. 1. 2. 4. 1. 1. 2. 1. 1. 1. 1. 1. 4. 1. 1. 0. 1. 1. 4. 0. 0. 1. 1. 2. 1. 1. 0. 1. 1. 2. 1. 2. 8. 5. 2. 0. 0. 4. 4. 2. 1. 3. 3. 1. 2. 9. 1. 0. 0. 0. 0. 0. 1. 1. 1. 0. 5. 0. 8. 0. 0. 1. 1. 6. 1. 3. 6.
APENDICE C. RESULTADOS DOS PROGRAMAS ROC 1. 1. 1. 0. 1. 1. 1. 1. 0. 1. 1. 0. 3. 0. 2. 8. 0. 1. 1. 1. 4. 0. 1. 6. 0. 0. 1. 4. 2. 2. 1. 1. 0. 2. 2. 1. 1. 0. 4. 4. 4. 2. 0. 0. 0. 4. 1. 0. Original input of 36 Actually-POSITIVE cases 8. 2. 6. 9. 10. 10. 13. 4. 9. 8. 6. 9. 7. 11. 4. 1. 13. 12. 14. 11. 8. 8. 9. 15. 7. 16. 3. 5. 8. 8. 3. 1. 0. 14. 14. 13.
223
Date - 23-Nov-00 Time - 15:15:39 ROCKIT (Windows95 version 0.9 BETA): CRIB
APENDICE C. RESULTADOS DOS PROGRAMAS ROC Maximum Likelihood Estimation of the Parameters a Single Binormal ROC Curve Name of Input File being used: CRIB.dat Condition 1: CRIB Total number of actually-negative cases = 133. Total number of actually-positive cases = 36. Data collected on a nominally continuous scale. Larger values of the test result represent stronger evidence that the case is actually-positive (e.g., that the patient is actually abnormal)
224
Operating Points Corresponding to the Input Data Categorized by the LABROC5 Scheme: FPF: .000 .000 .015 .045 .045 .083 .105 .203 .263 .368 .759 TPF: .000 .361 .472 .639 .694 .750 .778 .833 .889 .917 .972 FPF: 1.000 TPF: 1.000 Initial Estimates of the Binormal ROC Parameters: a = 1.5668 b = .6882 z(k) = .698 -.332 -.623 -.835 -1.238 -1.371 -1.653 -1.712 -2.268 -2.876 Procedure Converges after 4 Iterations ======================================== Final Estimates of the Binormal ROC Parameters ======================================== Binormal Parameters and Area Under the Estimated ROC : a = 1.5539
APENDICE C. RESULTADOS DOS PROGRAMAS ROC b = .6766 Area (Az) = .9009 Area (Wilc) = .8994 1: z(k) = -.700 .329 .622 .839 1.238 1.372 1.656 1.749 2.309 2.830 Estimated Standard Errors and Correlation of these Values: Std. Err. (a) = .2923 Std. Err. (b) = .1534 Corr(a,b) = .6948 Std. Err. (Az) = .0332 Std. Err.(Wilc)= .0355 Symmetric 95% Condence Intervals For a : ( .9810, 2.1268) For b : ( .3760, .9773) Asymmetric 95% Condence Interval For Az: ( .8197, .9515) Variance-Covariance Matrix: =========================== a b z( 1) z( 2) z( 3) z( 4) z( 5) z( 6) z( 7) z( 8) z( 9) z(10) a .0854 b .0312 .0235 z( 1) .0053 .0019 .0140 z( 2) .0065 .0013 .0058 .0121 z( 3) .0067 .0007 .0049 .0101 .0132 z( 4) .0068 0.0000 .0043 .0089 .0117 .0146 z( 5) .0065 -.0022 .0035 .0074 .0098 .0122 .0195 z( 6) .0060 -.0034 .0032 .0070 .0093 .0116 .0186 .0220 z( 7) .0044 -.0068 .0027 .0063 .0084 .0107 .0173 .0205 .0299
225
APENDICE C. RESULTADOS DOS PROGRAMAS ROC z( 8) .0036 -.0082 .0026 .0061 .0082 .0104 .0170 .0202 .0295 .0335
226
z( 9) -.0057 -.0214 .0014 .0050 .0073 .0097 .0167 .0202 .0302 .0343 .0732 z(10) -.0210 -.0389 .0001 .0041 .0067 .0096 .0179 .0220 .0338 .0388 .0840 .1481 Correlation Matrix: =================== a b z( 1) z( 2) z( 3) z( 4) z( 5) z( 6) z( 7) z( 8) z( 9) z(10) a 1.0000 b .6948 1.0000 z( 1) .1528 .1054 1.0000 z( 2) .2031 .0768 .4484 1.0000 z( 3) .2010 .0390 .3578 .7982 1.0000 z( 4) .1927 -.0006 .3003 .6725 .8431 1.0000 z( 5) .1585 -.1035 .2109 .4833 .6092 .7249 1.0000 z( 6) .1395 -.1478 .1846 .4299 .5440 .6490 .8983 1.0000 z( 7) .0874 -.2548 .1340 .3307 .4244 .5108 .7159 .7992 1.0000 z( 8) .0672 -.2921 .1191 .3026 .3908 .4724 .6660 .7446 .9337 1.0000 z( 9) -.0716 -.5145 .0449 .1689 .2345 .2961 .4429 .5025 .6443 .6933 1.0000 z(10) .0000 .0000 .0000 .0000 .0000 .0000 .0000 .0000 .0000 .0000 .0000 .0000 Estimated Binormal ROC curve, with Lower and Upper Bounds of the Asymmetric Point-wise 95% Condence Interval for True-Positive Fraction at a Variety of False-Positive Fractions: FPF TPF (Lower Bound, Upper Bound) .005 .4249 ( .2274 , .6439 ) .010 .4918 ( .2977 , .6879 )
APENDICE C. RESULTADOS DOS PROGRAMAS ROC .020 .5651 ( .3810 , .7359 ) .030 .6106 ( .4349 , .7660 ) .040 .6439 ( .4751 , .7883 ) .050 .6703 ( .5070 , .8062 ) .060 .6920 ( .5334 , .8211 ) .070 .7106 ( .5559 , .8339 ) .080 .7267 ( .5754 , .8451 ) .090 .7410 ( .5927 , .8551 ) .100 .7538 ( .6081 , .8641 ) .110 .7654 ( .6220 , .8722 ) .120 .7760 ( .6347 , .8797 ) .130 .7857 ( .6463 , .8865 ) .140 .7947 ( .6570 , .8928 ) .150 .8031 ( .6670 , .8986 ) .200 .8376 ( .7080 , .9224 ) .250 .8638 ( .7395 , .9399 ) .300 .8848 ( .7649 , .9532 ) .400 .9166 ( .8050 , .9717 ) .500 .9399 ( .8367 , .9833 ) .600 .9577 ( .8637 , .9907 ) .700 .9718 ( .8881 , .9953 ) .800 .9831 ( .9119 , .9981 ) .900 .9923 ( .9377 , .9995 ) .950 .9962 ( .9539 , .9999 ) Estimated Relationship between the Critical Test-Result Value (which separates positive results form negative results) and the Corresponding Operating Point on the Fitted Binormal
227
APENDICE C. RESULTADOS DOS PROGRAMAS ROC ROC Curve: **************************************************** Critical Test ( FPF , TPF ) Result Value 9.5 ( .002, .359) 8.5 ( .010, .496) 7.5 ( .040, .644) 6.5 ( .049, .668) 5.5 ( .085, .734) 4.5 ( .108, .763) 3.5 ( .201, .838) 2.5 ( .267, .871) 1.5 ( .371, .908) .5 ( .758, .979)
228
C.2
SPSS
CROSSTABS /TABLES=crib BY morte
/FORMAT= AVALUE TABLES /STATISTIC=BTAU /CELLS= COUNT /BARCHART .
Crosstabs GRAPH /BAR(GROUPED)=PCT BY crib BY morte
APENDICE C. RESULTADOS DOS PROGRAMAS ROC /MISSING=REPORT.
229
50
40
30
20
MORTE
10
Percent
vivo 0 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 morto
CRIB
ROC crib BY morte (1)
/PLOT = CURVE(REFERENCE) /PRINT = SE COORDINATES /CRITERIA = CUTOFF(INCLUDE) TESTPOS(LARGE) DISTRIBUTION(FREE) CI(95) /MISSING = EXCLUDE . Case Processing Summary MORTE Valid N (listwise) Positive 36 Negative 133 Larger values of the test result variable(s) indicate stronger evidence for a positive actual state. a The positive actual state is morto.
Area Under the Curve
APENDICE C. RESULTADOS DOS PROGRAMAS ROC

ROC Curve
1.00
230
.75
.50
Sensitivity
.25
0.00 0.00 .25 .50 .75 1.00
1 - Specificity
Diagonal segments are produced by ties.
CRIB Area Std. Error Asymptotic Sig. Asymptotic 95% Confidence Interval Lower Bound Upper Bound .899 .034 .000 .833 .966 The test result variable(s): CRIB has at least one tie between the positive actual state group and the negative actual state group. Statistics may be biased. a Under the nonparametric assumption b Null hypothesis: true area = 0.5
CRIB Positive if Greater Than or Equal To Sensitivity 1 - Specificity -1.00 1.000 1.000 .50 .972 .759 1.50 .917 .368 2.50 .889 .263 3.50 .833 .203 4.50 .778 .105
APENDICE C. RESULTADOS DOS PROGRAMAS ROC 5.50 .750 .083 6.50 .694 .045 7.50 .639 .045 8.50 .472 .015 9.50 .361 .000 10.50 .306 .000 11.50 .250 .000 12.50 .222 .000 13.50 .139 .000 14.50 .056 .000 15.50 .028 .000 17.00 .000 .000
231
Bibliograa
[1] A. C. Braga, P. N. Oliveira, A. Gomes. , A AVALIACAO DO RISCO DE MORTE EM RECEM-NASCIDOS DE MUITO BAIXO PESO: UMA COMPARACAO BASEADA EM CURVAS ROC. A Estat stica a Decifrar O Mundo, edited by Lu Canto e Castro e Dinis Pestana sa Rita Vasconcelos, Isabel Fraga Alves. Lisboa: Edies Salamandra Lda, co 1997. [2] A. C. Braga, P. N. Oliveira, A. Gomes. , EVALUATION OF THE RISK OF DEATH FOR VERY LOW BIRTHWEIGHT BABIES A COMPARATION BETWEEN NEONATAL INTENSIVE CARE UNITS: APPLICATION OF ROC CURVES, Applied Statistical Science IV (1998). [3] A. C. Braga, P. N. Oliveira, A. Gomes. COMPARACAO ENTRE UNIDADES DE CUIDADOS INTENSIVOS NEONATAIS BASEADA NA ANALISE ROC. Estat stica: A Diversidade Na Unidade, edited by Manuela Souto de Miranda e Isabel Pereira. Lisboa: Edies Salamandra co Lda, 1998. [4] A. C. Braga, P. N. Oliveira. A FORMA DAS CURVAS ROC E A SUA RELACAO COM AS DISTRIBUICOES ASSOCIADAS AOS DADOS. Armar a Estatstica. Um Desao Para O Sculo XXI , edited by Ana e
232
BIBLIOGRAFIA
233
Pires e Ferreira Da Cunha Carlos D. Paulino, Antnio Pacheco. Lisboa: o Edies SPE, 1999. co [5] Alexander, Greg R., Des Caunes Francois Hulsey Thomas C. Tompkins Mark E and Allen Marilee. Ethnic Variation in Postnatal Assessments of Gestational Age: A Reappraisal, Pediatrics and Perinatal Epidemiology, 6 :423433 (1992). [6] Alexander, Greg R., Hulsey Thomas C. Smeriglio Vincent L. Comfort Marilee e Levko Abner. Factors Inuencing the Relationship Between a Newborn Assessment of Gestational Maturity and Gestational Age Interval., Pediatrics and Perinatal Epidemiology, 4 :133146 (1990). [7] Altman, Douglas G. Pratical Statistics for Medical Research. London: Chapman & Hall, 1991. [8] Bamber, Donald. The Area Above the Ordinal Dominance Graph and the Area Below the Receiver Operating Characteristic, Journal of Mathematical Psychology, 12 :387415 (1975). [9] Begg, C. Advances in Statistical Methodology for Diagnostic Medicine in 1980s, Statistics in Medicine, 10 :18871895 (1991). [10] Bland, J. Martin and Douglas G. Altman. Statistical Methods for Assessing Agreement Between Two Methods of Clinical Measurement, The Lancet, 307310 (1986). [11] Burdette, J. H., et al. Alzheimer Disease: Improved Visual Interpretation of PET Images by Using Three-Dimensional Stereotaxic Surface Projections, Radiology, 198 :837843 (1996).
BIBLIOGRAFIA
234
[12] Charles E. Metz, Ben Herman, Jong-Her Shen Helen B. Kronman e Pu-Lan Wang. CLABROC Program (IBM-PC Version 1.2.1). Department of Radiology and Franklin Mclean Memorial Research Institute, University of Chicago, Chicago, Illinois 60637, December 1993. [13] Charles E. Metz, Benjamin Herman, Jong-Her Shen Helen B. Kronman e Pu-Lan Wang. ROCKIT 0.9B Beta Version. Department of Radiology, University of Chicago, Chicago, Illinois 60637, March 1998. [14] Charles E. Metz, Helen B. Kronman, Pu-Lan Wang e Jong-Her Shen. INDROC Program (IBM-PC Version). Department of Radiology and the Franklin McLean Memorial Research Institute, University of Chicago, Chicago, Illinois 60637, June 1989. [15] Charles E. Metz, Helen B. Kronman, Pu-Lan Wang e Jong-Her Shen. ROCPWRPC Program for the IBM PC . Department of Radiology and the Franklin McLean Memorial Research Institute, University of Chicago, Chicago, Illinois 60637, June 1989. [16] Charles E. Metz, Helen B. Kronman, Pu-Lan Wang Jong-Her Shen e Ben Herman. CORROC2 Program (IBM-PC Version 1.2.1). Department of Radiology and the Franklin McLean Memorial Research Institute, University of Chicago, Chicago, Illinois 60637, December 1993. [17] Chen, W. J., et al. Diagnostic Accuracy of the Child Behavior Cheklist Scales for Attention-Decit Hyperactivity Disorder: A Receiver Operating Characteristic Analysis, Journal of Consulting and Clinical Psychology, 62 (5):10171025 (1994).
BIBLIOGRAFIA
235
[18] Colliver, J. A., et al. Screening Test Length For Sequencial Testing with a Standardized-Patient Examination: A Receiver Operating Characteristic (ROC) Analysis, Academic Medicine, 67 (9):592595 (1992). [19] Conover, W. J. Pratical Nonparametric Statistics (2nd ed Edition). New York: John Wiley & Sons, 1971. [20] Constantine, Norman A., Kraemer Helena C. Kendall-Tackett Katheleen A.-Bennett Forrest C. Tyson Jon E. and Ruth T. Gross. Use of Physical and Neurologic Observations in Assessment of Gestational Age in Low Birth Weight Infants., The Journal of Pediatrics, 110 (6):921 928 (1987). [21] Courcy-Wheeler, R. H. B., et al. Use of the CRIB (Clinical Risk Index for Babies) Score in Prediction of Neonatal Mortality and Morbidity, Archives of Disease in Childhood , 73 :F32F36 (1995). [22] DeLong, E. R., DeLong D. M. and D. L Clarke-Pearson. Comparing the Areas Under Two or More Correlated Receiver Operating Characteristic Curves: A Nonparametric Approach, Biometrics, 44 :837845 (1988). [23] Diamond, G. A. Reverend Bayes Silent Majority.An Alternative Factor Aecting Sensitivity and Specicity of Exercise Electrocardiography, The American Journal of Cardiology, 57 :11751180 (1986). [24] Dombrowski, Mitchell P., Wolfe Honor M. Brans-Yves W. Saleh-Abdel Aziz A. and Robert J. Sokol. Neonatal Morphometry. Relation to Obstetric, Pediatric, and Menstrual Estimates of Gestational Age., AJDC , 146 :852856 (1992).
BIBLIOGRAFIA
236
[25] Donald Dorfman, Kevin Berbaum, Charles E. Metz-Ben Herman e Hatern Abu-Dagga. LABMRMC 1.0 Beta Version. University of Chicago, Chicago, Illinois 60637, April 1997. [26] Dorfman, D. D., Beavers L. L. and C. Saslow. Estimation of Signal Detection Theory Parameters from Rating-Method Data: A Comparison of the Method of Scoring and Direct Search, Bull. Psychon. Soc., 1 (3):207208 (1973). [27] Dorfman, Donald D. and Edward Jr. Alf. Maximum - Likelihood Estimation of Parameters of Signal - Detection of Condence Intervals Ratng-Method Data., Journal of Mathematical Psychology, 6 :487 496 (1969). [28] Egan, James P. Signal Detection Theory and ROC Analysis. New York: Academic Press, 1975. [29] Eskicioglu, Ahmet M. Application of Multidimensional Quality Measures to Reconstructed Medical Images, Optical Engineering, 35 (3):778 785 (1996). [30] Gagliardi, Luigi, Brambilla C. Bruno Raaella Martinelli-S. and M. Console. Biased Assessment of Gestational Age at Birth When Obstetric Gestation is Known., Archives of Disease in Childhood , 68 :3234 (1993). [31] Gatsonis, C. and B. J. McNeil. Collaborative Evaluations of Diagnostic Tests: Experience of the Radiology Diagnostic Oncology Group, Radiology, 175 :571575 (1990).
BIBLIOGRAFIA
237
[32] Goddard, M. J. and I. Hinberg. Receiver Operator Characteristic (ROC) Curves and Non Normal Data: An Empirical Study,, Statistics in Medicine, 9 :325337 (1990). [33] Green, D. M. and J. A. Swets. Signal Detection Theory and Psychophysics. New York: Robert E. Krieger Publishing Company, 1973. [34] H. Ramalho, C. Braga, P. Oliveira A. Alegria. CRIB: PREDICTIVE ACCURACY AND MORBIDITY, RELAN (Revista Latinoamericana de Neonatologia), 1 (2):111116 (1999). [35] Halpern, E.J., et al. Comparison of Receiver Operating Characteristic Curves on the Basis of Optimal Operating Points, Statistics for Radiologists, 3 (3):245253 (1996). [36] Hanley, J. A. The Robustness of Binormal Assumptions Used in Fitting ROC Curves, Medical Decision Making, 8 :197203 (1988). [37] Hanley, J. A. and B. J. McNeil. The Meaning and Use of the Area under a Receiver Operating Characteristic (ROC) Curve, Radiology, 143 :2936 (1982). [38] Hanley, J. A. and B. J. McNeil. A Method of Comparing the Areas under Receiver Operating Characteristic Curves, Radiology, 148 :839 843 (1983). [39] Henkelman, R. M., et al. Receiver Operator Characteristic (ROC) Analysis Without Truth, Medical Decision Making, 10 :2429 (1990). [40] Hill, C. C., Rowland D. Y. Performing ROC Analysis Using S-Plus II, (1998).
BIBLIOGRAFIA
238
[41] Hlatky, M. A., et al. Rethinking Sensitivity and Specicity, The American Journal of Cardiology, 59 :11951198 (1987). [42] Holmes, J. H. Discovering Risk of Disease with Learning Classier System, (1997). [43] Hosmer, Jr, D. W. and S. Lemeshow. Applied Logistic Regression. New York: John Wiley & Sons, 1989. [44] Hsieh, F. and B. W. Turnbull. Nonparametric and Semiparametric Estimation of the Receiver Operating Characteristic Curve, The Annals of Statistics, 24 (1):2540 (1996). [45] Hsieh, Fu-Shing. Performance of Diagnostic Test in a Nonparametric Setting. PhD dissertation, Cornell University, January 1991. [46] Ishwaran, H. and C. Gatsonis. A General Class of Hierarchical Ordinal Regression Models With Applications to Correlated ROC Analysis, (1998?). [47] Iverson, G. J. and Ching-Fan Sheu. Characterizing Random Variables in the Context of Signal Theory, Mathematical Social Sciences, 23 :151 174 (1992). [48] Jiang, Y., et al. Malignant and Benign Clustered Microcalcications: Automated Feature Analysis and Classication, Radiology, 198 :671 678 (1996). [49] Johnson, N.L., Kotz S. e Balakrishnan N. Continuous Univariate Distributions -. New York: John Wiley, 1994. [50] Kendall, Sir Maurice and Alan Stuart. The Advanced Theory of Statistics (4th Edition), 2 .
BIBLIOGRAFIA
239
[51] Kraemer, H. C. Assessment of 22 Associations: Generalization of Signal-Detection Methodology, The American Statistician, 42 (1):37 49 (1988). [52] Martins, F. Mrio. Programao Orientada Aos Objectos Em JAVA. a ca LIDEL. [53] McKenzie, D. P. and D. M. Clarke. Cuto: A Fortran Program for Establishing Threshols for Screening Indices, Educational and Psychological Measurement, 52 :891893 (1992). [54] McMillan, S. A., et al. Evaluation of Formulae for CSF IgG Synthesis Using Data Obtained from Two Methods: Importance of Receiver Operator Characteristic Curve Analysis, Journal of Clinical Pathology, 49 :2428 (1996). [55] McNeil, B. J., Hanley J. A. Funkenstein H. H. and J. Wallman. Paired Receiver Operating Characteristic Curves and the Eect of History on Radiographic Interpretation, Radiology, 149 :7577 (1983). [56] Metz, C. E. Basic Principles of ROC Analysis, Seminars in Nuclear Medicine, VIII (4):283298 (1978). [57] Metz, C. E. ROC Methodology in Radiologic Imaging, Investigative Radiology, 21 :720733 (1986). [58] Metz, C. E. Statistical Analysis of ROC Data in Evaluating Diagnostic Performance. Multiple Regression Analysis: Applications in the Health Sciences, number 13, edited by Donald E. Herbert and Raymond H. Myers. 365384. American Institute of Physics, 1986.
BIBLIOGRAFIA [59] Metz, C. E.
240 FORTRAN Programs ROCFIT, CORROC AND
ROCPWR. Dispon na Internet, cedido pelo prof. C. Metz, Departvel ment of Radiology, University of Chicago, Chicago, IL., 1998. [60] Metz, C. E., et al. A New Approach for Testing the Signicance of Dierences Between ROC Curves Measured from Correlated Data. Information Processing in Medical Imaging, Proceedings of the 8th Conference, edited by F. Deconinck. 432445. Boston: Martinus Nijho Publishers, 1983. [61] Mossman, Douglas. Assessing Predictions of Violence: Being Accuracy, Journal of Consulting and Clinical Psychology, 62 (4):783792 (1994). [62] Murtaugh, Paul A. ROC Curves with Multiple Marker Measurements, Biometrics, 51 :15141522 (1995). [63] Murteira, Bento Jos F. Probabilidades e Estat e stica (2 Edition). Lisboa: McGraw-Hill, 1990. [64] Network, The International Neonatal. The CRIB (Clinical Risk Index for Babies) Score:A Tool for Assessing Initial Neonatal Risk and Comparing Perfomance of Neonatal Intensive Care Units, The Lancet, 342 :193198 (1993). [65] Ott, William J. Accurate Gestacional Dating: Revisited, American Journal of Perinatology, 11 (6):404408 (1994). [66] Pagano, Marcello. Principles of Biostatistics. Belmont: Duxbury Press, 1993.
BIBLIOGRAFIA
241
[67] Parker, J., et al. Classication of Ductal Carcinoma in Situ by Image Analysis of Classications from Digital Mammograms, The British Journal of Radiology, 68 :150159 (1995). [68] Philbrick, J. T., et al. Methologic Problems of Exercise Testing for Coronary Artery Disease: Groups, Analysis and Bias, The American Journal of Cardiology, 46 :807812 (1980). [69] Pollack, I. and R. Hsieh. Sampling Variability of the Area Under ROCCurve and of de , Psycological Bulletin, 71 (3):161173 (1969). [70] Pollack, Murray M., Koch Matthew A. Bartel Doris A. Rapoport Irina Dhanireddy-R. El-Mohandes Ayman A. E. Harkavy K. Subramanian K. N. S. and District of Columbia Neonatal Network. A Comparison of Neonatal Mortality Risk Prediction Models in Very Low Birth Weight Infants, Pediatrics, 105 (5):10511057 (2000). [71] Ratcli, Roger, et al. Testing Global Memory Models Using ROC Curves, Psycological Review , 99 (3):518535 (1992). [72] Rautonen, J., et al. CRIB and SNAP: Assessing the Risk of Death for Preterm Neonates,, Clinical Pratice, The Lancet, 343 :12721273 (1994). [73] Ribeiro, M. G., Pinto R. Oliveira P. and M. C. S Miranda. Identia cation of GM2 - Gangliosidosis B1 Variant Carriers, J. Inher. Metab. Dis., 16 :10031011 (1993). [74] Rifkin, M. D., et al. Comparison of Magnetic Resonance Imaging and Ultrasonography in Staginc Early Prostate Cancer, The New England Journal of Medicine, 323 (10):621626 (1990).
BIBLIOGRAFIA
242
[75] Rockette, H. E., Obuchowski N. A. and D. Gur. Nonparametric Estimation of Degenerate ROC Data Ses Used for Comparison of Imaging Systems, Statistics in Radiology, 25 (7):835837 (1990). [76] Sanders, Marilyn, Allen Marilee Alexander Greg R. Yankowitz Jerome Graeber Janet Johnson-Timothy R. B. and Repka Michael X. Gestational Age Assessment in Preterm Neonates Weihing Less Than 1500 Grams., Pediatrics, 88 (3):542546 (1991). [77] Siegel, Sidney. Nonparametric Statistics for the Behavioral Sciences. McGraw-Hill Series in Psychology, 1956. [78] Swets, J. A. Form of Empirical ROCs in Discrimination and Diagnostic Tasks, Psycological Bulletin, 99 (2):181198 (1986). [79] Swets, J. A. Measuring the Accuracy of Diagnostic Systems, Science, 240 :12851293 (1988). [80] Swets, J. A. Signal Detection Theory and ROC Analysis in Psychology and Diagnostics: Collected Papers. New Jersey: LEA, 1996. [81] Swets, J. A. and R. M. Pickett. Evaluation of Diagnostic Systems: Methods from Signal Detection Theory. London: Academic Press, 1982. [82] Swets, J. A., et al. Assessement of Diagnostic Technologies, Science, 205 :753759 (1979). [83] Tavel, M. E., et al. Sensitivity and Specicity of Tests: Can the Silent Majority Speak, The American Journal of Cardiology, 60 :11671169 (1987). [84] Valenstein, P. N. Evaluating Diagnostic Tests with Imperfect Standards, American Journal of Clinical Pathology, 93 :252258 (1990).
BIBLIOGRAFIA
243
[85] Vida, Stephen. A Computer Program for Non-Parametric Receiver Operating Characteristic Analysis, Computer Methods and Programs in Biomedicine, 40 :95101 (1993). [86] Vida, Stephen. AccuROC for Windows 95, Version 1.2 . Department of Psychiatry, McGill University Health Center, Montreal General Hospital, 1650 Cedar Avenue, Montreal, Quebec, H3G 1A4, Canada, January 1999.

Tese doutACB

Diunggah oleh

Informasi Dokumen

Judul Asli

Hak Cipta

Format Tersedia

Bagikan dokumen Ini

Bagikan atau Tanam Dokumen

Opsi Berbagi

Apakah menurut Anda dokumen ini bermanfaat?

Apakah konten ini tidak pantas?

Hak Cipta:

Format Tersedia

Tese doutACB

Diunggah oleh

Hak Cipta:

Format Tersedia

Ana Cristina da Silva Braga

CURVAS ROC: ASPECTOS FUNCIONAIS E APLICACOES

Universidade do Minho Braga, Dezembro de 2000

Ana Cristina da Silva Braga

CURVAS ROC: ASPECTOS FUNCIONAIS E APLICACOES

Universidade do Minho Braga, Dezembro de 2000

Curvas ROC . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 2.6.1 2.6.2 Plano Unitrio . . . . . . . . . . . . . . . . . . . . . . 29 a Plano binormal . . . . . . . . . . . . . . . . . . . . . . 31

CONTEUDO 2.6.3 2.6.4

ii Indices de preciso das curvas ROC . . . . . . . . . . . 35 a Area abaixo da curva ROC . . . . . . . . . . . . . . . . 36 38

3 Estado da Arte 3.1

CONTEUDO 5.1.3 Funes densidade de probabilidade Exponenciais neco

Discusso . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129 a 131

6 Aplicaes co 6.1 A avaliao do risco de morte em recm-nascidos de muito ca e

CONTEUDO 6.2.1 6.2.2 6.2.3 6.3 Descrio dos dados ca

Resultados . . . . . . . . . . . . . . . . . . . . . . . . . 144 Discusso dos resultados . . . . . . . . . . . . . . . . . 150 a

Resultados Experimentais . . . . . . . . . . . . . . . . 159 Discusso dos resultados . . . . . . . . . . . . . . . . . 167 a 169

CONTEUDO 8.3 8.4

Discusso e concluso . . . . . . . . . . . . . . . . . . . . . . . 200 a a 202 208 213

Concluso a A Determinao das EMV ca B Teste de Wilcoxon-Mann-Whitney

C.1 ROCKIT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221 C.2 SPSS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228

4.2 Area acima do grco OD, para X e Y cont a nuas. . . . . . . . 58

5.4 Sobreposio de 2 distribuies para o caso b). ca co

5.6 Representao da curva ROC para a situao descrita em a), no plano ca ca

varincia no plano binormal. . . . . . . . . . . . . . . . . . . . . . 113 a

5.11 Representao das curvas ROC para distribuies Exponenciais negativas ca co

5.12 Representao das curvas ROC para distribuies Exponenciais negativas ca co

5.15 Sobreposio de duas funes densidade de probabilidade Exponenciais ca co

6.1 Distribuio de frequncias para os recm-nascidos de baixo peso que ca e e

6.2 Distribuio de frequncias para os recm-nascidos de baixo peso que ca e e

6.3 Distribuio de frequncias para os recm-nascidos de baixo peso que ca e e

Grco das curvas ROC para os 5 a ndices. . . . . . . . . . . . 139

6.7 Distribuio de frequncias para os bebs que faleceram e para os que ca e e

sobreviveram em funo da IGO (peso < 1500 g). . . . . . . . . . . . 146 ca

6.10 Distribuio de frequncias para os bebs que faleceram e para os que ca e e

6.13 Distribuio de frequncias segundo o CRIB, para os recm-nascidos de ca e e

6.14 Distribuio de frequncias segundo o CRIB, para os recm-nascidos de ca e e

6.15 Distribuio de frequncias segundo o CRIB, para os recm-nascidos de ca e e

LISTA DE FIGURAS 8.6 Janela de dados no ROCNPA para um conjunto de quatro

5.6 5.7 5.8 5.9

5.10 Resultados para a Exponencial negativa com nA = nN = 50

Matrizes de correlao determinadas pela metodologia de ca DeLong e de Hanley e McNeil. . . . . . . . . . . . . . . . . . . 140

Valores de A e SE(A) para as diferentes sequelas segundo a escala do CRIB. . . . . . . . . . . . . . . . . . . . . . . . . . . 164

Cap tulo 1 Introduo ca

CAP ITULO 1. INTRODUCAO

CAP ITULO 1. INTRODUCAO

CAP ITULO 1. INTRODUCAO

CAP ITULO 1. INTRODUCAO

CAP ITULO 1. INTRODUCAO

CAP ITULO 1. INTRODUCAO

Cap tulo 2 Teoria da Anlise ROC a

CAP ITULO 2. TEORIA DA ANALISE ROC

CAP ITULO 2. TEORIA DA ANALISE ROC

Efeito Sensorial (x)

Figura 2.1: Um exemplo do modelo de reconhecimento de Thurstone para representar a deteco. ca

CAP ITULO 2. TEORIA DA ANALISE ROC John Swets [80].

Teoria Estat stica

Figura 2.2: Distribuies de duas populaes. co co

CAP ITULO 2. TEORIA DA ANALISE ROC

CAP ITULO 2. TEORIA DA ANALISE ROC maximizar a potncia do teste. e

Figura 2.3: Representao de curvas caracter ca sticas de operao. ca

CAP ITULO 2. TEORIA DA ANALISE ROC

CAP ITULO 2. TEORIA DA ANALISE ROC

(para o caso discreto) (para o caso cont nuo).