NP
p=1
j=1
F
pj
(4.5)
O desvio padro dado pela frmula a seguir:
S
s
=
1
NP
NP
p=1
(F
p
F
s
)
2
(4.6)
O valor nal encontrado pela mtrica para a acessibilidade do stio corresponde probabilidade
de que um usurio com um determinado tipo de decincia encontre, ao utilizar o stio, barreiras
que o impeam de completar uma tarefa.
Nos estudos realizados no contexto deste trabalho de mestrado, no foram considerados os
conceitos de conana de teste para esta mtrica. A seguir, ilustrada a frmula simplicada para
o clculo de F
s
::
F
s
=
1
NP
NP
p=1
1
b
(1 W
ub
)
(
B
b
p
P
bp
+
B
pb
B
p
)
(4.10)
Ofator C
pb
, utilizado no expoente do fator multiplicativo o valor que descreve a complexidade
da pgina p em relao barreira b, que denido da seguinte forma:
C
pb
=
B
pb
P
pb
+
B
pb
B
p
(4.11)
CAPTULO 4. MTRICAS DE ACESSIBILIDADE 45
Os dados relevantes para o clculo de C
pb
so B
bp
(nmero de barreiras tipo b na pgina), P
pb
(nmero de barreiras potenciais do tipo b na pgina), e B
p
(nmero total de barreiras na pgina).
C
pb
deve satisfazer as seguintes condies:
Se nenhuma barreira do tipo b encontrada, no h nenhuma contribuio para a funo de
agregao. (B
pb
= 0 C
pb
= 0)
Se uma barreira do tipo b encontrada, isso ir diminuir o resultado da funo de agregao.
(B
pb
> 0 C
pb
> 0)
Essa funo leva em conta a relao das barreiras reais e barreiras em potencial. Alm da
relao de todas as falhas com o nmero de falhas para um tipo de barreira. Essa contribuio
adicional garante que essas barreiras sejam consideradas de acordo com a sua proporo global de
ocorrncia dentro de uma pgina Web.
Bhler et al. (2006) tambm reportam a realizao de um experimento inicial para efetuar a
validao do mtodo. O experimento foi realizado durante um teste com usurios. Participaram do
teste quinze usurios com decincia, dentre os quais havia um grupo de usurios cegos. Os auto-
res no informam o percentual de usurios cegos e nem quais eram os outros tipos de decincia
que os demais participantes possuam.
Para efetuar a comparao, foram computadas mtricas com ndices de barreiras de acessi-
bilidade diferentes, e tambm foi computado um ndice avaliado pelos usurios. O objetivo da
avaliao foi de vericar qual das mtricas fornecia uma melhor aproximao para a avaliao dos
usurios. Na comparao, foram computadas as mtricas do modelo de agregao do UWEM 0.5
(Cluster, 2006a), o modelo melhorado A3 e o modelo proposto por Sullivan e Matson (2000).
De forma geral, o mtodo A
3
foi o que se aproximou mais dos ndices dos usurios. O mtodo
de Sullivan e Matson (2000), apesar de simples, tambm obteve resultados satisfatrios.
Embora a validao tenha sido feita com um grupo pequeno de usurios, e com poucas pginas,
os resultados preliminares indicam que o mtodo A
3
apresenta vantagens em relao aos demais
mtodos.
4.8 Mtrica WAQM (Web Accessibility Quality Metric)
A mtrica WAQM (Web Accessibility Quality Metric) (Vigo et al., 2007) considera as diretri-
zes do WCAG 1.0 classicadas de acordo com os princpios do WCAG 2.0, de que o contedo
deve ser: perceptvel, opervel, inteligvel (understandable) e robusto. Ao contrrio das outras
mtricas apresentadas, esta mtrica tambm considera problemas identicados como warnings na
contagem.
No algoritmo para clculo da mtrica, basicamente os pontos de vericao so divididos em
doze grupos, derivados da combinao das seguintes possveis variaes:
46 4.8. MTRICA WAQM (WEB ACCESSIBILITY QUALITY METRIC)
Princpio: pontos de vericao contidos no conjunto {P, O, U, R}, referentes aos quatro
princpios do WCAG 2.0.
Tipo de assertiva: pontos de vericao dados como erros (errors) ou avisos (warnings), no
conjunto {e, w};
Prioridade: pontos de vericao de prioridades denidas no conjunto {1, 2, 3} do WCAG
1.0.
So utilizadas duas abordagens diferentes para o clculo do WAQM, utilizando a aproximao
de uma hiprbole. Uma deciso tomada, com base em valores obtidos experimentalmente, para
escolher qual das duas frmulas deve ser utilizada. A frmula resumida ilustrada a seguir. A va-
rivel N
x
denota o nmero de pontos de vericao feridos para um dado princpio. Por exemplo,
quando x = p, N
p
o nmero de pontos de vericao violados para o princpio perceptvel.
A varivel N corresponde ao nmero total de pontos de vericao observados. A varivel N
xy
denota o nmero de pontos de vericao para um dado princpio e tipo de assertiva. Por exem-
plo, N
p,e
denota o nmero de pontos de vericao para o princpio perceptvel que podem ser
denidos como erros.
Os pesos W
z
foram denidos pelos autores do trabalho experimentalmente como W
1
= 0.80,
W
2
= 0.16 and W
3
= 0.04. Os valores da mtrica variam entre 0 e 100, onde 100 corresponde
a stios com boa acessibilidade, ao contrrio de outras mtricas, em que valores altos se referem
a pginas com mais barreiras de acessibilidade. Com os pesos denidos desta forma, o total dos
pontos de vericao de prioridade 1 somam um total de 80 pontos, os de prioridade 2 somam 16
pontos e de prioridade 3, 4 pontos, totalizando a nota mxima de 100 pontos.
WAQM =
1
T
T
j=1
x{p,o,u,r}
NT
x
NT
y{e,w}
NT
xy
NT
x
z{1,2,3}
W
z
A
xyz
(4.12)
Para efetuar o clculo do peso de cada ponto de vericao, adotada uma abordagem baseada
em uma aproximao por meio de uma hiprbole. Na Figura 4.2, traduzida e adaptada de Vigo et
al. (2007) apresentada uma representao grca dessa aproximao. Com essa aproximao,
na regio onde esto concentrados a maioria dos resultados da avaliao, o grco apresenta uma
distribuio mais discriminativa, espalhando melhor os valores, segundo os autores.
Desta forma, a denio do fator A
xyz
feita de acordo com a frmula descrita a seguir. As
constantes a e b foram denidos por Vigo et al. (2007) empiricamente como a = 20 e b = 0.3.
A
xyz
=
(
b
xyz
B
xyz
)(
100
b
) + 100,
b
xyz
B
xyz
<
a100
a100/b
a(
b
xyz
B
xyz
) +a, caso contrario
(4.13)
Os autores apresentam testes efetuados com duas ferramentas automticas diferentes para 15
stios Web e feita uma comparao com algumas pr-condies denidas pelos prprios autores.
CAPTULO 4. MTRICAS DE ACESSIBILIDADE 47
Figura 4.2: Aproximao do clculo da mtrica WAQM por uma hiprbole (Vigo et al., 2007)
Contudo, nenhuma comparao da mtrica em relao a outras, nem comparao das mtricas
obtidas em relao a resultados de testes com usurios so apresentados.
4.9 Consideraes nais
Neste captulo foram apresentados alguns conceitos e trabalhos relacionados a mtricas de
acessibilidade.
Foram apresentadas algumas das principais mtricas de acessibilidade reportadas na literatura,
com especial destaque para as mtricas WAB, UWEM, A3 e WAQM, utilizadas nos estudos de
caso e, posteriormente, no levantamento com pessoas envolvidas em projetos Web.
A necessidade de estabelecer mtodos para realizao de anlises quantitativas se mostra como
um aspecto muito importante. Pode-se observar que a partir da primeira proposta de utilizao
de uma abordagem quantativa para anlise da acessibilidade no ano de 2000 (Sullivan e Matson,
2000), passando pelos estudos de Gonzlez et al. (2003), o interesse pela investigao deste tema
tem sido crescente nos ltimos anos (Parmanto e Zeng, 2005; Cluster, 2006b; Bhler et al., 2006;
Vigo et al., 2007).
Contudo, tambm verica-se que exite uma grande necessidade de estabelecer mecanismos
para que a utilizao dessas mtricas leve em considerao os impactos dos problemas de acessi-
bilidade enfrentados por cada tipo de usurio. Em particular, o estabelecimento de coecientes a
partir das experincias de usurios com diferentes tipos de decincias tem sido apontado como
um dos grandes desaos a serem alcanados no projeto UWEM (Cluster, 2006b; Bhler et al.,
2006).
48 4.9. CONSIDERAES FINAIS
No prximo captulo, so apresentadas as atividades relacionadas com a implementao de um
mdulo para apoiar o clculo das mtricas apresentadas a partir de avaliaes com ferramentas
automticas baseadas em diretrizes.
CAPTULO
5
Hera metrics: mdulo para clculo de
mtricas
5.1 Consideraes iniciais
A utilizao de mtricas quantitativas para anlise de atributos de qualidade de software
muito importante para apoiar as atividades de garantia de qualidade. Entretanto, muitas vezes o
clculo dessas mtricas pode ser muito dispendioso. A utilizao de ferramentas adequadas para
apoiar as atividades para coleta de dados e clculo de mtricas muito importante para viabilizar
a utilizao de processos de medio de maneira eciente.
Desta forma, no contexto deste projeto, aps efetuar o estudo sobre as mtricas de acessibili-
dade existentes na literatura, foi desenvolvido um mdulo para clculo dessas mtricas por meio
de uma ferramenta de avaliao de acessibilidade baseada nas diretrizes do WCAG 1.0 (W3C,
1999a).
Para efetuar a implementao deste mdulo, foram analisadas diferentes ferramentas de ava-
liao disponveis, enumeradas na Tabela 2.1. Foram consideradas as ferramentas de avaliao
disponveis como sofware de cdigo aberto com licena livre.
49
50 5.1. CONSIDERAES INICIAIS
As ferramentas consideradas para a anlise foram a Hera
1
, A-Checker
2
, a Functional Accessi-
bility Evaluator
3
, a WAEX
4
a WAHelper
5
e a WAVE
6
.
Como primeiro passo, foi feita a instalao de cada uma das ferramentas a serem analisadas.
Apesar de terem sido declaradas como ferramentas de cdigo aberto, as ferramentas WAHelper e
Functional Accessibility Evaluator no disponibilizavam o cdigo para acesso em nenhum local,
impossibilitando sua instalao.
A ferramenta WAEX se apresentou a princpio como uma alternativa bastante interessante,
pelo fato de utilizar transformaes XSLT (W3C, 1999b) para efetuar a avaliao das pginas, o
que destaca a preocupao com o uso de padres Web. Contudo, a utilizao desta tecnologia
limitava a utilizao da ferramenta para a avaliao de pginas que necessariamente estivessem em
formato XHTML (W3C, 2002b), excluindo pginas em HTML 4.0 (W3C, 1999) ou anterior que
no estivessem em conformidade com o padro XHTML.
As ferramentas WAVE e A-Checker tambm foram instaladas e examinadas. As duas ferramen-
tas foram implementadas em linguagem Java. A ferramenta WAVE se mostrou bastante ecaz para
a avaliao. Contudo, na anlise do cdigo vericou-se que a sua API no fornecia uma interface
adequada para obter os problemas de acessibilidade para clculo das mtricas de forma objetiva.
A ferramenta A-Checker se mostrou bastante interessante para uso, pois possui uma implementa-
o bastante modular e oferece recursos para adaptar facilmente o conjunto de diretrizes utilizado
para avaliao. Entretanto, vericou-se que esta ferramenta ainda possui muitos problemas de de-
sempenho, pois exigia muitos recursos de processamento e memria, alm de que constantemente
estava indisponvel.
Finalmente, a ferramenta Hera mostrou-se a ferramenta mais adequada para efetuar as modi-
caes necessrias para efetuar clculos de mtricas de acessibilidade. A ferramenta implemen-
tada em PHP e tambm tem o seu cdigo modular, facilitando o entendimento e a realizao de
trabalhos de manuteno. Apesar de tambm apresentar problemas de desempenho, vericou-se
que normalmente a ferramenta no tinha problemas srios de disponibilidade.
Este captulo est organizado da seguinte forma: na Seo 5.2 so apresentados os estudos rea-
lizados sobre a ferramenta Hera 2.0, na Seo 5.3 apresentada a implementao do mdulo para
clculo de mtricas, na Seo 5.4 so apresentados os estudos de caso realizados com avaliao
de acessibilidade baseada em mtricas de stios governamentais brasileiros e, nalmente, na Seo
5.5 so discutidas as consideraes nais deste captulo.
1
Disponvel em http://www.sidar.org/hera
2
Disponvel em http://checker.atrc.utoronto.ca/
3
Disponvel em http://fae.cita.uiuc.edu/
4
Disponvel em http://www.it.uc3m.es/vlc/waex.html
5
Disponvel em http://wahelper.brailcom.org/
6
Disponvel em http://wave.webaim.org/
CAPTULO 5. HERA METRICS: MDULO PARA CLCULO DE MTRICAS 51
5.2 Estudo sobre a ferramenta Hera 2.0
A partir da escolha da ferramenta Hera para efetuar a implementao do mdulo para clculo
de mtricas, foi feito um estudo sobre o funcionamento da ferramenta. Na pgina da ferramenta
havia pouca documentao disponvel. Somente algumas descries bsicas sobre cada mdulo
eram disponibilizadas.
Desta forma, a maior parte do estudo teve que ser feita a partir do cdigo-fonte, utilizando o
procedimento de engenharia reversa para gerar as devidas descries e modelos da ferramenta.
Parte da ferramenta foi implementada utilizando o paradigma de orientao a objetos, mas
algumas partes foram implementadas utilizando programao estruturada. Assim, parte da descri-
o da ferramenta aqui reportada ser feita por meio de diagramas de classes e parte com descrio
sobre as funcionalidades e funes disponveis nas bibliotecas.
A ferramenta Hera 2.0 considerada uma ferramenta de avaliao de acessibilidade semi-
automtica. Ela apresenta funcionalidades para a realizao de avaliaes preliminares de forma
automtica para um subconjunto de diretrizes e fornece suporte para a realizao de avaliao
manual por especialistas. A ferramenta tambm prov funcionalidades para gerao de relatrios.
Na Figura 5.1, adaptada e traduzida de Benavdez et al. (2006) apresentada a estrutura bsica
da ferramenta. Verica-se que o uxo convencional para utilizao em avaliaes consiste em efe-
tuar uma avaliao preliminar automaticamente e, em seguida, efetuar uma inspeo manual. Para
a inspeo manual, a ferramenta disponibiliza diversos auxlios, como ajuda com as diretrizes, vi-
sualizao de sumrio dos resultados at o momento, instrues gerais para avaliao, visualizao
grca da pgina com indicao dos lugares onde ocorreu cada erro, visualizao do cdigo fonte
e insero dos resultados de avaliao. Aps efetuar a avaliao, a ferramenta tambm oferece
suporte para gerao de relatrios em formato HTML, PDF ou EARL (W3C, 2007a).
Na organizao de sua estrutura de arquivos, a ferramenta possui trs grandes grupos: a) arqui-
vos para processamento de interface com o usurio, b) bibliotecas e classes para implementao
das funcionalidades e c) arquivos para tratamentos de localizao para diferentes lnguas.
Nas funcionalidades para tratamento da interface, existem arquivos com a pgina inicial da
busca, avaliao de contraste de cores, visualizao dos resultados, gerao de relatrios e as
folhas de estilo.
Para efetuar a localizao, foram utilizados arquivos com as denies dos termos na interface,
separados em grupos: nomes dos elementos revistos, textos de ajuda, textos da interface em geral,
textos dos manuais para os pontos de vericao, textos para visualizao da pgina com erros,
textos das diretrizes, informaes sobre pontos de vericao, e outros tipos de mensagens.
A ferramenta tambm possui outros mdulos para manipulao das funcionalidades e para
apoio gerao de interface. Contudo, o principal interesse no contexto deste projeto era referente
s funcionalides de parsing e de avaliao de acessibilidade. Desta maneira, nesta dissertao
apresentado somente um modelo das classes que so referentes a essas funcionalidades.
52 5.2. ESTUDO SOBRE A FERRAMENTA HERA 2.0
Figura 5.1: Estrutura bsica da ferramenta Hera 2.0 (Benavdez et al., 2006)
Na Figura 5.2 so apresentadas as principais caractersticas das classes File, Parse e Resumen.
A classe File contm funes para manipulao dos arquivos avaliados e para o tratamento inicial
do texto, realizando as primeiras etapas do parsing. No classe Parse so feitas as anlises dos
problemas de acessibilidade para cada elemento HTML. A classe Resumen responsvel pelo
tratamento dos dados para a exibio dos relatrios-resumo.
Figura 5.2: Diagrama com as principais classes utilizadas para avaliao na ferramenta Hera 2.0
CAPTULO 5. HERA METRICS: MDULO PARA CLCULO DE MTRICAS 53
A principal classe utilizada para o clculo das mtricas a classe parse, que contm infor-
maes sobre o nmero de problemas encontrados para cada ponto de vericao. O atributo tot
corresponde a um array indexado pelo nmero de cada ponto de vericao ou pelo nome do ele-
mento HTML. Por exemplo, tot[102] corresponde ao nmero de falhas do ponto de vericao
10.2. O atributo pto tambm um array, e cada elemento indica o resultado do teste de cada ele-
mento, que pode ser mal (teste automtico falhou), bien (teste automtico passou), duda (no pode
ser testado automaticamente) e NA (no aplicvel).
5.3 Mdulo para clculo de mtricas de acessibilidade
Aps a realizao dos estudos sobre a ferramenta, foi feito o projeto para a implementao do
mdulo para clculo de acessibilidade a partir da ferramenta Hera 2.0.
Como se tratava de umdesenvolvimento bastante pontual, foi feito umprojeto simples por meio
de um processo de software do tipo cascata, com uma interao. Foram levantados os principais
requisitos para o mdulo (que no eram atendidos pela verso atual da ferramenta), seguido da
adaptao do diagrama de classes, implementao e teste.
Requisitos
De forma geral, os principais requisitos do mdulo implementado foram: de fornecer auxlio
para o clculo de mtricas de acessibilidade a partir de uma ferramenta de avaliao autom-
tica; e e de prover funcionalidades para a automatizao da avaliao de grandes quantidades
de pginas.
Requisitos Funcionais
RF1. O mdulo deve automatizar o clculo de mtricas de acessibilidade a partir de
avaliaes por reviso de diretrizes do WCAG 1.0 feitas por ferramenta automtica.
RF2. O mdulo deve automatizar o clculo de problemas em potencial para cada ponto
de vericao das diretrizes do WCAG 1.0, para auxiliar o clculo de mtricas por
avaliaes manuais.
RF3. O mdulo deve fornecer meios para obter diferentes mtricas de acessibilidade
a partir da mesma avaliao, e em princpio deve implementar as mtricas: problemas
potenciais, WAB, UWEM, A3 e WAQM.
RF4. O mdulo deve fornecer uma interface para ser utilizada por outros programas
para a automatizao de clculos de mtricas.
RF5. O mdulo deve permitir a alterao dos pesos aplicados a cada barreira de aces-
sibilidade.
RF6. O mdulo deve permitir a totalizao de barreiras por ponto de vericao e totais
por diretrizes.
54 5.3. MDULO PARA CLCULO DE MTRICAS DE ACESSIBILIDADE
RF7. O mdulo deve permitir a relao entre as diretrizes e os princpios de acessibili-
dade do WCAG 2.0.
Requisitos No-Funcionais
RNF1. O mdulo deve ser facilmente extensvel para acomodar o clculo de outras
mtricas que venham a ser denidas.
RNF2. O mdulo deve ter uma baixa complexidade para clculo das mtricas, de modo
a no aumentar o tempo necessrio para efetuar avaliaes inerente ferramenta.
Projeto
A partir dos requisitos elaborados, foi feito o projeto do mdulo para clculo de mtricas
de acessibilidade por meio da adaptao do projeto da ferramenta Hera 2.0 apresentado na
Subseo 5.2. Na Figura 5.3 apresentado o novo diagrama de classes com a classe Metric,
que faz uso das classes Parse e File.
Figura 5.3: Diagrama com as principais classes utilizadas para avaliao na ferramenta Hera 2.0
com o mdulo de clculo de mtricas
Os objetos da classe Metric possuem informaes referentes aos nmeros relevantes para
o clculo de barreiras em uma dada pgina. Levou-se em considerao que cada ponto de
vericao pode ter mais de um caso de teste relacionado. Assim, foram denidos atributos
para armazenar os nmeros para cada caso de teste e os totais para cada ponto de vericao.
A seguir, apresentada uma breve descrio de cada um dos atributos:
url: URL da pgina avaliada;
CAPTULO 5. HERA METRICS: MDULO PARA CLCULO DE MTRICAS 55
potential: nmero de problemas em potencial de cada teste;
barriers: nmero de barreiras de cada teste;
priority: prioridade de cada teste, variando entre 1, 2 ou 3;
principle: princpio de acessibilidade do WCAG2.0 correspondente (perceivable, operable,
understandable, robust);
type: indicao se o teste avaliado automaticamente ou manualmente;
pot_checkpoint: nmero de total de problemas em potencial para um ponto de vericao;
bar_checkpoint: nmero total de barreiras encontradas para um ponto de vericao;
priority_checkpoint: prioridade de um ponto de vericao, variando entre 1, 2 e 3;
principle_checkpoint: princpio de acessibilidade do WCAG 2.0 do ponto de vericao;
resume: objeto serializado com o resultado da avaliao obtido por meio da ferramenta
Hera.
Implementao
A partir do projeto realizado, foi feita a implementao do mdulo para clculo de mtricas
utilizando a ferramenta Hera 2.0.
A principal tarefa realizada durante a implementao dos mtodos identicados foi a de
identicar na ferramenta Hera onde eramarmazenados os totais de problemas e de elementos
encontrados para cada teste.
Para cada teste, deveriam ser totalizados: a) o nmero de barreiras relevante para ele (obtida
por meio do atributo tot da classe parse, indexado pelo nmero do teste), b) o nmero de
barreiras potenciais (obtida por meio dos elementos relevantes para o teste em tot, indexado
pelo nome do elemento), c) a prioridade do teste, d) o princpio do WCAG 2.0 referente ao
teste.
A atribuio da prioridade do teste e do princpio do WCAG 2.0 equivalente foi efetuada por
meio de uma vericao manual de cada teste e da equivalncia entre as diferentes verses
do WCAG.
Aps a implementao da funo para contagem das barreiras e problemas potenciais para
cada teste, foram implementados os mtodos com os diferentes algoritmos de clculos das
mtricas de problemas potenciais, UWEM, A3 e WAQM.
Em cada mtodo, possvel especicar se devem ser considerados somente os testes reali-
zados automaticamente ou se os testes manuais tambm devem ser considerados, com vistas
a auxiliar na gerao de relatrios para mtricas calculadas manualmente.
Testes
56
5.4. ESTUDOS DE CASO: ANLISE DA ACESSIBILIDADE DE STIOS
GOVERNAMENTAIS BRASILEIROS
Em seguida implementao, foram realizados testes visando vericar se o mdulo funcio-
nava corretamente para casos de avaliaes efetuadas automaticamente. Foi implementado
um programa que utilizava o mdulo e que retornava todas as mtricas implementadas.
Foramrealizados testes compginas comproblemas de acessibilidade conhecidos, e vericou-
se se os nmeros gerados para cada caso de teste eram coerentes com os problemas co-
nhecidos. Nesses testes, foram identicados problemas com a identicao do nmero de
problemas em potencial, resultantes da identicao incorreta dos elementos relevantes para
cada vericao pela ferramenta. Tambm foram identicados alguns problemas pontuais
em alguns dos algoritmos para clculo das mtricas.
Aps a identicao dos problemas, foram realizadas as devidas modicaes para correo
destes.
Alm dos testes funcionais realizados, foram realizados estudos de caso mais elaborados para
validao do mdulo. Na prxima seo, so apresentados detalhes sobre a realizao dos estudos
de caso.
5.4 Estudos de caso: anlise da acessibilidade de stios
governamentais brasileiros
Antes de realizar a avaliao dos stios informados pelos participantes do levantamento com
pessoas envolvidas em projetos de desenvolvimento de sistemas Web, foram realizados estudos de
caso visando validar o mdulo para clculo de mtricas de acessibilidade desenvolvido.
Foram realizados dois estudos de caso com avaliaes automticas e um terceiro estudo de
caso com uma avaliao manual feita por especialistas. Neste terceiro estudo de caso, o mdulo foi
utilizado para auxiliar na gerao dos relatrios para calcular as mtricas e identicar os nmeros
de problemas em potencial para cada ponto de vericao.
Neste terceiro estudo (Freire et al., 2007d), foram feitas avaliaes de pginas de trs ferra-
mentas de aprendizado eletrnico: o TIDIA-Ae (Fapesp, 2008), o SAKAI (Fundao Sakai, 2008)
e o Moodle (Moodle, 2008). Esta avaliao foi importante para observar como o uso das mtricas
pode auxiliar na comparao da acessibilidade de diferentes sistemas. O ambiente Moodle foi o
que apresentou os menores ndices de barreiras. Tambm foi interessante observar que as mtricas
A3, UWEM e WAB apresentavam dados bastante concordantes com os resultados obtidos a par-
tir das avaliaes realizadas utilizando leitores de tela para cegos. A mtrica WAQM, entretanto,
apresentou alguns resultados que distoavam dos resultados obtidos pelas outras mtricas.
Os outros dois estudos de caso foram realizados com portais governamentais brasileiros utili-
zando somente avaliao automtica com a ferramenta Hera 2.0 por meio da reviso de diretrizes.
Esses estudos de caso se aproximam mais do cenrio de utilizao com grandes volumes de dados,
para o qual o mdulo foi projetado.
CAPTULO 5. HERA METRICS: MDULO PARA CLCULO DE MTRICAS 57
O primeiro estudo de caso, relatado na Subseo 5.4.1 se refere avaliao dos stios dos
governos estaduais brasileiros entre 1996 e 2007. O segundo estudo de caso, relatado na Subseo
5.4.2 se refere avaliao dos stios dos governos municipais no ano de 2007.
Nesses estudos de caso, somente considerados na avaliao somente os pontos de vericao
do WCAG 1.0 que podiam ser avaliados automaticamente. A seguir so enumerados os pontos de
vericao considerados. A lista completa com a descrio das diretrizes e pontos de vericao
est disponvel no Apndice B.
Diretriz 1: pontos de vericao 1.1 e 1.5;
Diretriz 3: pontos de vericao 3.2, 3.3, 3.4 e 3.5;
Diretriz 4: ponto de vericao 4.3;
Diretriz 5: ponto de vericao 5.5;
Diretriz 6: pontos de vericao 6.2, 6.3 e 6.5;
Diretriz 7: pontos de vericao 7.4 e 7.5;
Diretriz 9: pontos de vericao 9.5;
Diretriz 10: pontos de vericao 10.2, 10.4 e 10.5;
Diretriz 11: pontos de vericao 11.1 e 11.2;
Diretriz 12: pontos de vericao 12.1, 12.2, 12.3 e 12.4.
Em todas as avaliaes, tambm foram utilizados os mesmos valores para as constantes utili-
zadas nas mtricas. Para as mtricas A3 e UWEM, como ainda no esto denidos valores para
os pesos obtidos experimentalmente, foram utilizados valores xos para os pontos de vericao,
de forma que a soma dos pesos atribudos para todos os pontos de vericao resultassem em um,
considerando os diferentes nveis de prioridade. Para pontos de vericao de prioridade 1, o valor
W
b
foi denido como 0,0236, para prioridade 2, como 0,0157 e para prioridade 3, como 0,0079,
de forma que a soma de todos os pesos resultasse em 1.
Na mtrica WAQM, foram utilizados os mesmos valores denidos por Vigo et al. (2007). O
peso W
z
= 0, 80 foi denido para pontos de vericao de prioridade 1, W
z
= 0, 16 para priori-
dade 2 e W
z
= 0, 04 para prioridade 3.
As mtricas de problemas potenciais (Sullivan e Matson, 2000) e mtrica para usurios cegos
(Gonzlez et al., 2003) no foram consideradas para as avaliaes. Neste trabalho, considerou-se
que essas mtricas foram muito importantes para a denio de conceitos utilizados em mtricas,
mas que no apresentavam diretrizes claras para a denio de pesos mais acurados.
58
5.4. ESTUDOS DE CASO: ANLISE DA ACESSIBILIDADE DE STIOS
GOVERNAMENTAIS BRASILEIROS
5.4.1 Acessibilidade nos stios dos governos estaduais brasileiros
de 1996 a 2007
O primeiro estudo de caso realizado, referente avaliao dos stios Web dos governos esta-
duais brasileiros, teve como principal objetivo vericar a adequao do mdulo para clculo de
mtricas para avaliaes em larga escala e para vericar a adequao das mtricas para este tipo
de anlise.
Alm desses objetivos, tambm foi objetivo a vericao da evoluo da acessibilidade desses
stios no perodo entre 1996 e 2007. Em dezembro de 2004, com a promulgao do Decreto/Lei
No. 5.296, estabeleceu-se um prazo de 12 meses para que todos os portais governamentais fossem
adequados para acomodar requisitos de acessibilidade. Assim, tambm foi proposta a vericao
da hiptese de que essa determinao tenha sido realmente cumprida ou no no prazo estipulado.
Para recuperar as verses antigas das pginas, foi utilizada a ferramenta Way Back Machine
(Internet Arquive, 2008) do Projeto Internet Archive. Neste projeto, foram feitas amostragens de
pginas de toda a internet em diferentes dias, desde 1996. Essas pginas foram armazenadas em
um servidor para posterior recuperao.
Na anlise, utilizou-se a primeira ocorrncia vlida do stio de cada governo estadual de cada
ano. Para o ano de 2007, utilizou-se a verso do dia 1 de setembro de 2007, pois at a data da
realizao, as amostras do ano de 2007 no estavam disponveis por meio do Way Back Machine.
Para obter mtricas de acessibilidade mais precisas, alm da avaliao da pgina principal
de cada stio, tambm foi feita a avaliao de todas as pginas que se encontravam no nvel de
hierarquia imediatamente abaixo da pgina principal. Desta forma, foi feita a avaliao de um
total de 1.232 pginas, correspondendo a uma mdia de 45,63 pginas por stio. A ferramenta
HTTrack (Httrack, 2008) foi utilizada para efetuar a varredura dos links nas pginas e para fazer
cpia de todos os arquivos das pginas a serem avaliadas. Esta etapa levou em torno de 10 horas
para completar o processamento.
Aps efetuar a coleta das pginas por meio do crawler, foi efetuada a avaliao com clculo
de mtricas para todas as pginas coletadas a partir das URLs armazenadas em banco de dados
MySQL. O tempo total de processamento em torno de 8 horas. A avaliao de cada pgina levou
em torno de 23 segundos.
Nesta seo apresentado um sumrio com os principais dados obtidos apenas com a m-
trica WAB. Os resultados completos com todas as anlises histricas de todas as mtricas esto
disponveis no Apndice D.
A primeira anlise efetuada teve o objetivo de vericar o grau de correlao entre as mtricas,
para analisar a adequao de cada uma delas para as anlises. Na Figura 5.4 apresentado o
grco de disperso com os coecientes de correlao de Pearson para as mtricas A3, UWEM,
WAB e WAQM gerado por meio do ambiente estatstico R (R Development Core Team, 2007).
No quadrante da direita, apresentado o grco de disperso relacionando as anlises dos dados
CAPTULO 5. HERA METRICS: MDULO PARA CLCULO DE MTRICAS 59
referentes s mtricas duas a duas, e no quadrante da esquerda apresentado o coeciente de
correlao correspondente. Por exemplo, o grco da primeira linha na terceira coluna referente
ao grco de disperso das mtricas A3 e WAB, e o valor na terceira linha na primeira coluna
o coeciente de correlao correspondente a este grco para as duas mtricas. Pode-se observar
que, de forma geral, as mtricas A3, UWEM e WAB tm um ndice de correlao alto, o que
indica que elas apresentam resultados que esto em concordncia. A mtrica WAQM, entretanto,
apresenta resultados com um ndice de correlao baixo, o que indica que ela est em discordncia
com as demais mtricas.
Figura 5.4: Grco de disperso e coecientes de correlao de Pearson para as diferentes
mtricas na anlise dos stios dos governos estaduais
Desta forma, optou-se por utilizar a mtrica WAB para as anlises e comparaes, por utilizar
pesos baseados nas prioridades dos pontos de vericao e por ser de mais fcil entendimento.
As mtricas UWEM e A3 so bastante promissoras por permitir o uso de pesos obtidos por meio
de experimentos com usurios. Contudo, como esses pesos ainda no esto disponveis, as m-
tricas no foram escolhidas. Alm disso, o modelo matemtico utilizado nessas mtricas mais
complexo, o que diculta o entendimento dos resultados.
Na Figura 5.5 apresentado um grco mostrando a relao entre os ndices WAB dos stios
Web dos governos estaduais em 2004 (eixo das abcissas) e em 2006 (eixo das ordenadas). Neste
grco, os estados na parte superior da linha que divide o quadrante correspondem aos estados que
tiveram um aumento no ndice WAB, e os estados que esto abaixo correspondem a estados que
60
5.4. ESTUDOS DE CASO: ANLISE DA ACESSIBILIDADE DE STIOS
GOVERNAMENTAIS BRASILEIROS
tiveram uma diminuio no ndice. Assim, verica-se que, apesar da determinao do Decreto Lei
No. 5.296 de 2004, muitos stios (37%) pioraram o ndice de acessibilidade ao invs de diminu-lo.
Figura 5.5: Comparao entre os ndices WAB dos stios Web dos governos estaduais entre 2004
e 2006
Com a realizao de um teste t, vericou-se que tambm no possvel armar, com nvel de
signicncia de 5%, que tenha havido diferenas signicativas entre as mdias dos ndices WAB
entre 2004 e 2006 (p-valor = 0,3842).
5.4.2 Acessibilidade nos stios das prefeituras municipais brasilei-
ras
A realizao dos estudos de caso com os stios das prefeituras municipais do Brasil (Freire et
al., 2008) contou com a utilizao de uma outra ferramenta, denominada EGOVMeter (Bittar et
al., 2005).
Aferramenta EGOVMeter, desenvolvida emumprojeto de mestrado no Departamento de Com-
putao da UFSCar (Bittar, 2006) um crawler que faz estatsticas peridicas sobre os stios Web
das prefeituras municipais do Brasil.
O procedimento utilizado para a realizao desse estudo de caso iniciou com a obteno da
lista de todos os stios Web das prefeituras encontrados pela ferramenta EGOVMeter. Em seguida,
essas URLs seriam foram avaliadas utilizando o mdulo Hera metrics, descrito na Subseo 5.3.
CAPTULO 5. HERA METRICS: MDULO PARA CLCULO DE MTRICAS 61
A execuo da EGOVMeter em setembro de 2007 foi efetuada a partir de uma lista com
5.551 municpios cadastrados a partir de dados obtidos do IBGE. Desses municpios, 1.980 de-
les (37,67%) tinham um stio na Web.
Tabela 5.1: Stios Web dos governos municipais por regies
Regio Mun. Mun.
com stios
Web
Percentual
Sul 1188 466 39.23%
Sudeste 1668 771 46.22%
Centro-oeste 458 148 32.31%
Nordeste 1790 516 28.82%
Norte 447 79 17.67%
Os resultados da Tabela 5.1 mostram que as regies mais desenvolvidas do pas (sul e sudeste)
tm o maior percentual de municpios com stios Web.
Da mesma forma que na avaliao dos stios dos governos estaduais, tambm foi feita a avali-
ao das pginas em dois nveis da hierarquia da navegao. Desta forma, foi feita a avaliao de
um total de 26.250 pginas, correspondendo a uma mdia de 13,25 pginas por stio. A ferramenta
HTTrack (Httrack, 2008) foi utilizada para efetuar a varredura dos links nas pginas e para fazer
cpia de todos os arquivos das pginas a serem avaliadas. Esta etapa levou em torno de dois dias
para completar o processamento.
Em seguida, foram realizadas as avaliaes por meio do mdulo Hera metrics. Foi feito um
programa para efetuar o clculo das mtricas a partir de cada URL armazenada em um banco de
dados MySQL. A execuo da avaliao sobre as pginas levou em torno de 134 horas (aproxi-
madamente 6 dias). Com esses dados, verica-se que a execuo da avaliao e do clculo das
mtricas levou em mdia 18 segundos por pgina.
A seguir, so sumarizados os resultados das mdias obtidas para cada uma das cinco regies
geogrcas do Brasil. Na Tabela 5.2 so apresentados os resultados para a mtrica WAB, que no
possui limitante superior. Porm, com os pontos de vericao adotados neste trabalho, o valor
mximo que poderia ser alcanado o de 12,5.
Tabela 5.2: Resultados da avaliao dos stios dos governos municipais com a mtrica WAB
Regio Mdia Desvio padro
Sul 2.67 1.1
Sudeste 2.78 0.97
Centro-oeste 3.07 0.95
Nordeste 2.83 1.12
Norte 2.71 0.86
Pode-se observar que, na mdia, os stios Web dos municpios brasileiros tm um nvel alto de
barreiras de acessibilidade.
62 5.5. CONSIDERAES FINAIS
Os resultados tambm mostram que no h uma diferena signicativa entre as mdias dos
ndices de barreiras das diferentes regies.
5.5 Consideraes nais
Neste captulo, foram apresentadas as principais atividades desenvolvidas e as discusses en-
volvidas com a construo de um mdulo para apoiar o clculo de mtricas de acessibilidade a
partir de avaliaes automticas baseadas em diretrizes de acessibilidade.
O desenvolvimento do mdulo Hera Metrics foi descrito, desde o trabalho de engenharia re-
versa da ferramenta Hera 2.0 at os testes realizados com o mdulo.
Esse mdulo de mtricas foi desenvolvido com o intuito de apoiar a realizao do levantamento
sobre a percepo da acessibilidade por pessoas envolvidas em projeto Web. Entretanto, antes
de efetuar o uso do mdulo para o seu m maior, foram realizados dois estudos de caso com a
avaliao por meio de mtricas de stios Web de governos estaduais e municipais.
A partir da realizao desses estudos de caso, foi possvel obter dados interessantes sobre a
acessibilidade nos stios governamentais brasileiros, bem como apontar a falta do cumprimento
das determinaes da nossa legislao para acessibilidade. Alm disso, esses estudos de caso
tambm foram muito importantes para vericar a eccia do uso de mtricas para avaliao de
grandes quantidades de dados.
Pelas anlises de correlao dos resultados, vericou-se que as mtricas A3, UWEM e WAB de
forma geral tm comportamentos concordantes, enquanto que a mtrica WAQM apresenta alguns
resultados que discordam das demais. Por meio dessa anlise, optou-se por utilizar a mtrica WAB
para as anlises, pelo fato de ela tambm ser mais simples de entender e por ela utilizar de maneira
mais direta os dados obtidos por meio de avaliaes por diretrizes.
No prximo captulo, so apresentados o procedimento para realizao do levantamento com
pessoas envolvidas em projeto Web e os resultados deste levantamento.
CAPTULO
6
Levantamento com pessoas envolvidas
em projetos Web no Brasil
6.1 Consideraes iniciais
Apesar do reconhecimento da importncia da acessibilidade na Web pelos governos de diversos
pases, por muitas indstrias e instituies de pesquisa, diversos levantamentos recentes mostram
que existe um grande nmero de stios que apresentam problemas de acessibilidade (Chen et al.,
2006) (Hackett et al., 2004) (Goette et al., 2006).
Um dos motivos que tem grande impacto sobre a acessibilidade dos stios desenvolvidos a
falta de conhecimento sobre acessibilidade pelas pessoas envolvidas em projetos Web. Verica-se
que a maior parte dessas pessoas tem pouco ou nenhum treinamento sobre conceitos e tcnicas de
acessibilidade.
Neste captulo, so discutidos os resultados do levantamento efetuado com pessoas envolvidas
em projetos Web. Na Seo 6.2 so apresentados os principais conceitos relacionados a pesquisas
de levantamento utilizados neste trabalho. Na Seo 6.3 so apresentados trabalhos relacionados.
Na Seo 6.4 so apresentados o planejamento do levantamento e a conduo do levantamento.
Na Seo 6.5 so discutidos os resultados e a anlise estatstica e, nalmente, na Seo 6.6 so
apresentadas as consideraes nais deste captulo.
63
64 6.2. PESQUISAS DE LEVANTAMENTO
6.2 Pesquisas de levantamento
O conhecimento sobre detalhes importantes das pesquisas do tipo levantamento foi importante
para nortear a metodologia utilizada nesta parte do trabalho.
Segundo Freitas et al. (2000), uma pesquisa tipo levantamento (survey) pode ser descrita como
um mtodo para a obteno de dados ou informaes sobre caractersticas, aes ou opinies de
determinado grupo de pessoas, indicado como representante de uma populao- alvo, por meio de
um instrumento de pesquisa, normalmente por meio de um questionrio.
As pesquisas do tipo levantamento, segundo Pinsonneault e Kraemer (1993) podem ser ex-
planatrias, quando tm o objetivo de testar uma suposio e as relaes causais, exploratrias,
quando tm o objetivo de ter um conhecimento inicial sobre um tpico ou descritivas, quando
buscam identicar caractersticas de uma populao sem uma relao de causa.
Em uma pesquisa do tipo de levantamento, o processo de amostragem possui grande inuncia
sobre seus resultados. Esse processo composto pela denio da populao-alvo, pelo contexto
de amostragem, pela unidade de amostragem, pelo mtodo de amostragem, pelo tamanho da amos-
tra e pela seleo da amostra ou pela execuo do processo de amostragem. Esta amostragem pode
ser probabilstica ou no probabilstica (Freitas et al., 2000).
A amostragem probabilstica consiste em garantir que todos os elementos da populao tenham
a mesma chance de serem escolhidos, o que faz com que essa amostra seja representativa. J na
amostragem no probabilstica, estabelecido algum critrio, o que faz com que os resultados no
sejam to generalizveis quanto em uma amostragem probabilstica. Algumas formas de se fazer
amostragem no probabilstica so: amostragem por convenincia, seleo dos mais similares ou
dos mais diferentes, por quotas, bola de neve (os participantes podem indicar novos participantes),
casos crticos ou casos tpicos (Freitas et al., 2000).
Um outro ponto importante durante a conduo de uma pesquisa de levantamento o instru-
mento de pesquisa utilizado. O questionrio um dos instrumentos mais utilizados para este
tipo de pesquisa. Gil (1991) aponta alguns cuidados a serem tomados durante a elaborao de um
questionrio:
Manter o nmero de perguntas limitado;
Garantir que questes fechadas cubram todas as possibilidades;
Considerar as implicaes do formato das perguntas na tabulao e anlise;
No provocar constrangimento nos respondentes;
As questes devem ter uma nica interpretao;
Considerar a ordem das perguntas, iniciando pelas mais simples at as mais complexas;
CAPTULO 6. LEVANTAMENTO COM PESSOAS ENVOLVIDAS EM PROJETOS WEB NO
BRASIL 65
Observar a apresentao grca do questionrio;
Fornecer instrues sobre o correto preenchimento do questionrio;
Descrever objetivamente o objetivo da pesquisa;
Redigir as questes de forma simples e coesa.
Antes da realizao da pesquisa em larga escala, deve-se realizar uma pesquisa piloto, com um
conjunto representativo e reduzido de pessoas, para vericar possveis problemas com o questio-
nrio antes que ele seja aplicado.
Um outro aspecto importante a ser considerado em uma pesquisa de levantamento so a con-
abilidade e a validade (Mattar, 1996). Segundo Mattar (1996), a conabilidade se refere a quanto
o processo est isento de erros amostrais, e a validade referente a quanto o processo est isento,
simultaneamente, de erros amostrais e no amostrais.
Em relao validade, deve-se analisar a validade interna e externa. A validade interna se
refere s condies de aplicao do instrumento de medio, e a validade externa se refere s
condies para generalizao (Mattar, 1996).
Finalmente, na etapa de anlise dos resultados de uma pesquisa de levantamento, deve-se ve-
ricar os tipos de variveis analisadas e que tipos de estatsticas podem ser aplicadas sobre elas.
A anlise corresponde a uma etapa de obteno de estatsticas descritivas sobre os dados (mdias,
medianas, moda, por exemplo) e uma outra etapa em que se realiza inferncias sobre os dados.
Para a realizao de inferncias, podem ser utilizados modelos estatsticos baseados em regresso
linear, por exemplo, ou podem ser realizados testes sobre as hipteses propostas.
6.3 Trabalhos relacionados
Alguns estudos tm se dedicado a investigar o conhecimento de pessoas envolvidas com pro-
jetos Web sobre acessibilidade e outras questes envolvidas.
Nesta seo, so apresentados alguns dos principais resultados de quatro levantamentos deste
tipo encontrados na literatura. Dois estudos foram conduzidos por instituies estrangeiras, uma
americana e outra europia. Os outros dois estudos foram realizados por instituies brasileiras,
com principal foco no desenvolvimento de sistemas acessveis por entidades governamentais. Um
dos estudos tambm contou com a realizao de pginas desenvolvidas. Contudo, nenhuma avali-
ao quantitativa com mtricas foi apresentada.
Tambm vericou-se que os estudos tambm no apresentavam amostragens signicativas,
dada a natureza especca das anlise que se propunham a fazer. Tambm no foram encontradas
nesses estudos anlises estatsticas mais renadas. A maioria deles se restringia a fazer anlises
descritivas, sem nenhuma inferncia.
Nas subsees seguintes, so descritos os principais detalhes e resultados obtidos nos estudos.
66 6.3. TRABALHOS RELACIONADOS
6.3.1 Levantamento - Lazar et. al (2004)
O primeiro levantamento reportado foi realizado por Lazar et al. (2004) na Towson University
nos Estados Unidos. O trabalho faz parte de uma srie de estudos realizados sobre acessibilidade
e pesquisas envolvendo usurios com decincia.
Olevantamento foi desenvolvido comquestes direcionadas a desenvolvedores e mantenedores
de stios Web sobre seu conhecimento de acessibilidade e sobre sua percepo de quando e porque
os stios devem ou no ser acessveis. Os participantes foram convidados por meio de listas de
e-mails. No foi utilizada amostragem probabilstica.
O questionrio continha 15 perguntas, alm de outras questes para caracterizao da amostra,
referentes ao gnero, localizao, faixa etria, experincia em computao e rea de atuao.
No total, 175 desenvolvedores e webmasters responderam o questionrio, dos quais 58,86%
eram homens e 41,14% eram mulheres. A maioria dos participantes armou ser dos Estados
Unidos (45%). Cerca de 49% dos participantes tinha entre 25-35 anos. Quanto experincia
em computao, 68% dos participantes armaram ser especialistas. Para a questo sobre a rea
de atuao, 38% dos participantes responderam que atuam na rea de educao, 23% no setor
governamental, 11% no setor corporativo, 6% na rea da sade e 22% em outras reas.
No tocante ao conhecimento dos participantes sobre acessibilidade e conceitos relacionados,
vericou-se que 65,7% dos participantes armaram j ter criado um stio Web acessvel alguma
vez; 73,7% indicaram que so familiares a legislao de acessibilidade como o Section 508; 57,7%
armaramque seus stios Web no esto sujeitos Section 508; 56%armaramque seus stios Web
eram acessveis; 78,9% armaram saber da existncia de ferramentas para auxiliar a vericao
da acessibilidade de stios, e 69,1% responderam que j utilizaram uma ferramenta de avaliao
via Web; contudo, somente 21,7% responderam que j haviam utilizado alguma ferramenta de
avaliao que no era baseada na Web; somente 38,9% responderam que j utilizaram a Web
com um leitor de tela; 58,8% responderam que suas organizaes tm planos para melhorar a
acessibilidade de seus stios Web.
Sobre a familiaridade com as recomendaes do W3C para acessibilidade, 64% armaram
seremfamiliares ao WCAG(W3C, 1999a), menos de 1%armaramser familiares ao ATAG(W3C,
2000), cerca de 1% armaram ser familiares ao UAAG (W3C, 2002a), e 23% no eram familiares
a nenhum deles.
Quando questionados sobre os principais desaos para tornar stios Web acessveis para usu-
rios cegos, os participantes apontaram como principais a conscientizao dos clientes, o balance-
amento entre acessibilidade e design grco, a falta de tempo, a necessidade de treinamento e a
necessidade de melhores ferramentas para auxiliar o desenvolvimento.
Nas respostas sobre quem o responsvel por manter um stio Web acessvel, 52% dos par-
ticipantes apontaram o Webmaster (mantenedor da pgina) como responsvel pela acessibilidade;
o analista de sistemas foi apontado por 30,18% dos participantes, o programador por 34,9%, o
CAPTULO 6. LEVANTAMENTO COM PESSOAS ENVOLVIDAS EM PROJETOS WEB NO
BRASIL 67
gerente de suporte por 10,18%, e o responsvel pela gerncia de assuntos relacionados a pessoas
com decincia foi apontado por 31,63% dos participantes.
Os participantes indicaram que os fatores que mais os inucienciariam a tornar o seu stio Web
acessvel eram exigncias governamentais, a existncia de usurios cegos que utilizam o stio,
nanciamento externo, direcionamentos de gerncia ou de clientes, treinamento sobre acessibili-
dade, e melhores ferramentas de apoio.
Os participantes foram questionados sobre sua preocupao sobre a acessibilidade no momento
de atualizar os seus stios Web. Das respostas, vericou-se que 37,81% dos participantes indicaram
que consideram acessibilidade quando atualizam seus stios, 10,18% dos participantes indicaram
que no consideram, e 5,82% indicaram que tentam considerar, de acordo com limitaes como
tempo e custo.
O estudo realizado por Lazar et al. (2004) foi bastante interessante e revelou diversas informa-
es importantes sobre o ponto de vista de Webmasters e desenvolvedores de stios Web. Contudo,
verica-se que o pblico alvo no foi devidamente direcionado. Um possvel vis do estudo o
fato de que a maioria dos participantes que responderam pode ser pessoas interessadas em acessi-
bilidade.
Alm disso, a maioria das questes objetivas permitia respostas do tipo Sim/No/No tenho
certeza. O uso de respostas com variveis aleatrias em escala ordinal poderia proporcionar a
realizao de anlises mais detalhadas sobre o nvel de conhecimento dos desenvolvedores sobre
questes especcas.
6.3.2 Levantamento - ENABLED (2005)
Um outro estudo (ENABLED, 2005) realizado com desenvolvedores de sistemas Web foi rea-
lizado pelo grupo ENABLED
1
, formado por universidades, centros de pesquisa e empresas euro-
pias.
O questionrio foi disponibilizado por meio de um formulrio disponibilizado via Web e foi
divulgado para participantes do projeto, e pelo boletim da Fundao Health on the Net
2
. O questi-
onrio cou disponvel no perodo de 20 de janeiro a 2 de fevereiro de 2005. No total, 269 pessoas
participaram da pesquisa.
O questionrio consistia de 11 perguntas, que envolviam questes sobre o conhecimento dos
participantes sobre acessibilidade, ferramentas utilizadas e sobre necessidade de treinamento.
Cerca de 87% dos participantes eram oriundos de pases europeus ou da Amrica do Norte.
Quanto area de atuao, as respostas com maior nmero de indicaes foram a) desenvolvedor
Web/ webmaster (29%), b) rea no especicada (29%), c) gerncia (21,9%) e d) edio de con-
tedo (7,8%). O valor alto de pessoas que indicaram ser de rea no especicada tambm um
indcio de falhas no planejamento do questionrio.
1
Enhanced Network Accessibility for the Blind and Visually Impaired - http://www.enabledweb.org
2
http://www.hon.ch/
68 6.3. TRABALHOS RELACIONADOS
Aproximadamente 36% dos participantes armam tentar tornar seus stios Web acessveis. Os
principais motivos apontados pelos participantes que responderam de forma negativa pergunta
foram a falta de conhecimento sobre diretrizes de acessibilidade, falta de conhecimento tcnico e
falta de tempo.
Tambm vericou-se que 51% dos participantes tentam se preocupar com a usabilidade dos
seus stios Web. Os participantes que responderam negativamente apontam como principais mo-
tivos para no se atender aos princpios de usabilidade a falta de conhecimento tcnico, a falta de
tempo e a falta de conhecimento sobre usabilidade.
Cerca de 63% dos participantes utilizam ferramentas para apoiar o desenvolvimento. Dentre
as ferramentas indicadas, as ferramentas mais mencionadas foram DreamWeaver e FrontPage. As
linguagens mais utilizadas so HTML/CSS, PHP e ASP. Vericou-se que 41% dos participantes
armam ter um nvel mdio de habilidade de programao, e 37% declararam ter um nvel alto.
Quanto qualicao, vericou-se que apenas 13% dos participantes receberam algum treina-
mento. As principais fontes de treinamento apontadas foram a prpria Internet, escola ou universi-
dade e amigos com conhecimento sobre o assunto. Vericou-se tambm que 74% dos participantes
gostariam de receber treinamento.
Os principais tpicos que os participantes gostariam que fossem cobertos em cursos minis-
trados foram sobre o Web Accessibility Initiative (WAI), do W3C, diretrizes para construir stios
acessveis, usabilidade, e teste de acessibilidade. Vericou-se que os participantes tm grande
interesse em todos os tpicos listados no questionrio (diretrizes de acessibilidade, usabilidade,
apresentao do WAI, relao entre usabilidade e acessibilidade, teste de acessibilidade, e aspec-
tos legais).
Os resultados obtidos na anlise efetuada pelo grupo ENABLED (ENABLED, 2005) mostram
um grupo de desenvolvedores com um perl diferente daquele mostrado por Lazar et al. (2004).
A porcentagem de desenvolvedores que conhecem acessibilidade menor do que no outro es-
tudo. Verica-se que h indcios de que existam diferenas entre os tipos de participantes nos dois
estudos.
Sob o ponto de vista metodolgico, tambm verica-se que o estudo no abordou as questes
de acessibilidade de maneira exaustiva. No foram abordadas questes sobre o conhecimento de
legislao de acessibilidade, e em outras tcnicas de avaliao e projeto de stios Web acessveis.
Da mesma forma como no estudo de Lazar et al. (2004), no foram usadas escalas ordinais para
classicar o nvel de conhecimento dos desenvolvedores sobre os tpicos listados no questionrio.
Tambm observa-se que foram abordadas muitas questes sobre treinamento e necessidades de
treinamento. Isso se deve ao fato de que o objetivo principal do grupo no era de traar um perl
dos desenvolvedores, mas de obter informaes especcas relevantes para as atividades do projeto.
Dentre as atividades, o grupo ENABLED fornece treinamentos via Web sobre acessibilidade e
outros temas abordados pelo grupo.
CAPTULO 6. LEVANTAMENTO COM PESSOAS ENVOLVIDAS EM PROJETOS WEB NO
BRASIL 69
6.3.3 Levantamento - Ferreira et. al (2007)
Ferreira et al. (2007), em um estudo realizado pela Unirio, conduziram um levantamento com
instituies governamentais brasileiras visando vericar se elas conduzem algum projeto para ade-
quao de seus stios Web a requisitos de acessibilidade. O principal objetivo do levantamento foi
de vericar a adequao dos rgos pblicos s recomendaes do Decreto Lei No. 5.296/2004
e outras questes sobre a acessibilidade. Este estudo tambm contou com a avaliao por estu-
dos de caso com usurios com decincia visual e avaliao automtica de stios governamentais
(federais, estaduais e municipais) com a ferramenta daSilva (Acessibilidade Brasil, 2007).
Na avaliao automtica foram vericados 351 stios Web da administrao pblica em trs
momentos: novembro de 2005 (um ms antes de encerrar o prazo para adaptao), em maro de
2006 e maro de 2007. No primeiro teste, somente cinco stios estavam totalmente em conformi-
dade com o WCAG e quatro com o e-MAG. No teste realizado em maro de 2006, apenas um
stio estava totalmente em conformidade. No terceiro teste, em maro de 2007, vericou-se que 22
stios estavam em conformidade com o WCAG e 23 com o e-MAG.
Na etapa de levantamento com os responsveis pelos stios, foi enviado um questionrio para
cada uma das organizaes pblicas selecionadas, e 87 delas responderam pesquisa. O questio-
nrio foi dividido em duas partes: uma primeira parte geral, e uma segunda parte que variava de
acordo com a resposta dada pelo participante sobre o estgio de adequao da acessibilidade de
seu stio.
Da primeira parte, vericou-se que 69% dos participantes armaram conhecer o Decreto Lei
No. 5.296/2004, 53%armaramconhecer sobre o prazo para adaptao dos stios e 42%armaram
conhecer o e-MAG.
Da anlise das organizaes que armaram j ter adaptado seus stios de acordo com as
diretrizes de acessibilidade (22% do total), vericou-se que 47% delas no exibem o selo da aces-
sibilidade Brasil. Quanto forma de conduo do processo de adaptao, 42% responderam que
foi uma equipe da prpria organizao, 37% por uma equipe terceirizada e 21% armaram ter feito
de outras formas. As maiores diculdades que essas organizaes armaram ter encontrado du-
rante esse processo foram: contedo do stio muito grande (47%) e falta de pessoal da organizao
especializado (32%). Cerca de 47% das organizaes armou ter realizado avaliaes com usurio
com necessidades especiais. Um total de 21% dos respondentes armou ter tido diculdades para
manter a acessibilidade nas atualizaes, enquanto 21% armou no ter tido diculdades e 58%
no souberam responder.
Das organizaes que armaram estar com o processo de adaptao em andamento (31%
dos participantes), observou-se que 64% armaram ter uma equipe da organizao nomeada para
realizar as adaptaes, enquanto 18% armaram ter uma equipe terceirizada e 18% armaram usar
de outros meios. As maiores diculdades para efetuar as adaptaes de acessibilidade apontadas
pelas organizaes foram: a baixa prioridade da acessibilidade nos projetos (30%), contedo do
70 6.3. TRABALHOS RELACIONADOS
stio muito grande (30%), falta de pessoal especializado (11%) e a grande quantidade de padres a
ser alterados (11%).
Quanto s organizaes que armaram no ter seus stios acessveis (47%), vericou-se que
68% delas no tm previso para iniciar as adaptaes para acessibilidade. Quando perguntadas
sobre o conhecimento sobre o avaliador daSilva, 83% dos respondentes armaram no conhec-
lo. As maiores barreiras apontadas para iniciar a adaptao dos stios foram: a baixa prioridade da
acessibilidade nos projetos (24%), falta de pessoal especializado na organizao (22%), contedo
do stio muito grande (10%), e outros motivos, como o desconhecimento do decreto, falta de
conscientizao da gerncia, entre outros.
O levantamento realizado por Ferreira et al. (2007) apresenta resultados bastante interessantes
sobre o panorama da acessibilidade no Brasil. Contudo, o pblico-alvo do estudo se restringiu
a organizaes governamentais. Alm disso, apesar de os autores terem realizado avaliaes dos
stios, no foi feita nenhuma associao entre os resultados do questionrio e das avaliaes.
6.3.4 Levantamento - Tangarife (2007)
Em outro trabalho, realizado no mestrado de Tangarife (2007) na PUC-Rio, foi realizado um
estudo com a participao de 68 prossionais envolvidos com desenvolvimento de stios Web, no
perodo entre 20 e 30 de maio de 2005, por meio de umquestionrio disponibilizado via Web. Tam-
bm no foi feita amostragem probabilstica. O convite foi enviado a 70 participantes selecionados
pelo autor.
O questionrio com 30 questes foi dividido em oito partes (Tangarife e Montalvo, 2006):
1) questes sobre o perl do usurio, 2) experincia com desenvolvimento de stios Web e opinio
sobre a necessidade de garantir acessibilidade, 3) conceitos sobre acessibilidade e usabilidade, 4)
desenvolvimento considerando legislao de acessibilidade, 5) considerao da acessibilidade nos
projetos de que participa, 6) postura em relao posio da empresa sobre acessibilidade e em re-
lao cartilha tcnica do e-MAG, 7) responsabilidade sobre a acessibilidade no desenvolvimento
de stios e 8) questo aberta sobre os motivos que levam a tornar um stio acessvel.
Os resultados aqui reportados consistem em um resumo dos dados disponveis em Tangarife e
Montalvo (2006) e Tangarife (2007). Os participantes eram na maioria homens (75%), cerca de
61,7% tinham entre 25 e 35 anos. A maioria era da rea governamental (57,35%). Os participan-
tes ocupavam cargos de: analista de sistemas (41,18%), programador (25,00%) e Web designer
(20,59%). Vericou-se que 75% dos participantes trabalham h mais de 5 anos com desenvolvi-
mento de stios Web. Quanto experincia, 44,11% consideram-se especialistas, 47,1% de nvel
intermedirio 8,9% iniciantes. A grande maioria (83,82%) tambm arma que considera muito
importante que um stio possa ser acessado por qualquer pessoa.
Na terceira parte, de forma geral, boa parte dos participantes tinham uma compreenso cor-
reta sobre usabilidade e acessibilidade. Contudo, 94,11% dos participantes armaram nunca ter
CAPTULO 6. LEVANTAMENTO COM PESSOAS ENVOLVIDAS EM PROJETOS WEB NO
BRASIL 71
participado de um projeto que envolvia acessibilidade. O conhecimento sobre legislao de aces-
sibilidade tambm foi identicado como bastante baixo, cerca de 82,35% no conhecem a Section
508 e 81% no conhecem o Decreto Lei No. 5.296/2004. Cerca de 80% tambm no tm certeza
se o stio que desenvolvem acessvel. Aproximadamente 49% conhecem ferramentas de avalia-
o de acessibilidade, mas somente cerca de 18% armam utiliz-las. Somente 8,9% armaram j
ter avaliado um stio com um leitor de tela.
Quanto considerao da acessibilidade nas empresas, cerca de 3% armaram que a organi-
zao sempre levou em conta, 31% que atualmente leva em considerao e 66% que nunca levou
em considerao. Os principais motivos apontados para no levar em conta foram: oramento
(32,35%), falta de especialistas no assunto (32,35%), tempo (27,94%) e desconhecimento do as-
sunto pela gerncia (26,47%).
Do conhecimento de diretrizes, somente 16,17% armaram ter familiaridade com o WCAG
(W3C, 1999a), 13,23% com o ATAG (W3C, 2000) e 7,35% com o UUAG. Uma porcentagem de
86,76% armou nunca ter lido a cartilha tcnica do e-MAG (Governo Brasileiro, 2008).
Nesse estudo, no foi feita nenhuma anlise comparando a acessibilidade das pginas desen-
volvidas com as respostas atribudas. Tambm s foi feita uma anlise descritiva dos resultados.
6.4 Planejamento e conduo do levantamento
Antes de iniciar a conduo do levantamento sobre acessibilidade, foi efetuado um planeja-
mento para a realizao da pesquisa. O principal objetivo do levantamento foi o de vericar o
perl de pessoas envolvidas em projetos de sistemas Web no Brasil sobre questes de acessibili-
dade.
De acordo com a classicao discutida na Seo 6.2, esta pesquisa pode se congurar como
uma pesquisa com caractersticas de explanatria e de descritiva. O objetivo da pesquisa de co-
letar informaes sobre como as pessoas envolvidas em projetos Web compreendem certos concei-
tos de acessibilidade, e de fazer inferncias sobre a inuncia dos fatores analisados, a considera-
o efetiva da acessibilidade em seus projetos e sobre ndice de barreiras de stios Web produzidos
nos projetos dos participantes.
Instrumento de pesquisa: questionrio
Na elaborao do questionrio, buscou-se incluir questes que englobassemdiferentes aspectos
da acessibilidade, envolvendo tanto aspectos tcnicos quanto aspectos organizacionais.
No incio do projeto, tinha-se a inteno de investigar sobre o uso de novas tcnicas encon-
tradas na literatura na prtica por meio deste questionrio. Entretanto, como pde-se vericar no
levantamento de tcnicas para acessibilidade encontradas na literatura, reportado no Captulo 3,
um grande nmero de tcnicas foram propostas muito recentemente, e poucas delas tm relatos de
72 6.4. PLANEJAMENTO E CONDUO DO LEVANTAMENTO
aplicao na prtica. Alm disso, a partir da anlise de outros trabalhos relacionados, verica-se
que muitas das tcnicas mais simples ainda no so utilizadas na prtica. Desta forma, optou-se
por investigar somente sobre o uso de diretrizes e tcnicas de avaliao mais consolidadas, ao invs
de investigar sobre o uso de tcnicas do estado da arte.
O desenvolvimento do questionrio foi feito em duas etapas. Primeiramente foi desenvolvido
um questionrio preliminar para ser utilizado no estudo piloto, e em seguida foram corrigidos os
problemas apontados pelos participantes do estudo piloto.
A verso nal do questionrio est disponvel na ntegra no Apndice F.
O questionrio possuia 17 questes: 6 questes sobre dados demogrcos, 9 questes fechadas
e 2 questes abertas. O conjunto de questes fechadas foi dividido em duas partes: uma parte
com questes gerais sobre acessibilidade e uma outra com questes sobre os motivos porque a
acessibilidade considerada ou no nos projetos em que participam.
Nas questes demogrcas, foram includas questes sobre o estado de residncia, gnero,
faixa etria, rea de atuao, formao acadmica e funo na organizao em que atua.
Nas questes fechadas, foram includas questes sobre o conhecimento das linguagens HTML
e CSS, conhecimento sobre a forma como pessoas com decincia visual utilizam a Web, conhe-
cimento sobre tecnologias assistivas, conhecimento sobre a legislao brasileira de acessibilidade,
uso de tcnicas para avaliao de acessibilidade, considerao da acessibilidade nos projetos em
que participa, e os motivos para considerar ou no a acessibilidade.
Nas questes abertas, pediu-se que os participantes descrevessem qual a importncia da aces-
sibilidade nos projetos Web de sua organizao e para que dessem sugestes sobre como melhorar
a acessibilidade na Web no contexto brasileiro. Tambm foi pedido que os participantes indicas-
sem, opcionalmente, algumas URLs de stios Web que tivessem participado de alguma etapa do
desenvolvimento.
No nal do questionrio, havia uma opo para que os usurios marcassem atestando que os
dados podem ser utilizados para a pesquisa, e tambm informando sobre a condencialidade dos
mesmos.
Houve uma grande preocupao com o tamanho do questionrio, para que fossem includas
somente questes realmente relevantes.
Aps a concluso da primeira verso do questionrio, foi feito um estudo piloto com dez
participantes, sendo cinco do meio acadmico, trs prossionais da indstria de software e dois
analistas que atuam em rgos pblicos. Das observaes dos respondentes do estudo piloto que o
zeram na presena do pesquisador, vericou-se que o preenchimento do questionrio levava em
torno de 10 minutos.
Este questionrio foi enviado por e-mail e as respostas no foram consideradas nas anlises
posteriormente. Os participantes do estudo piloto apontaram importantes contribuies para me-
lhorar o entendimento de algumas questes que estavam dbias e apontaram alguns problemas com
CAPTULO 6. LEVANTAMENTO COM PESSOAS ENVOLVIDAS EM PROJETOS WEB NO
BRASIL 73
a completude de algumas respostas das questes fechadas. Tambm foram apontados problemas
com questes que poderiam gerar constrangimento para os participantes.
Aps a modicao do questionrio a partir das sugestes obtidas com o estudo piloto, foi
desenvolvida uma verso do questionrio que foi disponibilizada via Web. Tomou-se o devido
cuidado para que este questionrio tivesse boa usabilidade e fosse acessvel para pessoas com
diferentes habilidades.
Amostragem
Na pesquisa realizada, no foi utilizada a amostragem probabilstica. Para aumentar a represen-
tatividade do estudo, teve-se como objetivo selecionar participantes de forma a ter representao
de todos os estados do pas. Tambm foi objetivo diversicar as reas de atuao dos participantes,
com participantes da academia, da indstria e de rgos governamentais.
A seleo dos participantes foi feita de forma que houvesse um nmero aproximado de par-
ticipantes das trs reas de atuao. Tambm foi tomado o devido cuidado para que houvessem
representantes de todos os estados de cada uma das reas.
Para a seleo de participantes da indstria, foi utilizado o catlogo de empresas da Softex
3
,
buscando por empresas que atuassem na rea de desenvolvimento Web e outros tipos de sistemas
comumente disponibilizadas via Web, como comrcio eletrnico e aprendizado eletrnico. Tam-
bm foram utilizados outros catlogos locais para aumentar a representao de outros estados. No
total, foram cadastrados 1.041 participantes de empresas de software ou de design.
Na seleo de participantes do governo, foi armazenado o endereo de contato de mantenedores
de stios governamentais. O processo de seleo foi bastante demorado, pois foi necessrio visitar
diversos stios e buscar pelo endereo de contato do mantenedor. Foram visitados stios ligados ao
governo federal, como ministrios, agncias, e rgos ligados a governos estaduais e municipais
das prefeituras das capitais. Um total de 514 endereos foram cadastrados por este mtodo.
Alm do cadastro de e-mails consultados manualmente, tambm foram enviados e-mails para
o endereo webmaster dos domnios das prefeituras cujos stios foram avaliados no estudo de caso
reportado na Seo 5.4. Foram cadastrados 1.980 endereos por este mtodo.
Para a seleo de participantes da academia, foi utilizado o Portal Inovao
4
. Este portal
fornece uma interface para fazer buscas mais detalhadas sobre a base de dados da plataforma
Lattes
5
. Foi efetuada uma busca por pesquisadores com as palavras chave desenvolvimento Web.
Com esta palavra chave mais ampla, esperava-se incluir pesquisadores que trabalhassem com Web,
mas que no necessariamente fossem pesquisadores sobre acessibilidade e reas ans, para no
criar vis nos resultados. Foi feito um ltro por estado, de forma a selecionar os 200, 150, 100
ou 50 primeiros resultados de cada estado, de acordo com a proporo populacional de cada um
deles. Foram selecionados 1.349 pesquisadores para a pesquisa.
3
Softex - Programa de Exportao de Software Brasileiro, disponvel em http://www.softex.br
4
Disponvel em http://portalinovacao.mct.gov.br
5
Cadastro nacional de pesquisadores brasileiros, mantido pelo CNPq e disponvel em http://lattes.cnpq.br
74 6.4. PLANEJAMENTO E CONDUO DO LEVANTAMENTO
Os convites para os participantes foram enviados por e-mail, a partir dos dados cadastrados na
base de dados. Contudo, os participantes tambm poderiam enviar o convite para outras pessoas
mais indicadas ou interessadas na pesquisa (amostragem bola de neve).
Conduo do levantamento
Aps efetuar a seleo dos participantes e implementar o sistema para suporte ao preenchi-
mento do questionrio via Web, foram enviados e-mails com o convite para participao para
todos os endereos cadastrados.
O e-mail foi elaborado de forma a explicar do que se tratava a pesquisa e dava instrues sobre
como participar. Os e-mails foram enviados por meio de um sistema utilizando o servidor de e-
mail do ICMC/USP e a conta de e-mail do prprio aluno. Os e-mails eram enviados com espaos
de tempo sucientemente grandes para que no fossem considerados spam (e-mails enviados em
massa).
Do total de 4.804 e-mails enviados, estima-se que no foram entregues com sucesso os e-mails
enviados para cerca de 20% dos participantes de empresas, cerca de 65% dos e-mails enviados
para rgos governamentais e 15% dos e-mails enviados para pesquisadores. O grande nmero de
e-mails com problemas para os rgos governamentais se deve utilizao da base de domnios de
prefeituras combinado com o usurio webmaster@. Desta forma, estima-se que em torno de 2.800
e-mails tenham sido enviados com sucesso.
O questionrio cou disponvel para preenchimento entre 25 de junho de 2007 e 25 de Agosto
de 2007. Tendo em vista que foram obtidas 613 respostas vlidas, verica-se que a taxa de retorno
foi de aproximadamente 22%, que prxima da taxa de 25%, apontada como usual em pesquisas
deste tipo (Mattar, 1996).
Quando se encerrou o perodo para resposta ao questionrio, foram efetuadas as avaliaes
automticas dos stios indicados pelos participantes com o apoio de mtricas.
Foi utilizado o mdulo Hera metrics para auxiliar no processo de avaliao. Da mesma forma
como nos estudos de caso reportados na Seo 5.4, para cada stio foi avaliada sua pgina inicial
mais as pginas no nvel imediatamente inferior da estrutura navegacional. No total foram avalia-
dos 382 URLs, de um total de 181 participantes que indicaram pelo menos uma URL. O nmero
total de pginas avaliadas foi de 8.059.
Como muitos participantes indicaram mais de uma URL, para efeitos estatsticos era conside-
rada a URL cuja avaliao tivesse resultado o menor ndice de barreiras de acordo com a mtrica
WAB.
Os resultados da avaliao automtica foram enviados para os participantes por e-mail, junta-
mente com os resultados das anlises descritivas do resultado da pesquisa.
CAPTULO 6. LEVANTAMENTO COM PESSOAS ENVOLVIDAS EM PROJETOS WEB NO
BRASIL 75
6.5 Resultados do levantamento
Aps a concluso da etapa de coleta de dados, foi obtido um total de 630 questionrios respon-
didos, dos quais 613 foram considerados vlidos. Apesar de terem sido enviados convites para os
participantes, o questionrio era de acesso irrestrito, para permitir que esses participantes pudes-
sem convidar outras pessoas. Pelo fato de o questionrio ser de acesso irrestrito, muitas respostas
invlidas foram recebidas. Essas respostas se referiam tanto a preenchimento incorreto, quanto
participao de pessoas que no se enquadravam no perl esperado de participantes.
O nmero de questionrios vlidos considerado bastante representativo, e posiciona esta pes-
quisa como a mais abrangente em nmero de participantes em comparao com outros trabalhos
semelhantes encontrados na literatura at o momento, reportados na Seo 6.3.
A anlise dos resultados do questionrio foi feita em duas etapas. Primeiramente foi realizada
uma anlise descritiva dos dados, com uma viso individual sobre cada questo do question-
rio. Os resultados desta etapa so descritos na Subseo 6.5.1. Na segunda etapa, foi realizada
uma modelagem estatstica dos dados, com o objetivo de fazer inferncias sobre os dados. Os
resultados das inferncias esto descritos na Subseo 6.5.2. A descrio detalhada dos modelos
estatsticos est apresentada no Apndice G. Na Subseo 6.5.3 so apresentadas as discusses
referentes validade do estudo.
6.5.1 Anlise descritiva
Nesta seo, apresentado um sumrio com as principais observaes a partir da anlise dos
dados obtidos por meio dos questionrios. Os resultados da anlise descritiva foram enviados para
todos os participantes do levantamento, e tambm foram disponibilizados via Web no endereo
http://safe.icmc.usp.br/pesquisaacessibilidade.
Dados demogrcos
No levantamento realizado houve representao de todos os estados do Brasil. De forma geral,
apesar da tentativa de distribuir os participantes entre as regies, o maior nmero de participan-
tes era advindo da regio sudeste. Cerca de 41,8% dos participantes eram desta regio, enquanto
21,7% eram do sul, 17,8% do nordeste, 10,3% do centro-oeste e 8,5% do norte, como pode ser ob-
servado no grco da Figura 6.1. De certa forma, a distribuio est em acordo com a distribuio
de especialistas na rea pelo pas.
Referente ao perl pessoal, vericou-se que a maioria dos participantes eram do gnero mascu-
lino (70,15%), com 28,55% de mulheres e 1,31% sem reposta. A faixa etria com o maior nmero
de participantes foi a de 25 a 35 anos, com 41,76% dos participantes, seguida da faixa de 36 a 45
anos, com 26,26%, como pode ser observado no grco da Figura 6.2.
76 6.5. RESULTADOS DO LEVANTAMENTO
Figura 6.1: Participantes do levantamento de acordo com as regies do pas
Figura 6.2: Participantes do levantamento de acordo com a faixa etria
Da mesma forma que na distribuio geogrca, apesar da tentativa de se distribuir os partici-
pantes entre as diferentes reas: - indstria, academia e governo - a maioria dos participantes eram
oriundos das reas de ensino e pesquisa (56,12%), como pode ser vericado no grco na Figura
6.3. Uma das possveis explicaes para este fato que normalmente pesquisadores e docentes
tm maior receptividade para participar em trabalhos de pesquisa.
Figura 6.3: Participantes do levantamento de acordo com a rea de atuao
A grande representatividade de pessoas do meio acadmico tambm pde ser vericada pela
formao dos participantes, com 30,67% deles com formao em nvel de doutorado, 23,49%
com mestrado, e 16,15% com especializao, como pode ser vericado na Figura 6.4. O mesmo
vale para a funo exercida, em que se vericou que 43,07% dos participantes armaram ser pes-
CAPTULO 6. LEVANTAMENTO COM PESSOAS ENVOLVIDAS EM PROJETOS WEB NO
BRASIL 77
quisadores ou docentes. As demais funes com maior representatividade foram as de analista
(12,40%), gerente (10,28%) e coordenador (8,65%), como pode ser vericado na Figura 6.5.
Figura 6.4: Participantes do levantamento de acordo com a formao
Figura 6.5: Distribuio dos participantes do levantamento de acordo com as funes exercidas
em suas organizaes
O grande nmero de participantes da indstria com cargos de gerncia ou coordenao pode
ser atribudo ao fato de que os e-mails de contato fornecidos nos catlogos geralmente eram de
gerentes.
Anlise das questes
1. Conhecimento sobre as linguagens HTML e folhas de estilo CSS
Foi observado que a maioria dos participantes armou possuir conhecimento bsico (23,33%),
intermedirio (30,02%) ou avanado (30,83%) sobre as linguagens de marcao e de estilo mais
populares utilizadas na Web, como pode ser vericado no grco da Figura 6.6.
2. Conscincia sobre os problemas enfrentados por usurios cegos ao utilizar a
internet
Na anlise da questo 2, vericou-se que poucos participantes armaram j terem feito alguma
pgina acessvel para usurios cegos alguma vez. Como pode ser observado no grco da Figura
78 6.5. RESULTADOS DO LEVANTAMENTO
Figura 6.6: Conhecimento dos participantes do levantamento sobre linguagem de marcao e de
estilo
6.7, um grande nmero de participantes (45,19%) armou que conhece tecnologias para permitir
o uso da Web por cegos, mas que no sabe como criar pginas acessveis para eles. Um nmero
bastante expressivo (27,57%) armou que j ouviu falar sobre o uso da Web por cegos, mas no
sabe por que meios isso possvel.
Figura 6.7: Conhecimento dos problemas enfrentados por cegos ao utilizar a Web
3. Tecnologias assistivas conhecidas ou j utilizadas
Com os dados obtidos a partir da questo 3, observou-se com quais tecnologias assistivas os
participantes tinham algum tipo de familiaridade, admitindo-se mais de uma resposta. Na Figura
6.8 pode-se observar que as tecnologias assistivas que tiveram o maior nmero de indicaes entre
os participantes foram o navegador com voz (55,46%), o leitor de tela (48,12%) e o ampliador de
tela (43,56%).
CAPTULO 6. LEVANTAMENTO COM PESSOAS ENVOLVIDAS EM PROJETOS WEB NO
BRASIL 79
Figura 6.8: Tecnologias assistivas conhecidas pelos participantes do levantamento
4. Conhecimento do Decreto Lei No. 5.296/2004 e suas implicaes para a Web
A partir da anlise da questo 4, observou-se que uma pequena parcela dos participantes tinha
conhecimento sobre o decreto. Na Figura 6.9 pode-se observar que 40,29% armaram nunca ter
ouvido falar do decreto e que 32,95% deles j ouviram falar, mas no conhecem ou conhecem
vagamente.
Figura 6.9: Conhecimento sobre o Decreto Lei No. 5.296/2004 e suas implicaes para Web
pelos participantes do levantamento
5. Conhecimento sobre as diretrizes de acessibilidade do W3C
Na anlise da questo 5, observou-se que a maioria dos participantes tinham nenhum conheci-
mento (39,15%) ou somente conhecimento bsico (30,18%), como pode ser vericado na Figura
6.10.
80 6.5. RESULTADOS DO LEVANTAMENTO
Figura 6.10: Conhecimento dos participantes do levantamento sobre as diretrizes do WCAG do
W3C
6. Treinamentos sobre acessibilidade recebidos pelos participantes
Na questo 6, vericou-se que tipos de treinamento os participantes armaram ter tido sobre
acessibilidade. Na Figura 6.11 pode-se observar que a maioria dos respondentes (56,38%) ar-
mou nunca ter tido nenhum tipo de treinamento. Os tipos de treinamento mais apontados foram
palestras (22,02%) e outros tipos no citados (11,26%). Dentre os tipos de treinamento apontados
em outros, os mais ocorrentes foram armaes de que o conhecimento sobre acessibilidade foi
adquirido durante a realizao de trabalhos de pesquisa, de trabalhos voluntrios, ocinas ou de
estudos auto-didatas.
Figura 6.11: Treinamentos sobre acessibilidade recebidos pelos participantes
7. Formas de avaliao de acessibilidade realizadas pelos participantes
Da anlise da questo 7, vericou-se que um grande nmero de respondentes (47,80%) armou
no utilizar nenhuma forma de avaliao de acessibilidade. Como pode ser observado na Figura
6.12, os tipos de teste commaior nmero de indicaes forama validao de HTML (34,42%) e va-
lidao de CSS (30,18%), seguida da realizao de testes com ferramentas automticas (18,11%).
A observao desses dados um ndicio de que a avaliao de acessibilidade ainda pouco
utilizada. Os tipos de avaliao com mais indicaes no necessariamente so utilizados com o
m de vericar acessibilidade. Observa-se tambm que a realizao de inspees manuais e testes
com usurios tambm ainda bastante restrita em projetos Web.
CAPTULO 6. LEVANTAMENTO COM PESSOAS ENVOLVIDAS EM PROJETOS WEB NO
BRASIL 81
Figura 6.12: Tipos de avaliao de acessibilidade realizados pelos participantes
Dentre os tipos de avaliao apontados na opo outros, destaca-se a realizao de testes
com diferentes dispositivos e realizao de testes de usabilidade.
8. Considerao da acessibilidade nos projetos em que os participantes esto
envolvidos
Na questo 8, vericou-se a opinio dos participantes em relao considerao ou no da
acessibilidade nos projetos em que eles esto envolvidos. Como pode ser observado no grco
da Figura 6.13, somente 19,90% dos participantes armaram que a acessibilidade considerada
nos projetos em que esto envolvidos, enquanto 35,40% deles armaram que acessibilidade no
considerada e 44,37% armam que considerada parcialmente.
Figura 6.13: Opinio dos participantes sobre a considerao da acessibilidade nos projetos em
que esto envolvidos
9. Motivos apontados pelos participantes para considerar acessibilidade nos pro-
jetos
Para os participantes que responderam sim na questo 8, foi pedido para que apontassem os
principais motivos porque a acessibilidade considerada nos projetos em que participam. Como
82 6.5. RESULTADOS DO LEVANTAMENTO
pode ser vericado no grco da Figura 6.14, a motivao pessoal foi o motivo com maior nmero
de indicaes. Curiosamente, a exigncia da empresa e exigncia dos clientes tiveram os menores
nmeros de indicaes, com respectivamente 17,21% e 24,59%.
Figura 6.14: Motivos porque acessibilidade considerada nos projetos dos participantes
Dos usurios que apontaram a opo outros, os principais motivos apontados foram a res-
ponsabilidade social e a incluso digital e social.
10. Motivos apontados pelos participantes para no considerar acessibilidade nos
projetos
Para os participantes que responderam no na questo 8, foi pedido para que apontassem os
principais motivos porque a acessibilidade no considerada ou considerada somente parcialmente
nos projetos em que participam. Como pode ser vericado no grco da Figura 6.15, os maiores
motivos apontados pelos participantes foram a falta de exigncia pela empresa ou organizao
(51,33%), a falta de exigncia pelos clientes (49,08%) e falta de treinamento adequado (53,17%).
Dos usurios que apontaram outros motivos, as principais razes enumeradas foram a necessi-
dade de utilizar tecnologias que ainda no fornecem recursos para acessibilidade, nmero reduzido
de pessoal no desenvolvimento, e falta de conscientizao dos nveis de direo e gerncia.
11. Comentrios sobre a importncia da acessibilidade nas organizaes dos par-
ticipantes
Na questo 11, pediu-se que os participantes apontassem consideraes sobre como a aces-
sibilidade vista em suas organizaes. De forma geral, muitos participantes comentaram que
em suas organizaes a incluso considerado um aspecto muito importante. Outros comentrios
armaram que a acessibilidade considerada em algumas esferas, mas que nos nveis de direo e
gerncia ainda um tema com pouca importncia.
CAPTULO 6. LEVANTAMENTO COM PESSOAS ENVOLVIDAS EM PROJETOS WEB NO
BRASIL 83
Figura 6.15: Motivos porque acessibilidade no considerada ou considerada parcialmente nos
projetos dos participantes
A seguir, so transcritos alguns comentrios interessantes fornecidos por alguns dos partici-
pantes:
Uma instituio de ensino deve prover acesso a todos os alunos seja l qual for a
sua decincia.
Acho muito importante a incluso digital de pessoas com algum tipo de decincia
ou pessoas idosas mesmo. Com certeza isso pode abrir novas portas para novos
usurios at agora excludos.
Todos os recursos devero ser utilizados para maximizar a acessibilidade. Infeliz-
mente a sociedade ainda no se tocou (sic) para o problema. Somente agora, com a
divulgao maior da legislao que as pessoas comeam a ter conscincia sobre o
problema. uma questo de tempo.
Atualmente essa preocupao no est inserida em meus projetos. O questionrio
chamou-me a ateno para o problema. Acredito que passarei a considerar esse vis
nos prximos projetos.
Atualmente a acessibilidade ainda no levada por completo, mas ser necessrio
fazer uma reformulao dos projetos desenvolvidos para abraar cada vez mais este
tema, pois importante expandir e desenvolver sistemas com acesso universal.
12. Sugestes para melhorar a acessibilidade na Web
Na questo 12, pediu-se que os participantes apontassem sugestes para melhorar a acessibi-
lidade na Web. De forma geral, muitos participantes sobre a necessidade de se divulgar mais a
84 6.5. RESULTADOS DO LEVANTAMENTO
legislao existente e de promover maior conscientizao, por meio do fornecimento de treina-
mentos nas empresas e da incluso do tema nos currculos de cursos relacionados.
A seguir, so transcritos alguns dos comentrios fornecidos pelos participantes:
Divulgao, incluso desse tpico em todos os processos de desenvolvimento de soft-
ware.
Maior divulgao dos padres e da legislao, incentivando assim as empresas a
adoo.
Primeiramente, maior conscientizao da sociedade sobre a importncia do acesso
informao e ao conhecimento. Depois, desenvolver ferramentas ou objetos que
facilitem a sua implementao cando disposio dos prossionais.
No creio que existam aes para obrigar. Mas a conscientizao e o treinamento
dos desenvolvedores levar a mdio prazo para a considerao da usabilidade.
Ampla divulgao do nmero de consumidores em potencial que deixam de consu-
mir produtos e ou servios por no terem acesso a pginas mal construidas. Ampla
divulgao de que o tempo e dinheiro gasto a mais em um projeto acessvel, testado
e validado na prtica(com usurios reais e no somente concordncia com as es-
pecicaes de acessibilidade) muito pequeno se comparado com o retorno que o
investimento pode dar.
Acredito que toda instituio que desenvolve stios deveria fazer testes com os di-
ferentes pers de usurios que pretendem atingir durante o desenvolvimento de cada
projeto.
Mtricas de acessibilidade das pginas indicadas pelos participantes
Na anlise das URLs indicadas pelos participantes, foi feita a anlise dos stios indicados,
utilizando a mdia das mtricas da avaliao das pginas iniciais e das pginas no nvel imedia-
tamente abaixo na navegao. No total, 181 participantes indicaram pelo menos uma URL. Para
os participantes que indicaram mais de uma URL, foi utilizada a mtrica com o menor ndice de
barreiras.
Na Figura 6.16, pode-se observar um grco do tipo boxplot com os resultados das anlises
com as mtricas WAB, A3, UWEM e WAQM. Verica-se que as mtricas A3 e UWEM apresenta-
ram comportamentos bastante semelhantes. Da mesma forma que na anlise efetuada nos estudos
de caso reportados na Seo 5.4, nota-se uma discordncia entre a mtrica WAQM e as demais. A
mtrica WAQM apresenta um nmero maior de pginas com resultados mais favorveis do que as
demais.
De acordo com a mtrica WAB, utilizada na maior parte das anlises, verica-se que 50% dos
stios tiveram mdia de ndice de barreiras at 2,4. Com as diretrizes consideradas na avaliao,
que podem ser
CAPTULO 6. LEVANTAMENTO COM PESSOAS ENVOLVIDAS EM PROJETOS WEB NO
BRASIL 85
Figura 6.16: Boxplots com o sumrio dos resultados das avaliaes das pginas dos participantes
do levantamento com as mtricas WAB, A3, UWEM e WAQM
6.5.2 Modelagem estatstica
Na estrutura do questionrio, dois aspectos tinham particular importncia como resultados ob-
jetivos em relao acessibilidade: a) a opinio dos participantes sobre a considerao da acessi-
bilidade nos projetos em que participa e b) o resultado das mtricas das avaliaes das URLs dos
stios indicados pelos participantes.
Desta forma, foram elaborados dois modelos estatsticos para realizao de inferncias utili-
zando tcnicas de regresso linear. No primeiro modelo, analisou-se o conjunto de questes de 1 a
8 mais as questes pessoais e demogrcas e, no segundo, analisou-se todo o conjunto de questes
somado anlise da avaliao dos stios com a mtrica WAB. As inferncias estatsticas foram
efetuadas com o apoio do ambiente estatstico R (R Development Core Team, 2007).
Modelo Logstico - Anlise em relao opinio quanto a considerao da acessibilidade nos
projetos
No primeiro modelo, utilizou-se a varivel da questo 8 (se a acessibilidade considerada nos
projetos em que participa) como varivel resposta. Esta questo admitia respostas Sim, No
ou Parcialmente. As respostas No e Parcialmente foramagrupadas emummesmo grupo. O
objetivo desta etapa foi de vericar a inuncia das variveis estudadas para que a acessibilidade
fosse considerada ou no em projetos de sistemas Web.
Em um modelo logstico, feita uma aproximao de uma funo que modela a probabilidade
de que a varivel resposta resulte em sucesso em funo das demais variveis (Paula, 2004,
2008). Neste tipo de modelo a varivel resposta do tipo binria (0 ou 1). O modelo de regresso
logstica busca obter uma funo linear que modele a probabilidade de que a varivel resposta seja
1, ajustando os coecientes de cada varivel de acordo com sua inuncia sobre a probabilidade
modelada.
86 6.5. RESULTADOS DO LEVANTAMENTO
Desta forma, contexto desta anlise, se uma varivel resulta tem um coeciente positivo, quer
dizer que de acordo com a amostra existem indcios de que ela contribui com o aumento da pro-
babilidade de sucesso. Ou seja, um valor positivo contribui para que um dado participante que
tenha dado uma resposta considerada favorvel a essa questo tenha maior tendncia a responder
Sim sobre a percepo sobre acessibilidade ser considerada ou no.
No modelo proposto neste trabalho, a varivel da questo 8 foi ajustada de forma que as res-
postas Sim foram consideradas como sucesso, e atribudas com o valor 1. As respostas No
ou Parcialmente foram denidas como fracasso e atribudas com o valor 0. Neste modelo,
tambm foram excludas algumas observaes que continham valores nulos nas respostas que po-
deriam prejudicar a anlise no modelo. Assim, o modelo foi ajustado para 581 participantes.
Para otimizar o modelo ajustado, foi realizada a seleo de variveis pelo Mtodo AIC (Akaike
Information Criterion) (Neter et al., 1996). O mtodo de Akaike consiste na otimizao de um mo-
delo, selecionando as variveis mais signicativas. Neste caso, utilizou-se o Mtodo AIC com pro-
cesso backward, ou seja, inicia-se o ajuste com todas as covariveis e retira-se as no-signicativas
em cada passo. O resultado nal o melhor modelo possvel com o menor nmero de variveis
necessrias.
A partir da execuo do mtodo AIC, as variveis consideradas mais relevantes para o modelo
foram as respostas s questes 1, 2, 3, 5, 6 e 7. Para vericar que variveis foram consideradas
relevantes, foi considerado o nvel de signicncia de 10% para os testes estatsticos. A partir das
anlises das variveis includas e de seus coecientes, surgem diversas discusses sobre a anlise
desses dados, as quais so descritas a seguir:
Perl: Inuncia no signicativa de caractersticas geogrcas, pessoais, de formao
e prossionais: as variveis de idade, gnero, localizao geogrca, formao, rea de
atuao e funo tiveram pouca inuncia para o modelo. Isso signica que essas variveis
podem ter pouca inuncia sobre a probabilidade de que a acessibilidade seja considerada
em projetos de sistemas Web. Este resultado contraria a hiptese de que, por exemplo, a rea
de atuao poderia ter inuncia sobre este fator, devido ao fato de os participantes da rea
governamental serem afetados por leis de acessibilidade.
Pequena inuncia do conhecimento sobre linguagens (Questo 1): o conhecimento so-
bre as linguagens HTML e CSS apresentou um coeciente relativamente baixo no modelo
(-0,2513), mas foi considerado relevante de acordo com os testes estatsticos (p-valor =
0,00167). Contudo, o fato de este coeciente ter sido negativo foi um resultado surpre-
endente. Isso indica que, de acordo com este modelo, o aumento de conhecimento sobre
linguagens tende a contribuir negativamente com a probabilidade de que a acessibilidade
seja considerada nos projetos.
Esta inferncia ressalta validade da impresso que se tem de que o conhecimento tcnico no
suciente para que as pessoas tenham conscincia sobre a considerao da acessibilidade
e outros fatores humanos no projeto de sistemas computacionais.
CAPTULO 6. LEVANTAMENTO COM PESSOAS ENVOLVIDAS EM PROJETOS WEB NO
BRASIL 87
Importncia da conscincia sobre a forma como as pessoas com necessidades especiais
utilizam a Web (Questo 2): o coeciente para a resposta segunda questo (0,3758) um
indcio de que conhecer as necessidades de pessoas com necessidades especiais um fator
importante para que a acessibilidade seja efetivamente considerada nos projetos.
Baixa inuncia do conhecimento sobre tecnologias assistivas (Questo 3): a baixa in-
uncia sobre o conhecimento das tecnologias assistivas tambmfoi umresultado curioso. A
maioria das variveis correspondentes a tecnologias no foram includas no modelo durante
a otimizao, e as variveis correspondentes a duas tecnologias includas tiveram coeci-
entes negativos (ampliador de tela com -0,5227 e navegador com voz com -0,3479). Estes
resultados indicam que o simples conhecimento sobre a existncia de tecnologias assistivas
no tem grande inuncia sobre a considerao da acessibilidade nos projetos.
Inuncia no signicativa do conhecimento sobre a legislao de acessibilidade (Ques-
to 4): a resposta questo 4, referente ao conhecimento sobre o Decreto Lei No. 5.296/2004
no foi considerada relevante para o modelo durante a otimizao. Isso pode indicar que,
alm do fato da legislao ser pouco conhecida por pessoas que participam de projetos Web,
como vericado na Seo 6.5.1, ela ainda pouco ecaz como instrumento para a introduo
efetiva da acessibilidade na agenda de projetos de sistemas Web.
Importncia do conhecimento sobre diretrizes de acessibilidade (Questo 5): o coeci-
ente para as respostas questo 5 (0,2727) revela que o conhecimento sobre diretrizes de
acessibilidade um fator positivo para contribuir com a considerao da acessibilidade em
projetos Web.
Importncia relativa de diferentes tipos de treinamento (Questo 6): variveis sobre
diferentes tipos de treinamento tiveram diferentes comportamentos na gerao do modelo.
Somente as varivies referentes a disciplinas de curso tcnico e cursos de Web design foram
includas, com coecientes 2,0161 e 0,7274, respectivamente. A varivel correspondente aos
participantes que responderam no ter tido nenhum tipo de treinamento tambm foi includa
no modelo, com um coeciente de -1,1064 e p-valor = 1,62e-05.
A anlise do coeciente da varivel referente a participantes que no tiveram nenhum trei-
namento revela indcios de que realmente a falta de treinamento um fator muito prejudicial
para a efetiva considerao da acessibilidade em projetos Web.
A incluso das variveis de disciplinas de cursos tcnicos e de cursos de Web design com
valores positivos mostram indcios de que a abordagem da acessibilidade nesses tipos de
curso tm tido uma contribuio efetiva entre os participantes da pesquisa. J a no incluso
de outras variveis, como a abordagem da acessibilidade em disciplinas de cursos superiores
(graduao e ps-graduao), nas empresas e em palestras pode mostrar indcios de que o
treinamento em acessibilidade nesses contextos no tm sido ecazes.
88 6.5. RESULTADOS DO LEVANTAMENTO
Importncia dos diferentes tipos de avaliaes de acessibilidade (Questo 7): somente
duas variveis referentes a avaliaes de acessibilidade foram includas no modelo a partir da
otimizao realizada, mas ambas com coecientes positivos: avaliao com usurios idosos
(0,8180) e avaliao com ferramentas automticas (0,5688). Contudo, fazendo outros testes
com um outro modelo no otimizado incluindo outros testes, vericou-se que as outras for-
mas de avaliaes tambm tinham coeciente positivo. Isto indica que h fortes indcios de
que o uso de mtodos de avaliao tm uma contribuio muito positiva para a considerao
da acessibilidade em projetos Web.
Modelo contnuo - Anlise com as mtricas das pginas avaliadas
No segundo modelo, utilizou-se a como varivel resposta o ndice de barreiras WAB dos stios
informados pelos participantes. Desta vez, todo o conjunto de variveis foi utilizado para compor
o modelo estatstico. O objetivo foi de vericar que variveis contribuem para ter um ndice de
barreiras maior ou menor.
A varivel analisada correspondia ao menor ndice de barreiras obtido entre as mdias de bar-
reiras dos stios apontados pelos participantes. No total, 181 participantes informaram o endereo
de pelo menos uma URL a ser avaliada.
A mtrica WAB foi escolhida devido facilidade de entendimento, por ser relacionada de
forma mais direta com as diretrizes do WCAG e por ter tido bom desempenho nos estudos de
caso realizados, reportados na Seo 5.4. O modelo estatstico utilizado foi um modelo linear para
dados contnuos (Paula, 2008).
Neste modelo, tambm foi utilizado o mtodo AIC com backward para seleo de variveis
relevantes. As variveis selecionadas foram as das questes 1, 3, 4, 5, 6, 7, 9 e 10.
No segundo modelo, deve-se considerar que a varivel analisada corresponde a um ndice
de barreiras obtido por meio de uma avaliao com uma ferramenta automtica. Desta forma,
somente um sub-conjunto de diretrizes do WCAG foi efetivamente avaliado. Assim, no se pode
armar que pginas com um ndice WAB baixo realmente sejam pginas acessveis. Nesta anlise,
portanto, pode-se vericar quais fatores mais inuenciam para que haja um ndice de barreiras
maior ou menor de acordo com os fatores analisados.
Tambm importante ressaltar que quanto maior o ndice de barreiras, mais problemas de
acessibilidade os stios avaliados tm. Desta forma, nesta anlise, os fatores que so considerados
como favorveis acessibilidade so os fatores com valores negativos no modelo.
Nesta anlise, as variveis que possuem valores negativos so aquelas que tendem a diminuir o
valor esperado do ndice de barreiras resultante da anlise das pginas. Em outras palavras, ndices
negativos apresentam indcios que de acordo com a amostra, uma dada varivel tende a diminuir o
ndice de barreiras esperado.
A seguir, so apresentadas as discusses referentes inuncia dos fatores analisados em rela-
o a mtricas de acessibilidade:
CAPTULO 6. LEVANTAMENTO COM PESSOAS ENVOLVIDAS EM PROJETOS WEB NO
BRASIL 89
Conhecimento sobre linguagens (Questo 1): ao contrrio da anlise em relao consi-
derao sobre acessibilidade nos projetos na opinio dos participantes, no modelo sobre o
ndice de barreiras o conhecimento sobre linguagens teve um ndice favorvel (-0,13038), o
que indica que esse conhecimento contribui para produzir pginas com menores ndices de
barreiras. Isso indica que o conhecimento sobre linguagens no necessariamente proporci-
ona um aumento na conscientizao, mas que tem uma contribuio efetiva para a obteno
de pginas com menores ndices de barreiras.
Conhecimento de tecnologias assistivas (Questo 3): trs tecnologias assistivas foram
includas no modelo, e duas delas tiveram coecientes favorveis, a saber: leitor de tela (-
0,30313) e mouses alternativos (-0,25198). O ampliador de tela teve coeciente 0,1839.
Verica-se que h indcios de que o conhecimento sobre tecnologias assistivas que tm
grande impacto sobre a interao apresenta um impacto favorvel para a obteno de p-
ginas com menores ndices de barreiras.
Conhecimento sobre legislao e diretrizes (Questes 4 e 5): o conhecimento sobre a
legislao brasileira de acessibilidade apresentou um valor no favorvel (0,11376), o que
mostra indcios de que ela no tem uma contribuio favorvel para a obteno de pginas
com menores ndices de barreiras. O conhecimento sobre as diretrizes do WCAG teve um
coeciente negativo pequeno (-0,04752), mostrando ndicios de que tem uma contribuio
favorvel, mas tmida para a obteno de pginas com menores ndices de barreiras.
Inuncia do treinamento (Questo 6): o treinamento recebido em empresa teve um co-
eciente favorvel (-0,44268), enquanto que no ter tido nenhum tipo de treinamento teve
coeciente 0,45296 e treinamento por palestra teve 0,54082. Esses dados do indcios de
que a falta de treinamento ou o fornecimento de treinamentos superciais tm uma inun-
cia negativa na obteno de pginas com baixos ndices de barreiras.
Tcnicas de avaliao (Questo 7): as tcnicas de avaliao de validao de CSS e de
avaliao com ferramentas tiveram coecientes favorveis (-0,30340 e -0,72759, respectiva-
mente), o que d indcios de que o uso de tcnicas de avaliao realmente contribui com a
obteno de pginas com menores ndices de barreiras.
Motivos para considerar acessibilidade nos projetos (Questo 9): dos motivos apontados
pelos participantes que armam considerar acessibilidade nos projetos em que participam, a
observncia a fatores legais, exigncia dos clientes e aderncia a Web standards no tiveram
fatores favorveis (0,45126, 0,48715 e 0,58297, respectivamente). A reputao da empresa e
a compatibilidade com dispositivos mveis tiveram fatores favorveis (-0,49653 e -0,37637),
o que mostra indcios de que organizaes que prezam por manter uma imagem de que
consideram acessibilidade e organizaes que se preocupam com a compatibilidade com
novas tecnologias tendem a produzir pginas com menores ndices de barreiras.
90 6.5. RESULTADOS DO LEVANTAMENTO
Motivos para no considerar acessibilidade nos projetos (Questo 10): como esperado,
todos as variveis includas no modelo apontadas como motivos para no considerar aces-
sibilidade tiveram coecientes no favorveis. Os motivos de que a legislao vigente no
se aplica s organizaes e a armao de que a acessibilidade prejudica o layout tiveram
respectivamente fatores 0,3736 e 0,79325, que no foram favorveis.
Na Tabela 6.1 apresentado um sumrio com a comparao entre os resultados das inferncias
com os dois modelos estatsticos. A partir da anlise desta tabela, pode-se contrastar os diferentes
impactos das questes investigadas sobre a percepo sobre a considerao da acessibilidade nos
projetos ou no (modelo logstico) e os indcios de pginas com menos barreiras a partir da anlise
com mtricas (modelo contnuo). Foram includas neste sumrio as questes demogrcas e as
questes de 1 a 7, que zeram parte dos dois modelos. Observa-se que nos dois casos os dados
demogrcos no tiveram impacto signicativo e no foram includos nos modelos.
Tabela 6.1: Sumrio com as inferncias obtidas por meio dos modelos
estatsticos
Questo Coeciente no
modelo logs-
tico
Impacto sobre a per-
cepo
Coeciente no
modelo cont-
nuo
Impacto sobre o ndice
de barreiras
Dados demogrcos No includo Impacto no signica-
tivo
No includo Impacto no signica-
tivo
Conhecimento sobre
HTML e CSS (Questo
1)
-0,2513 Impacto levemente des-
favorvel, no contribui
com o aumento da per-
cepo
-0,13038 Tem pequena contribui-
o com a diminuio do
ndice de barreiras
Percepo sobre o
uso da Web por cegos
(Questo 2)
0,3758 Impacto favorvel, com
pequena contribuio
para o aumento da
percepo
No includo Sem indcios de impacto
signicativo sobre a re-
duo do ndice de bar-
reiras
Tecnologias Assistivas
(Questo 3)
Ampliador de
tela: -0,5227,
Navegador
com voz:
-0,3479
Poucas tecnologias
includas, conhecimento
sobre tecnologias mais
populares no contri-
bui para o aumento da
percepo
Leitor de tela:
-0,30313,
Mouses al-
ternativos:
-0,25198
Conhecimento sobre tec-
nologias mais relaciona-
das a decincias contri-
buem mais para a dimi-
nuio do ndice de bar-
reiras
Conhecimento da legis-
lao (Questo 4)
No includo Impacto no signica-
tivo
0,1839 Impacto levemente des-
favorvel, com indcios
de contribuio para o
aumento do ndice de
barreiras
Conhecimento sobre
diretrizes do WCAG
(Questo 5)
0,2727 Impacto positivo, com
pequena contribui-
o para aumentar a
percepo
-0,04752 Impacto levemente favo-
rvel, mas tmido
CAPTULO 6. LEVANTAMENTO COM PESSOAS ENVOLVIDAS EM PROJETOS WEB NO
BRASIL 91
Questo Coeciente no
modelo logs-
tico
Impacto sobre a per-
cepo
Coeciente no
modelo cont-
nuo
Impacto sobre o ndice
de barreiras
Treinamentos recebi-
dos (Questo 6)
Curso tc-
nico: 2,0161,
Curso de Web
design: 0,7274
Cursos mais aplicados
apresentam ndices favo-
rveis para aumentar a
percepo
Treinamento
em empresa:
-0,44268, Sem
treinamento:
0,45296, Pa-
lestra: 0,54082
Conrma que treinamen-
tos aplicados (no caso da
empresa) contribui favo-
ravelmente tambm para
a diminuio do ndice
de barreiras. Falta de
treinamento ou treina-
mentos superciais tm
contribuio desfavor-
vel
Tcnicas de teste
(Questo 7)
Teste com
usurios ido-
sos: 0,8180 e
Avaliao com
ferramentas:
0,5688
Avaliao no geral apre-
senta contribuio favo-
rvel para aumentar a
percepo
Validao
de CSS: -
0,30340 e
Avaliao com
ferramentas:
-0,72759)
Uso de avaliao para se-
guir padres e avaliaes
especcas de acessibili-
dade contribuem favora-
velmente para diminuir o
ndice de barreiras
6.5.3 Anlise da validade
A validade interna se refere iseno de erros no processo de amostragem. Nesta pesquisa,
procurou-se utilizar mecanismos para evitar que houvessemerros na amostragemdos dados. Como
o preenchimento do questionrio foi efetuado por meio da Web, era possvel que respostas invlidas
fossem informadas.
Como este procedimento de coleta de dados era uma ameaa validade interna, as entradas de
dados de todos os participantes foram conferidas para vericar se no haviam dados invlidos, e
se os participantes realmente se encontravam no perl esperado para a pesquisa. Como resultado,
17 respostas foram excludas da anlise.
A validade externa se refere s condies para generalizao dos resultados. Dada a caracte-
rstica deste estudo de analisar o perl de pessoas envolvidas com projetos de sistemas Web, no
era possvel utilizar de instrumentos de amostragem probabilstica.
Um dos problemas para a utilizao da amostragem probabilstica a diculdade para deter-
minar na totalidade a populao estudada. No h nenhum catlogo completo de pessoas que
trabalhem com esse tipo de projeto.
Desta forma, a utilizao de uma amostragem no probabilstica reduz a validade externa do
estudo. Entretanto, como o estudo contou com uma participao bastante ampla, com participantes
de todo o pas e distribudos nas diferentes reas de atuao, acredita-se que o estudo bastante
92 6.6. CONSIDERAES FINAIS
representativo, e que alguns resultados podem ser utilizados para generalizaes de algumas con-
cluses sobre a populao estudada de maneira limitada.
6.6 Consideraes nais
Neste captulo foi apresentado o processo para conduo do levantamento sobre acessibilidade
com pessoas envolvidas com projetos de desenvolvimento de sistemas Web.
Foram apresentados alguns conceitos envolvidos com a realizao de pesquisas do tipo levan-
tamento, importantes para a realizao deste trabalho, e tambm quatro trabalhos relacionados
referentes a outros levantamentos similares. Dois desses levantamentos haviam sido realizados no
exterior, e outros dois no Brasil.
O levantamento realizado foi apresentado desde o seu planejamento, conduo at a anlise
dos resultados. Um total de 613 respostas vlidas foi utilizada no levantamento.
A anlise das estatsticas descritivas e das inferncias efetuadas mostram que h um longo
caminho a ser trilhado para a efetiva incorporao da acessibilidade em projetos de sistemas Web
no Brasil.
O nmero de pessoas que armam estar cientes sobre os conceitos, legislao e tcnicas para
acessibilidade ainda bastante pequeno. A necessidade de maior divulgao da legislao e de
diretrizes de acessibilidade, bem como a necessidade de mais treinamento sobre o tema so fatores
muito importantes para a maior disseminao da acessibilidade.
No prximo captulo, so apresentadas as concluses gerais deste trabalho e apontamentos para
trabalhos futuros.
CAPTULO
7
Concluses e trabalhos futuros
7.1 Contribuies
Neste trabalho, o principal objetivo proposto foi a investigao da percepo da questo da
acessibilidade no contexto de desenvolvimento de projetos de sistemas Web no Brasil. Assim, a
principal contribuio do trabalho corresponde ao levantamento realizado com pessoas envolvidas
em projetos de sistemas Web de todo o Brasil. Entretanto, diversas outras contribuies obtidas
durante o progresso do trabalho colaboram para a agregao de valor a esta contribuio principal.
O estudo realizado sobre o tema acessibilidade, fundamental para a realizao de todas as
atividades envolvidas, foi importante para vericar que a introduo deste tema fundamental para
a promoo da incluso de todas as pessoas na Sociedade da informao. Acessibilidade hoje
uma das grandes questes a serem tratadas para enfrentar o desao de garantir acesso universal e
participativo ao conhecimento.
A partir da realizao do levantamento por meio do uso de tcnicas de reviso sistemtica,
pde-se concluir que a acessibilidade tem sido objeto de estudo de muitas pesquisas, e que essas
pesquisas tm crescido em nmero e abrangncia nos ltimos anos. Contudo, este levantamento
tambm mostrou que, do ponto de vista de processos de desenvolvimento, ainda h muito o que ser
explorado para desenvolver tcnicas para apoiar a introduo da acessibilidade no desenvolvimento
Web.
Em particular, o estudo sobre mtricas de acessibilidade propostas na literatura mostrou que
a necessidade de vericar quantitativamente e monitorar acessibilidade crescente. A anlise
sobre as mtricas efetuada neste trabalho uma das mais abrangentes encontradas na literatura,
93
94 7.2. LIMITAES
abrangendo desde as primeiras mtricas propostas at mtricas propostas muito recentemente, com
discusses e anlises sobre a aplicabilidade das mtricas.
Alm do estudo aprofundado sobre as mtricas, uma outra contribuio importante do trabalho
foi a proposta e implementao de um mdulo para apoiar os procedimentos de medio de aces-
sibilidade a partir de avaliao automtica com diretrizes. A realizao dos dois estudos de caso
com stios governamentais nas esferas estadual e municipal no Brasil tambm foram importantes
para as anlises quantitativas que demonstram a grande necessidade de melhoria da acessibilidade
das pginas governamentais.
Finalmente, a partir dos resultados alcanados por meio dos estudos e implementaes realiza-
dos, foi possvel obter concluses interessantes e abrangentes sobre a acessibilidade no desenvol-
vimento de sistemas Web no Brasil. A realizao do questionrio com a participao de mais de
600 pessoas de todo o Brasil revelou questes interessantes e apontou diretrizes estratgicas para
a melhoria da acessibilidade no Brasil, a partir da inquietante constatao de que somente 19,9%
dos participantes armam considerar acessibilidade em seus projetos, no perodo da veiculao do
questionrio.
Os resultados das anlises descritivas e inferncias estatsticas conrmam diversas premissas,
principalmente de que somente o conhecimento de aspectos tcnicos no suciente para uma
conscientizao efetiva sobre as necessidades de diferentes tipos de usurios. Tambm vericou-
se que a insero da acessibilidade de forma efetiva na formao das pessoas envolvidas com
desenvolvimento uma necessidade crucial. Alm disso, as respostas mostram que a legislao de
acessibilidade brasileira ainda menos efetiva do que deveria ser e, portanto, novos mecanismos
de divulgao e de regulamentao devem ser institudos.
A realizao deste trabalho de mestrado tambm foi muito importante para contribuir com a
formao do autor como pesquisador. A utilizao de mtodos cientcos e o aprendizado com
a busca por solues para os problemas encontrados colaboraram muito para o desenvolvimento
de habilidades para o desenvolvimento de pesquisas futuras em nvel de doutorado. Alm disso,
o projeto proporcionou muitas oportunidades para aprofundar o conhecimento sobre conceitos de
Estatstica, de Interao Humano-Computador e de Engenharia de Software.
7.2 Limitaes
Durante todo o desenvolvimento do trabalho, buscou-se realizar todas as atividades com o
devido rigor cientco. Entretanto, as contribuies apresentadas apresentam limitaes devido
tanto ao escopo da proposta para este projeto, pelo tempo para realizao, por restries inerentes
metodologia utilizada e por outras variveis.
Do levantamento da literatura realizado sobre tcnicas, no foi possvel utilizar completamente
o mtodo de reviso sistemtica, devido grande abrangncia do tema e diculdade em denir
uma questo de pesquisa to especca quanto necessria para este mtodo.
CAPTULO 7. CONCLUSES E TRABALHOS FUTUROS 95
Na anlise das pginas realizadas por meio do uso de mtricas, uma grande limitao imposta
pelas mtricas encontradas a falta de coecientes para barreiras denidos por meio de resultados
experimentais. Assim, a maioria dos valores utilizados fornecem dados a partir dos pesos das
barreiras em relao a diretrizes, e no necessariamente sobre a percepo real de usurios.
Alm das limitaes das mtricas, uma outra limitao do trabalho a utilizao de meca-
nismos de avaliao baseados unicamente em mtodos automticos. Muitos pontos de vericao
necessitam de mtodos de inspeo manuais e testes com usurios. Entretanto, como foi proposta a
realizao de avaliao de um grande volume de pginas, seria invivel utilizar tais mtodos. Desta
forma, as concluses sobre a avaliao se restringem aderncia ou no aos critrios passveis de
avaliao automtica.
Finalmente, o questionrio realizado tambm apresenta limitaes referentes ao processo de
amostragem e forma de preenchimento. Infelizmente no foi possvel utilizar amostragem pro-
babilstica, dada a diculdade em delimitar a populao. Apesar da tentativa de distribuir os res-
pondentes entre os grupos de pessoas do ambiente acadmico, indstria e governo, a participao
de pessoas da indstria e do governo foi aqum do esperado. Alm disso, o fato de o question-
rio ter sido respondido por meio de formulrios Web impede que se certique a veracidade das
armaes fornecidas pelos participantes.
7.3 Trabalhos futuros
A realizao deste trabalho criou diversas perspectivas para a realizao de trabalhos futuros
como continuao desta pesquisa.
Novas estratgias para treinamento de pessoas envolvidas com desenvolvimento de projetos
Web devero ser investigadas, de forma a proporcionar um maior contato com os problemas reais
enfrentados pelos usurios e familiarizao com o uso de tecnologias assistivas em inspees e
testes com usurios.
Devero ser realizados estudos por meio do mtodo de reviso sistemtica com o objetivo
de investigar de maneira mais aprofundada o panorama sobre a acessibilidade a partir da anlise
sistemtica de estudos exploratrios reportados na literatura. A conduo de revises sistemticas
com vistas vericao da efetividade da utilizao de mtodos populares de inspeo tambm se
apresenta como uma perspectiva de pesquisa promissora.
Sero realizados tambm estudos com anlises com diferentes leituras dos dados coletados,
com separao por segmentos e anlise comparativa entre diferentes grupos. Tambm devero
ser analisadas questes ligadas ao relacionamento entre os pontos de vista sobre a percepo de
acessibilidade por participantes que so membros de uma mesma organizao.
Mais estudos sobre a utilizao de mtricas de acessibilidade no processo de desenvolvimento
de sistemas Web devero ser realizadas. Aspectos sobre o impacto da percepo dos usurios sobre
as barreiras e a efetividade do uso de mtricas derivadas da percepo do usurio devero ser alvo
96 7.4. PRODUO CIENTFICA
de investigao de pesquisas do candidato em seu trabalho de doutorado. Tambm devero ser
examinadas as questes ligadas utilizao de mtricas de acessibilidade a partir de outras formas
de avaliao de acessibilidade diferentes da avaliao por reviso de diretrizes.
O aprimoramento do mdulo para clculo de mtricas com vistas utilizao em avaliaes
com o e-MAG e melhoria do desempenho sero realizados no contexto do projeto Suporte para
avaliao de acessibilidade de Web sites baseada emmtricas de acordo como e-MAG, nanciado
pelo CNPq
1
. O projeto, de co-autoria do autor desta dissertao ser coordenado pela Profa. Dra.
Dbora Maria Barroso Paiva, do DCT-UFMS, e ser desenvolvido com a participao do ICMC-
USP, com incio previsto para janeiro de 2008.
No projeto PorSimples, nanciado pela Fapesp com o apoio da Microsoft, sero investigadas
questes de acessibilidade relacionadas simplicao de textos em lngua portuguesa pra anal-
fabetos funcionais e pessoas com outras limitaes relacionadas linguagem, como por exemplo,
pessoas com surdez, dislexia, entre outros. O projeto entrou em vigor em dezembro de 2007.
7.4 Produo cientca
Artigos completos em peridicos
1. Freire, A. P., Paiva, D. M. B., Turine, M. A. S., Fortes, R. P. M. 2007. Using screen readers
to reinforce web accessibility education. ACM SIGCSE Bull. 39, 3 (Jun. 2007), 82-86,
ACM Press.
Artigos completos em anais de eventos
1. Freire, A. P., Bittar, T. J., Fortes, R. P. M. An approach based on metrics for monitoring Web
accessibility in Brazilian municipalities Web sites . In: Proceedings of the 23rd Annual
ACM Symposium on Applied Computing (ACM SAC08). (Fortaleza, CE, Brazil, March 16
- 20, 2008). ACM SAC08. ACM Press, New York, NY, p. 2420 - 2424.
2. Freire, A. P., Goularte, R., Fortes, R. P. M. 2007. Techniques for developing more accessi-
ble web applications: a survey towards a process classication. In Proceedings of the 25th
Annual ACM international Conference on Design of Communication (El Paso, Texas, USA,
October 22 - 24, 2007). SIGDOC 07. ACM, New York, NY, 162-169.
3. Freire, A. P., Tanaka, E. H., Lara, S. M. A., Rocha, H. V., Fortes, R. P. M. Comparing
Accessibility in e-learning Web environments: a metric based approach. In: Proceedings of
the XIII Brazilian Symposium on Multimedia and the Web (WebMedia07), 2007, Gramado,
RS. Porto Alegre, RS: ACM Press, 2007. v.1. p.49-56.
1
Processo CNPq551017/2007-4 - Edital MCT/CNPq/CT-INFO n
o
07/2007 - Grandes desaos da computao
CAPTULO 7. CONCLUSES E TRABALHOS FUTUROS 97
Artigos resumidos em anais de eventos
1. Oliveira Jr, E. A., Motti, V. G., Freire, A. P., Fortes, R. P. M. Supporting Web Page Ac-
cessibility by using Earl Reports. In: Proceedings of The XIII Brazilian Symposium on
Multimedia and the Web, 2007, Gramado, RS. Porto Alegre, RS :SBC, 2007. p. 32-36.
Relatrios tcnicos
1. Freire, A. P., Goularte, R., Fortes, R. P. M. Tcnicas para desenvolvimento de aplicaes
Web mais acessveis. Relatrios tcnicos do ICMC-USP, nmero 303, 2007.
Outras publicaes geradas durante o mestrado
1. Paiva, D. M. B. ; Freire, A. P. ; Lucredio, D. ; Braga, R. T. V. ; Fortes, R. P. M. Reinforcing
Design Rationale in Software Projects Developed in Academic Environment. International
Transactions on Systems Science and Applications. v. 3, n. 3 (Oct. 2007), 238-248, Xiaglow
Research.
2. Carvalho, D. F., Estrella, J. C., Freire, A. P., Goularte, R., Santana, R. H., and Fortes, R. P.
M. 2007. Functional and device interoperability in an architectural model of geographic
information system. In Proceedings of the 25th Annual ACM international Conference on
Design of Communication (El Paso, Texas, USA, October 22 - 24, 2007). SIGDOC 07.
ACM, New York, NY, 127-133.
3. Freire, A. P. ; Lara, S. M. A. ; Fortes, R. P. M. Engenharia de Usabilidade na Web: um
estudo de caso. In: Anais do XII Simpsio Brasileiro de Sistemas Multimdia e WEB (Web-
Media06) - SBC, 2006, Natal, RN. Porto Alegre,RS : SBC, 2006. v. 1. p. 32-35.
4. Paiva, D. M. B. ; Freire, A. P. ; Fortes, R. P. M. Design Rationale in Academic Software
Development: Requirements for a Representation Model. In: Proceedings of the Interna-
tional Conference on Software Engineering & Knowledge Engineering (SEKE), 2006, San
Francisco. p. 469-472.
Referncias Bibliogrcas
ABASCAL, J.; ARRUE, M.; FAJARDO, I.; GARAY, N.; TOMAS, J. The use of guidelines to automatically verify
web accessibility. Universal Access in the Information Society, v. 3, n. 1, p. 7179, 2004.
Disponvel em: http://dx.doi.org/10.1007/s10209-003-0069-3 (Acessado em Janeiro/2007)
ACESSIBILIDADE BRASIL daSilva. 2007.
Disponvel em: http://www.dasilva.org.br (Acessado em Janeiro/2007)
AHMAD, R.; ZHANG, L.; AZAM, F. Measuring navigational burden. In: Fourth International Conference on
Proceedings of Software Engineering Research, Management and Applications,, IEEE, 2006, p. 307314.
ATKINSON, M. T.; DHIENSA, J.; MACHIN, C. H. C. Opening up access to online documents using essentiality
tracks. In: W4A: Proceedings of the 2006 international cross-disciplinary workshop on Web accessibility (W4A),
New York, NY, USA: ACM Press, 2006, p. 613.
AULT, H.; DELOGE, J.; LAPP, R.; MORGAN, M.; BARNETT, J. Evaluation of long descriptions of statistical
graphics for blind and low vision web users. In: Proceedings of 8th International Conference on Computers
Helping People with Special Needs, Linz, Austria: Springer Berlin / Heidelberg, 2002, p. 517.
BAILEY, J.; BURD, E. Tree-map visualisation for web accessibility. In: Proceedings of 29th Annual International
Computer Software and Applications Conference, 2005. COMPSAC 2005, 2005, p. 275280.
BEIREKDAR, A.; KEITA, M.; NOIRHOMME, M.; RANDOLET, F.; VANDERDONCKT, J.; MARIAGE, C. Flexible
reporting for automated usability and accessibility evaluation of web sites. In: Proceedings of 2005 Internacional
Conference on Human-Computer Interaction, Springer Berlin / Heidelberg, 2005, p. 281294.
BENAVDEZ, C.; FUERTES, J.; GUTIRREZ, E.; MARTNEZ, L. Semi-Automatic Evaluation of Web Accessibility
with HERA 2.0. In: Proceedings of the 10th International Conference on Computers Helping People with Special
Needs (ICCHP 2006), Springer, 2006, p. 199106.
BENAVDEZ, C.; FUERTES, J. L.; GUTIRREZ, E.; MARTNEZ, L. Teaching web accessibility with contramano
and hera. In: Proceedings of 10h Internacional Conference on Computers Helping People With Special Needs,
Springer Berlin / Heidelberg, 2006, p. 341348.
BERLISS-VINCENT, J. International websites relating to assistive technology & universal design. Disability World,
, n. 2, 2000.
Disponvel em: http://www.disabilityworld.org/ (Acessado em Janeiro/2007)
99
100 REFERNCIAS BIBLIOGRFICAS
BIOLCHINI, J.; MIAN, P.; NATALI, A.; TRAVASSOS, G. Systematic review in software engineering: Relevance and
utility. Relatrio Tcnico RT - ES 679/05, PESC - COPPE/UFRJ, 2005.
Disponvel em: http://cronos.cos.ufrj.br/publicacoes/reltec/es67905.pdf (Acessado em
Fevereiro/2007)
BITTAR, T. J. Abordagem para diagnstico de problemas em aplicaes de e-gov - um retrato dos municpios
brasileiros. Dissertao de Mestrado, Departamento de Computao (DC), Universidade Federal de So Carlos
(UFSCar), 2006.
BITTAR, T. J.; SILVA, J. C. A.; PENTEADO, R. A. D.; FILGUEIRAS, L. Short presentation of e-govmeter muni-
cipios, a brazilian monitoring system of electronic government (e-gov) municipal web services. In: Proceedings
of X Brazilian Symposium on Multimedia and the Web (WebMedia), ACM Press, 2005.
BOLDYREFF, C.; BURD, E.; DONKIN, J.; MARSHALL, S. The case for the use of plain english to increase web
accessibility. In: Proceedings of 3rd International Workshop on Web Site Evolution, IEEE, 2001, p. 4248.
BRAJNIK, G. Comparing accessibility evaluation tools: a method for tool effectiveness. Univers. Access Inf. Soc.,
v. 3, n. 3, p. 252263, 2004a.
BRAJNIK, G. Using automatic tools in accessibility and usability assurance processes. In: Proceedings of 8th
ERCIM Workshop on User Interfaces for All, Viena, Austria: Springer Berlin / Heidelberg, 2004b, p. 219234.
BRAJNIK, G. Web accessibility testing: When the method is the culprit. In: Proceedings of 10th International
Conference on Computers Helping People with Special Needs, Linz, Austria: Springer Berlin / Heidelberg, 2006,
p. 156163.
BHLER, C.; HECK, H.; PERLICK, O.; NIETZIO, A.; ULLTVEIT-MOE, N. Interpreting results from large scale
automatic evaluation of web accessibility. In: Computers Helping People with Special Needs, Springer Berlin /
Heidelberg, 2006, p. 184191.
CENTENO, V. L.; KLOOS, C. D.; GAEDKE, M.; NUSSBAUMER, M. Web composition with wcag in mind. In:
W4A 05: Proceedings of the 2005 International Cross-Disciplinary Workshop on Web Accessibility (W4A), New
York, NY, USA: ACM Press, 2005, p. 3845.
CERI, S.; FRATERNALI, P.; BONGIO, A. Web Modeling Language (WebML): a modeling language for designing
Web sites. In: Proceedings of the 9th international World Wide Web conference on Computer networks : the inter-
national journal of computer and telecommunications netowrking, Amsterdam, The Netherlands, The Netherlands:
North-Holland Publishing Co., 2000, p. 137157.
CHEN, Y.-L.; CHEN, Y.-Y.; SHAO, M. 2005 accessibility diagnosis on the government web sites in taiwan, r.o.c.
In: W4A: Proceedings of the 2006 international cross-disciplinary workshop on Web accessibility (W4A), New
York, NY, USA: ACM Press, 2006, p. 132142.
CHNE, D.; HOL, M. Web site accessibility auditing tool for visually decient persons ocawa. In: Proceedings
of 8th International Conference on Computers Helping People with Special Needs, Linz, Austria, 2002, p. 27.
CLUSTER, W. W. A. B. Unied Web Evaluation Methodology (UWEM 0.5). 2006a.
Disponvel em: http://www.wabcluster.org/uwem05/ (Acessado em Janeiro/2007)
CLUSTER, W. W. A. B. Unied Web Evaluation Methodology (UWEM 1.0). 2006b.
Disponvel em: http://www.wabcluster.org/uwem/ (Acessado em Janeiro/2007)
REFERNCIAS BIBLIOGRFICAS 101
CONALLEN, J. Building Web Applications with UML. second ed. Addison-Wesley, 468p p., 2002.
CONTE, T. U.; MENDES, M. E.; TRAVASSOS, G. H. Processos de Desenvolvimento para Aplicaes Web: Uma
Reviso Sistemtica. In: Proccedings of XI Brazilian Symposium on Multimedia and Web, Pocos de Caldas:
Brazilian Computer Society, 2005, p. 6375.
COOK, A. M.; HUSSEY, S. M. Assistive technologies: Principles and practice. 2a ed. Mosby - Year Book, Inc.,
523 p., 2001.
CORREANI, F.; LEPORINI, B.; PATERN, F. Automatic inspection-based support for obtaining usable web sites for
vision-impaired users. Universal Access in the Information Society, v. 5, n. 1, p. 8295, 2005.
COSTAGLIOTA, G.; FERRUCCI, F.; FRANCESE, R. Handbook of software engineering and knowledge engineering,
emerging technologies, cp. Web Engineering: Models and Methodologies for Design of Hypermedia Applications
World Scientic Publishing, p. 181199, 2002.
DESHPANDE, Y.; MURUGESAN, S.; GINIGE, A.; HANSEN, S.; SCHWABE, D.; GAEDKE, M.; ; WHITE, B. Web
Engineering. Journal of Web Engineering, v. 1, n. 1, p. 317, 2002.
Disponvel em: http://www.rintonpress.com/xjwe1/jwe-1-1/003-017.pdf (Acessado em Ja-
neiro/2007)
DIX, A.; FINLAY, J. E.; ABOWD, G. D.; BEALE, R. Human-computer interaction. 3a ed. Prentice Hall, 832 p.,
2003.
ENABLED Enabled web developer survey. 2005.
Disponvel em: http://www.enabledweb.org/public_results/survey_results/analysis.
html (Acessado em Acesso em fevereiro/2007)
FAPESP TIDIA-Ae - Tecnologia da Informao no Desenvolvimento da Internet Avanada - Aprendizado Eletrnico.
2008.
Disponvel em: http://tidia-ae.incubadora.fapesp.br/portal (Acessado em Janeiro de 2008)
FENTON, N. E.; PFLEEGER, S. L. Software metrics: A rigorous and practical approach. Boston, MA, USA: PWS
Publishing Co., 1998.
FERREIRA, S. B. L.; SANTOS, R. C.; SILVEIRA, D. S. Panorama da Acessibilidade na Web Brasileira. In: Anais
do XXXI Encontro da ANPAD - EnANPAD, 2007, p. 17p.
FILEPP, R.; CHALLENGER, J.; ROSU, D. Improving the accessibility of aurally rendered html tables. In: Assets
02: Proceedings of the fth international ACM conference on Assistive technologies, New York, NY, USA: ACM
Press, 2002, p. 916.
FONS, J.; PELECHANO, V.; ALBERT, M.; PASTOR, O. Development of web applications from web enhanced
conceptual schemas. In: Conceptual Modeling - ER 2003, Springer Berlin / Heidelberg, 2003, p. 232245.
FORTES, R. P. M.; LARA, S. M. A.; FREIRE, A. P.; PANSANATO, L. T. E. Minicursos do Webmedia 2005, v. 1,
cp. 7- Acessibilidade no Projeto de Aplicaes Web. 1 ed Belo Horizonte-MG: FuMARC Editora, p. 197226,
2005a.
FORTES, R. P. M.; PANSANATO, L. T. E.; LARA, S. M. A.; FREIRE, A. P. Minicursos do XVI Simpsio Brasileiro
de Informtica na Educao, v. 1, cp. 2- Universalizao do Acesso a Contedo Educacional em Aplicaes Web.
1 ed Juiz de Fora-MG: Editar Editora Associada, p. 2142, 2005b.
102 REFERNCIAS BIBLIOGRFICAS
FRATERNALI, P.; PAOLINI, P. A conceptual model and a tool environment for developing more scalable, dyna-
mic, and customizable web applications. In: Advances in Database Technology - EDBT98, Springer Berlin /
Heidelberg, 1998, p. 419435.
FREEDOM SCIENTIFIC JAWS. 2006.
Disponvel em: http://www.freedomscientific.com/ (Acessado em Dezembro/2006)
FREIRE, A. P.; BITTAR, T. J.; FORTES, R. P. M. An approach based on metrics for monitoring web accessibility in
brazilian municipalities web sites. In: Proceedings of the 23rd Annual ACM Symposium on Applied Computing,
ACM Press, 2008, p. 24202424.
FREIRE, A. P.; FORTES, R. P. M. Automatic accessibility evaluation of dynamic web pages generated through xslt.
In: W4A 05: Proceedings of the 2005 International Cross-Disciplinary Workshop on Web Accessibility (W4A),
New York, NY, USA: ACM Press, 2005, p. 8184.
FREIRE, A. P.; GOULARTE, R.; FORTES, R. P. M. Tcnicas para desenvolvimento de aplicaes web acessveis.
Relatrio Tcnico 303, ICMC - University of Sao Paulo, Sao Carlos, SP, 2007a.
FREIRE, A. P.; GOULARTE, R.; MATTOS FORTES, R. P. Techniques for developing more accessible web ap-
plications: a survey towards a process classication. In: SIGDOC 07: Proceedings of the 25th annual ACM
international conference on Design of communication, New York, NY, USA: ACM, 2007b, p. 162169.
FREIRE, A. P.; MATTOS FORTES, R. P.; PAIVA, D. M. B.; TURINE, M. A. S. Using screen readers to reinforce
web accessibility education. SIGCSE Bull., v. 39, n. 3, p. 8286, 2007c.
FREIRE, A. P.; TANAKA, E. H.; LARA, S. M. A.; ROCHA, H. V.; FORTES, R. P. M. Comparing accessibility in
web based e-learning environments: a metric based approach. In: Proceedings of the XIII Brazilian Symposium
on Multimedia and the Web (Webmedia), ACM Press, 2007d, p. 4956.
FREITAS, H.; OLIVEIRA, M.; SACCOL, A. Z.; MOSCAROLA, J. O mtodo de pesquisa survey. Revista de
Administrao da USP, RAUSP, v. 35, n. 3, p. 105112, 2000.
FUKUDA, K.; SAITO, S.; TAKAGI, H.; ASAKAWA, C. Proposing new metrics to evaluate web usability for the
blind. In: CHI 05: CHI 05 extended abstracts on Human factors in computing systems, New York, NY, USA:
ACM Press, 2005, p. 13871390.
FUNDAO SAKAI Projeto sakai. 2008.
Disponvel em: http://www.sakaiproject.org (Acessado em Janeiro de 2008)
GELLENBECK, E. Integrating accessibility into the computer science curriculum. J. Comput. Small Coll., v. 21,
n. 1, p. 267273, 2005.
GIL, A. Como elaborar projetos de pesquisa. Atlas, 1991.
GJSTER, T.; NYTUN, J. P.; PRINZ, A.; SNAPRUD, M.; TVEIT, M. S. Modelling accessibility constraints. In:
Proceedings of 10th International Conference on Computers Helping People with Special Needs, Springer Berlin /
Heidelberg, 2006, p. 4047.
GOETTE, T.; COLLIER, C.; WHITE, J. D. An exploratory study of the accessibility of state government Web sites.
Universal Access in the Information Society, v. 5, n. 1, p. 4150, 2006.
REFERNCIAS BIBLIOGRFICAS 103
GONZLEZ, J.; MACAS, M.; RODRGUEZ, R.; SNCHEZ, F. Accessibility metrics of web pages for blind end-
users. In: Proceedings of 2003 International Conference on Web Engineering, Oviedo, Spain: Springer Berlin /
Heidelberg, 2003, p. 374383.
GOVERNO BRASILEIRO Modelo de Acessibilidade de Governo Eletrnico - verso 2.0. 2008.
Disponvel em: http://www.governoeletronico.gov.br/emag/ (Acessado em Janeiro/2008)
HACKETT, S.; PARMANTO, B.; ZENG, X. Accessibility of internet websites through time. In: Assets 04: Procee-
dings of the 6th international ACM SIGACCESS conference on Computers and accessibility, New York, NY, USA:
ACM Press, 2004, p. 3239.
HERRAMHOF, S.; PETRIE, H.; STROBBE, C.; VLACHOGIANNIS, E.; WEIMANN, K.; WEBER, G.; VELASCO,
C. A. Test case management tools for accessibility testing. In: Proceedings of 10th International Conference on
Computers Helping People With Disabilities, Linz, Austria: Springer Berlin / Heidelberg, 2006, p. 215222.
HOFFMAN, D.; E. GRIVEL, L. B. Designing software architectures to facilitate accessible web applications. IBM
Systems Journal, v. 44, n. 3, p. 467, 2005.
HORTON, S. Designing beneath the surface of the web. In: W4A: Proceedings of the 2006 international cross-
disciplinary workshop on Web accessibility (W4A), New York, NY, USA: ACM Press, 2006, p. 15.
HTTRACK HTTrack - Web site copier. 2008.
Disponvel em: Disponvelemhttp://www.httrack.com (Acessado em Janeiro de 2008)
HULL, L. Accessibility: its not just for disabilities any more. Interactions, v. 11, n. 2, p. 3641, 2004.
IBGE Censo demogrco 2000. 2000.
Disponvel em: http://www.ibge.gov.br/censo/ (Acessado em Janeiro/2007)
IBGE Sntese de indicadores sociais 2004. estudos e pesquisas: Informao demogrca e socioeconmica. 2005.
Disponvel em: http://www.ibge.gov.br/home/estatistica/populacao/condicaodevida/
indicadoresminimos/sinteseindicsociais2004/default.shtm (Acessado em Fevereiro/2007)
INTERNET ARQUIVE Way Back Machine. 2008.
Disponvel em: Disponvelemhttp://www.archive.org (Acessado em Janeiro de 2008)
ISO INTERNATIONAL STANDARD ORGANIZATION (ISO/IEC 12207) Standard for Information Technology
Software Lifecycle Processes. New York, NY, 85 S., 1998.
IVORY, M.; MANKOFF, J.; LE, A. Using automated tools to improve web site usage by users with diverse abilities.
IT and Society, v. 1, n. 3, p. 195236, 2003.
IVORY, M. Y. Automated web site evaluation : Researchers and practitioners perspectives. Kluwer Academic
Publishers, 225 p., 2003.
KING, M.; THATCHER, J. W.; BRONSTAD, P. M.; EASTON, R. Managing usability for people with disabilities in
a large web presence. IBM Systems Journal, v. 44, n. 3, p. 519, 2005.
KIRCHNER, M. Benchmark for testing the evaluation tools for web pages accessibility. In: Proceedings of Fifth
IEEE International Workshop on Web Site Evolution - Theme: Architecture, 2003, p. 6673.
104 REFERNCIAS BIBLIOGRFICAS
KITCHENHAM, B. Procedures for performing systematic reviews. Joint Technical Report Software Engineering
Group, Department of Computer Science Keele University, United King and Empirical Software Engineering,
National ICT Australia Ltd, Australia., 2004.
Disponvel em: http://www.elsevier.com/inca/publications/misc/inf-systrev.pdf
(Acessado em Janeiro/2007)
KITCHENHAM, B.; MENDES, M. E.; TRAVASSOS, G. H. A Systematic Review of Cross-vs. Within-Company Cost
Estimation Studies. In: 10th International Conference on Evaluation and Assessment in Software Engineering,
Staffordshire, 2006, p. 4755.
KOCH, N.; KRAUS, A. The expressive Power of UML-based Web Engineering. In: Proc. of Second International
Workshop on Web-oriented Software Technology (IWWOST02), 2002, p. 105119.
KOUROUPETROGLOU, C.; SALAMPASIS, M.; MANITSARIS, A. A semantic-web based framework for develo-
ping applications to improve accessibility in the www. In: W4A: Proceedings of the 2006 international cross-
disciplinary workshop on Web accessibility (W4A), New York, NY, USA: ACM Press, 2006, p. 98108.
KURNIAWAN, S.; ZAPHIRIS, P. Research-derived web design guidelines for older people. In: Assets 05: Procee-
dings of the 7th international ACM SIGACCESS conference on Computers and accessibility, New York, NY, USA:
ACM Press, 2005, p. 129135.
LAW, C.; JACKO, J.; EDWARDS, P. Programmer-focused website accessibility evaluations. In: Assets 05: Procee-
dings of the 7th international ACM SIGACCESS conference on Computers and accessibility, New York, NY, USA:
ACM Press, 2005, p. 2027.
LAZAR, J.; DUDLEY-SPONAUGLE, A.; GREENIDGE, K. Improving Web Accessibility: A Study of Webmaster
Perceptions. Computers and Human Behavior, v. 20, n. 2, p. 269288, 2004.
LEPORINI, B.; PATERN, F. Increasing usability when interacting through screen readers. Universal Access in the
Information Society, v. 3, n. 1, p. 5770, 2004.
LEPORINI, B.; PATERN, F.; SCORCIA, A. An environment for dening and handling guidelines for the web. In:
Proceedings of 10th International Conference on Computers Helping People with Special Needs, Linz, Austria:
Springer Berlin / Heidelberg, 2006, p. 176183.
LUCCA, G. A. D.; FASOLINO, A. R.; TRAMONTANA, P. Web site accessibility: identifying and xing accessibility
problems in client page code. In: Proceedings of Seventh IEEE International Symposium Web Site Evolution,
2005. (WSE 2005), 2005, p. 7178.
MACAS, M.; GONZLEZ, J.; SNCHEZ, F. On adaptability of web sites for visually handicapped people. In:
Second International Conference on Adaptive Hypermedia and Adaptive Web-Based Systems: Second International
Conference, Springer Berlin / Heidelberg, 2002, p. 264.
MAFRA, S. N.; TRAVASSOS, G. H. Tecnicas de Leitura de Software: Uma Reviso Sistemtica. In: Proceedings
of XIX Brazilian Symposium on Software Engineering, Uberlandia-Brazil: Brazilian Computer Society, 2005, p.
7287.
MASUWA-MORGAN, K. R.; BURRELL, P. Justication of the need for an ontology for accessibility requirements
(Theoretic framework). Interacting with Computers, v. 16, p. 523555, 2004.
MATTAR, F. Pesquisa de marketing. Atlas, 1996.
REFERNCIAS BIBLIOGRFICAS 105
MELO, A. M.; BARANAUSKAS, M. C. C. Design e avaliao de tecnologia web-acessvel. In: Jornadas de
Atualizao em Informtica - Congresso da SBC, 2005, SBC, 2005, p. 15001545.
MELO, A. M.; BARANAUSKAS, M. C. C. An inclusive approach to cooperative evaluation of web user interfaces.
In: Proceedings of Eigth International Conference on Enterprise Information Systems, Paphos, Cyprus, 2006a, p.
6570.
MELO, A. M.; BARANAUSKAS, M. C. C. Simpsio sobre Fatores Humanos em Sistemas Computacionais, Simp-
sio Brasileiro de Sistemas Multimdia e Web e Simpsio Brasileiro de Sistemas Colaborativos, v. 1, cp. Design
inclusivo de sistemas de informao na Web. 1 ed Natal, RN: SBC, p. 167212, 2006b.
MELO, A. M.; BARANAUSKAS, M. C. C. Uma opo inclusiva avaliao cooperativa de interfaces de usurio.
In: Anais do XXVI Congresso da Sociedade Brasileira de Computao, XXXIII SEMISH, SBC, 2006c, p. 447461.
MIRABELLA, V.; KIMANI, S.; CATARCI, T. A no-frills approach for accessible web-based learning material. In:
W4A 04: Proceedings of the 2004 international cross-disciplinary workshop on Web accessibility (W4A), New
York, NY, USA: ACM Press, 2004, p. 1927.
MOEHLING, J. L.; SMITH, R. L.; STEWART, M. D.; SWENSON, J. A. Considering accessibility for visually
impaired users [web site design]. In: Proceedings of IEEE International Professional Communication Conference,
1999. IPCC 99. Communication Jazz: Improvising the New International Communication Culture, 1999, p. 335
343.
MOODLE Moodle - A Free, Open-Source Course Management System for Online Learning. 2008.
Disponvel em: http://www.moodle.org (Acessado em Janeiro de 2008)
NCE-UFRJ Projeto DOSVOX. 2007.
Disponvel em: http://intervox.nce.ufrj.br/dosvox/ (Acessado em Janeiro/2007)
NETER, J.; KUTNER, M. H.; NACHTSHEIM, C. J.; WASSERMAN, W. Applied linear regression models. 3 ed.
Irwin, Illinois, 720 p., 1996.
NIAZI, M.; STAPLES, M. Systematic Review of Organizational Motivations for Adopting CMM-based SPI. Rela-
trio Tcnico PA005957, National ICT Australia Technical Report, 2006.
NIELSEN, J. Designing Web Usability. Peachpit Press, 432 p., 2000.
OLSINA, L.; LAFUENTE, G.; ROSSI, G. Specifying quality characteristics and attributes for websites. In: Web
Engineering : Software Engineering and Web Application Development, Springer Berlin / Heidelberg, 2001, p.
266279.
OLSINA, L.; ROSSI, G. Measuring Web Application Quality with WebQEM. IEEE MultiMedia, v. 9, n. 4, p. 2029,
2002.
Disponvel em: http://dx.doi.org/10.1109/MMUL.2002.1041945 (Acessado em Janeiro/2007)
PADDISON, C.; ENGLEFIELD, P. Applying heuristics to perform a rigorous accessibility inspection in a commercial
context. In: CUU 03: Proceedings of the 2003 conference on Universal usability, New York, NY, USA: ACM
Press, 2003, p. 126133.
PADDISON, C.; ENGLEFIELD, P. Applying heuristics to accessibility inspections. Interacting with Computers,
v. 16, p. 507521, 2004.
106 REFERNCIAS BIBLIOGRFICAS
PARMANTO, B.; ZENG, X. Metric for Web accessibility evaluation. Journal of the American Society for Information
Science and Technology, v. 56, n. 33, p. 13941404, 2005.
PATERN, F. Models for universal usability. In: IHM 2003: Proceedings of the 15th French-speaking conference
on human-computer interaction on 15eme Conference Francophone sur lInteraction Homme-Machine, New York,
NY, USA: ACM Press, 2003, p. 916.
PAULA, G. A. Modelos de regresso com apoio computacional. IME-USP, 253 p., 2004.
Disponvel em: http://www.ime.usp.br/~giapaula/livro.html (Acessado em Janeiro de 2008)
PAULA, G. A. Modelos lineares generalizados. 2008.
Disponvel em: http://www.ime.usp.br/~giapaula/slides3_mlgs_07.pdf (Acessado em Ja-
neiro de 2008)
PERLMAN, G. Achieving universal usability by designing for change. IEEE Internet Computing, v. 6, n. 2, p. 4655,
2002.
PETRIE, H.; HAMILTON, F.; KING, N. Tension? what tension?: website accessibility and visual design. SIGCAPH
Comput. Phys. Handicap., , n. 76, p. 67, 2003.
PETRIE, H.; HAMILTON, F.; KING, N.; PAVAN, P. Remote usability evaluations with disabled people. In: CHI
06: Proceedings of the SIGCHI conference on Human Factors in computing systems, New York, NY, USA: ACM
Press, 2006, p. 11331141.
PINSONNEAULT, A.; KRAEMER, K. Survey research methodology in management information systems: an assess-
ment. Journal of Management Information Systems, v. 10, n. 2, p. 75105, 1993.
PLESSERS, P.; CASTELEYN, S.; YESILADA, Y.; TROYER, O. D.; STEVENS, R.; HARPER, S.; GOBLE, C. Acces-
sibility: a web engineering approach. In: WWW 05: Proceedings of the 14th international conference on World
Wide Web, New York, NY, USA: ACM Press, 2005, p. 353362.
PLONE Plone: A user-friendly and powerful open source Content Management System. 2007.
Disponvel em: http://www.plone.org (Acessado em Janeiro/2007)
PRESSMAN, R. Engenharia de Software. 6a ed. McGraw-Hill, 880 p., 2006.
R DEVELOPMENT CORE TEAM R: A language and environment for statistical computing. R Foundation for
Statistical Computing, Vienna, Austria, ISBN 3-900051-07-0, 2007.
Disponvel em: http://www.R-project.org
REGAN, B. Accessibility and design: a failure of the imagination. In: W4A 04: Proceedings of the 2004 in-
ternational cross-disciplinary workshop on Web accessibility (W4A), New York, NY, USA: ACM Press, 2004, p.
2937.
ROCHA, H. V.; BARANAUSKAS, M. C. C. Design e Avaliao de Interfaces Humano-Computador. EdUnicamp,
2003.
ROSMAITA, B. J. Accessibility rst!: a new approach to web design. In: SIGCSE 06: Proceedings of the 37th
SIGCSE technical symposium on Computer science education, New York, NY, USA: ACM Press, 2006, p. 270
274.
REFERNCIAS BIBLIOGRFICAS 107
ROWAN, M.; GREGOR, P.; SLOAN, D.; BOOTH, P. Evaluating web resources for disability access. In: Assets 00:
Proceedings of the fourth international ACM conference on Assistive technologies, New York, NY, USA: ACM
Press, 2000, p. 8084.
SCHWABE, D.; ROSSI, G.; BARBOSA, S. D. J. Systematic hypermedia application design with OOHDM. In:
HYPERTEXT 96: Proceedings of the the seventh ACM conference on Hypertext, New York, NY, USA: ACM
Press, 1996, p. 116128.
SERPRO Acessibilidade na Web. 2004.
Disponvel em: http://www.serpro.gov.br/acessibilidade (Acessado em Janeiro/2007)
SHULL, F.; MENDONCA, M. G.; BASILI, V.; CARVER, J.; MALDONADO, J. C.; FABBRI, S.; TRAVASSOS, G. H.;
FERREIRA, M. C. Knowledge-Sharing Issues in Experimental Software Engineering. Empirical Softw. Engg.,
v. 9, n. 1-2, p. 111137, 2004.
SLOAN, D.; GREGOR, P.; ROWAN, M.; BOOTH, P. Accessible accessibility. In: CUU 00: Proceedings on the
2000 conference on Universal Usability, New York, NY, USA: ACM Press, 2000, p. 96101.
SLOAN, D.; HEATH, A.; HAMILTON, F.; KELLY, B.; PETRIE, H.; PHIPPS, L. Contextual web accessibility
- maximizing the benet of accessibility guidelines. In: W4A: Proceedings of the 2006 international cross-
disciplinary workshop on Web accessibility (W4A), New York, NY, USA: ACM Press, 2006, p. 121131.
SNAPRUD, M. H.; ULLTVEIT-MOE, N.; PILLAI, A. B.; OLSEN, M. G. A proposed architecture for large scale
web accessibility assessment. In: Proceedings of 9th International Conference on Computers Helping People with
Special Needs, Springer Berlin / Heidelberg, 2006, p. 234241.
SULLIVAN, T.; MATSON, R. Barriers to use: usability and content accessibility on the Webs most popular sites. In:
CUU 00: Proceedings on the 2000 conference on Universal Usability, New York, NY, USA: ACM Press, 2000, p.
139144.
Disponvel em: http://doi.acm.org/10.1145/355460.355549 (Acessado em Fevereiro/2007)
TAKAGI, H.; ASAKAWA, C.; FUKUDA, K.; MAEDA, J. Accessibility designer: visualizing usability for the blind.
In: Assets 04: Proceedings of the 6th international ACM SIGACCESS conference on Computers and accessibility,
New York, NY, USA: ACM Press, 2004, p. 177184.
TANGARIFE, T. M. A acessibilidade nos websites governamentais: um estudo de caso no site da eletrobrs. Disser-
tao de Mestrado, Departamento de Artes e Design, Pontifcia Universidade Catlica do Rio de Janeiro (PUC-Rio),
2007.
TANGARIFE, T. M.; MONTALVO, C. O que os desenvolvedores brasileiros sabem sobre acessibilidade web e
incluso digital? In: Anais do 6
o
USIHC - 6
o
Congresso Internacional de Ergonomia e Usabilidade, Design de
Interfaces e Interao Humano- Computador, 2006, p. 6p.
THATCHER, J.; BOHMAN, P.; BURKS, M.; HENRY, S. L.; REGAN, B.; SWIERENGA, S.; URBAN, M. Constructing
accessible web sites. 1a ed. Glasshaus, 415 p., 2002.
TREWIN, S.; ZIMMERMANN, G.; VANDERHEIDEN, G. Abstract representations as a basis for usable user interfaces.
Interacting with Computers, v. 16, p. 477506, 2004.
U.S. GOVERNMENT Section 508. 2007.
Disponvel em: http://www.section508.gov (Acessado em Janeiro/2007)
108 REFERNCIAS BIBLIOGRFICAS
VANDERDONCKT, J.; BEIREKDAR, A.; NOIRHOMME-FRAITURE, M. Automated evaluation of web usability and
accessibility by guideline review. In: Proceedings of 4th International Conference, Munich, Germany: Springer
Berlin / Heidelberg, 2004, p. 1730.
VANDERHEIDEN, G. Fundamental principles and priority setting for universal usability. In: CUU 00: Proceedings
on the 2000 conference on Universal Usability, New York, NY, USA: ACM Press, 2000, p. 3237.
VIGO, M.; ARRUE, M.; BRAJNIK, G.; LOMUSCIO, R.; ABASCAL, J. Quantitative metrics for measuring web ac-
cessibility. In: W4A 07: Proceedings of the 2007 international cross-disciplinary conference on Web accessibility
(W4A), New York, NY, USA: ACM Press, 2007, p. 99107.
W3C HTML 4.01 Specication. 1999.
Disponvel em: http://www.w3.org/TR/html4/ (Acessado em Janeiro/2007)
W3C Web Content Acessibility Guidelines 1.0. 1999a.
Disponvel em: http://www.w3.org/TR/WCAG10/ (Acessado em Fevereiro/2007)
W3C XSL Transformations (XSLT). Disponvel online em http://www.w3c.org/TR/xslt. Acesso em janeiro/2004,
1999b.
W3C Authoring Tool Accessibility Guidelines 1.0. 2000.
Disponvel em: http://www.w3.org/TR/ATAG10/ (Acessado em Fevereiro/2007)
W3C User Agent Accessibility Guidelines 1.0. 2002a.
Disponvel em: http://www.w3.org/TR/UAAG10/ (Acessado em Fevereiro/2007)
W3C XHTML - 1.0 The Extensible HyperText Markup Language (Second Edition). 2002b.
Disponvel em: Disponvelemhttp://www.w3.org/TR/xhtml1/ (Acessado em Janeiro de 2008)
W3C Evaluating web sites for accessibility. Disponvel online em http://www.w3c.org/WAI/eval. Acesso em no-
vembro/2003, 2003.
W3C Earl Schema - Content Evaluation and Report Language (EARL) 1.0 Schema - Editors Draft 23 March 2007.
2007a.
Disponvel em: Disponvelemhttp://www.w3.org/TR/2007/WD-EARL10-Schema-20070323
(Acessado em Janeiro de 2008)
W3C Web Content Acessibility Guidelines 2.0 - Working Draft. 2007b.
Disponvel em: http://www.w3.org/TR/WCAG20/ (Acessado em Dezembro/2007)
Y. TAKATA, Y.; NAKAMURA, T.; SEKI, H. Accessibility verication of www documents by an automatic guideline
verication tool. In: Proceedings of the 37th Annual Hawaii International Conference on System Sciences, IEEE
CS, 2004, p. 10 pp.
ZAJICEK, M. Patterns for encapsulating speech interface design solutions for older adults. In: CUU 03: Procee-
dings of the 2003 conference on Universal usability, New York, NY, USA: ACM Press, 2003, p. 5460.
ZAJICEK, M. Successful and available: interface design exemplars for older users. Interacting with Computers,
v. 16, p. 411430, 2004.
ZAPHIRIS, P.; GHIAWADWALA, M.; MUGHAL, S. Age-centered research-based web design guidelines. In: CHI
05: CHI 05 extended abstracts on Human factors in computing systems, New York, NY, USA: ACM Press, 2005,
p. 18971900.
APNDICE
A
Glossrio
Termo Denio
API Application Program Interface: conjunto de rotinas disponibilizadas como
interface para utilizao das funcionalidades de um software
ABNT Associao Brasileira de Normas Tcnicas
ATAG Authoring Tools Accessibility Guidelines (W3C, 2000): conjunto de diretri-
zes de acessibilidade para ferramentas de autoria
Checkpoint Vide Ponto de vericao
Coeciente de correlao Coeciente que indica o qual correlacionadas so duas variveis aleatrias
Crawler Aplicao que navega automaticamente por pginas Web
Diretriz Elemento referente a uma recomendao sobre como fazer determinada ta-
refa (usado como traduo para guideline)
e-MAG Modelo de Acessibilidade de Governo Eletrnico brasileiro
Engenharia Reversa Processo de obter artefatos de software de fases anteriores do processo de
software a partir de outros documentos. Por exemplo, obter documentos de
projeto a partir de cdigo fonte.
Guideline Vide Diretriz
IBGE Instituto Brasileiro de Geograa e Estatstica
ONG Organizao No Governamental
Ponto de vericao Elemento pontual de uma diretriz. Uma diretriz geralmente contmdiversos
pontos de vericao
URL Uniform Resource Locator: endereo de um objeto na Web
UUAG User Agent Accessibility Guidelines: diretrizes para acessibilidade de siste-
mas para usurios, como navegadores
WCAG Web Content Accessibility Guidelines: diretrizes para criao de contedo
Web acessvel
109
110
Termo Denio
W3C World Wide Web Consortium: organismo internacional responsvel pela de-
nies de padres para a Web
XML eXtensible Markup Language: linguagem de marcao poderosa e extens-
vel, que pode representar inmeros tipos de dados na forma de documentos
estruturados
XSLT XML Transformations: padro para transformao de documentos XML em
outros tipos de documentos
APNDICE
B
Diretrizes e pontos de vericao do
WCAG 1.0
Neste apndice, so apresentadas as diretrizes e pontos de vericao do WCAG 1.0 (Web
Content Accessibility Guidelines) do W3C (W3C, 1999a).
Diretriz 1 - Fornecer alternativas ao contedo sonoro e visual
1.1 Fornecer um equivalente textual a cada elemento no textual (Prioridade 1)
1.2 Fornecer links de texto redundantes relativos a cada regio ativa de um mapa de imagem
armazenado no servidor. (Prioridade 1)
1.3 Fornecer uma descrio sonora das informaes importantes veiculadas em trechos visuais
das apresentaes multimdia, at que os agentes do usurio consigam ler, automaticamente e em
voz alta, o equivalente textual dos trechos visuais. (Prioridade 1)
1.4 Em apresentaes multimdia baseadas em tempo (lme ou animao), sincronizar as al-
ternativas equivalentes (legendas ou descries sonoras dos trechos visuais) e a apresentao. (Pri-
oridade 1)
1.5 Fornecer links textuais redundantes para cada regio ativa dos mapas de imagem no cliente,
at que os agentes do usurio proporcionem equivalentes textuais dos links a mapas de imagem
armazenados no cliente. (Prioridade 3)
111
112
Diretriz 2 - No recorrer apenas cor
2.1 Assegurar que todas as informaes veiculadas com cor estejam tambm disponveis sem
cor, por exemplo a partir do contexto ou de marcaes. (Prioridade 1)
2.2 Assegurar que a combinao de cores entre o fundo e o primeiro plano seja sucientemente
contrastante para poder ser vista por pessoas com cromodecincias, bem como pelas que utilizam
monitores de vdeo monocromticos. (Prioridade 2 para imagens; prioridade 3 para texto)
Diretriz 3 - Utilizar corretamente marcaes e folhas de estilo
3.1 Sempre que existir uma linguagem de marcao apropriada, utilizar marcaes em vez de
imagens para transmitir informaes. (Prioridade 2)
3.2 Criar documentos passveis de validao por gramticas formais, publicadas. (Prioridade
2)
3.3 Utilizar folhas de estilo para controlar a paginao (disposio em pgina) e a apresentao.
(Prioridade 2)
3.4 Utilizar unidades relativas, e no absolutas, nos valores dos atributos da linguagem de
marcao e nos valores das propriedades das folhas de estilo. (Prioridade 2)
3.5 Utilizar elementos de cabealho indicativos da estrutura do documento, de acordo com as
especicaes. (Prioridade 2)
3.6 Marcar corretamente listas e pontos de enumerao em listas. (Prioridade 2)
3.7 Marcar as citaes. No utilizar marcaes de citao para efeitos de formatao, como,
por exemplo, o avano de texto. (Prioridade 2)
Diretriz 4 - Indicar claramente qual o idioma utilizado
4.1 Identicar claramente quaisquer mudanas de idioma no texto de um documento, bem
como nos equivalentes textuais (por ex., legendas). (Prioridade 1)
4.2 Especicar por extenso cada abreviatura ou sigla quando da sua primeira ocorrncia em um
documento. (Prioridade 3)
4.3 Identicar o principal idioma utilizado nos documentos. (Prioridade 3)
Diretriz 5 - Criar tabelas passveis de transformao harmoniosa
5.1 Em tabelas de dados, identicar os cabealhos de linha e de coluna. (Prioridade 1)
5.2 Em tabelas de dados com dois ou mais nveis lgicos de cabealhos de linha ou de coluna,
utilizar marcaes para associar as clulas de dados s clulas de cabealho. (Prioridade 1)
5.3 No utilizar tabelas para efeitos de disposio em pgina, a no ser que a tabela continue a
fazer sentido depois de ser linearizada. Se no for o caso, fornecer um equivalente alternativo (que
pode ser uma verso linearizada). (Prioridade 2)
APNDICE B. DIRETRIZES E PONTOS DE VERIFICAO DO WCAG 1.0 113
5.4 Se for utilizada uma tabela para efeitos de disposio em pgina, no utilizar qualquer
marcao estrutural para efeitos de formatao visual. (Prioridade 2)
5.5 Fornecer resumos das tabelas. (Prioridade 3)
5.6 Fornecer abreviaturas para os rtulos de cabealho. (Prioridade 3)
Diretriz 6 - Assegurar que as pginas dotadas de novas tecnologias sejam trans-
formadas harmoniosamente
6.1 Organizar os documentos de tal forma que possam ser lidos sem recurso a folhas de estilo.
Por exemplo, se um documento em HTML for reproduzido sem as folhas de estilo que lhe esto
associadas, deve continuar a ser possvel l-lo. (Prioridade 1)
6.2 Assegurar que os equivalentes de contedo dinmico sejam atualizados sempre que esse
contedo mudar. (Prioridade 1)
6.3 Assegurar que todas as pginas possam ser utilizadas mesmo que os programas interpret-
veis, os applets ou outros objetos programados tenham sido desativados ou no sejam suportados.
Se isso no for possvel, fornecer informaes equivalentes em uma pgina alternativa, acessvel.
(Prioridade 1)
6.4 Emprogramas interpretveis e applets, assegurar que a resposta a eventos seja independente
do dispositivo de entrada. (Prioridade 2)
6.5 Assegurar a acessibilidade do contedo dinmico ou fornecer apresentao ou pgina al-
ternativas. (Prioridade 2)
Diretriz 7 - Assegurar o controle do usurio sobre as alteraes temporais do con-
tedo
7.1 Evitar concepes que possam provocar intermitncia da tela, at que os agentes do usurio
possibilitem o seu controle. (Prioridade 1)
7.2 Evitar situaes que possam provocar o piscar do contedo das pginas (isto , alterar a
apresentao a intervalos regulares, como ligar e desligar), at que os agentes do usurio possibi-
litem o controle desse efeito. (Prioridade 2)
7.3 Evitar pginas contendo movimento, at que os agentes do usurio possibilitem a imobili-
zao do contedo. (Prioridade 2)
7.4 No criar pginas de atualizao automtica peridica, at que os agentes do usurio pos-
sibilitem parar essa atualizao. (Prioridade 2)
7.5 No utilizar marcaes para redirecionar as pginas automaticamente, at que os agentes
do usurio possibilitem parar o redirecionamento automtico. Ao invs de utilizar marcaes,
congurar o servidor para que execute os redirecionamentos. (Prioridade 2)
114
Diretriz 8 - Assegurar a acessibilidade direta de interfaces do usurio integradas
8.1 Criar elementos de programao, tais como programas interpretveis e applets, diretamente
acessveis pelas tecnologias de apoio ou com elas compatveis (prioridade 1 se a funcionalidade
for importante e no estiver presente em outro local; prioridade 2, se no for o caso)
Diretriz 9 - Projetar pginas considerando a independncia de dispositivos
9.1 Fornecer mapas de imagem armazenados no cliente ao invs de no servidor, exceto quando
as regies no puderem ser denidas por forma geomtrica disponvel. (Prioridade 1)
9.2 Assegurar que qualquer elemento dotado de interface prpria possa funcionar de modo
independente de dispositivos. (Prioridade 2)
9.3 Em programas interpretveis, especicar respostas a eventos, preferindo-as a rotinas de-
pendentes de dispositivos. (Prioridade 2)
9.4 Criar uma seqncia lgica de tabulao para percorrer links, controles de formulrios e
objetos. (Prioridade 3)
9.5 Fornecer atalhos por teclado que apontem para links importantes (incluindo os contidos
em mapas de imagem armazenados no cliente), controles de formulrios e grupo de controles de
formulrios. (Prioridade 3)
Diretriz 10 - Utilizar solues de transio
10.1 No provocar o aparecimento de janelas de sobreposio ou outras quaisquer, e no fazer
com que o contedo da janela atual seja modicado sem que o usurio seja informado disso, at
que os agentes do usurio tornem possvel a desativao de janelas secundrias. (Prioridade 2)
10.2 Assegurar o correto posicionamento de todos os controles de formulrios que tenham
rtulos implicitamente associados, at que os agentes do usurio venham a suportar associaes
explcitas entre rtulos e controles de formulrios. (Prioridade 2)
10.3 Proporcionar uma alternativa de texto linear (na mesma ou em outra pgina), em relao
a todas as tabelas que apresentem o texto em colunas paralelas e com translineao, at que os
agentes do usurio (incluindo as tecnologias de apoio) reproduzam corretamente texto colocado
lado a lado. (Prioridade 3)
10.4 Incluir caracteres predenidos de preenchimento nas caixas de edio e nas reas de texto,
at que os agentes do usurio tratem corretamente os controles vazios. (Prioridade 3)
10.5 Inserir, entre links adjacentes, caracteres que no funcionem como link e sejam passveis
de impresso (com um espao de incio e outro de m), at que os agentes do usurio (incluindo
as tecnologias de apoio) reproduzam clara e distintamente os links adjacentes. (Prioridade 3)
APNDICE B. DIRETRIZES E PONTOS DE VERIFICAO DO WCAG 1.0 115
Diretriz 11 - Utilizar tecnologias e recomendaes do W3C
11.1 Utilizar tecnologias do W3C sempre disponveis e adequadas a uma determinada tarefa;
utilizar as verses mais recentes, desde que suportadas. (Prioridade 2)
11.2 Evitar funcionalidades desatualizadas de tecnologias do W3C. (Prioridade 2)
11.3 Fornecer informaes que possibilitem aos usurios receber os documentos de acordo
com as suas preferncias (por ex., por idioma ou por tipo de contedo) (Prioridade 3)
11.4 Se, apesar de todos os esforos, no for possvel criar uma pgina acessvel, fornecer um
link a uma pgina alternativa que utilize tecnologias do W3C, seja acessvel, contenha informaes
(ou funcionalidade) equivalentes e seja atualizada to freqentemente quanto a pgina original,
considerada inacessvel. (Prioridade 1)
Diretriz 12 - Fornecer informaes de contexto e orientaes
12.1 Dar, a cada frame, um ttulo que facilite a identicao dos frames e sua navegao.
(Prioridade 1)
12.2 Descrever a nalidade dos frames e o modo como se relacionam entre si, se isso no for
bvio a partir unicamente dos ttulos. (Prioridade 2)
12.3 Dividir grandes blocos de informao em grupos mais fceis de gerenciar, sempre que for
o caso. (Prioridade 2)
12.4 Associar explicitamente os rtulos aos respectivos controles. (Prioridade 2)
Diretriz 13 - Fornecer mecanismos de navegao claros
13.1 Identicar claramente o destino de cada link. (Prioridade 2)
13.2 Fornecer metadados para acrescentar informaes semnticas a pginas ou sites. (Priori-
dade 2)
13.3 Dar informaes sobre a organizao geral de um site (por ex., por meio de um mapa do
site ou de um sumrio). (Prioridade 2)
13.4 Utilizar os mecanismos de navegao de maneira coerente e sistemtica. (Prioridade 2)
13.5 Fornecer barras de navegao para destacar e dar acesso ao mecanismo de navegao.
(Prioridade 3)
13.6 Agrupar links relacionados entre si, identicar o grupo (em benefcio dos agentes do
usurio) e, at que os agentes do usurio se encarreguem de tal funo, fornecer um modo de
contornar determinado grupo. (Prioridade 3)
13.7 Se forem oferecidas funes de pesquisa, ativar diferentes tipos de pesquisa de modo a
corresponderem a diferentes nveis de competncia e s preferncias dos usurios. (Prioridade 3)
13.8 Colocar informaes identicativas no incio de cabealhos, pargrafos, listas. (Prioridade
3)
116
13.9 Fornecer informaes sobre colees de documentos (isto , documentos compostos por
vrias pginas). (Prioridade 3)
13.10 Fornecer meios para ignorar inseres de arte ASCII com vrias linhas. (Prioridade 3)
Diretriz 14 - Assegurar a clareza e a simplicidade dos documentos
14.1 Utilizar linguagem a mais clara e simples possvel, adequada ao contedo do site. (Priori-
dade 1)
14.2 Complementar o texto com apresentaes grcas ou sonoras, sempre que facilitarem a
compreenso da pgina. (Prioridade 3)
14.3 Criar um estilo de apresentao coerente e sistemtico, ao longo das diferentes pginas.
(Prioridade 3)
APNDICE
C
Levantamento sobre tcnicas para
desenvolvimento Web acessvel
Neste apndice, so listados os trabalhos includos no levantamento sobre trabalhos referentes a
tcnicas para apoio a desenvolvimento de aplicaes Web acessveis. Na Tabela C.1 apresentada
a lista de artigos encontrados, constando o nome da tcnica, o nome da ferramenta associada (se
existir) e se foi reportada ou no algum tipo de validao experimental. A lista detalhada com a
descrio de cada um dos estudos foi reportada em um relatrio tcnico (Freire et al., 2007a).
Tcnica Ferramenta Validao
Abordagem Inclusiva para Acessibilidade na Web: o Mo-
delo Tangram (Sloan et al., 2006)
No informado Sim
Abrindo o acesso a documentos online utilizando trilhas de
essencialidade (Atkinson et al., 2006)
Essentiality Editor No
Accessibility Designer: visualizao da usabilidade para ce-
gos (Takagi et al., 2004)
Accessibility Designer Sim
Acessibilidade primeiro: uma nova abordagem para o en-
sino de Web Design (Rosmaita, 2006)
No informado No
Aplicao de heursticas para inspees de acessibilidade
(Paddison e Engleeld, 2004)
Heuristic Evaluation Database (HEDB) Sim
Aplicao de Heursticas para realizar inspeo rigorosa de
acessibilidade em contexto comercial (Paddison e Engle-
eld, 2003)
Heuristic Evaluation Database (HEDB) Sim
Arquitetura para Avaliao de Acessibilidade em larga es-
cala (Snaprud et al., 2006)
EIAO - European Internet Accessibility Observatory No
Automatic Generation of Semantic Accessibility Annotati-
ons from Web Engineering Process (Plessers et al., 2005)
COHSE (Conceptual Open Hypermedia Services Envi-
ronment)
Sim
Avaliao Automatizada de Acessibilidade (Vanderdonckt
et al., 2004)
Kwaresmi (Knowledge-based Web Automatic REcon-
gurable evaluation with guidelineS optiMIzation)
No
117
118
Avaliao de Acessibilidade com Guidelines (Abascal et al.,
2004)
EvalIris No
Avaliao de Acessibilidade de Websites focada no progra-
mador (Law et al., 2005)
No informado No
Avaliao de Usabilidade Remota com Pessoas com deci-
ncia (Petrie et al., 2006)
No informado Sim
Benckmark para teste de ferramentas de avaliao de aces-
sibilidade de pginas web (Kirchner, 2003)
No informado. Sim
Comparing accessibility evaluation tools: a method for tool
effectiveness (Brajnik, 2004a)
No informado. Sim
Composio de elementos Web com WCAG em mente
(Centeno et al., 2005)
WSLS (WebComposition Service Linking) No
Correo de Pginas por meio de Engenharia Reversa (Chen
et al., 2006)
PURE (Page clean-Up through Reverse Engineering) Sim
Critrios para melhorar a usabilidade de sites acessveis
para pessoas que utilizam a Web com screen readers (Le-
porini e Patern, 2004)
No informado No
Denio e Gerenciamento de Guidelines para Web (Lepo-
rini et al., 2006)
MAGENTA (Multi-Analysis of Guidelines by an
ENhanced Tool for Accessibility) - GE (Guideline Edi-
tor)
No
Design Acessvel para Usurios com Decincia Visual
(Moehling et al., 1999)
No informado No
Design com Blind Markup Language (BML) (Macas et al.,
2002)
KAI (Accessibility Kit for the Internet) No
Design de arquiteturas de software para facilitar o desenvol-
vimento de aplicaes Web acessveis (Hoffman e E. Grivel,
2005)
No informado No
Design para mudanas utilizando templates (Perlman,
2002)
No informado No
Ensino de Acessibilidade com Contramano e HERA (Bena-
vdez et al., 2006)
Contramano (pgina exemplo) e HERA (ferramenta de
avaliao)
Sim
Ferramenta de Auditoria de Acessibilidade de sites Web
para pessoas com decincia visual: OCAWA (Chne e
Hol, 2002)
OCAWA No
Ferramentas para Gerenciamento de casos de teste para
acessibilidade (Herramhof et al., 2006)
BenToWeb Parsifal No
Gerao Flexvel de relatrios para avaliao automatizada
de usabilidade e acessibilidade de Web Sites (Beirekdar et
al., 2005)
DESTINE (Design and Evaluation STudio for INtent-
based Ergonomic web sites) e GDL Editor
No
Gerenciamento de usabilidade para pessoas com decincia
em aplicaes Web de grande porte (King et al., 2005)
Web Accessibility Standards Reporting Process
(WASRP) IWSC (IBM Web Standard Checker)
Sim
Guidelines para Descrio de Grcos estatsticos para
usurios de pginas Web cegos ou com baixa viso (Ault
et al., 2002)
No informado. Sim
Guidelines para Usabilidade Universal (Horton, 2006) No informado No
Guidelines para Web Design direcionadas para pessoas iso-
das derivadas de pesquisas (Kurniawan e Zaphiris, 2005)
(Zaphiris et al., 2005)
No informado Sim
Identicao e Correo de Problemas de Acessibilidade
em Pginas Web (Lucca et al., 2005)
Ferramenta de Identicao e Correo Sim
Integrao de Acessibilidade no currculo do curso de Cin-
cia da Computao (Gellenbeck, 2005)
No informado Sim
Interpretao de Resultados de Avaliaes Automticas de
Acessibilidade em larga escala (Bhler et al., 2006)
EIAO (European Internet Accessibility Observatory) Sim
Medio de Sobrecarga de Navegao (Ahmad et al., 2006) No informado. No
Melhoria da acessibilidade de tabelas HTML renderizadas
por voz (Filepp et al., 2002)
Foi reportado o desenvolvimento de um prottipo No
APNDICE C. LEVANTAMENTO SOBRE TCNICAS PARA DESENVOLVIMENTO WEB
ACESSVEL 119
Mtodo para avaliao de acessibilidade (Sloan et al., 2000)
(Rowan et al., 2000)
No informado. No
Mtrica para Avaliao de Acessibilidade na Web (Par-
manto e Zeng, 2005)
No informado. Sim
Mtricas de Acessibilidade de Pginas Web para usurios
cegos (Gonzlez et al., 2003)
KAI (Kit for The Accessibility to the Internet) No
Mtricas para Avaliao de Usabilidade na Web para usu-
rios Cegos (Fukuda et al., 2005)
No informado Sim
Modelagem de Restries de Acessibilidade (Gjster et
al., 2006)
MEBACC - The Metamodel Based Web Accessibility
Checker
No
O uso de modelos para desenvolvimento de aplicaes vi-
sando usabilidade universal (Patern, 2003)
No informado No
Pattens para Design de Interfaces sistemas baseados em fala
para pessoas idosas - (Zajicek, 2004) (Zajicek, 2003)
No informado No
Percurso baseado em barreiras (Brajnik, 2006) No informado. Sim
Princpios fundamentais e denio de prioridades para usa-
bilidade universal (Vanderheiden, 2000)
No informado No
Representao abstrata de interfaces (Trewin et al., 2004) No informado No
Semi-automatic accessibility evaluation with HERA 2.0
(Benavdez et al., 2006)
HERA 2.0 No
Suporte automtico baseado em inspeo para obteno de
sites usveis por usurios com decincia visual (Correani
et al., 2005)
NAUTICUS (New Accessibility and Usability Tool for
Interactive Control in Universal Sites)
Sim
Um framework baseado em Web Semntica para Desenvol-
vimento de aplicaes acessveis (Kouroupetroglou et al.,
2006)
SeeBrowser Sim
Uma abordagem sem luxo para Criao de Material de
aprendizado baseado na Web acessvel (Mirabella et al.,
2004)
Prottipo implementado. No
Uso de linguagem clara para melhorar acessibilidade na
Web (Boldyreff et al., 2001)
No informado No
Utilizao de Ferramentas automticas para o Processo de
Garantia de Acessibilidade e Usabilidade (Brajnik, 2004b)
LIFT No
Vericao de Acessibilidade de documentos Web comuma
ferramenta automtica de vericao de guidelines (Y. Ta-
kata et al., 2004)
Ferramenta para prova de conceito Sim
Visualizao de Mapa em rvore para Acessibilidade na
Web (Bailey e Burd, 2005)
Tree-map visualization tool No
Tabela C.1: Lista de trabalhos includos na reviso da literatura
APNDICE
D
Avaliao dos stios dos governos
estaduais brasileiros entre 1996 e 2007
Na Figura D.1 apresentado um grco onde ilustrado o nmero de estados com stio Web
por ano entre 1996 e 2007. Pode-se observar que a partir de 2003, todos os estados tinham um stio
web disponibilizado.
Figura D.1: Nmero de estados com stios web por ano entre 1996 e 2007
Nas guras a seguir so apresentadas as sries histrias das anlises dos stios web dos governos
estaduais entre 1996 e 2007. Na Figura D.2 apresentado o histrico de acordo com a mtrica
121
122
A3; na Figura D.3 apresentado o histrico de acordo com a mtrica UWEM; na Figura D.4
apresentado o histrico de acordo com a mtrica WAB e, nalmente na Figura D.5 apresentado
o histrico de acordo com a mtrica WAQM.
importante ressaltar que as mtricas A3, UWEM e WAB apresentam o ndice de barreiras,
ou seja, quanto maior o ndice, mais barreiras de acessibilidade tm os stios. J a mtrica WAQM
representa uma nota de 0 a 100, onde stios com notas mais altas possuem um ndice mais baixo
de barreiras de acessibilidade.
Figura D.2: Srie histrica da anlise das pginas com a mtrica A3 dos stios dos estados
APNDICE D. AVALIAO DOS STIOS DOS GOVERNOS ESTADUAIS BRASILEIROS
ENTRE 1996 E 2007 123
Figura D.3: Srie histrica da anlise das pginas com a mtrica UWEM dos stios dos estados
124
Figura D.4: Srie histrica da anlise das pginas com a mtrica WAB dos stios dos estados
APNDICE D. AVALIAO DOS STIOS DOS GOVERNOS ESTADUAIS BRASILEIROS
ENTRE 1996 E 2007 125
Figura D.5: Srie histrica da anlise das pginas com a mtrica WAQM dos stios dos estados
APNDICE
E
Avaliao dos stios das prefeituras
municipais brasileiras
Neste apndice, so apresentadas as tabelas comas mdias dos ndices de acessibilidade com as
mtricas A3, UWEM e WAQM e a listagem com a avaliao por meio da mtrica WAB (Parmanto
e Zeng, 2005) dos municpios brasileiros com stios Web. As avaliaes foram efetuadas de acordo
com o mtodo descrito na Subseo 5.4.2.
Na Tabela E.1 so exibidos os resultados para a mtrica A3, variando entre 0 e 1. Na Tabela
E.2 so apresentados os resultados para a mtrica UWEM, tambm variando entre 0 e 1. Na Tabela
E so apresentados os resultados para a mtrica WAQM, variando entre 0 e 100 e considerando
que valores altos correspondem a pginas mais acessveis, diferentemente das outras mtricas.
Tabela E.1: Resultados da avaliao dos stios dos governos municipais com a mtrica A3
Regio Mdia Desvio padro
Sul 0.28 0.08
Sudeste 0.29 0.07
Centro-oeste 0.31 0.06
Nordeste 0.29 0.08
Norte 0.28 0.06
Na listagem a seguir, so enumerados os 15 municpios com os menores ndices de barreira
(melhor acessibilidade) e os 15 municpios com os maiores ndices de barreira (pior acessibili-
dade). Foram eliminados da listagem dos menores ndices municpios com stios em construo,
stios que tinham somente imagens, stios com frames e tabelas para layout.
127
128
Tabela E.2: Resultados da avaliao dos stios dos governos municipais com a mtrica UWEM
Regio Mdia Desvio padro
Sul 0.25 0.08
Sudeste 0.26 0.07
Centro-oeste 0.28 0.07
Nordeste 0.26 0.08
Norte 0.25 0.07
Tabela E.3: Resultados da avaliao dos stios dos governos municipais com a mtrica WAQM
Regio Mdia Desvio padro
Sul 77.34 14.09
Sudeste 77.12 10.97
Centro-oeste 74.84 11.01
Nordeste 76.17 13.37
Norte 77.01 12.44
Esta avaliao foi efetuada a partir de uma lista com 5551 municpios, obtida a partir da ferra-
menta E-GOVMeter (Bittar et al., 2005), dos quais 1980 tinham stios na Web. Desta forma, como
a quantidade de stios avaliados era muito grande, deve-se ressaltar que esta avaliao foi efetuada
utilizando exclusivamente mtodos automticos. Assim, no se pode armar que os municpios
com baixos ndices de barreiras realmente tm stios realmente acessveis.
Desta avaliao, s se pode inferir o quanto estes stios ferem ou no barreiras de acessibilidade
que podem ser vericadas automaticamente. Na Tabela E.4 so listadas os 15 municpios cujos
stios obtiveram os menores ndices de WAB.
APNDICE E. AVALIAO DOS STIOS DAS PREFEITURAS MUNICIPAIS
BRASILEIRAS 129
Tabela E.4: Lista dos quinze municpios com menores ndices WAB
Nmero Cidade Estado URL ndice
WAB
1 Tubaro SC http://www.tubarao.sc.gov.br 0,25
2 Indaiatuba SP http://www.indaiatuba.sp.gov.br/ 0,285088
3 Abati PR http://www.abatia.pr.gov.br/ 0,461538
4 Doutor Pedrinho SC http://www.doutorpedrinho.sc.gov.br/ 0,583333
5 Laguna SC http://www.laguna.sc.gov.br/ 0,762319
6 Viosa AL http://www.vicosa.al.gov.br/ 0,833333
7 Pirajuba MG http://www.pirajuba.mg.gov.br/ 0,833333
8 Passira PE http://www.passira.pe.gov.br/ 0,833333
9 Limeira SP http://www.limeira.sp.gov.br/ 0,833333
10 Gramado RS http://www.gramado.rs.gov.br/ 0,833333
11 Alto Paran PR http://www.altoparana.pr.gov.br/ 0,833333
12 Camanducaia MG http://www.camanducaia.mg.gov.br/ 0,845833
13 Natal RN http://www.natal.rn.gov.br/ 0,897023
14 Rio Pardo RS http://www.riopardo.rs.gov.br/ 0,957071
15 Irati SC http://www.irati.sc.gov.br/ 1,02778
Na Tabela E.5 apresentada a lista com os 15 municpios com os maiores ndices WAB.
Tabela E.5: Lista dos quinze municpios com maiores ndices WAB
Nmero Cidade Estado URL ndice
WAB
1 Ipueiras CE http://www.ipueiras.ce.gov.br/ 6,1119
2 Varzea PB http://www.varzea.pb.gov.br/ 5,80225
3 Ipojuca PE http://www.ipojuca.pe.gov.br/ 5,6119
4 Belmiro Braga MG http://www.belmirobraga.mg.gov.br/ 5,50696
5 Joaima MG http://www.joaima.mg.gov.br/ 5,49638
6 Machados PE http://www.machados.pe.gov.br/ 5,45922
7 Ariranha do Iva PR http://www.ariranhadoivai.pr.gov.br/ 5,43666
8 Vargem Grande MA http://www.vargemgrande.ma.gov.br/ 5,43623
9 Russas CE http://www.russas.ce.gov.br/ 5,41434
10 Sabaudia PR http://www.sabaudia.pr.gov.br/ 5,39729
11 Parnaba PI http://www.parnaiba.pi.gov.br/ 5,36581
12 Ipiau MG http://www.ipiacu.mg.gov.br/ 5,35349
13 So Joo da Parana GO http://www.saojoaodaparauna.go.gov.br/5,29672
14 Martins RN http://www.martins.rn.gov.br/ 5,28775
15 Pedranpolis SP http://www.pedranopolis.sp.gov.br/ 5,27288
APNDICE
F
Instrumentos utilizados na pesquisa
levantamento
Neste apndice so apresentados os instrumentos utilizados durante a conduo do levanta-
mento com pessoas envolvidas no projeto de sistemas Web. Na Seo F.1 apresentado o questio-
nrio utilizado, e na Seo F.2 apresentado o e-mail enviado com o convite para participao na
pesquisa.
F.1 Questionrio
Pesquisa: O cenrio brasileiro sobre acessibilidade no desenvolvimento Web
Responsvel: Andr Pimenta Freire - apfreire@icmc.usp.br
O objetivo deste questionrio identicar a percepo dos desenvolvedores Web de diferentes organizaes no
Brasil sobre acessibilidade. No h respostas certas ou erradas em relao a qualquer dos itens, pretendendo-se apenas
obter sua opinio pessoal e sincera. Este questionrio de natureza condencial. O tratamento dos dados ser feito de
forma global, de forma que no ser efetuada nenhuma anlise individualizada, com o objetivo de manter o anonimato
e sigilo dos participantes.
O questionrio leva em mdia 10 minutos para ser respondido. Sua participao ser muito importante para o
sucesso deste estudo!
Algumas questes admitem uma nica resposta e outras admitem mltiplas respostas. Em cada questo, haver
uma identicao clara sobre o nmero de respostas possveis. Conra o preenchimento dos dados antes de continuar.
Questionrio
Os dados de identicao so condenciais. O preenchimento do formulrio ser somente para os ns desta
pesquisa, e os pesquisadores responsveis asseguram que os dados no sero utilizados para nenhum outro m.
131
132 F.1. QUESTIONRIO
Identicao: _______________
Nome: _______________
Instituio/Empresa: _______________
E-mail: _______________
Gnero: ( ) Masculino ( ) Feminino
1) Sua idade se inclui em qual das seguintes faixas etrias? (resposta nica)
( ) 18-24 ( ) 25-35 ( ) 36-45 ( ) 46-60 ( ) 60-70 ( ) Mais de 70
2) Qual a sua principal rea de atuao prossional, ou rea de atuao da organizao em que voc atua?
(resposta nica)
( ) rgo/Entidade Governamental ( ) Instituio de ensino/pesquisa
( ) Empresa/prossional da rea de TI ( ) Empresa/prossional da rea de Design
( ) Empresa/prossional de outra rea ( ) Outro: ______
3) Em que local voc reside atualmente?
Cidade: ________
Estado: ____
4) Qual o seu maior nvel de formao? (resposta nica)
( ) Ensino Fundamental incompleto ( ) Ensino Fundamental completo
( ) Ensino Mdio incompleto ( ) Ensino Mdio completo
( ) Curso superior incompleto ( ) Curso superior completo
( ) Especializao ( ) Mestrado
( ) Doutorado
5) Qual a principal funo que voc exerce prossionalmente, seja como trabalhador autnomo ou dentro da
sua organizao? (resposta nica)
( ) Gerente ( ) Coordenador ( ) Analista ( ) Programador ( ) Pesquisador/Docente
( ) Tcnico ( ) Designer ( ) Outro (especique): _____
Questes
1. Como voc classica seu conhecimento sobre linguagens de marcao e de estilo para Web (HTML e CSS -
Cascading style sheets)? (resposta nica)
( ) Nenhum ( ) Bsico ( ) Intermedirio ( ) Avanado ( ) Especialista
2. Voc tem conscincia sobre os problemas envolvidos com a criao de pginas Web que possam ser utilizadas
por pessoas cegas? (resposta nica)
( ) No sabia que era possvel que cegos utilizassem a Web
( ) J ouvi falar sobre a possibilidade de cegos utilizarem a Web, mas no sei como isso possvel
( ) Conheo tecnologias que permitem que cegos utilizem a Web, mas no sei como criar pginas adequadas para
eles
( ) Conheo tecnologias que permitem que cegos utilizem a Web, e j produzi pginas que podem ser utilizadas
por cegos
( ) Conheo tecnologias que permitem que cegos utilizem a Web, e considero as questes de acessibilidade envol-
vidas em todos os projetos em que atuo
3. Selecione quais das tecnologias assistivas (tecnologias utilizadas por pessoas com decincia) a seguir voc
conhece ou j utilizou: (mltiplas respostas)
APNDICE F. INSTRUMENTOS UTILIZADOS NA PESQUISA LEVANTAMENTO 133
( ) Leitor de tela ( ) Navegador textual ( ) Navegador com voz
( ) Ampliador de tela ( ) Teclados alternativos ( ) Mouses alternativos
( ) Impressora braille ( ) Outros (especique): ______
4. Voc conhece a legislao brasileira de acessibilidade, e em particular o Decreto Lei No. 5.296/2004, bem
como suas implicaes para acessibilidade na Web ? (resposta nica)
( ) Nunca ouvi falar
( ) J ouvi falar, mas no conheo ou conheo vagamente
( ) Conheo o decreto, mas no suas implicaes para Web
( ) Conheo o decreto, sei de suas implicaes, mas minha instituio ainda no atende as recomendaes
( ) Conheo o decreto, sei de suas implicaes e minha instituio atende s suas recomendaes
5. Como voc classica seu conhecimento sobre diretrizes de acessibilidade, como por exemplo o Recomenda-
es para Acessibilidade de Contedo Web (WCAG) do W3C? (resposta nica)
( ) Nenhum ( ) Bsico ( ) Intermedirio ( ) Avanado ( ) Especialista
6. Voc recebeu algum tipo de treinamento sobre acessibilidade? Se sim, em que contexto? Se voc no recebeu
nenhum treinamento, marque somente nenhum. (mltiplas respostas).
( ) nenhum ( ) Palestra ( ) Treinamento em empresa
( ) Curso de extenso ( ) Disciplina de graduao ( ) Disciplina de ps-graduao
( ) Disciplina de curso tcnico de nvel mdio ( ) Curso de Web Design ( ) Outros (especique): ______
7. Voc efetua algum tipo de teste para vericar a validade do cdigo das pginas produzidas e a acessibilidade
das suas pginas? Se voc no realize nenhum teste, marque somente nenhum. (mltiplas respostas).
( ) nenhum ( ) Validao de cdigo HTML ( ) Teste com usurios com decincia
( ) Validao de folhas de estilo CSS ( ) Reviso de guidelines de acessibilidade manual ( ) Teste com usurios
idosos
( ) Avaliao de acessibilidade com ferramentas automticas (como daSilva, Bobby, WebXACT, Hera, etc)
( ) Inspeo de acessibilidade com tecnologias assistivas
( ) Outros (especique): ______
8. Na sua opinio, a acessibilidade considerada nos projetos de pginas ou aplicaes Web que voc participa?
(resposta nica - preenchimento obrigatrio)
( ) Sim ( ) No ( ) Parcialmente
9. Se voc respondeu Sim na questo nmero 8, indique os principais motivos que levam voc ou sua organi-
zao a desenvolver pginas mais acessveis. (mltiplas respostas)
( ) Fatores legais ( ) Motivao pessoal ( ) Exigncia da empresa
( ) Exigncia de clientes ( ) Pessoas com necessidades especiais fazem parte de nosso pblico alvo
( ) Possibilidade de atingir um nmero maior de clientes
( ) Prezar pela reputao da organizao
( ) Aumentar compatibilidade das pginas com dispositivos mveis
( ) Melhor adequao das pginas aos Web standards
( ) Outros (especique): ______
10. Se voc respondeu No ou Parcialmente na questo nmero 7, indique os principais motivos por que
voc ou sua organizao no consideram acessibilidade no desenvolvimento de pginas e aplicaes (mltiplas
respostas).
134 F.2. E-MAIL CONVITE
( ) Legislao no se aplica minha organizao ( ) No h exigncia da empresa
( ) Clientes no exigem este requisito ( ) Falta de treinamento adequado
( ) Alto custo de ferramentas especcas ( ) Aumento no tempo para produo
( ) Falta de material disponvel em portugus ( ) Aumento no custo para desenvolvimento
( ) Considerar acessibilidade prejudica o layout ( ) Falta de conhecimento sobre linguagens de marcao
( ) Pessoas com necessidades especiais no so o pblico alvo de nossos produtos
( ) Outros (especique): ______
11. D a sua opinio sobre a importncia que a acessibilidade e a incluso ocupam no planejamento de seus
projetos e nos projetos de sua organizao. (resposta aberta)
12. Que tipo de aes poderiam ser tomadas para melhorar a acessibilidade das pginas criadas por desenvol-
vedores brasileiros? (resposta aberta)
13. Como parte desta pesquisa, faremos algumas anlises de pginas produzidas pelos participantes, que resul-
taro em mtricas sobre a acessibilidade das pginas. Caso seja do seu interesse participar deste estudo, fornea
a URL de uma ou mais pginas produzidas por voc ou por sua organizao (caso atue em desenvolvimento de
pginas Web).
Os resultados desta anlise sero utilizados somente para os ns deste estudo. As anlises sero feitas somente de
forma global, de modo que no sero divulgados nomes de pessoas ou organizaes.
Se houver interesse emreceber os resultados individuais da anlise, eles sero enviados unicamente ao participante
no endereo de e-mail fornecido.
( ) Concordo em disponibilizar as pginas nas seguintes URLs para anlise:
_____________________________________________
( ) Gostaria de receber o resultado das anlises em meu e-mail
Agradecemos suas respostas, pois sero MUITO importantes para a pesquisa relativa ao cenrio brasileiro sobre
acessibilidade no desenvolvimento Web!!
F.2 E-mail convite
Prezado(a) (participante)
Gostaramos de lhe convidar para participar de uma pesquisa sobre acessibilidade na Web que est sendo realizada
pelo Laboratrio Intermdia da USP (Universidade de So Paulo).
O objetivo da pesquisa de levantar dados sobre acessibilidade no desenvolvimento de pginas e aplicaes Web
no contexto brasileiro.
O questionrio contm 12 questes simples, e leva em mdia de 5 a 10 minutos para ser respondido. Todas as
respostas so condenciais, e sero utilizadas somente para os ns da pesquisa.
O preenchimento pode ser feito via Web, por meio do link:
http://agua.intermidia.icmc.usp.br/acessibilidade/index.php
Caso voc considere que no a pessoa mais indicada em sua organizao para responder o questionrio, pedimos
por favor que encaminhe este convite para as pessoas mais indicadas.
A participao tambm aberta a outras pessoas envolvidas com desenvolvimento Web e projetos de interface.
Tenha a liberdade de encaminhar este convite para outras pessoas que possam se interessar.
Sua participao ser muito importante para o sucesso desta pesquisa. O questionrio estar disponvel at o dia
20 de agosto de 2007.
Desde j agradecemos muito pela sua colaborao.
APNDICE
G
Modelos estatsticos do levantamento
Neste apndice, so apresentados os dois modelos estatsticos gerados por meio de tcnicas
de regresso linear, apresentados na Seo 6.5.2. Os coecientes Estimate correspondem ao valor
atribudo na regresso, referente contribuio de cada varivel para a funo de aproximao. O
valor Std. Error o desvio padro do coeciente. O z value corresponde ao valor da regio em
que o valor obtido no teste estatstico cou localizado e, nalmente, o valor Pr(>|z|) corresponde
probabilidade de que a hiptese nula (a varivel em questo no relevante) seja rejeitada.
Call:
glm(formula = q8 ~ q1 + q2 + q3_ampliadordetela + q3_navegadorcomvoz +
q5 + q6_nenhum + q6_cursodewebdesign + q6_disciplinacursotecnico +
q7_testecomusuariosidosos + q7_avaliacaoferramenta,
family = binomial(link = "logit"), data = na.omit(dados))
Deviance Residuals:
Min 1Q Median 3Q Max
-2.2570 -0.6220 -0.4168 -0.3045 2.4771
Coefficients:
Estimate Std. Error z value Pr(>|z|)
(Intercept) -1.2923 0.4112 -3.143 0.00167
**
q1 -0.2513 0.1238 -2.029 0.04241
*
q2 0.3758 0.1585 2.371 0.01776
*
q3_ampliadordetela -0.5227 0.2445 -2.138 0.03252
*
q3_navegadorcomvoz -0.3479 0.2425 -1.434 0.15147
q5 0.2727 0.1555 1.754 0.07943 .
q6_nenhum -1.1064 0.2566 -4.312 1.62e-05
***
q6_cursodewebdesign 0.7274 0.4986 1.459 0.14464
q6_disciplinacursotecnico 2.0161 0.9409 2.143 0.03213
*
q7_testecomusuariosidosos 0.8180 0.4540 1.802 0.07162 .
q7_avaliacaoferramenta 0.5688 0.3431 1.658 0.09737 .
---
135
136
Signif. codes: 0 ?
***
? 0.001 ?
**
? 0.01 ?
*
? 0.05 ?.? 0.1 ? ? 1
(Dispersion parameter for binomial family taken to be 1)
Null deviance: 586.42 on 580 degrees of freedom
Residual deviance: 480.50 on 570 degrees of freedom
AIC: 502.5
Number of Fisher Scoring iterations: 5
Call:
lm(formula = wab ~ q1 + q3_leitordetela + q3_ampliadordetela +
q3_mousesalternativos + q3_outros + q4 + q5 + q6_nenhum +
q6_palestra + q6_treinamentoempresa + q7_nenhum + q7_validacaocss +
q7_avaliacaoferramenta + q7_outros + q9_fatoreslegais + q9_exigenciaclientes +
q9_reputacao + q9_compatibilidademoveis + q9_webstandards +
q10_legislacaonaoaplica + q10_prejudicalayout, data = na.omit(dados))
Residuals:
Min 1Q Median 3Q Max
-1.4686 -0.4747 -0.0379 0.4492 1.4063
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 2.62403 0.21097 12.438 < 2e-16
***
q1 -0.13038 0.05717 -2.281 0.023837
*
q3_leitordetela -0.30313 0.11384 -2.663 0.008514
**
q3_ampliadordetela 0.18390 0.10827 1.699 0.091281 .
q3_mousesalternativos -0.25198 0.16493 -1.528 0.128472
q4 0.11736 0.05390 2.177 0.030872
*
q5 -0.04752 0.07007 -0.678 0.498612
q6_nenhum 0.45296 0.14108 3.211 0.001590
**
q6_palestra 0.54082 0.15495 3.490 0.000618
***
q6_treinamentoempresa -0.44268 0.22561 -1.962 0.051416 .
q7_nenhum -0.22484 0.14544 -1.546 0.124022
q7_validacaocss -0.30340 0.14835 -2.045 0.042422
*
q7_avaliacaoferramenta -0.72579 0.17005 -4.268 3.30e-05
***
q9_fatoreslegais 0.45126 0.19521 2.312 0.022027
*
q9_exigenciaclientes 0.48715 0.26472 1.840 0.067523 .
q9_reputacao -0.49653 0.22977 -2.161 0.032133
*
q9_compatibilidademoveis -0.37637 0.24057 -1.564 0.119607
q9_webstandards 0.58297 0.24565 2.373 0.018778
*
q10_legislacaonaoaplica 0.37036 0.24508 1.511 0.132635
q10_prejudicalayout 0.79325 0.30844 2.572 0.010994
*
---
Signif. codes: 0 ?
***
? 0.001 ?
**
? 0.01 ?
*
? 0.05 ?.? 0.1 ? ? 1
Residual standard error: 0.66 on 166 degrees of freedom
Multiple R-Squared: 0.4174, Adjusted R-squared: 0.3437
F-statistic: 5.664 on 21 and 166 DF, p-value: 2.638e-11