IPP/ISCAP/CEISE
Porto, Portugal
apafonso@iscap.ipp.pt; mjose@iscap.ipp.pt
IESF
Porto, Portugal
jorgereislima@gmail.com
I.
INTRODUO
A questo-chave em Interaco Humano-Computador
(IHC) melhorar a usabilidade de sistemas interactivos para
que sejam eficazes, eficientes e de fcil utilizao [1]).
A avaliao da usabilidade (AU) mede aspectos de
usabilidade na interface de um sistema, identificando
problemas especficos na interface [2,3]. A AU uma
actividade importante no processo de desenho global de uma
interface, que consiste em ciclos de desenho, prototipagem e
avaliao. Alm disso a AU em si um processo que requer
vrias actividades.
so
3. Teste de usabilidade
3.1 Seleco de participantes
3.1.1 Agrupar participantes por perfil
3.2 Execuo de tarefas
3.2.1 Anlise dos tempos de execuo
3.2.2 Anlise do grau de dependncia entre perfis e tarefas
3.3 Registo de comentrios dos participantes
3.3.1 Anlise de comentrios dos participantes
3.4 Respostas s questes abertas
3.4.1 Anlise das respostas s questes abertas
3.5 Resultados do teste de usabilidade
4. Questionrio Ps-Teste (SUS)
4.1 Preenchimento do questionrio
4.1.1 Clculo e anlise das pontuaes
4.1.2 Anlise das respostas s questes abertas
4.2 Resultados do questionrio
5. Avaliao Heurstica (UserFocus)
5.1 Seleco dos ecrs
5.1.1 Anlise de tarefas frequentes
5.2 Aplicao das heursticas aos ecrs
5.2.1 Anlise das pontuaes obtidas
5.2.2 Anlise de comentrios dos avaliadores
5.3 Resultados da avaliao heurstica
6. Relatrio Final do Estudo da usabilidade de um stio
Web
Descrevem-se agora, de um modo breve, os procedimentos
gerais utilizados pelo UsaWeb no estudo da usabilidade de um
stio Web.
1) Avaliao preliminar
a) Avaliao da Acessibilidade do Stio Web
A norma ISO/IEC 400500:2012 definida pelas directrizes
de acessibilidade para o contedo da Web, WCAG 2.0 (Web
Content Accessibility Guidelines) permite satisfazer as
necessidades de diferentes grupos e situaes atravs de trs
nveis de conformidade: A, AA ou AAA. O nvel A o
mnimo requerido para que um stio na Web seja acessvel por
um grupo de utilizadores com baixo grau de deficincia.
Estas orientaes, no sendo de aplicao obrigatria a
stios Web no pblicos, vieram orientar e incentivar os
gestores de stios Web a atingir um nvel mnimo de
acessibilidade nos stios Web que gerem, certificado atravs
da afixao de um dos logtipos da W3C concebido para esse
efeito.
b) Relatrio Preliminar
O relatrio de acessibilidade deve descrever com pormenor
as falhas encontradas e apresentar as solues correspondentes
para tomar medidas correctivas.
2) Entrevistas
As entrevistas so uma abordagem preliminar aos
utilizadores reais do stio Web. Ajudam a completar o
questionrio com questes consideradas significativas na
avaliao de stios Web e contribuem para a definio e
seleco dos perfis representativos dos utilizadores do stio
Web.
3) O Teste de Usabilidade
O objectivo principal do teste ao utilizador observar
como que os utilizadores interagem com a interface a ser
testada.
a) Seleco de Participantes no Teste de Usabilidade
A metodologia de investigao utilizada incluiu a seleco
de um grupo representativo de cada um dos tipos de utilizador
mais frequente para participarem no estudo [18].
O nmero de utilizadores que Nielsen, J. (c.f. [19])
encontrou na sua Alertbox Why You Only Need to Test with
5 Users como satisfatrio para identificar 85% dos
problemas de usabilidade foi de cinco. No caso de existirem
perfis de utilizador altamente diferenciados o nmero dever
situar-se entre trs a quatro por perfil.
Por exemplo, se num caso particular existem trs perfis
diferenciados relevantes, pode ser ponderada a hiptese de
recrutar doze utilizadores, Mas se pretendermos uma avaliao
quantitativa o nmero deve-se estender a vinte por perfil [20]
alertbox Quantitative Studies: How Many Users to Test?).
b) Registo de Comentrios dos Participantes
Ao longo da execuo do teste de usabilidade utilizado o
protocolo "Pensar em Voz Alta" onde cada participante vai
dizendo o que que pensa medida que executa cada tarefa.
Estes comentrios so gravados e posteriormente relacionados
com a informao obtida na seco anterior.
c) Resultados do Teste de Usabilidade
No final da execuo do teste produzido um relatrio
com o resumo da informao obtida nas duas seces
anteriores.
4) O Questionrio Ps-teste
Foi realizado um estudo quantitativo muito completo da
avaliao de usabilidade de vrios stios Web [29], com
recurso a um questionrio do tipo SUS (System Usability
Scale) [30] em 80% dos casos, obtendo resultados baseados
na anlise estatstica de centenas de stios Web.
O questionrio Ps-teste quantifica o grau de usabilidade
entre valores que variam de zero a cem permitindo comparar o
valor obtido com os valores resultantes de um estudo
equivalente [22]. O SUS no foi concebido para diagnosticar
problemas de usabilidade. Contudo pontuaes baixas indicam
a existncia de problemas na interface e sugerem a reviso dos
resultados do teste para identificar os pontos fracos da
interface.
O SUS foi escolhido pela sua simplicidade na obteno de
resultados [23] e devido vantagem de podermos comparar os
resultados obtidos com os de Sauro no seu extenso estudo.
a) Preenchimento do Questionrio
O preenchimento do questionrio feito imediatamente
aps a concluso do teste de usabilidade, enquanto o
participante conserva na memria a experincia de utilizao
do stio Web.
b) Resultados do Questionrio
No final do preenchimento de todos os questionrios, so
calculadas as pontuaes obtidas e retiradas as concluses que
sero apresentadas num relatrio.
5) A Avaliao Heurstica
A avaliao heurstica corresponde a uma verificao da
conformidade de um conjunto de princpios de usabilidade,
directrizes ou heursticas com determinados aspectos da
interface. Existem vrias aproximaes no que diz respeito a
heursticas disponveis para avaliao da usabilidade. As mais
populares de acordo com [24] so as dez heursticas de
Nielsen, J. (c.f. [25]) embora, e segundo Travis, D. (c.f. [24]),
no sejam baseadas em investigao suficientemente
sustentada.
Heursticas de Nielsen A avaliao heurstica um
componente do mtodo de usabilidade com "desconto"
introduzida por Nielsen, J. (c.f. [25]) que a define da seguinte
forma:
Heuristic evaluation is a usability engineering method for
finding the usability problems in a user interface design so that
they can be attended to as part of an iterative design process.
Heuristic evaluation involves having a small set of evaluators
examine the interface and judge its compliance with
recognized usability principles (the "heuristics").
Heursticas da Xerox Corporation Um outro sistema
de verificao, frequentemente utilizado, foi desenvolvido pela
Xerox [27] que acrescenta trs novas heursticas lista
original de Nielsen: Skills, Pleasurable and Respectful
Interaction with the User and Privacy.
O facto de ser um sistema totalmente manual limita a sua
aplicao devido ao muito tempo que necessrio despender
quer na execuo quer na respectiva quantificao,
processamento e anlise dos resultados.
Heursticas da User Focus Corporation Visando, de
algum modo, a simplificao do processo, encontrmos nas
heursticas da Usr Focus [28] uma alternativa muito mais
eficiente (e eficaz), ao verificar que no stio Web da
organizao era disponibilizada uma folha de clculo onde
figuram, agrupados por heurstica (nove no total), todos os
pontos de verificao (247 no total) a serem testados em cada
interface (ecr). Estas directrizes tm o benefcio de terem sido
j aplicadas com sucesso a centenas de stios Web.
Segundo Travis,D. (c.f. [29]) o sistema de verificao
desenvolvido pela UserFocus Corporation baseado na
compilao e integrao de diversas fontes, sendo as
principais:
Verificaes na ISO 9241-110. (Checkpoints in BS ENISO 9241-110: Ergonomics of human system
interactionPart 110: Dialogue principles).
Dez princpios de usabilidade e aplicao na Web.
(Jakob Nielsens 10 usability principles and the Web-related
derivatives of these principles).
As 187 directrizes para um desenho eficaz na Web.