UNIVERSIDADE FEDERAL DE ITAJUB PROGRAMA DE PS-GRADUAO EM ENSINO DE CINCIAS MESTRADO PROFISSIONAL

CRISTINA DE SOUZA REZENDE

MODELO DE AVALIAO DE QUALIDADE DE SOFTWARE EDUCACIONAL PARA O ENSINO DE CINCIAS

Dissertao submetida ao Programa de PsGraduao em Ensino de Cincias como parte dos requisitos para obteno do Ttulo de Mestre em Cincias Mestrado Profissional.

rea de Concentrao: Ensino de Cincias

Orientador: Prof. Dr. Tereza Gonalves Kirner.

Maro de 2013 Itajub - MG

UNIVERSIDADE FEDERAL DE ITAJUB PROGRAMA DE PS-GRADUAO EM ENSINO DE CINCIAS MESTRADO PROFISSIONAL

CRISTINA DE SOUZA REZENDE

MODELO DE AVALIAO DE QUALIDADE DE SOFTWARE EDUCACIONAL PARA O ENSINO DE CINCIAS

Dissertao apresentada banca de defesa em 04 de maro de 2013, conferindo ao autor o ttulo de Mestre em Ensino de Cincias.

Banca Avaliadora: Prof. Dr. Tereza Gonalves Kirner Prof. Dr. Adriana Prest Mattedi Prof. Dr. Valria Farinazzo Martins

Maro de 2013 Itajub - MG

iii

Dedicatria

A minha me Maria Lcia, pela tolerncia, pacincia, dedicao e amor incondicional. Pela ajuda em todos os momentos de dificuldade e a me levantar nas horas que necessitei de apoio. Aos seus ensinamentos ao longo de minha vida que me ensinaram a prosseguir, um exemplo de bondade e humildade. Minha querida me, eu lhe amo. Dedico minhas vitrias a voc! Aos meus filhos Sofia, Sarah e Kau por estarem sempre comigo me ajudando a enxergar a vida com a inocncia de uma criana. As minhas irms Cybele e Cyntia que por horas escutaram minhas leituras, pelo carinho de me fazerem enxergar a tolerncia e o companheirismo. memria de meus avs, Naildo e Irene Rezende, que me ensinaram e educaram com princpio de respeito e alegria pela vida, o que sempre me fascinou. A todos os meus familiares e amigos que perto ou longe acompanharam meus estudos e compreenderam minhas introspeces, ausncias e contemplaes. Meu muito obrigado, a todos vocs, peas fundamentais de minha vida.

iv

Agradecimentos

A Professora Dr Tereza Gonalves Kirner, pelo convvio, a ateno e o rigor. Por me mostrar novas perspectivas e possibilidades e pela confiana que em mim depositou. Aos Professores do Curso de Ps-graduao em Ensino de Cincias da Universidade Federal de Itajub UNIFEI, por viabilizar o convvio com ensinamentos to ricos. As Professoras Dr Rita Stano e Dr Adriana Prest Mattedi, que to atenciosamente deixaram rascunhadas opinies to ricas para acrescentar minha pesquisa. Ao Professor Dr. Claudio Kirner, que com suas ideias inovadoras e visionrias me ensinaram a perceber nas coisas mais simples como podemos transformar nossa vida. Aos Professores Dr. Mikael Frank Rezende Jnior e Dr. Luciano Silva pela oportunidade de cursar o programa e agradecer pela ateno com que sempre me receberam. Aos colegas do Programa de Ps-graduao, pelas trocas de ideias, dilogos e experincias vividas dentro e fora da sala de aula. Pelos risos e momentos de alegria, brincadeiras e piadas, pelas dificuldades vividas e superadas. O meu carinho por todos os momentos que estivemos juntos foi um prazer conhece-los e compartilhar essa experincia. Aos colegas Jos Mauro de Souza, Antnio Marcos de Souza, Aline Tiara Motta, Adriana Simes, Flvia Maria Carneiro Torres que to gentilmente colaboraram com ricas opinies, meu muito obrigado. Aos meus queridos amigos, Reginaldo Aparecido Ferreira, Ceclia Faria, Eliana Mendes, Lucimara Oliveira e tantos outros amigos (as), em especial, o meu inquietador, Jlio Csar Silva de Souza por todas as conversas, conselhos, brincadeiras e risos que colecionamos desde que nos conhecemos. Por todas as nossas boemias regadas de violo e cantoria. Porque rica a vida e somos apaixonados em viver! Momentos inesquecveis! O meu carinho a Rodolfo Bertolacini Silva Cantelmo que me recebeu com tanta ateno no Laboratrio Nacional de Astrofsica. A todos os meus alunos e colegas de trabalho da Escola Estadual Major Lisboa da Cunha que sempre me foram fonte de grande aprendizado. Secretaria de Educao do Estado de Minas Gerais meus agradecimentos pela concesso de afastamento para cursar o programa e pela oportunidade de aprendizado. CAPES pela cesso de bolsa de estudos que viabilizaram o desenvolvimento deste trabalho. E a todos queles que indiretamente colaboraram agregando em minha jornada.

Ningum ignora tudo. Ningum sabe tudo. Todos ns sabemos alguma coisa. Todos ns ignoramos alguma coisa. Por isso aprendemos sempre . Paulo Freire

vi

SUMRIO
1. INTRODUO 1.1 Contextualizao da pesquisa 1.2 Objetivo e metodologia do trabalho 1.3 Importncia e contribuies 1.4 Estrutura do trabalho 2. FUNDAMENTAO TERICA 2.1 Mtodos de avaliao de software educacional 2.2 Mtodo TUP 2.2.1 Requisito de tecnologia 2.2.2 Requisito de usabilidade 2.2.3 Requisito de pedagogia 2.3 Outros mtodos e tcnicas de avaliao de software 2.3.1 Abordagem Goal-Question-Metrics 2.3.2 Heursticas de Jacob Nielsen 2.3.3 Modelo da norma ISO de produto de software 2.3.4 Diferencial Semntico de Osgood 2.3.5 Mtodo de Reeves 2.4 Cincia, ensino de cincias e teorias de ensino e aprendizagem 2.4.1 Cincia e ensino de cincias 2.4.2 Teorias de ensino de aprendizagem 14 14 17 18 19 20 20 21 23 24 25 26 26 29 30 32 33 35 35 38

3. PROPOSTA DE UM MODELO DE AVALIAO DE QUALIDADE DE SOFTWARE EDUCACIONAL PARA O ENSINO DE CINCIAS 41 3.1 Viso geral do modelo 41 3.2 Definio do modelo de avaliao 45 3.2.1 Objetivos da avaliao 45 3.2.2 Definio das questes 46 3.2.2.1 3.2.2.2 3.2.2.3 3.2.2.4 Aspectos de pedagogia de software Aspectos de ensino de cincias de software Aspectos de usabilidade de software Aspectos de tecnologia de software 48 49 50 51

vii

3.3 Definio das mtricas 3.3.1 Coleta das informaes para a avaliao 3.3.2 Medidas das informaes coletadas 3.4 Preparao dos instrumentos de avaliao

52 52 55 57

4. EXPERINCIAS DE UTILIZAO DO MODELO DE AVALIAO DE SOFTWARE EDUCACIONAL PARA O ENSINO DE CINCIAS 59 4.1 Conduo das Experincias de utilizao do modelo PECTUS 4.1.1 Participantes 4.1.2 Softwares avaliados 4.1.2.1 Software Cartes Du Ciel 4.1.2.2 Software Geneious 4.1.2.3 Software ACD/ChemSketch 12.0 4.1.3 Realizao das experincias com o modelo PECTUS 4.2 Avaliao dos softwares por meio do modelo PECTUS 4.2.1 Avaliao do software Cartes Du Ciel 4.2.2 Avaliao do software Geneious 4.2.3 Avaliao do software ACD/Chemsketch 4.3 Anlise do modelo PECTUS 4.3.1 Aspectos positivos apresentados pelo modelo 4.3.2 Aspectos negativos apresentados pelo modelo 4.3.3 Sugestes dos participantes 4.4 Sntese dos resultados 5. CONCLUSO REFERNCIAS BIBLIOGRFICAS ANEXO A ANEXO B ANEXO C 59 59 60 61 62 63 64 65 65 75 86 97 98 98 99 99 102 105 109 112 114

viii

RESUMO
Este trabalho tem como objetivo primordial apresentar o desenvolvimento do Modelo PECTUS, proposto para apoiar a avaliao e seleo de software educacional aplicado ao ensino e aprendizagem de cincias. O modelo foi definido a partir do estudo dos fundamentos tericos e trabalhos correlatos existentes sobre o tema enfocado e sustenta-se em um conjunto de quatro requisitos aspectos tecnolgicos, aspectos de usabilidade, aspectos pedaggicos e aspectos do ensino de cincias, cada um deles composto por atributos especficos. O modelo proposto foi validado por meio de experincias de uso realizadas por um grupo de professores que atuam no ensino de cincias, em escolas pblicas do ensino fundamental e mdio, sendo identificados pontos positivos e dificuldades que serviram para refinar a verso inicial do modelo. O modelo produzido dever ser disponibilizado, para que professores e educadores da rea de cincias possam utiliz-lo e, desta forma, chegarem a escolhas mais acertadas dos softwares que sero adotados nas salas de aula. Em decorrncia disso, espera-se que o uso desses softwares, selecionados com base no modelo, contribua para melhorar o ensino e aprendizagem de cincias em escolas dos nveis fundamental e mdio.

Palavras-chave: Avaliao de qualidade de software educacional; Modelo de avaliao; Ensino e aprendizagem de cincias.

ix

ABSTRACT
This work aims at presenting the development of the PECTUS Model, proposed to support the evaluation and selection of educational software applied to science teaching and learning. The model was defined with basis on the study of theoretical foundations and related work on the focused theme. It considers a set of four requirements technological, usability, pedagogical, and science teaching aspects, each one composed by specific attributes. The proposed model has been validated through experiments carried out by a group of teachers who works in science teaching in public schools, in the middle and high levels, and identified strengths and difficulties which served to refine the initial version of the model. The model will be made available to teachers and educators of science, who could use it and, thus, reach better choices of the software applications that will be adopted in classrooms. As a result, it is expected that the use of these software, selected based on the model, can contribute to improving the teaching and learning of science.

Keywords: Quality assessment of educational software; Evaluation model; Science teaching and learning.

LISTA DE FIGURAS

2.1. Modelo TUP 2.2. Pgina on-line da Ferramenta TUP 2.3. Representao do processo GQM 2.4. Modelo ISO 9126 de qualidade de produto de software 2.5. Modelo ISO 25010 de qualidade de produto de software 2.6. Avaliao dos aspectos da interao humano-computador de um software educacional pelo mtodo de Reeves 2.7. Avaliao dos aspectos pedaggicos de um software educacional pelo mtodo de Reeves 3.1. Aspectos gerais dos principais conceitos do modelo 3.2. Modelo de avaliao de qualidade de software educacional para o ensino de cincias 3.3. Escala de cinco pontos da avaliao 3.4. Modelo da distribuio das mtricas para o instrumento de avaliao 3.5. Grfico do perfil dos aspectos da qualidade percebida para a avaliao dos atributos de ensino de cincias 4.1. Tela principal do software Cartes Du Ciel 4.2. Tela principal do software Geneious 4.3. Tela principal do software ChemSketch 12.0 4.4. Avaliao dos Aspectos de Pedagogia do software Cartes Du Ciel 4.5. Avaliao dos Aspectos de Ensino de Cincias do software Cartes Du Ciel 4.6. Avaliao dos Aspectos de Tecnologia do software Cartes Du Ciel 4.7. Avaliao dos Aspectos de Usabilidade do software Cartes Du Ciel 4.8. Grfico das mdias das notas dos atributos por avaliao do software Cartes Du Ciel 4.9. Avaliao dos Aspectos de Pedagogia do software Geneious 4.10. Avaliao dos Aspectos de Ensino de Cincias do software Geneious 4.11. Avaliao dos Aspectos de Tecnologia do software Geneious 4.12. Avaliao dos Aspectos de Usabilidade do software Geneious 4.13. Grfico das mdias das notas dos atributos por avaliao do software Geneious 4.14. Avaliao dos Aspectos de Pedagogia do software ChemSketch 4.15. Avaliao dos Aspectos de Ensino de Cincias do software ChemSketch

22 22 28 31 31

34

34 43 44 53 54

57 61 62 63 66 68 70 72 74 77 79 81 83 85 88 90

xi

4.16. Avaliao dos Aspectos de Tecnologia do software ChemSketch 4.17. Avaliao dos Aspectos de Usabilidade do software ChemSketch 4.13. Grfico das mdias das notas dos atributos por avaliao do software ChemSketch

92 94 96

xii

LISTA DE QUADROS
2.1. Atributos referentes ao requisito de Tecnologia do Modelo TUP 2.2. Atributos referentes ao requisito de Usabilidade do Modelo TUP 2.3. Atributos referentes ao requisito de Pedagogia do Modelo TUP 2.4. Componentes da abordagem GQM 2.5. Heursticas de Jacob Nielsen 2.6. Escala dos fatores de atitudes do diferencial semntico 3.1.Objetivos da avaliao de qualidade de software para o ensino de cincias 3.2. Requisitos e atributos de qualidade para a avaliao de software educacional para o ensino de cincias 3.3. Atributos relativos ao requisito de Aspectos Pedaggicos 3.4. Atributos relativos ao requisito de Aspectos de Cincias 3.5. Atributos relativos ao requisito de Aspectos da Usabilidade 3.6. Atributos relativos ao requisito de Aspectos Tecnolgicos 3.7. Valores para os pontos constantes da escala 3.8. Categorizao dos Nveis de Qualidade de software 4.1. Ficha de cadastro de avaliao do software Cartes Du Ciel 4.2. Valores obtidos para os Aspectos de Pedagogia do software Cartes Du Ciel 4.4. Valores obtidos para os Aspectos de Tecnologia do software Cartes Du Ciel 4.5.Valores obtidos para os Aspectos da Usabilidade do software Cartes Du Ciel 4.6. Resultado das avaliaes do software Cartes Du Ciel 4.7. Ficha de cadastro de avaliao do software Geneious 4.8. Valores obtidos para os Aspectos da Pedagogia do software Geneious 4.9. Valores obtidos para os Aspectos de Ensino de Cincias do software Geneious 4.10. Valores obtidos para os Aspectos de Tecnologia do software Geneious 4.11. Valores obtidos para os Aspectos da Usabilidade do software Geneious 4.12. Resultado das avaliaes do software Geneious 4.13. Ficha de cadastro de avaliao do software ChemSketch 4.14. Valores obtidos para os Aspectos da Pedagogia do software ChemSketch 47 48 49 50 51 53 56 65 67 24 25 26 27 30 33 46

4.3. Valores obtidos para os Aspectos de Ensino de Cincias do software Cartes Du Ciel 69 71 73 75 75 78 80 82 84 86 87 89

4.15. Valores obtidos para os Aspectos de Ensino de Cincias do software ChemSketch 91

xiii

4.16. Valores obtidos para os Aspectos de Tecnologia do software ChemSketch 4.17. Valores obtidos para os Aspectos de Usabilidade do software ChemSketch 4.18. Resultado das avaliaes do software ChemSketch

93 95 97

xiv

LISTA DE ABREVEATURAS E SIGLAS

CBC Currculo Bsico Comum GQM Goal-Question-Metrics (Objetivo Questo - Mtrica) LTDI Learning Tecnologies Dissemination Initiative (Iniciativa de Disseminao de Tecnologias da Aprendizagem) N.A.S.A - National Aeronautics and Space Administration (Administrao Nacional de Aeronutica e Espao) PECTUS Pedagogia, Ensino de cincias, Tecnologia e Usabilidade QIP Quality Improvement Paradigm (Paradigma de Melhoria da Qualidade) TCC Teoria das Cargas Cognitivas TIC Tecnologias da Informao e Comunicao TUP Technology, Usability, Pedagogy (Tecnologia, Usabilidade, Pedagogia)

14

1.

INTRODUO

1.1. CONTEXTUALIZAO DA PESQUISA

Com o uso crescente dos computadores e a evoluo das Tecnologias da Informao e Comunicao (TIC) em diversos setores sociais, identifica-se a necessidade de se investir no reconhecimento da qualidade dos produtos de software, objetivando o uso adequado de tais recursos. O desenvolvimento, produo e lanamento de softwares no mercado so intensos, tornando sua seleo algo nada trivial para quem deles necessita. Um fenmeno semelhante verificado em relao ao emprego das TIC no ambiente escolar, por meio do uso de software educacional para realizar atividades de ensino e aprendizagem. A seleo dos softwares que mais se adequem aos objetivos e ao contexto enfocados necessita de um plano ou modelo avaliativo eficiente, que permita o reconhecimento da qualidade dos produtos de software considerados. Segundo Milani (2001), o computador, smbolo e principal instrumento de avano tecnolgico, no pode mais ser ignorado pela escola. No entanto, o desafio colocar todo o potencial dessa tecnologia a servio do aperfeioamento do processo educacional (...). Lopes, et al (apud GLADCHEFF et al, 2001) destacam estudos da interao profissional/sujeito/informtica, enfatizando que esta ltima no pode ser restrita, devendo interagir com todas as disciplinas, em uma abordagem interdisciplinar. Existem atualmente diversos tipos de softwares que podem colaborar com o usurio na execuo de tarefas e obteno de respostas para suas atividades, com a mxima eficincia. A complexidade com a qual cada ao requerida, para cada tipo de usurio, aliada ao processo de uso de software educacional, requer uma anlise de um conjunto de aspectos, que buscam identificar um bom produto de software para o ensino e aprendizagem de cincias. De acordo com Mortimer (2006), o contedo curricular de ensino de cincias oferece elementos que substituem as concepes alternativas pelos conhecimentos cientficos e estes, por sua prpria natureza, oferecem obstculos quanto abstrao para o entendimento de seus

15 modelos empricos. Tal fato apoia o uso de softwares educacionais para promover essas abstraes prprias do ensino de cincias. Uma combinao de modelos tericos de aprendizagem e cognio permite compreender a concepo do software educacional como ferramenta para o ensino e aprendizagem. Vergnaud (1997) afirma que um conceito progressivamente aprendido por um indivduo, na medida em que este domina mais e mais as situaes que o tornam significativo, justificando, assim, o uso de recursos de TIC no ensino para simular estas situaes. Piaget (2002) oferece explicaes sobre a aprendizagem do indivduo, os elementos da ao educacional e a melhoria dos mtodos pedaggicos. O autor destaca a importncia de tcnicas que orientem o projeto educacional, enfatizando a importncia crucial da educao para a civilidade social, de maneira que o indivduo possa construir e organizar as atividades humanas. O termo construo, no contexto do estudo da educao, est ligado teoria scio interacionista de Vygotsky (1962), com a ideia do construtivismo. Neste contexto, considerase que o sujeito o agente ativo de sua cognio, podendo haver a colaborao de um parceiro mais capaz para nortear a elaborao dos esquemas necessrios para o desenvolvimento de sua aprendizagem. Outras teorias, como a teoria das cargas cognitivas, permitem entender o movimento atual da educao e de como as tecnologias podem interferir nos processos de aprendizagem de um indivduo. Chandler e Sweller (1991) explicam como a demanda de ateno requerida em atividades cognitivas, realizadas por um indivduo, pode influenciar sua aprendizagem. Morin (2000), com o paradigma de complexidade, permite analisar o universo de conhecimentos que o sujeito mobilizou, ao interagir com ferramentas tecnolgicas em seu processo de aprendizagem, que sempre est em um movimento contnuo de retroalimentao, caracterstica presente na sociedade atual. Considerando o contexto anteriormente explanado, com o uso de recursos de TIC adequados, a escola atualiza suas tcnicas, aprimora sua funo e incorpora elementos racionalizadores aos processos de ensino e aprendizagem, em busca de eficincia, mas sem alterar suas finalidades. A crescente utilizao de software educacional uma tendncia que

16 no pode ser ignorada e que necessita de uma discusso que contribua para a prtica pedaggica. Contudo, Meira (1998) afirma que, mais importante do que o software em si o modo como ele ser utilizado, pois nenhum software , em termos absolutos, um bom software. O uso de software educacional para o ensino de cincias compatvel com a aplicao de um modelo didtico-tecnolgico para o ensino nesta rea, permitindo a insero da escola ao novo contexto socioeconmico. Tal contexto constantemente influenciado pelo desenvolvimento tcnico-cientfico, que surge com novidades o tempo todo, oferecendo uma quantidade elevada de informaes, fazendo com que o conhecimento passe por uma ressignificao quase que instantnea. O uso de software educacional permite um ganho significativo na otimizao da transmisso de informaes. Alm disso, esses softwares podem promover interao e integrao orientadas, levando a uma adequao aos novos pressupostos da ao de ensinar e aprender, conforme relatos de trabalhos da ao docente do sculo XXI (PERRENOUD, 2000). Para os educadores que desenvolvem atividades de ensino e aprendizagem utilizando recursos de TIC, torna-se necessria a definio de um processo consistente para a escolha de softwares de boa qualidade. Neste contexto, torna-se essencial analisar a qualidade em suas diferentes dimenses, como um conceito multidimensional, possvel de ser aferido por meio de um conjunto de critrios, conforme afirma Freitas, citado por Rocha (1993). fundamental haver um modelo que oferea diretrizes para que o educador, durante o processo de seleo de um software educacional, consiga detectar os produtos que melhor se ajustem ao contexto que ir atuar, para que o ensino e aprendizagem sejam impactados positivamente. Atravs de conceitos obtidos de estudos relevantes sobre avaliao de software educacional, notadamente para a rea de cincias, foi possvel definir uma base contextualizada, que possibilitou a definio de um modelo para avaliao de software educacional aplicado ao ensino de cincias, que o objetivo primordial desta dissertao de mestrado.

17 O modelo ora proposto compreende uma estrutura que considera requisitos de qualidade relativos a aspectos de tecnologia, usabilidade, pedagogia e ensino de cincias. Para cada um destes requisitos, foram definidos atributos prprios, compondo-se, assim, um todo fortemente coeso de partes complementares e inter-relacionadas.

1.2. OBJETIVO E METODOLOGIA DO TRABALHO

O objetivo bsico desta pesquisa de mestrado propor um modelo de avaliao de qualidade de software educacional para o ensino de cincias, definido com base em conceitos e critrios de qualidade discutidos e adotados. O modelo proposto sustenta-se em um conjunto de quatro requisitos aspectos de tecnologia, aspectos de usabilidade, aspectos de pedagogia e aspectos de ensino de cincias. Alm disso, o modelo proposto foi experimentado por um grupo de professores que atuam no ensino de cincias, em escolas pblicas do ensino fundamental e mdio, sendo identificados pontos positivos e dificuldades que serviram para refinar a verso inicial do modelo. importante destacar que, para experimentar e validar o modelo, foram convidados professores que ministram contedos de fsica, qumica e biologia, considerados temas tradicionalmente inseridos no domnio das cincias, nos ensino fundamental e mdio. A realizao do estudo compreendeu as seguintes etapas: Pesquisa Bibliogrfica. Esta etapa envolveu levantamento de informaes e anlise dos temas considerados relevantes para a pesquisa, incluindo, principalmente: conceitos, mtodos e tcnicas relativos avaliao de software educacional; teorias de ensino e aprendizagem; e contexto e especificidade do ensino e aprendizagem de cincias. Definio do Modelo. Nesta etapa, o referencial terico estudado foi utilizado como base para o detalhamento do Modelo PECTUS, proposto para avaliao de softwares educacionais aplicados ao ensino de cincias.

18 Validao do Modelo. Nesta etapa, em um primeiro momento o modelo proposto foi experimentado por nove professores de cincias de escolas pblicas, sendo trs professores de fsica, trs de qumica e trs de biologia. Os professores usaram o modelo para avaliar softwares de sua rea de atuao e, a partir dessas experincias, identificaram pontos positivos e dificuldades do modelo. Resultados. Esta etapa compreendeu a anlise das experincias realizadas pelos professores com o uso dos softwares educacionais. O prprio Modelo PECTUS foi adotado para a identificao e representao dos resultados obtidos nas avaliaes dos softwares feitas pelos professores. Alm disso, o modelo foi criticado pelos professores, o que possibilitou a realizao de ajustes e melhorias na verso inicialmente proposta. Concluso da Pesquisa e Redao Final da Dissertao. Nesta etapa final, foram sintetizadas as concluses do estudo, destacando-se as contribuies da pesquisa e possveis desdobramentos e trabalhos futuros para o tema estudado.

1.3. IMPORTNCIA E CONTRIBUIES

A ampla e crescente demanda do uso de TIC na educao, destacando-se aqui a aplicao de softwares educacionais para o ensino e aprendizagem de cincias, refora a necessidade de se investir na gerao de mtodos para apoiar a seleo desses softwares. Neste contexto, a pesquisa ora abordada torna-se importante. Existe um nmero significativo de trabalhos publicados, dentre os quais destacam-se os estudos citados neste trabalho. No entanto, no h referncia, em nenhum destes estudos, a um modelo de avaliao de software educacional voltado para o ensino de cincias, capaz de apoiar os profissionais da educao da referida rea. A contribuio para suprir essa necessidade representa o principal diferencial do presente trabalho. A contribuio imediata, pretendida com a pesquisa, , portanto, a definio de um modelo para a avaliao de softwares educacionais aplicados ao ensino de cincias. O modelo produzido dever ser disponibilizado, para que professores e educadores envolvidos na

19 seleo desses softwares possam utiliz-lo e, desta forma, chegarem a escolhas mais acertadas dos softwares que sero adotados nas salas de aula. Em decorrncia disso, espera-se que o uso desses softwares, selecionados com base no modelo proposto, contribua para melhorar o ensino e aprendizagem de cincias nas escolas dos nveis fundamental e mdio.

1.4. ESTRUTURA DO TRABALHO

O captulo 2 contm a fundamentao terica da pesquisa, apresentando os estudos realizados sobre o tema da dissertao, que serviram de base para o desenvolvimento do Modelo PECTUS para Avaliao de Qualidade de Software Educacional para o Ensino de Cincias, objetivo principal desta dissertao. O captulo 3 detalha o modelo de avaliao proposto, destacando sua base conceitual e o processo de avaliao por ele incorporado. O captulo 4 apresenta a validao do modelo proposto, discutindo as experincias de utilizao do mesmo por professores de cincias que atuam no ensino fundamental e mdio. Finalmente, o captulo 5 apresenta as concluses da pesquisa, destacando os resultados do trabalho, as contribuies obtidas e futuros desdobramentos que podero resultar desta dissertao.

20

2. FUNDAMENTAO TERICA

Este captulo sumariza os estudos realizados sobre o tema da dissertao, que serviram de base para o desenvolvimento do Modelo PECTUS para Avaliao de Qualidade de Software Educacional para o Ensino de Cincias, objetivo principal da pesquisa. A seo 2.1 apresenta uma viso geral sobre mtodos, modelos e estudos de avaliao de software orientados para aplicaes educacionais. A seo 2.2 enfoca o modelo TUP, tratando dos requisitos de tecnologia, usabilidade e pedagogia referentes a softwares educacionais. A seo 2.3 apresenta uma viso geral de outros mtodos relevantes para a avaliao de software, destacando o Modelo GQM (Goal-Question-Metrics), as heursticas propostas por Nielsen, os Modelos de Avaliao de Produtos de Software propostos nas Normas ISO 9126 e 25010, a tcnica do Diferencial de Osgood e o Mtodo de Reeves. Finalmente, a seo 2.4 aborda teorias que definem as cincias e seu ensino e aprendizagem.

2.1. MTODOS

DE

AVALIAO

DE

SOFTWARE

EDUCACIONAL

Um mtodo compreende toda ordenao de tarefas, procedimentos e etapas que so realizadas para se atingir uma meta. Tambm sinnimo de ordem, coordenao ou tcnica. Pode-se, alm disso, entender um mtodo como sendo um conjunto de obras que rene, de maneira lgica, os elementos de uma cincia (FERREIRA, 2002). O estudo sobre mtodos de avaliao de software envolve um modo sistemtico de anlise de mtodos, modelos, produtos e ferramentas, que resultem em contribuies efetivas para a determinao da qualidade de um software.

21 A realizao de estudos empricos subsidia uma base de conhecimento confivel, reduzindo dvidas sobre, por exemplo, quais os mtodos, modelos ou ferramentas so os mais adequados para apoiarem o processo de avaliao e seleo de determinado software ou classe de software. Os modelos ou mtodos orientados para a avaliao de software educacional, alm de levarem em conta os requisitos exigidos por softwares em geral, devem tambm atender a exigncias especficas do ensino e aprendizagem.

2.2. O MODELO TUP

O modelo TUP, do ingls Technology, Usability and Pedagogy, destaca a importncia de se avaliar e selecionar cuidadosamente um software educacional, atravs de uma abordagem interdisciplinar que compreende aspectos de tecnologia, usabilidade e pedagogia, integrados em um mtodo de avaliao. Segundo Bednarik (2002), o motivo do desenvolvimento do modelo TUP foi a necessidade de avaliar adequadamente a interseo entre a computao e a educao, para a criao de um mtodo de avaliao de software educacional que permitisse aos educadores selecionar softwares de seu interesse, a partir de um conjunto estruturado de critrios. Tal objetivo importante, uma vez que, devido diversidade de produtos de software disponveis, o professor, muitas vezes, no possui informaes suficientes para uma seleo coerente e que leve a impactos positivos para o ensino e aprendizagem. Um requisito uma condio que se deve satisfazer para determinando fim, uma exigncia para que o processo possa ter andamento. Os requisitos adotados pelo mtodo TUP determinam a validao de sua qualidade. Os itens presentes em cada requisito, os atributos, conferem o que prprio como caracterstica imprescindvel qualidade de cada requisito. A figura 2.1 apresenta um esboo do Mtodo TUP, destacando os trs requisitos por ele considerados (Tecnologia, Usabilidade e Pedagogia), cada qual com os atributos a ele relacionados.

22

Figura 2.1 - Modelo TUP adaptado de Bednarik, 2004

A partir do modelo, foi desenvolvida uma ferramenta de software, tambm denominada TUP (BEDNARIK, 2004), que tem por finalidade apoiar a realizao de avaliaes de softwares educacionais, de acordo com o modelo proposto. A ferramenta de avaliao do TUP est acessvel via online, atravs de um endereo eletrnico. Os usurios interessados, ao acessar a ferramenta, devero realizar um cadastro e, a partir deste, fazer suas avaliaes e tambm consultar outras avaliaes j realizadas e armazenadas.

A figura 2.2 apresenta a tela inicial da ferramenta TUP.

Figura 2.2 - Pgina online da Ferramenta TUP (Bednarik, 2004) Fonte: http://cs.joensuu.fi/~tup/

23 Conforme explanado por Bednarik (2002), a ferramenta TUP coleta as informaes necessrias avaliao do software considerado, por meio de um questionrio que utiliza a abordagem LTDI - Learning Technology Dissemination Iniciative (MORGEY, 1998), segue com uma linguagem neutra para cada requisito a ser tratado, a fim de no interferir na deciso do usurio interessado. O conjunto de questionrios da ferramenta TUP utiliza tcnicas de aferio baseadas nos conceitos concordo/discordo associados a uma Escala Likert (LIKERT, 1932). A Escala Likert uma escala em que os usurios so solicitados no s a concordarem ou discordarem das afirmaes, mas tambm informarem qual o seu grau de concordncia ou discordncia. A cada resposta, atribudo um valor que reflete a direo (positiva ou negativa) da atitude do usurio em relao a cada afirmao ou questionamento. A pontuao da atitude de cada usurio dada pela somatria das pontuaes obtidas de cada afirmao (KINNEAR, 1991; SARAIVA, 2006). O questionrio adotado na ferramenta TUP do tipo checklist e aborda os requisitos e atributos que devem estar presentes no software educacional sob anlise, para, a partir da, se identificar o nvel de qualidade do software e as falhas identificadas. Permite tambm que o usurio faa comentrios em formato livre, sobre o software que est sendo avaliado.

2.2.1. REQUISITO DE TECNOLOGIA

Ao considerar os aspectos tecnolgicos em uma avaliao de qualidade de software educacional, o modelo TUP proporciona uma reviso do produto de software, de maneira a indicar se os atributos oferecidos por este esto em conformidade com atributos e caractersticas tcnicas consideradas relevantes. Bednarik (2002) considera os aspectos tecnolgicos dos sistemas sob o ponto de vista da aceitabilidade prtica dentro da perspectiva das influncias das tecnologias para o desempenho humano. O mtodo de inspeo do requisito da tecnologia considera fatores de disponibilidade e compatibilidade e as possveis influncias dos equipamentos, sistemas e

24 softwares aos usurios. uma avaliao que busca reconhecer os recursos disponveis para executar as atividades propostas. Na ferramenta TUP, o requisito referente tecnologia avaliado por meio de 26 perguntas, que enfocam os atributos o compem. O quadro 2.1 apresenta a descrio resumida dos atributos da tecnologia.
Quadro 2.1 - Atributos referentes ao requisito de Tecnologia do Modelo TUP

Atributos
Disponibilidade Compatibilidade Acessibilidade Aspectos Organizacionais Confiabilidade

Definies
Refere-se garantia de que a informao esteja disponvel para uso, durante o maior perodo de tempo possvel. Refere-se a exigncias implcitas, relacionadas com o funcionamento do software em diferentes plataformas computacionais. Refere-se possibilidade do uso do software por grupos de usurios com diferentes perfis e necessidades. Refere-se a questes de planejamento, monitoramento e integrao das tarefas apoiadas pelo software, sob a perspectiva tecnolgica. Refere-se garantia de exigncias de segurana em todos os aspectos, estimao e previso de integridade, confidencialidade e autenticidade.

2.2.2. REQUISITO DE USABILIDADE

A usabilidade, de acordo com o modelo TUP, compreende atributos considerados pela engenharia de software e pela interao humano computador. Neste contexto, Bednarik (2002) define a usabilidade como a facilidade que os utilizadores possuem quando interagem com um software. As questes de usabilidade do modelo TUP consideram um domnio ou contexto especfico, que o das aplicaes educacionais. Sendo assim, os potenciais usurios vislumbrados pela ferramenta envolvem aqueles profissionais (professores e educadores em geral) interessados em avaliar softwares a serem utilizados para apoiar o ensino e aprendizagem nas mais diferentes reas. O modelo TUP avalia a usabilidade de um software educacional atravs de 26 questes, relativas aos atributos que caracterizam tal requisito.

25 O quadro 2.2 destaca atributos de usabilidade considerados pelo modelo TUP.

Quadro 2.2 - Atributos referentes ao requisito de Usabilidade do Modelo TUP

Atributos
Facilidade Interao Navegao Memorizao

Definies
Refere-se a quo rapidamente e de forma descomplicada o usurio consegue explorar o software e realizar suas tarefas. Refere-se maneira pela qual o usurio se relaciona com o software, entende os comandos e realiza as tarefas de seu interesse. Refere-se aos caminhos exigidos para explorar o sistema, sem alterar o seu estado atual, de acordo com as exigncias especficas para uma tarefa. Refere-se a recursos que o software oferece para que o usurio memorize aspectos de seu funcionamento, permitindo a utilizao por usurios ocasionais ou aps um intervalo de tempo relativamente longo. Refere-se a aspectos que imprimem ao software uma visualizao agradvel e recursos de udio adequados, que deixem o usurio satisfeito.

Esttica/udio

2.2.3. REQUISITO DE PEDAGOGIA

Para definir o requisito pedaggico de um software educacional, Bednarik (2002) levou em conta trs teorias, que tratam de como os indivduos aprendem: a Teoria da Aprendizagem Humana, a Teoria da Aprendizagem Comportamental e a Teoria do Desenvolvimento Cognitivista. Alm disso, o autor considerou aspectos associados instruo assistida por computador. As questes presentes na avaliao pedaggica do TUP analisam caractersticas como a interao, o dilogo, a percepo e o processamento de informaes, salientando a importncia que os ambientes sociais exercem na aquisio de conhecimento. A instruo mediada pelas TIC oferece um avano significativo, na atualidade, na forma com a qual o ensino e aprendizagem so regidos, inserindo uma contextualizao social de aprendizagem construtivista e de novos significados para o desenvolvimento cognitivo do estudante. O modelo TUP avalia as exigncias pedaggicas de um software educacional atravs de 42 questes, relacionadas aos atributos que caracterizam tal requisito. O quadro 2.3 destaca os atributos que compem o requisito Pedagogia, no modelo TUP.

26
Quadro 2.3 - Atributos referentes ao requisito de Pedagogia do Modelo TUP

Atributos
Contexto

Definies
Refere-se aspectos multiculturais e multilngues, que devem ser capazes de propiciar uma aquisio de conhecimento amplo e com diversidade etno-cultural. Refere-se s atividades que compem o ambiente de aprendizado, incluindo os meios, ajustes e condies que conduzem ao alcance do objetivo da aprendizagem. Refere-se a instrumentos que possibilitam a compreenso dos processos pedaggicos especficos de aprendizagem Refere-se ao suporte oferecido pelo software para o gerenciamento de materiais instrucionais, que ofeream perspectivas dos estilos e processos de aprendizagem Refere-se capacidade do software de despertar o interesse intuitivo, de incentivar a conduzir e a cumprir os objetivos da aprendizagem.

Tarefa

Ferramentas Estrutura pedaggica Motivao

2.3. OUTROS MTODOS E TCNICAS DE AVALIAO DE SOFTWARE

2.3.1. ABORDAGEM GOAL-QUESTION-METRICS (GQM)

Segundo Basili (1994), GQM uma abordagem aplicada elaborao e execuo de planos de avaliao de produtos e processos de software. Define uma avaliao orientada por metas, definida por meio de trs componentes: os objetivos da avaliao, questes propostas para se avaliar o produto ou processo e as mtricas a serem empregadas para medir aspectos desse produto ou processo. Esta abordagem pioneira, surgiu como suporte para avaliar a qualidade de softwares utilizados pela N.A.S.A (NASA, 1994), entre as dcadas de 1970 e 1980, sendo considerado um paradigma do tipo QIP - Quality Improvement Paradigm (BASILI apud WANGENHEIM, 1999).

27 O quadro 2.4 descreve e define os elementos chaves da abordagem GQM.

Quadro 2.4 - Componentes da Abordagem GQM

Componentes Objetivos

Definies O objetivo do plano de avaliao de software detalhado em termos de quatro elementos: objeto, propsito, foco de qualidade, ponto de vista e ambiente. Cada um dos objetivos propostos deve ser avaliado por meio de, pelo menos, uma questo. A resposta obtida para cada questo formulada deve ser passvel de medio, utilizando-se, para isso uma mtrica quantitativa ou qualitativa.

Questo Mtrica

O GQM uma abordagem de propsito geral, que pode ser utilizada para elaborar planos de avaliao de softwares pertencentes a qualquer rea de aplicao, como softwares educacionais, por exemplo. Um estudo de caso utilizando GQM na avaliao da qualidade de software para o ensino de matemtica, como discutido por Gladcheff (2001). O estudo descreve o processo de construo de um instrumento de avaliao, criado de acordo com a sequncia objetivo-questo-mtrica, indicado para avaliar a qualidade de softwares educacionais de matemtica, voltados ao ensino fundamental. Estudos realizados sobre a avaliao de software para a rea agrcola (SARAIVA, 2006), destacou a abordagem GQM como um meio para auxiliar a elaborao de planos de avaliao atravs de caractersticas principais como, por exemplo, a capacidade de adaptao aos objetivos e particularidades de cada plano de avaliao, com a finalidade de garantir os requisitos e atributos desejveis aos produtos enfocados. A abordagem GQM permeia todas as etapas de uma avaliao que incluem o planejamento da avaliao, a execuo do plano de avaliao e as experincias obtidas durante a execuo do plano de avaliao. Ao se ater a algumas definies, observa-se que a abordagem GQM executa planos de avaliao com os seguintes princpios: A tarefa de anlise deve ser definida atravs da definio da meta (objetivos) da avaliao; As medidas (mtricas) so definidas com base nas metas e perguntas;

28 Cada medida deve ter um fundamento lgico, que justifique a coleta de dados e guie as anlises e interpretaes, devendo ser devidamente documentadas; Devem ser coletados dados que possibilitem responder s questes e, para interpretar esses dados, so empregadas as medidas ou mtricas. Os usurios que utilizaro os resultados dos planos de avaliao precisam estar envolvidos com a definio e interpretao. Estes so os reais peritos, relacionados ao objeto investigado, ao foco de qualidade do plano de avaliao, ao ponto de vista da avaliao e ao ambiente considerado. A figura 2.3 ilustra as etapas a serem percorridas para a execuo de um plano de avaliao GQM.

Figura 2.3 - Representao do processo GQM adaptado de Basili (1994)

29 Existem vrios trabalhos relacionados avaliao de software utilizando esta abordagem que comprovam a eficcia do paradigma e seu uso para a rea educacional como relatado nos trabalhos de Gladcheff (2001), Saraiva (2006) e Custdio (2008).

2.3.2. HEURSTICAS DE JACOB NIELSEN

As Heursticas de Nielsen (NIELSEN, 1994) compreendem dez critrios, propostos para avaliar a usabilidade de software, no que diz respeito interao humano-computador. Conforme defendido pelo autor, a qualidade da interao do usurio com o software foi se tornando cada vez mais importante, medida que o custo dos computadores foi diminudo e esses equipamentos se tornaram mais acessveis a um maior nmero de usurios. A avaliao da usabilidade de software pode ser realizada de trs formas distintas: teste da usabilidade, inspeo da usabilidade e inqurito da usabilidade. Porm, alguns avaliadores o fazem pelo mtodo heurstico, que consiste em se avaliar o software com base em um conjunto de critrios previamente estabelecidos. Estes critrios, segundo Nielsen (1994), representam as heursticas de usabilidade. Nielsen prope um conjunto de dez heursticas para guiar a avaliao de usabilidade de software e pressupe a participao de especialistas, que se responsabilizaro pela avaliao. Esses especialistas executam tarefas tpicas do software, a fim de identificar possveis problemas de usabilidade e propor solues compatveis com as necessidades dos potenciais usurios. O quadro 2.5 apresenta as heursticas definidas por Nielsen para a usabilidade de software.

30
Quadro 2.5 - Heursticas de Jacob Nielsen adaptado de Nielsen (1994)

Heursticas
Dilogo Simples e Natural Linguagem do Usurio Minimizar a sobrecarga de memria do usurio Consistncia Flexibilidade e eficincia de uso Sadas claramente marcadas Atalhos Boas mensagens de erro Prevenir erros Ajuda e Documentao

Definio
As interfaces do usurio devem ser as mais simples possveis. A terminologia da interface deve usar uma linguagem compatvel com o usurio. Os elementos de dilogo devem possibilitar respostas imediatas, com um mnimo esforo para o usurio. Um mesmo comando ou ao dever produzir sempre o mesmo efeito. O tempo de resposta em que o sistema deve informar continuamente o usurio dever ser o mnimo possvel. A interface do usurio deve oferecer facilidade para sair das situaes, para que o usurio possa controlar suas aes. A interface deve permitir que operaes frequentemente usadas possam ser acessadas e executadas rapidamente. As mensagens de erro devem ser claras, sem cdigos, precisas e teis para a soluo dos problemas indicados. A interface deve evitar situaes que possam provocar erros por parte do usurio, dificultando a ocorrncia de tais erros. O software deve ser fcil de utilizar, de tal forma que dispense, ao mximo, ajuda e consulta a documentao.

2.3.3. MODELO DA NORMA ISO DE PRODUTO DE SOFTWARE

Segundo Koscianski (2006), as vrias partes que compem a norma NBR ISO/IEC apresentam, de maneira geral, os instrumentos necessrios para realizar uma avaliao de software, descrevendo como medir qualitativamente e quantitativamente a qualidade do produto. De acordo com a NBR ISO/IEC 9126-1(ABNT, 2003), a qualidade diz respeito "totalidade de caractersticas de uma entidade que lhe confere a capacidade de satisfazer as necessidades explcitas e implcitas. As necessidades explcitas dependem da especificao dos requisitos referentes s condies na qual o produto deve ser utilizado, seus objetivos, funes e o desempenho esperado. As implcitas so necessidades que, embora no estejam especificadas nos requisitos, devem ser levadas em considerao, pois se baseiam em princpios bsicos e bvios, necessrios para que o usurio execute a sua tarefa.

31 A NBR ISO/IEC 9126 (ABNT, 2003) baseia-se em seis caractersticas de qualidade, cada qual, por sua vez, composta por sub-caractersticas, conforme apresentado na figura 2.4.

Figura 2.4 - Modelo ISO 9126 de Qualidade de Produto de Software (ABNT, 2003)

A NBR ISO/IEC 25010 (ABNT, 2011) a mais recente norma de produto de software. Ela prope oito caractersticas de qualidade a serem atendidas por um software, duas a mais do que estabelece a norma anterior. Essas caractersticas e sub-caractersticas associadas so mostradas na figura 2.5.

Figura 2.5 Modelo ISO 25010 de Qualidade de Produto de Software (ABNT, 2011)

32 As caractersticas e sub-caractersticas, definidas pelos dois modelos ISO, representam um referencial relevante para os estudos sobre avaliao da qualidade de softwares em geral, independente do domnio de aplicao dos mesmos.

2.3.4. DIFERENCIAL SEMNTICO DE OSGOOD

Esta uma tcnica que se destina a medir e registrar atitudes de pessoas, sobre determinados conceitos que se deseja avaliar. Para isso, Osgood props o uso de uma escala contnua de sete pontos, com categorizao apenas dos pontos extremos (OSGOOD, 1967; PEREIRA, 2004). De acordo com a tcnica, os conceitos so apresentados em uma sequncia vertical, em que cada linha refere-se a um conceito e cada extremo da linha leva a um rtulo de significado oposto ao outro extremo. Os pontos marcados pelo sujeito avaliador para cada conceito tomam tendncias para um ou outro lado da escala e a representao grfica resultante analisada com a finalidade de se identificar padres semnticos. Para um uso bem sucedido do diferencial semntico de Osgood, essencial que se defina pares de adjetivos bipolares, representativos e compatveis com os critrios pertinentes aos objetivos do que se quer avaliar. Esses adjetivos devem promover ao avaliado um entendimento claro, breve e preciso. Estudos psicomtricos (BRANDALISE, 2005) confirmam a eficcia desta tcnica, como instrumento capaz de descobrir e precisar as dimenses da variabilidade comum e que podem ser associadas a certo campo de fenmenos da comunicao pedaggica, os quais recebem o nome de fatores. Esses fatores incluem: Fator Valorativo; Fator de Potncia e Fator de Atividade. O quadro 2.6 apresenta a definio de uma possvel utilizao do Diferencial Semntico de Osgood.

33
Quadro 2.6 - Escala dos fatores de atitudes do Diferencial Semntico (Osgood, 1967)

Fator Valorativo
Bom Mau

Fator de Potncia
Forte Dbil

Fator de Atividade
Ativo Passivo

Valioso

Sem valor

Grande

Pequeno

Rpido

Lento

Agradvel

Desagradvel

Pesado

Leve

Agressivo

Sutil

2.3.5. MTODO DE REEVES

Reeves (1998) desenvolveu um mtodo que envolve duas abordagens de avaliao de qualidade de software educacional. A primeira abordagem visa avaliar a qualidade do software educacional, relacionada aos aspectos pedaggicos, utilizando, para isso, quatorze critrios (ver Anexo A). A segunda abordagem objetiva avaliar a qualidade do software, referente aos aspectos da interao humano-computador, utilizando dez critrios (ver Anexo B). O mtodo colhe informaes de avaliadores sobre a qualidade do software, utilizando cada um dos critrios propostos e, a partir dos valores atribudos a cada critrio, construdo um grfico ligando os pontos demarcados, relacionando-os em uma escala linear. Esta escala baseia-se em extremos descritos como negativo (esquerda) e positivo (direita), indicando conceitos antagnicos, relativos a cada critrio. A concluso da avaliao se d ao ligar, verticalmente, os pontos assinalados em cada escala e a anlise da disposio do grfico indicam os conceitos mais positivos ou mais negativos. A figura 2.6 exemplifica a utilizao do Mtodo de Reeves na avaliao dos aspectos de interao humano-computador de um software educacional.

34

Figura 2.6 - Avaliao dos aspectos da interao humano-computador de um software educacional pelo Mtodo de Reeves (Rezende, C. S, 2012)

De maneira similar, realizada a avaliao do software quanto aos seus aspectos pedaggicos. A figura 2.7 mostra o resultado de uma avaliao.

Figura 2.7 - Avaliao dos aspectos pedaggicos de um software educacional pelo Mtodo de Reeves (Freski, 2008)

35

2.4. CINCIA, ENSINO DE CINCIAS E TEORIAS DE ENSINO E APRENDIZAGEM

2.4.1. CINCIA E ENSINO DE CINCIAS

A cincia um achado que pode ser concebido como uma das produes mais sofisticadas e fecundas do homem, em conjunto com as artes, filosofia e religio. Machado (2006) comenta que estas ditas produes, em determinados momentos histricos, passam a no ser suficientemente claras e a no compartilhar de sua finalidade primordial que a expresso de como o mundo percebido pelo homem e este a si mesmo. Machado (2006) destaca que Bacon defendia a aplicao prtica do conhecimento cientfico e Voltaire, ao popularizar a obra de Newton pelo livro Elementos da Filosofia de Newton, destaca que a cincia um bem de todos e para todos, ressaltando que h a necessidade de um intermediador, um preceptor, um pedagogo. Esse intermediador tem o papel de conectar a histria, ligando o conhecimento humanidade, validando e divulgando a trajetria da civilizao, seus valores e sua identidade, um elemento fundamental para a transmisso de conhecimentos de maneira que estes faam sentido ao aprendiz. O mesmo autor (MACHADO, 2006) ainda destaca Comte, que investiga a cincia como algo real, til e previsvel, destacando-se dos demais domnios por ter um carter progressivo. Cada cincia trataria de seus objetos particulares, no cabendo a nenhum corpo terico a compreenso do todo, apenas de uma parcela do real. Ao se deparar com uma cultura anglo-sax do sculo XX, a tradio normativa demarca as fronteiras entre o reconhecimento da no cincia e cincia propriamente dita, atravs de um mtodo cientfico universal que se torna obsoleto, pelo menos para o ponto de vista epistemolgico e pela recente aproximao entre filosofia e histria da cincia, emergindo com a sociologia da cincia e oferecendo novas explicaes para fenmenos e comportamentos, tecendo reflexes sobre a viabilidade e a necessidade de conceituar o que ou no cincia.

36 Thagard (1978), ao diferenciar perfil de cincia de perfil de pseudocincia, determina as caractersticas tpicas que permitem enquadrar a fsica, qumica e biologia, por exemplo, na categoria de cincias e define as caractersticas do perfil de cincia da seguinte maneira: Pensamento por correlao. Busca de confirmaes e no confirmaes empricas. Os praticantes preocupam-se em avaliar suas teorias em relao s alternativas. Teorias simples e coerentes. Progresso ao longo do tempo: desenvolvimento de novas teorias que explicam os fatos. A cincia inserida nas escolas com o interesse do ensino contextual histrico, filosfico, social e cultural, por meio de enfoques e abordagens bastante variados, que demarcam o ensino de contedos cientficos das produes cientficas propriamente ditas. Mediante a dinmica dos processos, h de se considerar vises sistematizadas e complexas dos fenmenos, que indicam uma maneira multimodal de pensar e compreender a realidade educacional. Franco (2007) e Moraes (2003) destacam o paradigma de complexidade como uma teoria voltada para a concepo

interacionista/construtivista/sistmica, o que possibilita o entendimento do uso de TIC para o ensino e aprendizagem, requerendo um pensamento dialgico, recursivo e multidimensional. A sociedade um sistema generativo que mantm e perpetua, invariavelmente, a sua complexidade, mantendo seus princpios bsicos fundamentais por meio da linguagem, costumes, leis, sistemas hierrquicos, mitos. Tal sistema se (re)produz pelas interaes entre os indivduos e destes com o meio. Estas interaes produzem o todo organizado, atuam sobre as pessoas e coproduz em sua qualidade de indivduos e que acontece atravs da educao, linguagem e cultura. O indivduo que dispe das condies de conhecer promove transformaes nas variadas situaes sociais e atua de maneira a modificar o ambiente. E este princpio amplamente reconhecido pelas cincias da educao e da sociedade. O ato educativo deve admitir a compreenso holstica e o conhecimento de globalizao da atual realidade. Necessitando de uma estrutura que apoie um modelo circular

37 retroativo e sistmico para suportar mltiplas influncias, nos mais variados contextos, provenientes dos sistemas sociais e que agem sobre o sistema educativo. Morin (2000), afirma que trs teorias formam a base e comportam as ferramentas necessrias para uma teoria de organizao. So elas: a teoria da informao, em que h as ferramentas para o tratamento da incerteza, da surpresa e do inesperado; a ciberntica, com a teoria das mquinas autnomas; e a teoria de sistemas, que lana as bases do sistema como um todo organizado. A organizao da informao, em um indivduo, pode ser bem compreendida com base das consideraes da Teoria de Campos Conceituais de Vergnaud, comentadas por Custdio Filho (2001). Nesta, um conceito definido por um tripleto de instncias, que inclui as suas propriedades invariantes, os sistemas de representaes e as situaes de uso. Aprender um conceito matemtico ou cientfico implica em dominar um conjunto de propriedades, que surgem das diferentes situaes e que so mediadas pelo domnio de vrios conceitos de naturezas distintas, bem como por diferentes sistemas de representaes. Dominar um campo conceitual significa saber resolver problemas em situaes diversas, nas quais determinado conceito est inserido. Moreira (2011) afirma que os campos conceituais ocorrem com o desenvolvimento de situaes progressivamente dominadas, dos conceitos, das palavras e dos smbolos que podem representar eficientemente essas situaes. Os paradigmas cientficos e epistemolgicos possibilitam o entendimento de como a sociedade busca seu desenvolvimento como civilizao, reunindo informaes e organizando suas estruturas. Parte desta organizao prescinde do sistema educacional e das contribuies da cincia, sendo trabalhada atravs da orientao curricular no contexto da escola (CASTELI, 2007), de maneira a promover a educao cientfica. importante que o professor da rea de ensino de cincias reconhea as diferentes situaes que figuram nos recursos computacionais utilizados para o ensino como Barros (2008) tambm afirma em seus trabalhos. Ele deve, neste contexto, dispor de informao pertinente para orientar o planejamento das aulas, a fim de identificar quais situaes podem demandar esquemas cognitivos especficos e como e quando estes esto presentes. Uma anlise abrangente das estratgias que dispem quanto ao contedo de um campo conceitual, permite o desenvolvimento de situaes cognitivas a partir de conceptualizaes do universo real.

38 O professor que se prope a usar softwares educacionais deve ser capaz de favorecer situaes de aprendizagem dos conceitos e superar as dificuldades dos alunos. Neste contexto, importante que o educador detenha parmetros de qualidade, definidos para identificar a adequao de softwares s atividades propostas e aos objetivos a serem alcanados. Tradicionalmente, os softwares so analisados por atributos oriundos da engenharia de software, que focalizam parmetros relativos, por exemplo, qualidade da interface, coerncia de apresentao dos conceitos e a aspectos ergonmicos. E atravs de estudos da evoluo de desenvolvimento de software (ESCUDEIRO et al, 2006) pode-se elaborar planos eficientes para o uso em um contexto de aprendizagem. Esta avaliao feita com base na anlise de um conjunto de requisitos e atributos de software, relacionados maneira com a qual se aprende diante a disposio dos contedos. Considerando-se um software educacional, como um ambiente de aprendizagem de algo e tomando por base as atuais tendncias tericas no campo da educao e da psicologia, surge a necessidade de mtodos de avaliao que contemplem as especificidades e objetivos do software para o ensino de um contedo especfico. Deve-se considerar, neste caso, a natureza do objeto de conhecimento que se deseja ensinar e a natureza das habilidades nele envolvidas. Conforme destaca Gladcheff et al (2001), no que concerne ao ensino e aprendizagem das cincias, os softwares mais proveitosos seriam aqueles que permitem uma grande interao do aluno com os conceitos ou ideias cientficas, propiciando descobertas, visualizao de resultados, levantamento de hipteses e criao de situaes-problema.

2.4.2. TEORIAS DE ENSINO E APRENDIZAGEM

A aprendizagem uma ao centrada em processos distintos, que identificam a aquisio de conhecimento e seu gerenciamento. Caracteriza os papis essenciais nos ambientes de ensino e aprendizagem e inclui a identificao dos processos suportados na aquisio de ideias e os recursos que eventualmente podem ser utilizados para tal. O conhecimento necessita ser apresentado em um contexto o mais autntico possvel, de maneira a se alinhar com os objetivos da aprendizagem, o que visto como uma

39 implicao direta do Construtivismo (VYGOTSKY, 1962). Como filosofia de aprendizagem, o Construtivismo forja a premissa bsica da construo do conhecimento, atravs de reflexes de experincias, passadas ou presentes, que so refinadas para se ajustarem ao modelo mental de experincias mais novas que se encaixam ao contexto da realidade. Ou seja, os processos de aprender e compreender ocorrem em um movimento construtivo, generativo e assimilador, capaz de auto-re-organizao. O processo de aprendizagem agrega em si uma enculturao, um condicionamento da aprendizagem, que ocorre consciente ou inconscientemente, de modo formal ou informal, nos indivduos, ao longo de sua vivncia. Assim, os indivduos aprendem os padres ditos gerais de sua ou outra cultura, destacando-se, neste contexto, a interao entre os indivduos. O contexto social da aprendizagem uma enculturao. Nele, os indivduos fazem parte de um grupo, que definido por suas caractersticas como hbitos, linguagem, opinies e os participantes contribuem com construes cognitivas para si e para seu grupo, por meio de ideias. Tal panorama compatvel com as teorias sociais da aprendizagem (BANDURA, 1977). A aprendizagem ocorre atravs de estmulos, tanto internos como externos, gerando, frequentemente, o ato de resposta comumente conhecido como atitude, descrito como estmulo-resposta pela teoria Behaviorista, que influencia o processo de ensinar. Sob este aspecto, Bednarik (2002) sugere que a percepo est acima da informao e que, na disposio do estmulo, as sensaes so influenciadas pela cognio, ou seja, a percepo uma consequncia direta das propriedades ambientais realsticas. Piaget (2002) afirma que o conhecimento gerado pela interao do sujeito com o meio e que sua aquisio depende de estruturas cognitivas pr-existentes no indivduo, condies estas que se iniciam ao nascer e que, ao longo do tempo, vo se especializando e possivelmente contornando o significado de inteligncia. O ser humano utiliza-se da inteligncia para perceber e compreender o mundo e, valendo-se de habilidades tcnicas, consegue modificar esse mundo ou adapt-lo sua sobrevivncia, promovendo um movimento contnuo das sociedades modernas e sua customizao. As sociedades seguem um modelo inteligvel social em que se busca o

40 desenvolvimento total, interagindo em um sistema do qual sofre interferncias e interfere na existncia de todos. A compreenso sobre a ao de aprender e ensinar depende de vrios fatores que esto inseridos no ato de uma aprendizagem que para ser efetiva deve ser significativa (AUSUBEL, 1982). A tendncia da educao atual segue um paradigma de metas mltiplas (foco multimodal), para alcanar os vrios objetivos de aprender e conhecer, relacionando a aprendizagem com o desenvolvimento dos modelos mentais e focalizando no ajuste educacional. Este captulo abordou a fundamentao terica referente ao tema da dissertao de mestrado ora apresentada. O prximo captulo detalhar o modelo PECTUS, proposto para apoiar a avaliao de software educacional aplicado ao ensino de cincias.

41

3.

PROPOSTA DE UM MODELO DE AVALIAO DE QUALIDADE DE SOFTWARE EDUCACIONAL PARA O ENSINO DE CINCIAS

Este captulo apresenta a proposta, mtodos e o desenvolvimento de um modelo de

avaliao de qualidade para softwares educacionais para o ensino de cincias realizado atravs dos estudos empricos. A seo 3.1 apresenta as principais abordagens utilizadas para a construo do modelo proposto. A seo 3.2 enfoca como foi feita a definio do modelo, os objetivos e questes das avaliaes do modelo e oferece um panorama dos aspectos adotados e conceitos envolvidos. A seo 3.3 apresenta uma descrio do desenvolvimento e adoo das mtricas e medidas quantitativas e qualitativas dos instrumentos de avaliao do modelo para a coleta de dados. A seo 3.4 apresenta uma breve descrio da obteno dos dados para o estudo emprico.

3.1. VISO GERAL DO MODELO

Os modelos, segundo Sayo (2001), so representaes que permitem a interpretao de uma dada realidade, em que o interesse observar fenmenos enfocando em seu contexto e caractersticas bsicas, permitindo a compreenso da real natureza, e comportamento inerentes a tal contexto. Um modelo geralmente envolve os seguintes componentes bsicos: um recurso metodolgico, representado por uma abordagem, mtodo ou diretriz e um enfoque de abstrao, que permite isolar um fenmeno mentalmente, possibilitando a concentrao nos aspectos essenciais considerados e ignorando caractersticas menos importantes ou acidentais.

42 O uso de modelos para avaliao de software fundamental, pois possibilita a anlise e entendimento de requisitos e atributos, presentes ou no nos produto de software, possibilitando uma mensurao qualitativa ou quantitativa do real valor do software para atender a determinado objetivo previamente estabelecido. A construo de um modelo deve levar em conta uma problemtica inicial e a disponibilizao de recursos para resolv-la. A partir de um problema a ser solucionado, se conduz a anlise e fundamentao terica necessria, a fim de se chegar a uma sistematizao que represente o problema. Para isso, torna-se necessrio adotar abordagens adequadas, j existentes, adaptadas ou propostas para atender especificamente o problema considerado. O Modelo de Avaliao de Qualidade de Software Educacional para o Ensino de Cincias, proposto nesta dissertao, foi construdo evolutivamente, a partir dos estudos relatados no captulo anterior. A sua sistematizao pautou-se, principalmente, em dois conjuntos de conceitos e componentes: A abordagem GQM - Goal, Question, Metrics (BASILI, 1994; SARAIVA 2006), que indica um processo para a gerao de planos de qualidade de software que leva em conta os Objetivos da avaliao (Goal), as Questes (Question) associadas a cada objetivo e as Mtricas (Metrics) que avaliaro cada questo. Os requisitos de qualidade relacionados aos Aspectos Pedaggicos (P), aos Aspectos de Ensino de Cincias (EC), aos Aspectos de Usabilidade (U) e aos Aspectos Tecnolgicos (T). Cada um desses requisitos foi caracterizado por meio de um conjunto de atributos, devidamente definidos. O modelo foi construdo atravs dos fundamentos do modelo TUP e seus requisitos, j citados anteriormente, foram os pilares para a estruturao com a abordagem GQM para o desenvolvimento do modelo. O processo GQM uma abordagem de avaliao, prpria para softwares definidos por metas. Estas metas so definidas atravs do objetivo que se pretende alcanar, as questes, que constituem o modelo e as mtricas de mensurao, fornecem as medidas do que est sendo analisado com valores qualitativos e quantitativos.

43 As questes esto organizadas conjuntamente com as mtricas e constituem o formulrio de inqurito para cada requisito inspecionado. Estes formulrios so os instrumentos de coleta de dados do modelo. A Figura 3.1 apresenta uma viso geral do Modelo e seus principais conceitos.

Figura 3.1 Aspecto geral dos principais conceitos do modelo

A este modelo foi agregado o aspecto de ensino de cincias, consideraes de qualidade do modelo ISO, caractersticas importantes da teoria da engenharia da usabilidade e relacion-los s teorias educacionais, psicolgicas e cientficas para reforar o corpo terico e justificar os fatores ligados ao indivduo, s caractersticas de seu meio social, e suas atividades. O modelo apresenta em sua base diversos elementos que possibilitam orientar as escolhas didticas, de maneira a ordenar os conhecimentos, que esto em um domnio prprio e que se relacionam. Assim, o modelo segue um esquema de conceptualizao e atravs das questes que buscam uma caracterizao de produtos de softwares utilizados para o ensino e aprendizagem relacionando as informaes para os diferentes contextos. A Figura 3.2 apresenta um esquema do modelo desenvolvido para qualidade de software educacional.

Processo GQM
Objeto: Software educacional Propsito: Avaliar e qualificar Foco: Nvel Geral de Qualidade (AP; AEC; AT e AU); Ponto de Vista: Professores de EC de Fsica, Qumica e Biologia; Ambiente: SEE-MG

44
Modelo de Avaliao de Qualidade de Software Educacional

OBJETIVO

QUESTES

Requisito de Qualidade

TUP
ISO Nielsen Reeves Atributos de Qualidade Afetividade; Flexibilidade; Carga Cognitiva; Confiabilidade Conceitual; Suporte Colaborao; Objetividade; Apoio ao Professor; Controle por parte do Estudante; Motivao; Acomodao das Diferenas Individuais.
Construo de Conceitos; Suporte para Aplicao de Conceitos; Aprendizagem Evolutiva; Suporte emprico; Associao entre Teoria e Mundo Real; Representao de Teorias e Conceitos; Preciso de Clculos e Resultados; Rigor cientfico; Clareza de Procedimentos; Suporte para Resoluo de Problemas.

Exigncia de Equipamento; Exigncia de Software; Segurana; Confidencialidade; Comportamento em Relao ao Tempo; Portabilidade; Adaptabilidade; Mapeamento das Aes do Usurio; Facilidade de Instalao.

Adequao do Software; Facilidade de Aprendizagem; Operacionalidade; Suporte Memorizao; Proteo aos Erros; Clareza das Informaes; Acessibilidade; Qualidade do design; Satisfao do Usurio; Funcionalidade Geral. M1- qualitativa M2-quantitatva

Reeves Osgood Likert MTRICAS M1- qualitativa M2-quantitativa M1- qualitativa M2-quantitativa M1- qualitativa M2-quantitativa

Fundamentos da Engenharia de Software

INSTRUMENTOS DE COLETA DE DADOS

Formulrio AP

Formulrio AEC

Formulrio AT

Formulrio AU

FERRAMENTA DE SOFTWARE

Avaliao da Qualidade de Software Educacional para o Ensino de Cincias

Figura 3.2 Modelo de avaliao de qualidade de software educacional para o ensino de cincias

45

3.2. DEFINIO DO MODELO DE AVALIAO

3.2.1. OBJETIVOS DA AVALIAO

De acordo com a abordagem GQM (BASILI, 1992), o primeiro conjunto de componentes definido para o Modelo foram os Objetivos pretendidos pela avaliao de qualidade de software educacional para o ensino de cincias. Para guiar a proposio de tais objetivos, considerou-se a seguinte pergunta bsica: Qual o Nvel Geral (NG) de qualidade do software em questo, considerando-se conjuntamente os nveis de qualidade referentes aos requisitos Aspectos de Pedagogia (P), Aspectos de Ensino de Cincias (EC), Aspectos de Usabilidade (U) e Aspectos de Tecnologia (T)? A resposta pergunta acima depende das respostas obtidas para as perguntas especficas, dadas a seguir. Qual o nvel de qualidade, referente ao requisito Aspectos de Pedagogia (P), expressado pelo software? Qual o nvel de qualidade, referente ao requisito Aspectos de Ensino de Cincias (EC), expressado pelo software? Qual o nvel de qualidade, referente ao requisito Aspectos de Usabilidade (US), expressado pelo software? Qual o nvel de qualidade, referente ao requisito Aspectos de Tecnologia (T), expressado pelo software? O Quadro 3.1 representa os objetivos definidos no Modelo, de acordo com os elementos definidos na abordagem GQM (BASILI, 1994; SARAIVA, 2006).

46
Quadro 3.1 Objetivo da avaliao de qualidade de software para o ensino de cincias

Objetivos Objeto Propsito Foco de Qualidade Analisar Com o propsito de Com relao a Software Educacional para o Ensino de Cincias Avaliar e Identificar o Nvel de Qualidade. Nvel Geral de Qualidade do Software (NGQS), com relao a: - Aspectos Pedaggicos (QAP); Ponto de Vista Sob o ponto de vista de Aspectos de Ensino de Cincias (QEC); Aspectos de Usabilidade (QAU); Aspectos Tecnolgicos (QAT);

Ambiente

rgo

Professores do Ensino Fundamental e Mdio de Cincias, Biologia, Qumica e Fsica. Escolas Pblicas

O Quadro 3.1 destaca a organizao de metas, que so propostas, para alcanar os objetivos, focado em um nvel conceitual. O objetivo em si o de avaliar e para tal necessrio considerar um objeto, que neste caso o software educacional para o ensino de cincias. Ao conceituar o foco da qualidade, se considera diferentes aspectos e o principal deles o ponto de vista, considerado mediante o ambiente em que ocorre. Este fator relevante para a execuo de uma avaliao de qualidade.

3.2.2. DEFINIO DAS QUESTES

Seguindo a abordagem GQM, foram definidas questes associadas a cada um dos objetivos propostos para a avaliao de software educacional para o ensino de cincias. Ao todo, foram definidas 40 questes, sendo dez questes para a avaliao de cada requisito considerado: Aspectos de Pedagogia, Aspectos de Ensino de Cincias, Aspectos de Usabilidade e Aspectos de Tecnologia. A partir da avaliao dos requisitos, guiada pela anlise dos atributos relativos a cada requisito, pode-se chegar determinao do Nvel Geral de Qualidade do Software (NGQS). importante destacar que a definio das questes relativas aos requisitos considerados no Modelo de Avaliao (Aspectos de Pedagogia, Aspectos de Ensino de Cincias, Aspectos de Usabilidade e Aspectos de Tecnologia) constitui o ncleo do Modelo

47 de Avaliao proposto. Tal definio baseou-se nos estudos discutidos no Captulo 2, com destaque para os trabalhos de Bednarik (2002), Custdio (2008), ISO/IEC 25010 (ABNT, 2011) e Nielsen (1994), alm de trabalhos relevantes da rea de psicologia (PIAGET, 2002) e da educao (FREIRE, 1986). Adicionalmente, trabalhos da rea de engenharia de software (SOMMERVILLE, 2011; ROCHA, 2001) e os estudos de Reeves (1998) sobre avaliao de software multimdia e que forneceram importantes contribuies para se chegar s questes propostas. O quadro 3.2 detalha os quatro requisitos incorporados ao Modelo de Avaliao de Software Educacional para o Ensino de Cincias e os atributos que os compem.
Quadro 3.2 Requisitos e atributos de qualidade para avaliao de software educacional para o ensino de cincias Requisitos de Qualidade de Software Educacional para o Ensino de Cincias e seus Atributos Aspectos de Pedagogia Atributos: Afetividade Flexibilidade Carga Cognitiva Confiabilidade Conceitual Suporte Colaborao Objetividade Apoio ao professor Controle por parte do Estudante Motivao Acomodao das Diferenas Individuais Aspectos de Ensino de Cincias Atributos: Apoio construo de Conceitos Suporte para a Aplicao de Conceitos Apoio a Aprendizagem Evolutiva Suporte Emprico Associao entre Teoria e o Mundo Real Apoio Representao de Teoria e Conceitos Preciso dos Clculos e Resultados Rigor Cientfico Clareza dos Procedimentos Suporte para a Resoluo de Problemas Aspectos de Usabilidade Atributos: Adequao de Software Facilidade de Aprendizagem Operacionalidade Suporte Memorizao Proteo aos Erros Clareza das Informaes Acessibilidade Qualidade do Design Satisfao do Usurio Funcionalidade Geral Aspectos de Tecdnologia Atributos: Exigncias de Equipamentos Exigncia de Software Disponibilidade Segurana Confidencialidade Comportamento em Relao ao Tempo Portabilidade Adaptabilidade Mapeamento das Aes do Usurio Facilidade de Instalao

48

3.2.2.1.

ASPECTOS DE PEDAGOGIA DE SOFTWARE

Foram definidas dez questes para a avaliao dos Aspectos de Pedagogia do software, uma para cada um dos atributos relacionados a este requisito. O quadro 3.3 contm as definies dos atributos identificados como parte do requisito dos Aspectos de Pedagogia. As questes, em seu formato final, sero apresentadas no Instrumento da Pesquisa (Anexo C).
Quadro 3.3 - Atributos relativos ao requisito de Aspectos de Pedagogia Atributos Afetividade (Baixa - Alta) Requisito Aspectos de Pedagogia e seus Atributos Definio Refere-se explicitao de aspectos e comportamentos fsicos e psicolgicos, capazes de indicar o envolvimento do usurio, quando ele utiliza o software, tais como: emoo, estados de humor, motivao, ansiedade, sentimentos de raiva, desinteresse, prazer, alegria, etc. Refere-se capacidade intrnseca que o software tem de acomodar mudanas suportadas pela funcionalidade e de que maneira influncia o tipo de ensino e aprendizagem, tais como: autoaprendizagem, objetivismo, construtivismo, etc. Refere-se ao esforo mental requerido durante a execuo das tarefas no software, como explorao dos contedos, uso da estrutura, respostas demandadas, etc. Refere-se capacidade do software em despertar reaes e comportamentos que expressam confiana nos seus contedos e resultados por ele propiciados. Refere-se ao apoio fornecido pelo software realizao de atividades de forma colaborativa, apoiando o compartilhamento de conhecimento e o desenvolvimento de habilidades sociais. Refere-se forma de funcionamento do software e dos procedimentos nele incorporados, ou seja, os quo bem definidos e padronizados eles so. Refere-se ao nvel de apoio que o software oferece ao professor, que lhe permitir atuar como provedor de informaes e/ou de facilitador da aprendizagem. Refere-se possibilidade oferecida pelo software aos usurios, para este definir como explorar os mdulos e contedos, ou seja, decidir que sees estudar, que caminhos seguir, que material utilizar e a ordem envolvida nessas decises. Refere-se capacidade de software em, por si s, motivar os usurios a explorar temas e conceitos, por meio de elementos como recursos. Multimdia, interao de boa qualidade, etc. Refere-se capacidade do software em considerar e facilitar a acomodao de diferenas individuais dos estudantes, ou seja, refora a heterogeneidade em termos de atitudes, conhecimento e experincia anteriores, estilos de aprendizagem, etc.

Flexibilidade (Baixa - Alta)

Carga Cognitiva (Baixa Alta) Confiabilidade Conceitual (Baixa Alta) Suporte Colaborao (Baixo Alto) Objetividade (Baixa - Alta) Apoio ao professor (Baixo Alto) Controle por Estudante (Baixo Alto) Motivao (Baixa Alta) Acomodao das Diferenas Individuais (Baixa Alta) parte do

49

3.2.2.2.

ASPECTOS DE ENSINO DE CINCIAS DE SOFTWARE

Para avaliar os requisitos dos Aspectos de Ensino de Cincias foram definidas dez questes, sendo uma para cada um dos atributos a ele relacionados. O quadro 3.4 apresenta a definio dos atributos identificados como parte do requisito Aspectos de Ensino de Cincias. As questes, em seu formato final, sero apresentadas no Instrumento da Pesquisa (Anexo C).
Quadro 3.4 Atributos relativos ao requisito de Aspectos de Ensino de Cincias Requisito Aspectos de Ensino de Cincias e seus Atributos Atributos Definio Apoio construo de Refere-se transformao de conceitos abstratos em conceitos mais concretos. Acentua a formao dos conceitos e promove a mudana Conceitos conceitual. (Alto Baixo) Suporte para Aplicao de Conceitos (Alto Baixo) Apoio a Aprendizagem Evolutiva (Alto Baixo) Suporte Emprico (Alto Baixo) Associao entre Teoria e o Mundo Real (Alta - Baixa) Apoio Representao de Teorias e Conceitos (Alto Baixo) Preciso dos Clculos e Resultados (Alta Baixa) Rigor Cientfico (alto Baixo) Refere-se aplicao simplificada da realidade, tornando os conceitos abstratos em seus elementos mais importantes. Refere-se aprendizagem crescente que auxilia na compreenso dos conceitos desde estgios mais simples at os fenmenos mais complexos. Refere-se s atividades que deixam explcitas a natureza da pesquisa cientfica e suas teorias. Refere-se compreenso sobre o mundo natural real, interagindo com modelos cientficos subjacentes que no poderiam ser inferidos atravs da observao direta. Refere-se s informaes visuais como frmulas, resultados, modelos 3D e um feedback para aperfeioar a compreenso de conceitos. Refere-se coleta, gerao e teste de grandes quantidades de dados que comprovem a hiptese. Refere-se identificao e relao entre causas e efeitos entre os sistemas complexos, comprovados com critrios de natureza cientfica. Refere-se reduo de rudo cognitivo de modo que, atravs de comandos simples, os estudantes possam concentrarem nos conceitos envolvidos. Refere-se ao suporte promoo de habilidades para a resoluo de problemas e promover o raciocnio crtico e analtico.

Clareza de Procedimentos (Alta Baixa)

Suporte para Resoluo de Problemas (Alta Baixa)

50

3.2.2.3.

ASPECTOS DE USABILIDADE DE SOFTWARE

A avaliao do requisito Aspectos de Usabilidade considerou dez questes, sendo uma para cada um dos atributos a ele relacionados. O quadro 3.5 mostra a definio dos atributos identificados como parte do requisito dos Aspectos de Usabilidade. As questes, em seu formato final, sero apresentadas no Instrumento da Pesquisa (Anexo C).
Quadro 3.5 - Atributos relativos ao requisito de Aspectos de Usabilidade Requisito Aspectos de Usabilidade e seus Atributos Atributos Definio Refere-se capacidade que o software tem de possibilitar ao usurio Adequao do Software compreender e se apropriado para as tarefas do usurio. (Baixa Alta) Facilidade de Aprendizagem (Baixa Alta) Operacionalidade (Baixa Alta) Suporte Memorizao (Baixo Alto) Refere-se facilidade oferecida pelo software para que o usurio aprenda a explorar e utilizar os diferentes mdulos e atividades includos. Refere-se capacidade que o software possui de tornar a sua utilizao fcil para os usurios. Refere-se s caractersticas (padronizao de telas, navegao, design, etc.) que facilitem ao usurio a memorizao dos caminhos e procedimentos de interao para uso adequado do software. Refere-se s caractersticas que o software possui para proteger o usurio de cometer possveis erros. Est relacionada a se a informao contida no espao de conhecimento incorporado no software apresentada de maneira entendvel. Refere-se capacidade do software de ser usado por pessoas com diferentes perfis e caractersticas, em um contexto especfico ligado aos objetivos do sistema. Compreende aspectos como aparncia e disposio dos elementos nas telas do software, incluindo texto, cones, grficos, cores, etc. Representa uma condio subjetiva, segundo a qual o usurio considera a interao com a aplicao agradvel e atrativa, sentindo-se satisfeito com o software. Representa uma dimenso abrangente, relacionada utilidade do software e atendimento dos objetivos pretendidos pelos usurios.

Proteo aos Erros (Baixa Alta) Clareza das Informaes (Baixa Alta) Acessibilidade (Baixa Alta)

Qualidade do Design (Baixa Alta) Satisfao do Usurio (Baixa Alta)

Funcionalidade Geral (Baixa Alta)

51

3.2.2.4.

ASPECTOS DE TECNOLOGIA DE SOFTWARE

A avaliao do requisito dos Aspectos de Tecnologia compreendeu dez questes, sendo uma para cada um dos atributos a ele relacionados. O quadro 3.6 contm a definio dos atributos identificados como parte do requisito dos Aspectos de Tecnologia. As questes, em seu formato final, sero apresentadas no Instrumento da Pesquisa (Anexo C).
Quadro 3.6 - Atributos relativos ao requisito de Aspectos de Tecnologia Requisito Aspectos de Tecnologia e seus Atributos Atributo Definio Exigncia de Equipamentos Refere-se aos equipamentos computacionais (computador, rede, dispositivos especficos) que o software requer para seu amplo (Alta Baixa) funcionamento. Refere-se aos softwares e verses (sistema operacional, linguagens, Exigncia de Software etc.) que o software requer para seu amplo funcionamento. (Alta Baixa) Refere-se capacidade que o software possui de estar disponvel em Disponibilidade qualquer instante de tempo, quando for necessrio ou requisitado. (Baixa Alta) Segurana (Baixa Alta) Confidencialidade (Baixa Alta) Comportamento em Relao ao Tempo (Baixo Alto) Portabilidade (Baixa Alta) Adaptabilidade (Baixa Alta) Mapeamento das Aes do Usurio (Baixo Alto) Facilidade de Instalao (Baixa Alta) Refere-se aos mecanismos incorporados pelo software, capazes de garantir a privacidade do usurio, quanto a sua identificao, mesmo compartilhando e publicando informaes. Refere-se capacidade do software de garantir que os dados estaro acessveis somente aos usurios que possuem autorizao de acesso. Refere-se capacidade do software tem de atender a condies prestabelecidas quanto ao tempo de resposta, processamento e taxa de transferncia apropriada. Refere-se capacidade que o software apresenta para se adaptar a diferentes ambientes, previamente especificados, sem a necessidade de mudanas em outras aplicaes. Refere-se capacidade do software em ter caractersticas passveis de serem modificadas, para atender diferentes perfis de usurios. Refere-se habilidade do software em rastrear e representar, de forma clara para o usurio, os caminhos por ele percorridos ao usar o software. Refere-se facilidade e possibilidade do software ser instalado em um ambiente pr-especificado.

52

3.3. DEFINIO DAS MTRICAS

De acordo com a abordagem GQM (BASILI, 1994), a definio das mtricas para avaliao de determinado artefato de software, em um estudo emprico, compreende: Definio de uma estratgia para a Coleta de Informaes junto aos sujeitos que participam da avaliao; Definio de um procedimento para a Medida das Informaes coletadas por meio da avaliao.

3.3.1. COLETA DE INFORMAES PARA A AVALIAO

No presente estudo, a Coleta de Informaes envolveu uma estratgia embasada nos conceitos da escala de Likert (Brandalise, 2005; Likert, 1932; Pereira, 2004) e do diferencial semntico de Osgood (Osgood, 1967; Pereira, 2004). A escala de Likert amplamente usada e requer que o participante da pesquisa expresse seu grau de concordncia ou discordncia a respeito de determinado questionamento ou afirmao, por meio da escolha de um ponto ao longo de uma escala contnua pr-estabelecida. O diferencial de Osgood, por sua vez, prev a alocao de dois adjetivos (semnticas) antagnicos, um em cada extremo da escala considerada. Desta forma, para avaliar cada uma das 40 questes definidas, adotou-se uma escala de Likert de cinco pontos, associada a dois adjetivos antagnicos que orientaram a avaliao por parte dos participantes da pesquisa. Cada ponto indicado na escala foi associado a um valor. A Figura 3.3 ilustra a escala adotada para a aferio dos 40 atributos de qualidade considerados, relativos avaliao do software educacional enfocado.

Figura 3.3 Escala de cinco pontos da avaliao

53 Pode-se verificar na Figura 3.3 que cada ponto pr-definido na escala est associado a um valor (0; 2,5; 5,0; 7,5 e 10) e que, para responder questo, o sujeito da pesquisa deve levar em conta os adjetivos alocados aos extremos da escala (no exemplo mostrado, insuficiente e suficiente). Os pontos na escala revelam a fora e a direo da atitude dos participantes da pesquisa em relao s extremidades da escala, que possuem categorizaes antagnicas e com a alternativa neutro ao centro. O Quadro 3.7 indica os valores dos pontos associados escala empregada.
Quadro 3.7. Valores para os pontos constantes da escala.

Valores 0,0 2,5 5,0 7,5 10,0

Grau concordncia No atende nada Atende pequena parte Atende a metade Atende a maior parte Atende plenamente

Para atender a avaliao dos 40 atributos (dez para cada requisito), foram usados os adjetivos alto(a) e baixo(a), visando reduzir a subjetividade, a fim de se medir os atributos fundamentais associados qualidade do software com base em atitudes expressadas pelo avaliador. O processo para se responder os quatro questionrios propostos requer que os respondentes assinalem um ponto da escala, quer seja direita (+) ou esquerda (-). Com base no ponto assinalado, ser atribudo o valor associado resposta do participante. A Figura 3.4 ilustra a criao das mtricas, uma para cada questo definida para a avaliao do software educacional para o ensino de cincias.

54

MODELO DE AVALIAO DE QUALIDADE DE SOFTWARE PARA O ENSINO DE CINCIAS

PEDAGOGIA
Afetividade; Flexibilidade; Carga Cognitiva; Confiabilidade Conceitual; Suporte Colaborao; Objetividade; Apoio ao Professor; Controle por parte do Estudante; Motivao; Acomodao das Diferenas Individuais.

ENSINO CINCIAS
Construo de Conceitos; Suporte para a Aplicao de Conceitos; Aprendizagem Evolutiva; Associao entre Teoria e Mundo Real; Representao das Teorias e Conceitos; Preciso de Clculos e Resultados; Rigor Cientfico; Clareza dos Procedimentos; Suporte para Resoluo de Problemas.

TECNOLOGIA
Exigncia de Equipamento; Exigncia de Software; Segurana; Confidencialidade; Comportamento em Relao ao Tempo; Portabilidade; Adaptabilidade; Mapeamento das Aes do Usurio; Facilidade de Instalao.

USABILIDADE
Adequao do Software; Facilidade de Aprendizagem; Operacionalidade; Suporte Memorizao; Proteo aos Erros; Clareza das Informaes; Acessibilidade; Qualidade do design; Satisfao do Usurio; Funcionalidade Geral.

Q1 Q2 Q3 Q4 Q5 Q6 Q7 Q8 Q9 Q10

Q1 Q2 Q3 Q4 Q5 Q6 Q7 Q8 Q9 Q10

Q1 Q2 Q3 Q4 Q5 Q6 Q7 Q8 Q9 Q10

Q1 Q2 Q3 Q4 Q5 Q6 Q7 Q8 Q9 Q10

M1- qualitativa M2-quantitativa

M1- qualitativa M2-quantitativa

M1- qualitativa M2-quantitativa

M1- qualitativa M2-quantitativa

AVALIAO SOB O ENFOQUE DA QUALIDADE Figura 3.4 - Modelo de distribuio das mtricas no instrumento de medio

55

3.3.2. MEDIDAS DAS INFORMAES COLETADAS

De posse das respostas dos participantes da pesquisa, ou seja, dos valores anotados nas escalas referentes a cada uma das 40 questes que compem o modelo de avaliao, calculado o valor atribudo pelo(s) participante(s) a cada um dos quatro requisitos incorporados ao Modelo. O clculo dos nveis de qualidade do software, referente avaliao de cada avaliador que analisou o software, de acordo com o Modelo proposto, dado pelas frmulas a seguir.

NQ-AP = (v1-AP + v2-AP + ..............v10-AP) / 10 NQ-AEC = (v1-AEC + v2-AEC + ..............v10-AEC) / 10 NQ-AU = (v1-AU + v2-AU + ..............v10-AU) / 10 NQ-AT = (v1-AT + v2-AT + ..............v10-AT) / 10 NQG = (NQ-AP + NQ-AEC + NQ-AU + NQAT) / 4

Onde: NQ-AP = Nvel de Qualidade referente ao requisito "Aspectos Pedaggicos" NQ-AEC = Nvel de Qualidade referente ao requisito "Aspectos do Ensino de Cincias" NQ-AU = Nvel de Qualidade referente ao requisito "Aspectos de Usabilidade" NQ-AT = Nvel de Qualidade referente ao requisito "Aspectos Tecnolgicos" NQG = Nvel de Qualidade Geral do software v1 a v10 = valores atribudos pelo avaliador aos atributos de cada requisito.

Para obter os Nveis de Qualidade, considerando-se os valores atribudos por todos os avaliadores, calcula-se a mdia aritmtica para cada um dos cinco nveis definidos. importante destacar que os clculos dos nveis acima so para a situao em que se considera um mesmo peso (peso 1) para os quatro requisitos. Se, ao se avaliar o software, optar em considerar pesos diferentes aos atributos, ser aplicada a mdia ponderada para calcular os nveis NQ-AP, NQ-AEC, NQ-AU e NQ-AT.

56 O Nvel de Qualidade do Software, identificado por meio da avaliao, obtido consultando-se o quadro 3.8, de maneira que possvel interpretar a avaliao, categorizando a qualidade do software em questo.
Quadro 3.8 - Categorizao dos Nveis de Qualidade do software

Escalas 0,00 2,50 2,51 4,90 4,91 7,40 7,41 10,00

Interpretao Baixssima Qualidade Baixa qualidade Boa Qualidade Alta qualidade

Os resultados da avaliao devem fornecer subsdios para a identificao do potencial do software em apoiar o ensino e aprendizagem na rea de cincias, contemplando aspectos relativos aos quatro requisitos que compem o nvel de qualidade do software que est sendo enfocado aspectos pedaggicos, aspectos do ensino de cincias, aspectos de usabilidade e aspectos tecnolgicos. Os valores obtidos pela avaliao podero ser representados visualmente, atravs do traado do Perfil dos Aspectos de Qualidade Percebida. Esse perfil dado por grficos ligando os pontos assinalados, em sentido vertical, nas escalas de categorias presentes na avaliao. A Figura 3.5 fornece um exemplo desse grfico.

57

Figura 3.5 Grfico do perfil dos aspectos da qualidade percebida para a avaliao dos atributos de ensino de cincias

3.4. PREPARAO AVALIAO

DOS

INSTRUMENTOS

DE

Aps definir os objetivos, questes e mtricas que compem o Modelo de Avaliao de Software Educacional para o Ensino de Cincias, foram preparados os instrumentos de avaliao. Estes instrumentos compreendem quatro formulrios ligados diretamente ao modelo de avaliao e um formulrio de cadastro. Cada um dos quatro primeiros formulrios destina-se ao levantamento de informaes avaliativas sobre o software considerado, cada um deles cobrindo um requisito de qualidade ligada a cada um dos requisitos includo no modelo, ou seja: avaliao dos aspectos pedaggicos, dos aspectos do ensino de cincias, dos aspectos de usabilidade e dos aspectos de tecnologia.

58 Estes quatro formulrios coletam os dados necessrios para a avaliao da qualidade do software, com base nos atributos que compem cada requisito de qualidade proposto no modelo PECTUS. Para isso, so solicitadas que o avaliador pontue cada requisito, por meio de valores alocados sobre uma escala que vai de um valor mnimo (1) a um valor mximo (5). O Formulrio de Cadastro da Avaliao foi definido para levantamento dos dados sobre o software a ser avaliado e sobre os avaliadores. Os cinco formulrios citados so apresentados no Anexo C. Este captulo detalhou o mtodo PECTUS, proposto para apoiar avaliaes de softwares educacionais voltados para o ensino de cincias. O prximo captulo apresentar as experincias conduzidas para a validao do modelo.

59

4. EXPERINCIAS DE UTILIZAO DO MODELO DE AVALIAO DE SOFTWRE EDUCACIONAL PARA O ENSINO DE CINCIAS (PECTUS)
Este captulo enfoca a validao do Modelo PECTUS, discutindo experincias de utilizao do mesmo por um grupo de professores de cincias do ensino fundamental e mdio. O modelo foi validado, por meio de sua utilizao, na avaliao de softwares da rea de fsica, biologia e qumica e os resultados obtidos so apresentados e analisados. A seo 4.1 apresenta o processo seguido na conduo das experincias realizadas, referente ao uso do modelo para avaliao dos softwares. A seo 4.2 apresenta os resultados obtidos por meio da avaliao dos softwares. A seo 4.3 apresenta a anlise do modelo PECTUS, a partir dos dados obtidos com a utilizao do mesmo na avaliao dos softwares. A seo 4.4 apresenta a sntese dos resultados obtidos a partir das experincias de utilizao do modelo PECTUS na avaliao dos softwares educacionais para o ensino de cincias.

4.1. CONDUO DAS EXPERINCIAS DE UTILIZAO DO MODELO PECTUS

4.1.1. PARTICIPANTES
O modelo proposto foi validado com professores que lecionam no 2 Ciclo do ensino fundamental e no ensino mdio, nas reas de biologia, qumica e fsica. Estes professores foram escolhidos de forma intencional, de acordo com critrios compatveis com a abordagem GQM, considerando-se a disposio dos professores em participar da pesquisa. A amostra de participantes envolveu nove professores, dos quais trs so formados em fsica, trs em biologia e trs em qumica, com 3 a 5 anos de experincia na

60 docncia do ensino fundamental e mdio. Todos os professores da rede pblica de ensino de Minas Gerais e So Paulo e com experincia prvia no uso de recursos de informtica em sala de aula. A validao do Modelo PECTUS compreendeu as seguintes etapas:

Contato inicial com os participantes, feito verbalmente e por e-mail, incluindo a explanao dos objetivos da pesquisa, das caractersticas principais do Modelo e do processo de validao do Modelo.

Envio, por e-mail, do Modelo PECTUS aos participantes que aceitaram participar da pesquisa, incluindo os instrumentos de levantamento de dados constantes do modelo, ou seja, os formulrios para avaliao dos requisitos de Pedagogia, Ensino de Cincias, Tecnologia e Usabilidade.

Indicao de trs softwares educacionais para o ensino e aprendizagem de temas de cincias, sendo um de fsica, um de biologia e um de qumica.

Solicitao para que cada professor participante da pesquisa avaliasse o software compatvel com a sua rea de docncia, seguindo o processo de avaliao proposto pelo Modelo PECTUS. Ao final da avaliao, esses participantes deveriam devolver os formulrios preenchidos, sendo enfatizada a importncia de incluso de opinies e comentrios, nos campos destinados a esse fim.

As experincias conduzidas, alm de propiciarem a validao do Modelo PECTUS, resultaram na avaliao dos trs softwares indicados para ensino e aprendizagem de temas da rea de cincias, constantes dos contedos programticos do ensino fundamental e mdio.

4.1.2. SOFTWARES AVALIADOS

Foram indicados, para avaliao, trs softwares gratuitos, disponveis online e que possuem potencial como ferramenta de apoio ao ensino e aprendizagem na rea de cincias. A escolha dos softwares indicados baseou-se em critrios relacionados ao uso gratuito, facilidade de obteno online, facilidade de instalao e funcionamento em diferentes plataformas, e disponibilizao de documentao online como tutoriais e relatos de prticas.

61 Neste contexto, foram selecionados os seguintes softwares: Cartes Du Ciel (Lazarus, 2009), representando a rea de fsica; Geneious (Biomatters, 2012), representando a rea de biologia; e ACD/Chemsketch (ACD/Labs, 2010), representando a rea de qumica. Esses softwares sero brevemente descritos a seguir.

4.1.2.1.

SOFTWARE CARTES DU CIEL

Este software tem como objetivo apoiar o ensino e aprendizagem de astronomia. Ele permite que o usurio monte cartas celestes, com base em 16 catlogos astronmicos, contribuindo assim para a pesquisa e observao espacial. O Cartes Du Ciel permite a personalizao de elementos como cores, dimenses, visibilidade, entre outras variveis, acomodando interesses, de acordo com o perfil de cada usurio. Possui recursos que acessam bancos de dados de localizao de cidades brasileiras e do mundo, atravs de coordenadas, possibilitando assim uma viso do espao celeste da regio considerada. O software permite visualizar a dimenso de estrelas de at 12 magnitude, asteroides e cometas, com representaes detalhadas. Os catlogos pesquisados so atualizados pela internet, sempre que necessrio. A figura 4.1 ilustra o software Cartes Du Ciel, mostrando sua tela principal.

Figura 4.1 - Tela principal do software Cartes Du Ciel (Lazarus/FreePascal, 2009)

62 Com base em seus objetivos e caractersticas, o software Cartes Du Ciel pode ser usado em sala de aula, como suporte a aulas referentes ao tema astronomia.

4.1.2.2.

SOFTWARE GENEIOUS

Este software tem como objetivo apoiar a visualizao, manipulao, explorao e compartilhamento de dados sobre sequenciamento de DNA e protenas. O software utiliza conhecimentos de bioinformtica e combina diferentes recursos, que permitem analisar informaes por meio de simulaes e grficos em formato tridimensional. um programa que pode ser utilizado por profissionais das reas biolgicas e educacional, possuindo recursos de bancos de dados que permitem acessar e armazenar dados de experimentos e projetos conduzidos. A figura 4.2 ilustra a interface inicial do software Geneious.

Figura 4.2 Tela principal do software Geneious (Biomatters, 2012)

Em funo de seus objetivos e caractersticas, o Geneious pode apoiar o ensino e aprendizagem sobre temas de engenharia gentica.

63

4.1.2.3.

SOFTWARE ACD/CHEMSKETCH 12.0

Este software tem como objetivo apoiar a construo, manipulao e gerao de modelos bidimensionais e tridimensionais de estruturas qumicas. Oferece recursos para nomeao, segundo os critrios da IUPAC, clculos de LogP e reconhecimento de estruturas e tautmeros, incluindo desenho de polmeros, organometlicos e anlise de propriedades fsicas e qumicas. Possui recursos de bancos de dados para armazenamento e busca via web. Alm disso, h verses disponveis para os sistemas Windows e Linux. A figura 4.3 ilustra a interface inicial do software ChemSketch 12.0.

Figura 4.3 Tela principal do software ChemSketch 12.0 (ACD/Labs, 2010)

A explorao dos objetivos e recursos do ChemSketch contribui para o ensino e aprendizagem de qumica nos ensinos fundamental e mdio.

IUPAC International Union of Pure and Applied Chemistry um rgo no governamental que serve para fazer avanar os aspectos no mundo das cincias qumicas e contribuir para a aplicao da qumica a servio da Humanidade. Disponvel em: http://www.iupac.org/. Acesso em 19/02/2013.

64

4.1.3. REALIZAO DAS EXPERINCIAS COM O MODELO PECTUS

Atravs dos instrumentos de coleta de dados constante do modelo PECTUS, os nove professores que atuaram na validao do modelo, por meio da avaliao dos trs softwares, puderam expressar sua opinio para cada requisito e atributo considerado, aferindo um ndice a cada um deles, por meio de uma escala de medida. Os professores que aceitaram participar da pesquisa receberam um pacote de arquivos, contendo um formulrio de cadastro, o instrumento de coleta de dados e a indicao do software a ser usado e avaliado por meio do modelo, acompanhado do link de acesso. A realizao da avaliao partiu do desenvolvimento de uma atividade simples, em que cada participante deveria realizar o download do software, instal-lo e utiliz-lo sob o ponto de vista de ensino e aprendizagem. Com base na utilizao do software, os professores participantes avaliaram o software e tambm analisaram o modelo PECTUS. De acordo com o modelo, os professores avaliadores consideraram os atributos relacionados aos aspectos de Pedagogia (P), Ensino de Cincias (EC), Tecnologia (T) e Usabilidade (US). Para responder aos quatro mdulos da avaliao, os participantes, assinalaram um nmero em uma escala, contendo valores que variam de 1 a 5, que fosse mais coerente com o ponto de vista por ele percebido, com base no uso do software. Alm disso, os participantes deveriam registrar opinies e comentrios sobre caractersticas do modelo, em campos reservados para tal finalidade. O objetivo das avaliaes, conforme j anteriormente mencionado, aferir um perfil de qualidade para softwares educacionais voltados para o ensino de cincias. Desta forma, o modelo PECTUS pode representar um recurso para identificao do nvel de qualidade de produtos de software educacionais para o ensino de cincias. Os resultados das avaliaes dos trs softwares so apresentados na prxima seo. Sendo importante destacar que os clculos das medidas estatsticas foram realizadas por meio do software R (The R Fundation, 2012).

65

4.2.

AVALIAO DOS SOFTWARES POR MEIO DO

MODELO PECTUS
4.2.1. AVALIAO DO SOFTWARE CARTES DU CIEL
O software Cartes Du Ciel foi avaliado por trs professores da rea da fsica. O quadro 4.1 contm o cadastro do software, que o identifica e fornece uma caracterstica geral.

Tabela 4.1 - Ficha de cadastro de avaliao do software Cartes Du Ciel Nome do Software rea Descrio Nvel de Ensino Pesos atribudos aos Requisitos Cartes Du Ciel Cincias / Fsica Software de Apoio ao Estudo de Representaes de Cartas Celestes Fundamental / Mdio Peso igual para todos os mdulos referentes aos requisitos considerados (AP, AEC, AT, AU).

A seguir ser apresentado o conjunto de avaliaes do software Cartes Du Ciel, com as respostas de cada avaliador, permitindo visualizar as caractersticas do software atravs de grficos verticais, que fazem parte do Modelo PECTUS. Estes grficos indicam, por exemplo, se a qualidade de cada atributo que compe os requisitos baixa ou alta e o valor dado a cada atributo. As figuras 4.4, 4.5, 4.6 e 4.7 ilustram os resultados obtidos pelas avaliaes dos requisitos referentes aos aspectos de Pedagogia, Ensino de Cincias, Tecnologia e de Usabilidade, respectivamente.

66 1) Afetividade BAIXA
1 2 3 4 5

ALTA

2) Flexibilidade BAIXA
1 2 3 4 5

ALTA

3) Carga Cognitiva *

BAIXA
1 2 3 4 5

ALTA

4) Confiabilidade Conceitual

BAIXA
1 2 3 4 5

ALTA

5) Suporte Colaborao

BAIXA
1 2 3 4 5

ALTA

6) Objetividade BAIXA
1 2 3 4 5

ALTA

7) Apoio Professores

BAIXA
1 2 3 4 5

ALTA

8) Controle por parte do Estudante 9) Motivao

BAIXA
1 2 3 4 5

ALTA

BAIXA
1 2 3 4 5

ALTA

10) Acomodao das Diferenas Individuais

LEGENDA:

BAIXA
1 Avaliador 1; 2 Avaliador 2; 3 Avaliador 3. 4 5

ALTA

Figura 4.4 - Avaliao dos Aspectos de Pedagogia do software Cartes Du Ciel

67 A avaliao dos Aspectos de Pedagogia do software Cartes Du Ciel obteve uma mdia geral no valor de 6,25. Os avaliadores destacam que o software possui baixa afetividade, flexvel s exigncias pedaggicas e possui baixa carga cognitiva um software que oferece confiabilidade conceitual, colabora e alcana os objetivos educacionais. Como recurso educacional, serve de apoio aos professores, mas no permite controle por parte dos estudantes. Conforme indicado pelos professores respondentes, o software apresenta deficincia quanto motivao dos alunos, mas acomoda as diferenas individuais do contexto escolar. Ao visualizar a avaliao, observa-se que seis dos dez atributos tendem para o lado direito, caracterizando os atributos do software positivamente entre atendem a maior parte e atendem plenamente. Os outros quatro atributos, trs esto distribudos aleatoriamente, entre os aspectos negativos e a linha mediana, cabendo ressaltar, que o atributo carga cognitiva, est voltado para o lado esquerdo do grfico, significando uma qualificao positiva. Neste caso, a escala recebe valores de um (1) a dez (10) em ordem decrescente obtendo este atributo a categorizao de atende plenamente. O quadro 4.2 sumariza valores estatsticos a partir das notas obtidas para a avaliao dos Aspectos de Pedagogia.
Quadro 4.2 - Valores obtidos para os Aspectos de Pedagogia do software Cartes Du Ciel Respondente Avaliador 1 Avaliador 2 Avaliador 3 Notas 6,75 6,00 6,00 Mdia Geral 6,25 Mediana 7,50 7,50 7,50 = 7,50 Desvio 0,50 -0,25 -0,25 Quadrado dos Desvios 0,25 0,0625 0,0625 SQ = 0,9375 Desvio padro 2,37 3,94 2,11 = 2,80 Varincia total

0,125

Os dados arrecadados permitem uma anlise dos valores, em que se pode sugerir, atravs da mdia geral das notas, que o intervalo de confiana de 95%, situado entre os valores 5,18 e 7,31 ( 1,07). Ao se comparar os valores encontrados visualiza-se que as respostas dos avaliadores esto distribudas equitativamente em comparao com a mdia geral. Ou seja, os avaliadores reconhecem e concordam que, a maioria dos atributos reconhecidos est em conformidade com Aspectos de Pedagogia, relacionando com os demais valores obtidos e os dados da srie.

68 1) Apoio Construo de Conceitos 2) Suporte para a Aplicao de Conceitos 3) Apoio a Aprendizagem Evolutiva 4) Suporte Emprico ALTA
2 3 4 5

BAIXA
1

BAIXA
1 2 3 4 5

ALTA

BAIXA
1 2 3 4 5

ALTA

BAIXA
1 2 3 4 5

ALTA

5) Associao entre Teoria e o Mundo BAIXA Real 1 6) Apoio Representao de Teoria e Conceitos 7) Preciso dos Clculos e Resultados 8) Rigor Cientfico BAIXA
1

ALTA
2 3 4 5

BAIXA
1 2 3 4 5

ALTA

BAIXA
1 2 3 4 5

ALTA

ALTA
2 3 4 5

9) Clareza dos Procedimentos

BAIXA
1 2 3 4 5

ALTA

10) Suporte para a Resoluo de Problemas

BAIXA
1 2 3 4 5

ALTA

Figura 4.5 - Avaliao dos Aspectos de Ensino de Cincias do Software Cartas Du Ciel

69 A avaliao dos Aspectos de Ensino de Cincias obteve uma nota mdia de 7,41. Os atributos reconhecidos no software indicam que este apoia a construo e aplicao de conceitos cientficos, colabora com a aprendizagem evolutiva do aluno e se apresenta como um recurso de suporte emprico, permitindo associar os conceitos e representaes tericas cientficas. No possvel aferir sobre a preciso dos clculos realizados pelo software, mas os respondentes referem-se como caracterstica presente o rigor cientfico das informaes fornecidas. Os mesmos reconhecem deficincias quanto clareza dos procedimentos realizados pelo software e quanto a promover um suporte resoluo de problemas. Ao se visualizar os resultados da avaliao, observa-se que seis dos atributos reconhecidos pelos respondentes esto situados mais direita do grfico, classificando o software positivamente como atende a maior parte e atende plenamente. Os outros quatro atributos esto indicados na linha mediana, ou seja, atendem a metade das exigncias do atributo. O quadro 4.3 resume os valores obtidos das avaliaes dos Aspectos de Ensino de Cincias do software em questo.
Quadro 4.3 - Valores obtidos para os Aspectos de Ensino de Cincias do software Cartes Du Ciel Respondente Avaliador 1 Avaliador 2 Avaliador 3 Notas 7,00 8,75 6,50 Mdia Geral 7,41 Mediana 7,50 10,00 6,25 = 7,91 Desvio -0,66 -4,00 -0,25 Quadrado dos Desvios 0,435 16,00 0,0625 SQ 16,5 Desvio padro 1,97 1,77 1,75 = 1,83 Varincia total

85,398

Ao analisar os resultados obtidos pode se concluir, comparando os valores encontrados que h 95% de confiana nos intervalos que apresentam valores entre 6,66 a 8,17 ( 0,75) em relao mdia da amostra. Estes valores indicam que existe uma variao muito pequena quanto ao grau de concordncia dos avaliadores para os atributos reconhecidos para os Aspectos de Ensino de Cincias. Ou seja, os avaliadores reconhecem os atributos e relacionam com caractersticas que esto presentes no software, conseguindo identific-los.

70 1) Exigncia de Equipamento * ALTA

2 3 4 5

BAIXA
1

2) Exigncia de Software *

BAIXA
1 2 3 4 5

ALTA

3) Disponibilidade BAIXA
1 2 3 4 5

ALTA

4) Segurana BAIXA
1 2 3 4 5

ALTA

5) Confidencialidade BAIXA
1 2 3 4 5

ALTA

6) Comportamento em Relao ao Tempo 7) Portabilidade

BAIXA
1 2 3 4 5

ALTA

BAIXA
1 2 3 4 5

ALTA

8) Adaptabilidade BAIXA
1 2 3 4 5

ALTA

9) Mapeamento das Aes de Usurios

BAIXA
1 2 3 4 5

ALTA

10) Facilidade de Instalao

BAIXA
1 2 3 4 5

ALTA

Figura 4.6 - Avaliao dos Aspectos de Tecnologia do software Cartas Du Ciel

71 A avaliao dos Aspectos de Tecnologia apresentou a pontuao mdia de 7,33. Os avaliadores reconhecem que o software no exige equipamentos ou softwares adicionais. um software que est disponvel, sendo seguro e confivel, correspondendo s funes ao responder prontamente. O software Cartes Du Ciel fcil de instalar e oferece portabilidade, mas no adaptvel e no permite ao usurio mapear as aes realizadas. Ao analisar a avaliao dos Aspectos de Tecnologia, pode-se observar que seis dos dez atributos do instrumento de avaliao esto posicionados do lado direito do grfico, caracterizando os mesmos positivamente. Para os atributos exigncia de software e exigncia de equipamento, quanto mais negativo se apresentam, melhor a caracterstica destes atributos, seguindo uma escala de valores decrescentes de um (1) a dez (10) e classificando o atributo positivamente. O quadro 4.4 contm os dados da avaliao os Aspectos da Tecnologia para o software Cartes Du Ciel.
Quadro 4.4 - Valores obtidos para os Aspectos de Tecnologia do software Cartes Du Ciel. Respondente Avaliador 1 Avaliador 2 Avaliador 3 Notas 6,75 8,00 7,25 Mdia Geral 7,33 Mediana 7,50 8,75 7,50 = 7,91 Desvio -0,58 0,67 -0,08 Quadrado dos Desvios 0,3364 0,4489 0,0064 SQ 0,8 Desvio padro 3,34 3,07 2,19 = 2,86 Varincia total

0,266

Os valores apresentados na tabela 4.4 ilustram os resultados da avaliao, podendo se observar em relao a media geral que possvel identificar, que h 95% de intervalo de confiana e que estes intervalos esto entre os valores de 6,26 e 8,40 ( 1,07), cabendo destacar que estes valores foram obtidos utilizando o software R. Estas medidas permitem ter uma viso objetiva da variabilidade das respostas fornecidas e concluir que os professores ao avaliarem os softwares reconhecem, atravs dos atributos, que o software possui caractersticas em concordncia com os Aspectos de Tecnologia adotados pelo modelo PECTUS.

72 1) Adequao do Software ALTA

2 3 4 5

BAIXA
1

2) Facilidade de Aprendizagem

BAIXA
1 2 3 4 5

ALTA

3) Operacionalidade BAIXA
1 2 3 4 5

ALTA

4) Suporte Memorizao

BAIXA
1 2 3 4 5

ALTA

5) Proteo aos Erros do Usurio

BAIXA
1 2 3 4 5

ALTA

6) Clareza das Informaes

BAIXA
1 2 3 4 5

ALTA

7) Acessibilidade BAIXA
1 2 3 4 5

ALTA

8) Qualidade do Design

BAIXA
1 2 3 4 5

ALTA

9) Satisfao do Usurio

BAIXA
1 2 3 4 5

ALTA

10) Funcionalidade Geral

BAIXA
1 2 3 4 5

ALTA

Figura 4.7 - Avaliao dos Aspectos de Usabilidade do Software Cartas Du Ciel

73 A avaliao dos Aspectos de Usabilidade alcanou uma pontuao de mdia de 6,58. Os professores avaliadores consideraram o software adequado ao que se prope relativamente fcil de aprender e de operar, sendo memorizvel. O software consegue detectar quando a seo corre o risco de perder dados, protegendo assim o usurio contra erros. Alm disso, as informaes so claras e acessveis. Do ponto de vista dos respondentes, o design do software apresenta deficincias, mas satisfatrio, em termos de funcionalidade geral. A avaliao dos Aspectos de Usabilidade oferece um panorama geral dos aspectos positivos e negativos. Atravs do grfico, pode-se observar que sete dos dez atributos adotados esto localizados no lado direito do grfico, caracterizando o software positivamente, entre atende a maior parte a atende plenamente as caractersticas tecnolgicas. Os demais atributos esto na linha mediana, ou seja, atendem a metade das exigncias do atributo. O quadro 4.5 sumariza os dados obtidos para a avaliao da usabilidade.
Quadro 4.5 - Valores obtidos para os Aspectos da Usabilidade do software Cartes Du Ciel Respondente Avaliador 1 Avaliador 2 Avaliador 3 Notas 6,75 6,25 6,75 Mdia Geral 6,58 Mediana 6,25 7,50 7,50 = 7,08 Desvio 0,17 -0,33 0,17 Quadrado dos Desvios 0,0289 0,1089 0,0289 SQ 0,69 Desvio padro 3,12 1,76 2,37 = 2,41 Varincia total

0,23

Os dados apresentados no quadro 4.5 acima possibilitam concluir que existe um intervalo de confiana de 95% entre os valores de 5,68 e 7,48 ( 1,00). Estes valores permitem concluir que os respondentes, atravs do instrumento de avaliao, reconhecem os aspectos de usabilidade, sugerindo uma concordncia entre si quanto ao reconhecimento deste requisito para a avaliao do software em questo. A figura 4.8 apresenta a mdia das respostas por atributo, em cada avaliao, considerada pelo modelo.

74

Valores mdios por Atributo

10,00 V a l o r e s 9,00 8,00 7,00 6,00 5,00 4,00 3,00 2,00 1,00 0,00 1 2 3 4 5 6 7 8 9 10 Atributos AvPed AvEc AvTec AvUsab

Figura 4.8 - Grfico das mdias das notas dos atributos do software Cartes Du Ciel

O grfico mostrado na figura 4.8 sumariza a avaliao dos quatro requisitos de qualidade e respectivos atributos, propostos pelo modelo PECTUS, para avaliao de software educacional para o ensino de cincias. Neste sentido, podem ser destacados os seguintes resultados: Quanto aos Aspectos de Pedagogia, foram destacados os atributos em ser um recurso flexvel ao professor, de baixa demanda de ateno, com conceitos confiveis, colaborativo, objetivo e em condies de ser manipulado pelos estudantes. Em contra partida foi detectado que o software apresenta pouca afetividade, baixa motivao e pode no acomodar as diferenas individuais para a aprendizagem. Quanto aos Aspectos de Ensino de Cincias, merece destaque o fato de que o software caracteriza positivamente os conceitos cientficos que o software simula. Quanto aos Aspectos de Tecnologia, cabe destacar que este foi o requisito avaliado com os maiores ndices, interpretando o software como uma ferramenta que possui um conjunto integrado de instrumentos capazes de aplicar o conhecimento cientfico em uma prtica. O nico atributo negativo do software, indicado pela avaliao, que ele no possui mapeamento das aes do usurio. Quanto aos Aspectos de Usabilidade, observa-se que este requisito recebeu avaliao positiva para a maioria dos atributos analisados. No entanto, a avaliao

75 indicou, que o software apresenta certa dificuldade para se aprender a utiliz-lo, alm de no atender o atributo de acessibilidade. A tabela 4.6 apresenta os resultados da avaliao para o software Cartes Du Ciel, com as notas de cada requisito, a mdia geral das notas obtidas nas avaliaes individuais e as mdias para cada requisito.
Quadro 4.6 - Resultados das avaliaes do software Cartes Du Ciel Requisitos Notas por Avaliador AV1 AV2 AV3 Resultado da Avaliao por Atributo PED = 6,25 EC= 7,41 TEC = 7,33 USAB = 6,58 ATRIB/4 = 6,89 Resultado Geral da Avaliao dos Requisitos por Avaliador Av1 = 6,81 Av2 = 7,25 Av3 = 6,62

Pedagogia Ensino Cincias Tecnologia Usabilidade

6,75 7,00 6,75 6,75

6,00 8,75 8,00 6,25

6,00 6,50 7,25 6,75

Resultado: = 6,89

A avaliao do software Cartes Du Ciel, realizada pelos professores participantes da pesquisa, permitiu definir o perfil dos aspectos de qualidade percebida, para cada atributo constante dos quatro requisitos definidos. A mdia final obtida pela avaliao foi de 6,89. Este valor indica que o software oferece boa qualidade, de acordo com o quadro de categorizao (seo 3.3.2) adotada pelo modelo PECTUS.

4.2.2. AVALIAO DO SOFTWARE GENEIOUS

O software Geneious foi avaliado por trs professores da rea de biologia. O quadro 4.7 contm os itens contemplados no seu cadastro.
Quadro 4.7 - Ficha de cadastro de avaliao do software Geneious Nome do Software rea Descrio Nvel de Ensino Pesos Atribudos aos Requisitos Geneious Cincias / Biologia Software de Suporte ao estudo de cadeias de DNA e protenas Mdio Peso igual para todos os mdulos referentes aos requisitos considerados (AP, AEC, AT, AU).

76 A seguir ser apresentado o conjunto de avaliaes do software Geneious, com as respostas de cada avaliador, permitindo visualizar as caractersticas do software atravs de grficos verticais, que fazem parte do modelo PECTUS. Estes grficos indicam, por exemplo, se a qualidade de cada atributo que compe os requisitos baixa ou alta e o valor dado a cada atributo. As figuras 4.9, 4.10, 4.11 e 4.12 ilustram os resultados obtidos pelas avaliaes dos requisitos referentes aos aspectos de Pedagogia, Ensino de Cincias, Tecnologia e de Usabilidade, respectivamente.

77 1) Afetividade BAIXA
1 2 3 4 5

ALTA

2) Flexibilidade BAIXA
1 2 3 4 5

ALTA

3) Carga Cognitiva* BAIXA

1 2 3 4 5

ALTA

4) Confiabilidade Conceitual

BAIXA
1 2 3 4 5

ALTA

5) Suporte Colaborao

BAIXA
1 2 3 4 5

ALTA

6) Objetividade BAIXA
1 2 3 4 5

ALTA

7) Apoio Professores BAIXA

1 2 3 4 5

ALTA

8) Controle por parte do Estudante

BAIXO
1 2 3 4 5

ALTO

9) Motivao BAIXA
1 2 3 4 5

ALTA

10) Acomodao das Diferenas Individuais

LEGENDA: Avaliador 1;

BAIXA
1 Avaliador 2; 2 Avaliador 3. 3 4 5

ALTA

Figura 4.9 - Avaliao dos Aspectos de Pedagogia do software Geneious

78 A avaliao dos Aspectos de Pedagogia do software Geneious obteve a pontuao de 3,25. Este valor caracteriza o software negativamente para esse requisito. Os respondentes no reconhecem a afetividade e flexibilidade no software, que este oferece uma carga cognitiva alta para ser um recurso de aprendizagem, mesmo que haja uma confiabilidade conceitual tambm alta, o software deficiente quanto a apoiar os professores em atividades educacionais. Os avaliadores reconhecem que h objetividade no software, porm este no oferece controle por parte dos estudantes, no provoca motivao necessria para a aprendizagem e no acomoda as diferenas individuais. Ao analisar a distribuio das respostas atravs do grfico da avaliao, observa-se que sete dos dez atributos adotados para a os Aspectos de Pedagogia esto situados em pontos esquerda, ou seja, caracterizados como no atende ou atende pequena parte das caractersticas necessrias. O atributo carga cognitiva est mais direita, sendo para essa caracterstica, uma condio negativa. O quadro 4.8 a seguir permite analisar os dados para a avaliao dos aspectos da Pedagogia para o software Geneious.
Quadro 4.8 - Valores obtidos para os Aspectos de Pedagogia para o software Geneious. Respondente Avaliador 1 Avaliador 2 Avaliador 3 Notas 4,50 1,75 3,50 Mdia Geral 3,25 Mediana 5,00 0,00 3,75 = 2,91 Desvio -0,50 1,75 -0,25 Quadrado dos Desvios 0,25 3,06 0,0625 SQ 3,37 Desvio padro 2,84 2,65 2,42 = 2,63 Varincia total

1,123

Os valores mostrados no quadro 4.8 permitem realizar uma anlise do conjunto de respostas fornecidas pelos avaliadores e concluir que existe um intervalo de confiana de 95%, entre os valores de 2,20 a 4,29 ( 1,05). Estes valores mostram que os respondentes, atravs do instrumento de avaliao, reconhecem os Aspectos de Pedagogia, o que sugere uma concordncia para estas questes e que o software Geneious apresenta deficincia.

79 1) Apoio Construo de Conceitos ALTA

2 3 4 5

BAIXA
1

2) Suporte para a Aplicao de Conceitos

BAIXA
1 2 3 4 5

ALTA

3) Apoio a Aprendizagem Evolutiva 4) Suporte Emprico

BAIXA
1 2 3 4 5

ALTA

BAIXA
1 2 3 4 5

ALTA

5) Associao entre Teoria e o Mundo Real

BAIXA
1 2 3 4 5

ALTA

6) Apoio Representao de Teoria e Conceitos 7) Preciso dos Clculos e Resultados

BAIXA
1 2 3 4 5

ALTA

BAIXA
1 2 3 4 5

ALTA

8) Rigor Cientfico BAIXA

1 2 3 4 5

ALTA

9) Clareza dos Procedimentos

BAIXA
1 2 3 4 5

ALTA

10) Suporte para a Resoluo de Problemas

BAIXA
1 2 3 4 5

ALTA

Figura 4.10 - Avaliao dos Aspectos de Ensino de Cincias do software Geneious

80 A avaliao dos Aspectos de Ensino de Cincias para o software Geneious recebeu uma pontuao no valor de 6,41. O software apoia a construo e aplicao de conceitos cientficos para uma aprendizagem evolutiva, alm de apresentar suporte emprico e associao e representao de teorias e conceitos cientficos. O software Geneious oferece preciso em seus clculos e resultados com rigor cientfico, porm apresenta deficincia quanto clareza dos procedimentos e suporte resoluo de problemas. Observando o grfico, da figura 4.10 verifica-se que apresenta seis de dez atributos localizados mais direita, ou seja, categorizando positivamente o software para os Aspectos de Ensino de Cincias. De acordo com o quadro (3.3.2), os avaliadores reconhecem que o este software atende a metade, a maior parte e plenamente as caractersticas para este aspecto. O quadro 4.9 sumariza os resultados obtidos pela avaliao dos Aspectos de Ensino de Cincias do software avaliado.
Quadro 4.9 - Valores obtidos para os Aspectos de Ensino de Cincias do software Geneious Respondente Avaliador 1 Avaliador 2 Avaliador 3 Notas 7,75 4,75 6,75 Mdia Geral 6,41 Mediana 8,75 5,00 7,50 = 7,08 Desvio - 1,00 - 0,25 - 0,75 Quadrado dos Desvios 1,00 0,0625 0,5625 SQ 2,19 Desvio padro 2,75 4,48 3,55 = 3,59 Varincia total

0,73

Os dados arrecadados permitem comparar os resultados das avaliaes realizadas e, por hiptese, concluir que existe um intervalo de confiana de 95% entre os valores de 5,01 a 7,81 ( 1,40). Estes valores sugerem que existe concordncia dos avaliadores em classificar o software positivamente, para os atributos deste aspecto.

81 1) Exigncia de Equipamento* BAIXA

1 2 3 4 5

ALTA

2) Exigncia de Software*

BAIXA
1 2 3 4 5

ALTA

3) Disponibilidade BAIXA
1 2 3 4 5

ALTA

4) Segurana BAIXA
1 2 3 4 5

ALTA

5) Confidencialidade BAIXA
1 2 3 4 5

ALTA

6) Comportamento em Relao ao Tempo

BAIXA
1 2 3 4 5

ALTA

7) Portabilidade BAIXA
1 2 3 4 5

ALTA

8) Adaptabilidade BAIXO
1 2 3 4 5

ALTO

9) Mapeamento das Aes de Usurios

BAIXA
1 2 3 4 5

ALTA

10) Facilidade de Instalao

BAIXA
1 2 3 4 5

ALTA

Figura 4.11 - Avaliao dos Aspectos de Tecnologia do Software Geneious

82 A avaliao dos Aspectos de Tecnologia levou a uma pontuao de 5,66. Os professores avaliadores afirmam que o software no faz exigncia de equipamento e de softwares adicionais e que a disponibilidade da ferramenta baixa, por apresentar algumas dificuldades de instalao. O recurso oferece segurana, mas a confiabilidade tambm baixa. O software Geneious responde bem em relao ao tempo e apresenta portabilidade, porm pouco adaptvel. Os atributos de mapeamento das aes do usurio e facilidade de instalao se apresentam relativamente neutros. O grfico formado pelas respostas para a avaliao dos Aspectos de Tecnologia indica que, para este requisito, o software apresenta um resultado equilibrado entre positivo e negativo. Ou seja, analisando-se os atributos existem aqueles que no atendem ou atendem muito pouco as caractersticas tecnolgicas, em contrapartida, h tambm alguns atributos que atendem muito ou atendem plenamente. O quadro 4.10 contm os resultados referentes avaliao dos Aspectos de Tecnologia.
Quadro 4.10 - Valores obtidos para os Aspectos de Tecnologia do software Geneious Respondente Avaliador 1 Avaliador 2 Avaliador 3 Notas 5,75 6,25 5,00 Mdia Geral 5,66 Mediana 5,00 6,25 5,00 = 5,41 Desvio 0,75 0,00 0,00 Quadrado dos Desvios 0,5625 0,00 0,00 SQ 0,5625 Desvio padro 2,90 3,16 2,49 = 2,85 Varincia total

0,1875

O quadro indica que h um valor para o intervalo de confiana de 95% entre 4,59 e 6,73 ( 1,07). Neste aspecto, observa-se que os atributos reconhecidos pelos respondentes permitem concluir que os avaliadores concordam que o software apresenta tanto caractersticas boas como ruins quanto aos Aspectos de Tecnologia.

83 1) Adequao do Software

BAIXA
1 2 3 4 5

ALTA

2) Facilidade de Aprendizagem

BAIXA
1 2 3 4 5

ALTA

3) Operacionalidade BAIXA
1 2 3 4 5

ALTA

4) Suporte Memorizao

BAIXA
1 2 3 4 5

ALTA

5) Proteo aos Erros do Usurio

BAIXA
1 2 3 4 5

ALTA

6) Clareza das Informaes

BAIXA
1 2 3 4 5

ALTA

7) Acessibilidade BAIXA
1 2 3 4 5

ALTA

8) Qualidade do Design

BAIXA
1 2 3 4 5

ALTA

9) Satisfao do Usurio

BAIXA
1 2 3 4 5

ALTA

10) Funcionalidade Geral

BAIXA
1 2 3 4 5

ALTA

Figura 4.12 - Avaliao dos Aspectos de Usabilidade do software Geneious

84 A avaliao dos Aspectos de Usabilidade teve uma pontuao de 3,83. Os avaliadores respondentes referem-se ao software como adequado, mas no to fcil de aprender. A operacionalidade baixa, mesmo que permita memorizar algumas de suas funes. O software no oferece proteo contra os erros do usurio. As informaes apresentadas pelo software so claras, contudo a sua acessibilidade baixa e o seu design relativamente interessante, mas no satisfaz ao usurio por apresentar uma funcionalidade baixa. O quadro 4.11 contm os valores obtidos pela avalio do software.
Quadro 4.11 - Valores obtidos para os Aspectos de Usabilidade do software Geneious Respondente Avaliador 1 Avaliador 2 Avaliador 3 Notas 4,75 1,50 5,25 Mdia Geral 3,83 Mediana 5,00 0,00 6,25 = 3,75 Desvio - 0,25 1,50 - 1,00 Quadrado dos Desvios 0,0625 2,25 1,00 SQ 3,31 Desvio padro 2,49 3,16 2,75 = 2,80 Varincia total

1,10

A partir dos dados obtidos atravs das respostas dos avaliadores possvel identificar o intervalo de confiana de 95%, entre 2,63 e 5,02 ( 1,10) para esse aspecto. As caractersticas reconhecidas pelos respondentes, ao avaliarem o software, permitem concluir que este apresenta aspectos negativos para o critrio da usabilidade. O grfico mostrado na figura 4.13 sumariza a avaliao dos quatro requisitos de qualidade e seus respectivos atributos, conforme o modelo PECTUS para avaliao de software educacional para o ensino de cincias.

85

Valores mdios por Atributo

10,00 9,00 V a l o r e s 8,00 7,00 6,00 5,00 4,00 3,00 2,00 1,00 0,00 1 2 3 4 5 6 7 8 9 10 Atributos AvPed AvEc AvTec AvUsab

Figura 4.13. Grfico de mdias das notas dos atributos do software Geneious

Neste sentido, podem ser destacados os seguintes resultados, referentes ao software Geneious: Quanto aos Aspectos de Pedagogia, observa-se que tal requisito obteve a nota mais baixa, o que sugere que o software apresenta deficincias relacionadas sua utilizao como recurso educacional, mesmo que tenha uma confiabilidade conceitual e objetividade aceitvel. Quanto aos Aspectos de Ensino de Cincias, a avaliao obteve a maior nota dos requisitos avaliados e categoriza o software como oferecendo conceitos e teorias cientficas com certo grau de confiana. Quanto aos Aspectos de Tecnologia, o software Geneious oferece caractersticas positivas, porm, existem limitaes quanto ao modelo adotado no projeto de desenvolvimento da ferramenta. Quanto aos Aspectos de Usabilidade, tambm apresentaram resultados baixos, o que permite concluir que a ferramenta no apresenta recursos necessrios que facilitam a interao.

86 A avaliao dos Aspectos de Ensino de Cincias e dos Aspectos de Tecnologia apresentaram os melhores resultados sobre as caractersticas tcnicas e conceitos cientficos com os quais o software foi desenvolvido. O requisito de Usabilidade apresenta deficincias, j que sete de dez atributos esto com valores bem baixos, oferecendo poucas caractersticas que permitem o usurio interagir com a ferramenta. O quadro 4.12 apresenta o resultado com as notas para cada requisito, a mdia geral das notas obtidas nas avaliaes individuais e as mdias para cada requisito.
Quadro 4.12 - Resultado das avaliaes do software Geneious Requisitos Notas por Avaliador AV1 AV2 AV3 Resultado da Avaliao por Atributo PED = 3,25 EC = 6,41 TEC = 5,66 USAB = 3,83 ATRIB/4 = 4,78 Resultado Geral da Avaliao dos Requisitos por Avaliador Av1 = 5,68 Av2 = 3,62 Av3 = 5,06

Pedagogia Ensino Cincias Tecnologia Usabilidade

4,50 7,75 5,75 4,75

1,75 4,75 6,50 1,50

3,50 6,75 4,75 5,25

RESULTADO: 4,78

A avaliao do software Geneious, realizada pelos professores participantes da pesquisa, permitiu definir o perfil dos aspectos de qualidade percebida, para cada atributo constante dos quatro requisitos definidos. O valor final obtido de 4,78. Este valor indica que o software pode ser considerado como oferecendo baixa qualidade, de acordo com a categorizao adotada neste modelo.

4.2.3. AVALIAO DO SOFTWARE CHEMSKETCH 12.0

O software ChemSketch 12.0 foi avaliado por trs professores da rea de qumica. O

quadro 4.13 contm as informaes sobre o cadastro do software, que o identifica e fornece
uma caracterstica geral.

87
Quadro 4.13 - Ficha de cadastro de avaliao do software ChemSketch 12.0 Nome do Software rea Descrio ChemSketch 12.0 Cincias / Qumica Software de Apoio ao Estudo de ligaes e reaes em 2D e 3D e de propriedades fsicas e qumicas. Mdio Peso igual para todos os mdulos referentes aos requisitos considerados (AP, AEC, AT, AU).

Nvel de Ensino Pesos Atribudos aos Requisitos

As figuras 4.14, 4.15, 4.16 e 4.17 ilustram os resultados obtidos pelas avaliaes dos requisitos referentes aos aspectos de Pedagogia (P), Ensino de Cincias (EC), Tecnologia (T) e de Usabilidade (US), respectivamente.

88 1) Afetividade BAIXA
1 2 3 4 5

ALTA

2) Flexibilidade BAIXA
1 2 3 4 5

ALTA

3) Carga Cognitiva* BAIXA

1 2 3 4 5

ALTA

4) Confiabilidade Conceitual

BAIXA
1 2 3 4 5

ALTA

5) Suporte Colaborao

BAIXA
1 2 3 4 5

ALTA

6) Objetividade BAIXA
1 2 3 4 5

ALTA

7) Apoio Professores BAIXA

1 2 3 4 5

ALTA

8) Controle por parte do Estudante

BAIXO
1 2 3 4 5

ALTO

9) Motivao BAIXA
1 2 3 4 5

ALTA

10) Acomodao das Diferenas Individuais

LEGENDA:

BAIXA
1 2 3 4 5

ALTA

Avaliador 1;

Avaliador 2;

Avaliador 3.

Figura 4.14 - Avaliao dos Aspectos de Pedagogia do software ChemSketch

89 A avaliao dos Aspectos de Pedagogia do software Ckemsketch, obteve uma nota de 6,91. Os avaliadores respondentes caracterizam o software apresentando alta afetividade, relativamente flexvel e de baixa carga cognitiva. Existe, na ferramenta, alta confiabilidade conceitual, bem como suporte colaborao e objetividade. O software tem potencial como ferramenta de apoio aos professores em suas atividades e apresenta tambm controle por parte dos estudantes. Os avaliadores caracterizam positivamente a presena de motivao e relativa acomodao das diferenas individuais dos usurios. A visualizao do grfico formado pelas respostas dos avaliadores indica que o software possui oito dos dez atributos presentes no lado direito. Lembrando que, quanto menor o valor para o atributo carga cognitiva revela que um bom indicador. O quadro 4.14 sumariza alguns dados obtidos pela avaliao dos Aspectos de Pedagogia do software Chemskecth.
Quadro 4.14 - Valores obtidos para os Aspectos da Pedagogia do software ChemSketch Respondente Avaliador 1 Avaliador 2 Avaliador 3 Notas 8,00 6,75 6,00 Mdia Geral 6,91 Mediana 7,50 7,50 5,00 = 6,67 Desvio 0,50 - 0,75 - 1,00 Quadrado dos Desvios 0,25 0,5625 1,00 SQ 1,81 Desvio padro 1,58 1,69 2,11 = 1,79 Varincia total

0,60

A relao dos valores obtidos atravs da avaliao dos Aspectos de Pedagogia permite dizer que existe um intervalo de confiana de 95%, entre os valores de 6,19 e 7,63 ( 0,72). Estes valores sugerem que os respondentes, atravs do instrumento de avaliao, esto em concordncia e reconhecem a presena da maioria dos atributos de pedagogia e assim categorizar esse instrumento como muito bom para este aspecto.

90

1) Apoio Construo BAIXA de Conceitos

1 2 3 4 5

ALTA

2) Suporte para a Aplicao de Conceitos 3) Apoio a Aprendizagem Evolutiva 4) Suporte Emprico

BAIXA
1 2 3 4 5

ALTA

BAIXA
1 2 3 4 5

ALTA

BAIXA
1 2 3 4 5

ALTA

5) Associao entre Teoria e o Mundo Real 6) Apoio Representao de Teoria e Conceitos 7) Preciso dos Clculos e Resultados

BAIXA
1 2 3 4 5

ALTA

BAIXA
1 2 3 4 5

ALTA

BAIXA
1 2 3 4 5

ALTA

8) Rigor Cientfico BAIXA

1 2 3 4 5

ALTA

9) Clareza dos Procedimentos

BAIXA
1 2 3 4 5

ALTA

10) Suporte para a Resoluo de Problemas

BAIXA
1 2 3 4 5

ALTA

Figura 4.15 - Avaliao dos Aspectos de Ensino de Cincias do software ChemSketch

91 A avaliao dos Aspectos de Ensino de Cincias resultou em uma pontuao de 8,66. Os professores avaliadores caracterizaram o software como uma ferramenta que apoia a construo, aplicao e aprendizagem de conceitos cientficos. O software possui suporte emprico, associa e representa teorias e conceitos com preciso de clculos e resultados, obedecendo a um rigor cientfico. Outras caractersticas so apontadas como positivas pelos avaliadores, so a clareza nos procedimentos e o suporte para a resoluo de problemas. Ao se observar o grfico formado pela ligao das respostas, verifica-se que as questes esto localizadas todas direita, caracterizando positivamente os atributos deste aspecto. Estas informaes permitem interpretar que os respondentes reconhecem que o software atende a maior parte ou atende plenamente as questes dos Aspectos de Ensino de Cincias. O quadro 4.15 mostra os valores de alguns dados obtidos atravs da pesquisa.
Quadro 4.15 - Valores obtidos para os Aspectos do Ensino de Cincias do software ChemSketch Respondente Avaliador 1 Avaliador 2 Avaliador 3 Notas 8,25 8,75 9,00 Mdia Geral 8,66 Mediana 7,50 10,00 10,00 = 9,16 Desvio 0,75 - 1,25 - 1,00 Quadrado dos Desvios 0,5625 1,5625 1,00 SQ 3,125 Desvio padro 1,69 1,77 1,29 = 1,58 Varincia total

1,04

Os dados coletados atravs dos instrumentos de avaliao permitem concluir que existe um intervalo de confiana de 95% entre os valores de 8,07 a 9,25 ( 0,59). Estes ndices sugerem concluir que os avaliadores, em sua totalidade, concordam com a presena destes atributos para o software e classificam-no como sendo de alta qualidade.

92 1) Exigncia de Equipamento*

BAIXA
1 2 3 4 5

ALTA

2) Exigncia de Software*

BAIXA
1 2 3 4 5

ALTA

3) Disponibilidade BAIXA
1 2 3 4 5

ALTA

4) Segurana BAIXA
1 2 3 4 5

ALTA

5) Confidencialidade BAIXA
1 2 3 4 5

ALTA

6) Comportamento em Relao ao Tempo

BAIXA
1 2 3 4 5

ALTA

7) Portabilidade BAIXA
1 2 3 4 5

ALTA

8) Adaptabilidade BAIXO
1 2 3 4 5

ALTO

9) Mapeamento das Aes de Usurios

BAIXA
1 2 3 4 5

ALTA

10) Facilidade de Instalao

BAIXA
1 2 3 4 5

ALTA

Figura 4.16 - Avaliao dos Aspectos de Tecnologia do software ChemSketch

93 A avaliao dos Aspectos de Tecnologia obteve uma nota de 8,08 pontos. Os respondentes qualificaram o software como tendo baixa exigncia de equipamentos e softwares adicionais, com alta disponibilidade e que promove segurana ao usurio e confidencialidade, respondendo s funes em tempo hbil. um software que possui portabilidade e adaptabilidade, porm, o mapeamento das aes do usurio relativo, porm apresenta facilidade de instalao. O grfico formado indica que a resposta dos avaliadores para os atributos em questo est situada direita, ou seja, do lado positivo. As questes de exigncia de software e exigncia de equipamento esto situadas esquerda, porm, quanto menor os valores atribudos a estes, melhor sua qualidade. O quadro 4.16 apresenta os dados da avaliao.
Quadro 4.16 - Valores obtidos para os Aspectos de Tecnologia do software ChemSketch Respondente Avaliador 1 Avaliador 2 Avaliador 3 Notas 8,00 8,50 7,75 Mdia Geral 8,08 Mediana 7,50 10,00 7,50 = 8,33 Desvio 0,50 - 1,50 0,25 Quadrado dos Desvios 0,25 3,00 0,0625 SQ 3,31 Desvio padro 1,97 2,11 2,19 = 2,09 Varincia total

1,10

Os resultados obtidos pela avaliao dos Aspectos de Tecnologia indica que o software recebeu uma pontuao alta. Estes valores permitem dizer que existe um intervalo de confiana de 95% entre 7,32 a 8,84 ( 0,76), permitindo concluir que h um nvel alto de concordncia dos avaliadores quanto aos atributos reconhecidos deste software.

94 1) Adequao do Software

BAIXA
1 2 3 4 5

ALTA

2) Facilidade de Aprendizagem

BAIXA
1 2 3 4 5

ALTA

3) Operacionalidade BAIXA
1 2 3 4 5

ALTA

4) Suporte Memorizao

BAIXA
1 2 3 4 5

ALTA

5) Proteo aos Erros do Usurio

BAIXA
1 2 3 4 5

ALTA

6) Clareza das Informaes

BAIXA
1 2 3 4 5

ALTA

7) Acessibilidade BAIXA
1 2 3 4 5

ALTA

8) Qualidade do Design BAIXA

1 2 3 4 5

ALTA

9) Satisfao do Usurio

BAIXA
1 2 3 4 5

ALTA

10) Funcionalidade Geral

BAIXA
1 2 3 4 5

ALTA

Figura 4.17 - Avaliao dos Aspectos de Usabilidade do software ChemSketch

95 A avaliao dos Aspectos de Usabilidade do software resultou em uma nota de mdia de 6,83. Os avaliadores caracterizam o software como adequado, fcil de aprender e de operar, alm de oferecer suporte memorizao e relativa proteo a erros do usurio. As informaes oferecidas pelo software so claras, mas o atributo acessibilidade se apresentou baixo. O design do software possui boa qualidade e os usurios relatam alta satisfao e funcionalidade ao us-lo. As linhas apresentadas pela ligao dos ndices da avaliao permitem visualizar que oito dos dez atributos esto localizados mais direita, ou seja, situado no lado positivo do grfico. O quadro 4.17 apresenta os valores obtidos pela avaliao do software.
Quadro 4.17 - Valores obtidos para os Aspectos da Usabilidade do software Chemsketch Respondente Avaliador 1 Avaliador 2 Avaliador 3 Notas 6,50 7,00 7,00 Mdia Geral 6,83 Mediana 6,25 7,50 7,50 = 7,08 Desvio 0,25 - 0,50 - 0,50 Quadrado dos Desvios 0,0625 0,25 0,25 SQ 0,5625 Desvio padro 2,93 1,97 1,97 = 2,29 Varincia total

0,19

Os resultados obtidos oferecem uma viso dos aspectos de usabilidade e permitem identificar um intervalo de confiana de 95% entre os valores de 5,98 a 7,68 ( 0,85). Estes resultados indicam um ao grau de concordncia dos avaliadores quantos a alguns os aspectos analisados para este requisito. O grfico mostrado na figura 4.18 sumariza a avaliao dos quatro requisitos de qualidade e respectivos atributos, propostos no Modelo PECTUS, para avaliao de software educacional para o ensino de cincias. Neste sentido, podem ser destacados os seguintes resultados: Quanto aos Aspectos de Pedagogia, o software ChemSketch apresenta boas condies de ser uma ferramenta que auxilie no ensino e aprendizagem de qumica. A avaliao deste software apresentou resultados bastante satisfatrios neste requisito, o que permite dizer que o mesmo contribui para a construo de conhecimentos.

96 Quanto aos Aspectos de Ensino de Cincias, o software tambm apresentou resultados bem otimistas, pois alm de fornecer caractersticas tericas imprescindveis oferece condies de o usurio interpretar os conceitos e contedos cientficos com preciso e acurcia. Quanto aos Aspectos de Tecnologia, a ferramenta proporciona um conjunto integrado de conhecimentos e tcnicas que auxilia na prtica com uma anlise bastante positiva quanto sua utilizao. Quanto aos Aspectos de Usabilidade, o software, neste requisito, obteve resultados positivos indicando que o mesmo oferece satisfao aos usurios pelas condies de uso que dispe a ferramenta. As mensagens so claras e precisas e informam o usurio como a ferramenta est se comportando mediante a sua explorao.

Valores Mdios dos Atributos

V a l o r e s 10,00 9,00 8,00 7,00 6,00 5,00 4,00 3,00 2,00 1,00 0,00 1 2 3 4 5 6 7 8 9 10 Atributos

AvPed AvEc AvTec AvUsab

Figura 4.18. Grfico com as mdias das notas dos atributos do software ChemSketch 12.0

O grfico mostrado na figura 4.18 apresenta os resultados das avaliaes para o software ChemSketch 12.0. Observa-se que todos os requisitos obtiveram notas bem elevadas, e sugere que o software apresenta condio satisfatria como recurso para o ensino e aprendizagem de qumica. O nico atributo que tem pontuao negativa a condio de acessibilidade no requisito da usabilidade, j que a ferramenta s possui a opo de zoom.

97 O quadro 4.18 apresenta o resultado das avaliaes para o software apresentando as notas e a mdia geral obtidas nas avaliaes individuais e as mdias para cada requisito.
Quadro 4.18 - Resultado das avaliaes do software ChemSketch 12.0 Avaliao dos Requisitos Pedagogia Ensino Cincias Tecnologia Usabilidade Notas por Avaliador AV 1 AV2 AV3 Resultado da Avaliao por Atributo PED = 6,91 EC = 8,66 TEC = 8,08 USAB = 6,83 ATRIB/4 = 7,62 Resultado Geral da Avaliao dos Requisitos por Avaliador Av1 =7,68 Av2 = 7,75 Av3 = 7,43

8,00 8,25 8,00 6,50

6,75 8,75 8,50 7,00

6,00 9,00 7,75 7,00

RESULTADO: 7,62

A avaliao do software ACD/ChemSketch, permitiu definir o perfil dos aspectos de qualidade percebida, para cada atributo constante dos quatro requisitos definidos. O valor final obtido pela avaliao de 7,62 e sugere que o software, dentro das definies do modelo, considerado como tendo alta qualidade, de acordo com a tabela (3.3.2) adotada.

4.3.

ANLISE DO MODELO PECTUS

O teste com o Modelo de Avaliao de Qualidade de Software para o Ensino de

Cincias (PECTUS) forneceu dados relevantes para categorizar atributos para a qualidade de um software educacional para o ensino de cincias. As respostas fornecidas pelo grupo de participantes permitiu classificar caractersticas internas e externas, que um software deve oferecer aos seus usurios, e que podem ser medidas. Os participantes, ao descreverem suas experincias sobre o uso do modelo, permitiram fazer algumas anlises sobre a validao do modelo. O modelo avalia 40 atributos agrupados em quatro domnios especficos, selecionando pontos positivos ou negativos, que permitem uma viso da informao em softwares para a rea de ensino de cincias com potencial educacional.

98 Essa caracterstica do modelo permite programar um mtodo capaz de estabelecer nveis evolutivos de seleo de caractersticas, organizar o processo de escolha de um software educacional e fazer um controle adequado de ambientes de TIC para o ensino e aprendizagem, atravs de uma reviso e anlise de informaes e recursos, com a utilizao de uma avaliao padronizada.

4.3.1. ASPECTOS POSITIVOS APRESENTADOS PELO MODELO

Os avaliadores ao transcreverem seus comentrios e observaes do modelo, explicitam algumas caractersticas reconhecidas quanto ao uso do Modelo PECTUS. O modelo permite: Reconhecer, investigar e diagnosticar informaes relevantes e pertinentes aos professores da rea de ensino de cincias, em relao classificao de produtos de software, que melhor se adequam proposta de sala de aula. uma forma mais produtiva de recolher informaes de produtos de software. Apresenta completude e est em concordncia com um conjunto de valores, requeridos no processo educacional. apropriada para a organizao da informao para o usurio, de forma clara e concisa. Satisfaz os requisitos adotados e auxilia profissionais educacionais em situaes que a escolha por um produto de software e que no devem ser aleatrias. Permite que professores faam um planejamento prvio de recursos de TIC, necessrios em uma determinada atividade em sala de aula. uma ferramenta de apoio para decises.

4.3.2. ASPECTOS NEGATIVOS APRESENTADOS PELO MODELO

Ao analisar este aspecto, os respondentes da pesquisa referem-se ao modelo como:

99 Apresentando restries quanto apresentao das explicaes dos atributos, necessitando de explicaes mais acessveis para analisar as questes do que por meio da uma tabela. O modelo complexo e no trivial sua anlise, por abranger questes que tratam de diferentes caractersticas e domnios, com definies prprias de cada rea, o que exige uma anlise minuciosa para cada definio oferecida ao se realizar a avaliao e, consequentemente, um gasto maior de tempo para realiz-la.

Os avaliadores respondentes encontraram dificuldades em entender os atributos de ensino de cincias. Alguns avaliadores no conheceram muitos dos termos adotados como atributos.

4.3.3. SUGESTES DOS PARTICIPANTES

Os participantes da pesquisa em seus comentrios adicionais sugeriram o desenvolvimento de uma ferramenta via web que realize os clculos como uma maneira de dinamizar o processo e que esteja acessvel a outros professores que se interessarem nas avaliaes j realizadas.

4.4.

SNTESE DOS RESULTADOS

O desdobramento de caractersticas de qualidade a serem reconhecidas em um

software educacional para o ensino de cincias permite que o avaliador possa conferir as proposies consideradas quanto ao contedo de um software e se este tem o perfil que o professor procura para elaborar suas atividades utilizando recursos de TIC. Nota-se que, para os resultados das avaliaes dos Aspectos de Pedagogia e dos Aspectos de Usabilidade do software Cartes Du Ciel e para as avaliaes dos Aspectos de Ensino de Cincias, Tecnologia e Usabilidade do software ChemSketch, que os valores calculados para a mdia de cada amostra se aproxima dos valores das notas das avaliaes individuais, uma vez que estes valores se direcionam para a extremidade mais positiva adotada na escala dos instrumentos de avaliao.

100 Se um intervalo de confiana apresenta 95% de resultado, no final, somente 5% dos intervalos no contm um valor verdadeiro. Para as interpretaes dos resultados das avaliaes aplicou-se o estudo de intervalo de confiana construdo a partir da resposta mdia, frequentemente, chamado de intervalo de confiana em torno da linha de regresso e utilizou a distribuio normal destas mdias para encontrar o teorema central do limite. O comprimento do intervalo de confiana uma importante medida da qualidade da informao obtida a partir da amostra. Situaes ideais quando se tem um intervalo relativamente pequeno, caracterizando como sendo de alta confiana. Sustentado por essa hiptese, foi possvel encontrar a probabilidade dos parmetros da distribuio das respostas, objetivando tomar decises a respeito dessas informaes. Decises que podem ser tomadas examinando a faixa de valores de um intervalo como parmetro. Ao observar os valores assumidos pelas mdias nas avaliaes pode-se interpretar a tendncia central das respostas para o conjunto de atributos para cada avaliador, concluindo que: Quanto avaliao do software Cartes Du Ciel, os valores atribudos na escala possuem pontos mdios que apresentam pouca variao, indicando que os trs avaliadores concordam que o software atende a maior parte das caractersticas prprias para ser um recurso para o ensino de cincias e assim, tendo boa qualidade.

Quanto avaliao do software Geneious, os valores assumidos na escala oferecem pontos mdios que apresentam uma variao mais significativa. Estes valores mostram a variao da posio das respostas dos avaliadores e indicam que existe uma oscilao significativa quanto concordncia de classificao para a qualificao deste software. Estes dados permitem concluir que o software no atende ou atende pequena parte das caractersticas adotadas e, portanto, possuindo baixa qualidade como recurso para o ensino de cincias.

Quanto avaliao do software ChemSketch, os valores que foram atribudos indicando atravs dos pontos mdios que h uma pouca variao das posies das

101 respostas e atesta a concordncia dos avaliadores quanto ao software em atender a maior parte das caractersticas de qualidade de software educacional ao ensino de cincias, obtendo uma alta qualidade. O tratamento dos resultados para os desvios padro permite afirmar que o grupo dos avaliadores, identificam as caractersticas adotadas como parmetros de qualificao de software educacional para o ensino de cincias. Portanto, para este conjunto de medidas, quanto menor a variao dos valores mais precisos so os dados obtidos. Esta caracterstica pode ser observada nas avaliaes dos Aspectos de Ensino de Cincias do software Cartes Du Ciel, as avaliaes dos Aspectos de Pedagogia, Tecnologia e Usabilidade do software Geneious e para todas as avaliaes do software ChemSketch, concluindo, que 66% dos resultados assumidos destas avaliaes esto bem prximos da mdia, um indicativo de que as respostas oferecidas so precisas. As avaliaes que obtiveram valores de desvio padro considerados altos, como se pode observar, para as avaliaes dos Aspectos de Pedagogia, Tecnologia e Usabilidade do software Cartes Du Ciel e das avaliaes dos Aspectos de Ensino de Cincias do software Geneious, atravs das respostas dadas pelos avaliadores, indicam que existem valores extremos. Ao analisar as mdias, varincias, medianas e desvios padro obtidos das avaliaes realizadas, pode-se dizer que, quanto menor a variao dos valores mais estveis so os resultados das avaliaes e que quanto maior a variao dos valores mais instveis. Atravs dos dados possvel reconhecer que, na maioria das avaliaes realizadas, estes valores quando esto prximos ou muito prximos, apresentam uma maior regularidade para as notas obtidas e, consequentemente, um nvel significativo de concordncia dos participantes em relao s questes. Os resultados apresentados pelas avaliaes permitiram encontrar um valor de 52,50% para as respostas atribudas pelos avaliadores as alternativas que mostram concordncia das questes com a caracterstica do software em atender a maior parte e atender plenamente ao reconhecimento dos atributos adotados pelo modelo.

102 Por outro lado 40% das respostas foram atribudas a neutralidade dos avaliadores e interpretados como atendem a metade e em 7,5% das respostas foram atribudas discordncia dos avaliadores ao reconhecimento de alguns atributos e interpretadas como atendem muito pouco ou atendem nada. Portanto, os resultados das avaliaes para os de trs softwares testados, permitiu observar que o percentual das respostas para a concordncia do avaliador foi maior do que para as respostas discordantes ou neutras. Logo, os softwares avaliados, esto apresentando atributos de ordem positiva ao reconhecimento da qualidade. Um aspecto no comentado pelos avaliadores, porm considerado importante, refere-se s questes de carga cognitiva do questionrio sobre a avaliao dos Aspectos de Pedagogia e s questes de exigncia de equipamento e exigncia de software do questionrio da avaliao dos Aspectos de Tecnologia. Estas questes deveriam ter sido destacadas, no questionrio, de forma a indicar que os valores baixos representam s condies positivas e os valores altos as condies negativas, ao contrrio do que ocorre com as demais questes. Na pesquisa realizada estes destaques no foram feitos, mas os dados coletados foram ajustados. Este captulo discutiu os resultados obtidos na avaliao do modelo PECTUS. O captulo seguinte apresenta as concluses desta pesquisa.

103

5. CONCLUSES

Esta dissertao de mestrado teve como principal objetivo a definio do modelo PECTUS, desenvolvido para apoiar avaliaes de softwares educacionais aplicados ao ensino de cincias. O modelo PECTUS foi construdo evolutivamente, a partir de fundamentos e trabalhos correlatos, obtidos na literatura da rea. Sua sistematizao pautou-se, principalmente, em dois conjuntos de conceitos e componentes: Abordagem GQM - Goal, Question, Metrics (BASILI, 1994), que representa um processo para a gerao de planos de qualidade de software, levando em conta os Objetivos da avaliao (Goal), as Questes (Question) associadas a cada objetivo e as Mtricas (Metrics) que avaliaro cada questo. Requisitos de qualidade relacionados aos Aspectos Pedaggicos (P), aos Aspectos de Ensino de Cincias (EC), aos Aspectos de Usabilidade (US) e aos Aspectos Tecnolgicos (T). Cada um desses requisitos foi caracterizado por meio de um conjunto de atributos, devidamente definidos. A implementao do modelo PECTUS compreendeu a definio de quatro instrumentos de avaliao, que so questionrios para levantamento das avaliaes dos requisitos referentes aos Aspectos de Pedagogia, Ensino de Cincias, Usabilidade e Tecnologia. A verso inicial do modelo foi avaliada por nove professores que ministram contedos de qumica, fsica e biologia, em escolas do ensino fundamental e mdio de Minas Gerais e So Paulo, sendo trs professores de cada rea considerada. Cada grupo de trs professores atuou na avaliao de um software educacional de sua rea docente, tendo sido indicados os seguintes softwares: Cartes Du Ciel, representando a rea de fsica; Geneious, representando a rea de biologia; e ACD/Chemsketch, representando a rea de qumica. Os trs softwares so disponibilizados na internet, sem custo. A avaliao conduzida permitiu a sistematizao de dois conjuntos de resultados: (1) avaliao dos softwares, analisados com base no Modelo PECTUS; e (2) avaliao do

104 modelo PECTUS, como recurso para apoiar a seleo de softwares educacionais voltados para o ensino de cincias. Quanto avaliao dos softwares, o modelo permitiu pontuar cada um deles, com base nos requisitos e atributos incorporados. Sendo assim, os conceitos finais atribudos aos softwares foram: Cartes Du Ciel (LAZARUS/FREEPASCAL, 2009); Geneious (BIOMATTERS, 2012); ACD/ChemSketch (ACD/LABS, 2010). Complementarmente, foi possvel identificar pontos positivos e deficincias de cada software, a partir dos conceitos atribudos pelos avaliadores a cada um dos quatro requisitos considerados e seus respectivos atributos. A avaliao do modelo PECTUS pelos participantes possibilitou constatar a utilidade e adequao do modelo aos objetivos propostos, alm de identificar pontos positivos e dificuldades. Como sugesto, os avaliadores destacaram a importncia de se desenvolver uma ferramenta de software, a ser disponibilizada via web, que realize os clculos necessrios para pontuao dos softwares, como uma maneira de dinamizar o processo, e que seja acessvel a outros professores interessados nas avaliaes j realizadas. Como sugesto para trabalhos futuros, recomenda-se um refinamento do modelo proposto nesta dissertao de mestrado e a anlise das questes com um grupo amostral maior, que permita testar a confiabilidade dos instrumentos de avaliao por meio de tcnicas mais consistentes. Uma sugesto adicional a replicao deste modelo com testes do uso dos softwares anteriormente citados, por professores, no ambiente da sala de aula. Desta forma, poderia ser realizada uma anlise com experincias reais de uso e, assim, detectar caractersticas especficas da aprendizagem dos alunos, correlacionando-as com aspectos pedaggicos e do ensino de cincias. Alm disso, o desenvolvimento de uma ferramenta para apoiar o uso do modelo PECTUS, conforme foi sugerido pelos avaliadores, seria de grande importncia para viabilizar a prtica da avaliao para seleo dos softwares aqui enfocados.

105 Espera-se que este trabalho contribua com futuros estudos sobre a criao e avaliao de novos modelos de avaliao de softwares educacionais, para o ensino e aprendizagem de diferentes contedos. Por fim, espera-se que o estudo apresentado contribua para melhorar o processo de seleo de softwares educacionais para o ensino de cincias, principalmente nos nveis fundamental e mdio. Desta forma, ser enfatizado o uso de softwares de boa qualidade e compatveis com o ambiente real das escolas, o que resultar na melhoria do ensino e aprendizagem.

106

REFERNCIAS BIBLIOGRFICAS

ABNT. NBR ISO/IEC 9126-1 - Engenharia de Software Qualidade de Produto Parte 1: Modelo de Qualidade, Rio de Janeiro, ABNT, 2003. ABNT. NBR ISO/IEC 25010 - Engenharia de Software Qualidade de Produto Parte 1: Modelo de Qualidade, Rio de Janeiro, ABNT, 2011. ACD/Labs Advanced Chemistry Development Inc. Software ChemSketch 12.0 (Freeware), 2010. Disponvel em: http://www.acdlabs.com/home/. Acesso em 19/02/2013. AUSUBEL, D. P. A aprendizagem significativa: a teoria de David Ausubel. So Paulo: Moraes, 1982. BANDURA, A. Self-efficacy: Toward a Unifying Theory of Behavior Change. Psychological Review, 84(2), p.22, 1977. BARROS, M. A. M. . As tecnologias da informao e comunicao e o ensino de cincias. In: Marslvio Gonalves de Amorim; Antonio Carlos Rodrigues de Amorim. (Org.). Ensino de Biologia: fios e desafios na construo de saberes. Joo Pessoa: Editora Universitria UFPB, 2008, v. , p. 103-121. BASILI, V. R; ROMBACH, H. D. The TAME Project: Towards Improvement-Oriented Software Environments. IEEE Transactions on Software Engineering, SE-14(6), 1988. BASILI, V. R. Software Modeling and Measurement: The Goal/Question/Metrics Paradigm. Technical Report CS-TR-2956, Department of Computer Science, University of Maryland, MD 20742, September, 1992. BASILI, V. R.; CALDIERA, G.; ROMBACH, H. D. Goal Question Metric Paradigm.IN: Marciniak, John J. Encyclopedia of Software Engineering. John Wileu & Sons: 1994. V.1, p. 528-532. BEDNARIK, R. Evaluation of Education Environments: The TUP Model. MSc. Thesis, Department of Computer Science, University of Joensuu, Finland, 2002. BEDNARIK, R. Development of the TUP Model Evaluating Educational Software. Department of Computer Science, University of Joensuu, Finland, 2004. BIOMATTERS Ltd Software Geneious 6.0.5, 2012. Disponvel http://www.baixaki.com.br/download/geneious.htm. Acesso em 19/02/2013. em:

BRANDALISE, L. T. Modelos de Medies de percepo e comportamento- uma reviso. [S.I: s.n.] 2005. CASTELI, A. P. CBC Currculo Bsico Comum de Cincias, 2007. CHANDLER, P; SWELLER, J. Cognitive loand theory and the format of instruction. Cognition & Instruction, vol.8. Lawrence Erlbaum Associates, 1991.

107 CUSTDIO, C. A. Avaliao da Usabilidade do Ambiente de Ensino Distncia Moodlle sob a perspectiva de Professores. Dissertao (Mestrado de Cincias da Computao) Faculdade de Cincias Exatas e da Natureza, Universidade Metodista de Piracicaba, So Paulo. 2008. CUSTDIO FILHO, J. F. Explicando Explicaes na Educao Cientfica: Domnio Cognitivo, Status Afetivo e Sentimento de Entendimento. Tese de Doutorado, UFSC, Florianpolis SC, 2001 ESCUDEIRO, P.; BIDARRA, J.; ESCUDEIRO, N. Evaluating Educational Software. Departamento de Engenharia e Informtica do Instituto Superior de Engenharia do Porto e Departamento de Cincias Exatas e tecnolgicas, Universidade Aberta. Porto, Portugal. 2006. FERREIRA, A. B. H. Aurlio sculo XXI: o dicionrio da Lngua Portuguesa. 3. Ed. rev. e ampl. Rio de Janeiro: Nova Fronteira, 2002. FRANCO, J. F.; Franco, N. F.; Cruz, S. R. e Lopes, R. D. Experincia do uso de Multimdias como suporte para a autoria e construo colaborativa do conhecimento. Cinted - UFRGS. Novas Tecnologias na Educao, v. 5 n. 1, julho, 2007. FREIRE, P. Pedagogia do Oprimido. So Paulo: Paz e Terra. 16 edio, 1986. FRESCKI, F. B. Avaliao da Qualidade de Softwares Educacionais para o Ensino de lgebra. Universidade Estadual do Oeste do Paran. Cascavel, Paran, 2008. KINNEAR, T. C.; TAYLOR, J. R. Marketing research: an applied approach. New York: McGraw Hill, 1991. KOSIANSKI, A.; SOARES, M. S. Qualidade de Software: aprenda as metodologias e tcnicas mais modernas para o desenvolvimento de software. So Paulo: Novatec Editora, 2006. 395p. GLADCHEFF, A. P.; ZUFFI, E. M. e SILVA, D. M. Um Instrumento para Avaliao da Qualidade de Softwares Educacionais de Matemtica para o Ensino Fundamental. Congresso da Sociedade Brasileira de Computao. Anais do VII Workshop de Informtica na Escola, Fortaleza, CE, Brasil, 2001. LAZARUS/FREEPASCAL. Software Cartes Du Ciel, version 3, 2009. Disponvel em: http://www.baixaki.com.br/download/cartes-du-ciel.htm. Acesso em 19/02/2013. LIKERT, R. A Technique for the Measurement of Attitudes. Archives of Psychology 140: pp. 1-55, 1932. MACHADO, C. A. A falncia dos modelos normativos de filosofia da cincia a astrologia com um estudo de caso. PUC, Rio de Janeiro, RJ, 2006. MEIRA, L. Making sense of Instructional Devices : The emergence of Transparence in Mathematical Activity, Journal for Research in Mathematics Education, vol. 29, n. 2, pp. 121-142, 1998.

108 MILANI, E. A informtica e a e a comunicao matemtica. Em K. S.Smole & M. I. Diniz (Orgs); Ler, escrever e resolver problemas: Habilidades bsicas para aprender matemtica (pp. 176-200) Porto Alegre: Artmed, 2001 MOGEY, N. LTDI - Evaluation Studies Learning Technology Dissemination Initiative. The Learning Technology Dissemination Initiative is funded by The Scottish Higher Education Funding Council, 1998. MONTGOMERY, D.C; RUNGER, G.C. Estatstica Aplicada e Probabilidade para Engenheiros. 2 ed. Rio de Janeiro. Editora LTC, 2003. MORAES, M. C. Educar na Biologia do amor e da solidariedade. Petrpolis, Rj: Vozes, 2003. MOREIRA, M.A.; MASSONI, N.T. Epistemologias do Sculo XX. So Paulo: Editora Pedaggica e Universitria, 2011. MORIN, E. Os sete saberes necessrios educao do futuro. 10. Ed. So Paulo: Cortez, 1999. MORIN, E. LE MOIGNE, J.L. A inteligncia da Complexidade. So Paulo: Editora Peirpolis, 2000. MORTIMER, E.F. Investigaes em ensino de cincias. Porto Alegre, v. 1, n.1,1996. Disponvel em: <http://www.if.ufrgs.br/public/ensino/>. 2006. N.A.S.A - National Aeronautics and Space Administration. Software Measurement Guidebook. Technical Report SEL-84-101, NASA Goddard Space Flight Center, Greenbelt MD 20771, 1994. NIELSEN,J. Usability Inspection Methods. Computing Systems Conference, 1994, Boston. In: Proceedings of the ACM CHI94 Human Factors, Boston, USA, 1994. p. 413414. OSGOOD, C. E. Semantic Differential Technique in the comparative study of cultures. Ed. Amer. EU, 1967. PEREIRA, J.C. R. Anlise de Dados Qualitativos: Estratgias Metodolgicas para as Cincias da Sade, Humanas e Sociais. 1 ed. So Paulo : Editora USP, 2004. PERRENOUD, Ph. Dez Novas Competncias para Ensinar, Porto Alegre, Artmed Editora, 2000. PIAGET, J. Epistemologia Gentica, Trad. A. Cabral, Martins Fontes: So Paulo, 2002. REEVES, T.C.; HARMON, S.W. Systematic Evaluation Procedures for interactive Multimedia for Education and Training, In S. Riesman(Ed), Multimedia Computing: Preparing for the 21 set century, Idea Group: Harrisburg, PA, pp.472-505, 1998. REZENDE, C.S.; KIRNER, T.G.; KIRNER, C. Uso de um Recurso Multimdia Interativo (RIMult) para o Ensino e Aprendizagem. 7 Conferncia Ibrica de Tecnologia e Sistemas, vol. 2, p.777-782. Madrid. Espanha, 2012.

109 ROCHA, A.R; CAMPOS, G.H.B. Avaliao de Qualidade de Software Educacional. Em aberto, Braslia, ano 12, n. 57, jan. /mar, 1993. ROCHA, A. R; MADONADO, J. C; WEBER, K. C. Qualidade de Software : Teoria e Prtica. Ed. Prentice Hall. 1ed.So Paulo, SP, 2001. SARAIVA, A. V. Utilizao da Abordagem Goal-Question-Metrics (GQM) na elaborao execuo de planos de Avaliao de usabilidade de Software: um estudo emprico sobre um software agropecurio. Universidade Metodista de Piracicaba. Piracicaba, SP, 2006. SAYO, L.F. Modelos Tericos em Sistema de Informao abstrao e mtodo cientfico. Ci. Inf., Braslia, v. 30, n.1, p 82-91, jan./abr. 2001. SOMMERVILLE, I. Engenharia de Software. 9 Ed. So Paulo: Pearson Addison Wesley, 2011. VERGNAUD, G. The Nature Of Mathematical Concepts. In T. Nunes e P. Bryant (Eds.), Learning and teaching mathematics: An international Perspective, Psychology Press, Hove, 1997. pp. 5-28. VYGOTSKY, S.L. Thought and Language, M.I.T. Press, Cambridge, 1962. THAGARD, P.R. The best explanation: Criteria for theory choice. Journal of Philosophy,75, p. 76-92, 1978. THE R FOUNDATION FOR STATISTICAL COMPUTING. Software R version 2.15.2, 2012. Disponvel em: http://www.baixaki.com.br/download/r.htm. Acesso em 19/02/2013. WANGENHEIM, C.G. Utilizao do GQM no Desenvolvimento de Software. IX Conferncia Internacional de Tecnologia de Software, Curitiba, Brasil, 1998.

110

Anexo A Definies dos Conceitos Contidos na Avaliao dos Aspectos Pedaggicos do Mtodo de Reeves.
Critrios e Caractersticas 1. Epistemologia. Objetivista: enfoca o conhecimento separado do saber, o conhecimento adquirido de forma objetiva pelos sentidos e o aprendizado medido precisamente por meio de testes. Construtivista: enfatiza o conhecimento construdo subjetivamente, a partir de experincias Anteriores e em processamento meta-cognitivo ou reflexivo; o aprendizado estimado a partir De observaes e dilogos. 2. Filosofia Pedaggica Instrutivista: enfatiza a importncia de metas e objetivos independentes do aluno; baseia-se na teoria comportamentalista; v o aluno como um agente passivo, um recipiente vazio que ser preenchido de conhecimento. Construtivista: enfatiza a importncia da inteno, experincia e estratgias metacognitivas do aluno; considera que o conhecimento construdo individualmente pelo aluno; refora a necessidade de um ambiente de aprendizado o mais rico possvel; o aluno visto como um indivduo repleto de conhecimento pr existente, atitudes e motivaes. 3. Psicologia Subjacente Comportamental: os fatores do aprendizado no so estados internos que podem ou no existir, mas comportamentos que podem ser diretamente observados; a instruo consiste na modelagem do comportamento desejvel obtido atravs de estmulo/respostas. Cognitiva: enfatiza os estados mentais internos, ao invs do comportamento psicolgico; reconhece que diferentes estratgias de aprendizagem devem ser empregadas, considerando o tipo de conhecimento a ser construdo. 4. Objetividade Precisamente Focalizado: o ensino/aprendizagem segue procedimentos bem definidos (por exemplo: um tutorial de um software). No Focalizado: o ensino/aprendizagem pode seguir padres diferenciados, dependendo do sujeito, do ambiente, etc. (por exemplo, aprender a analisar um objeto de arte).

111 5. Valor da Experincia Abstrato: utiliza situaes que no pertencem ao mundo real do aluno. Concreto: preocupa-se em sempre contextualizar o contedo abordado, apresentando, para isso, situaes da realidade.

6. Papel do Professor Didtico: o professor um provedor de materiais, sendo considerado o dono do conhecimento. Facilitador: o professor atua como um agente facilitador da aprendizagem e uma fonte de orientao e consulta. 7. Flexibilidade Inflexvel: o software " prova de professor", ou seja, no permite adaptaes dos contedos ou complementaes. Facilmente Modificvel: permite modificaes por parte do professor, que possam contribuir para um melhor desempenho do ensino/aprendizagem. 8. Valorizao do Erro Aprendizado Livre de Erros. A aprendizagem deve ocorrer a partir de situaes ou estratgias de ensino nas quais o erro no ocorre ou no deve ocorrer. Aprendizagem a partir da Experincia. O enfoque de "aprender a partir de erros" considerado relevante para a construo do conhecimento. 9. Motivao Extrnseca: a motivao tem origem em situaes ou fatores externos, independente do ambiente de software utilizado. Intrnseca: o software prov elementos capazes aumentar a motivao dos usurios/estudantes, como recursos multimdia, interao de boa qualidade, etc. 10. Acomodao das Diferenas Individuais No-existentes: Considera os usurios/estudantes como indivduos iguais, que podem ser tratados de forma homognea. Multifacetadas: Leva em considerao as diferenas individuais dos estudantes, ou seja, refora a heterogeneidade em termos de atitudes, conhecimento e experincia anteriores, estilos de aprendizagem, etc. 11. Controle por parte do Estudante No Existente: todo o controle sobre o processo seguido para a aprendizagem est embutido no software. Irrestrito: O estudante pode decidir que sees estudar, que caminhos seguir, que material utilizar e a ordem envolvida nessas decises.

112

12. Atividade do Usurio Matemagnico: O ambiente de software capacita os estudantes a acessarem os vrios mdulos ou representaes de contedos disponibilizados. Generativo: O software envolve os estudantes em um processo criativo capaz de conduzir criao, elaborao e representao do conhecimento, a partir da explorao livre dos contedos. 13. Aprendizagem Cooperativa No suportado: o software no possibilita o trabalho cooperativo entre alunos (em pares ou grupos). Integral: O software viabiliza o trabalho cooperativo, de modo que os objetivos sejam compartilhados, contribuindo tanto para a gerao de conhecimento quanto para o desenvolvimento de habilidades sociais. 14. Sensibilidade Cultural No Existente: O software no permite adaptaes para atender a caractersticas culturais. Integral: O software permite a adaptao de (parte de) seus contedos, de forma a adequar-se a caractersticas culturais dos estudantes.

113

Anexo B Definies dos Conceitos Contidos na Avaliao dos Aspectos da Interface do Usurio do Mtodo de Reeves.
1. Facilidade de utilizao 2. Navegao Refere-se ao grau de facilidade percebido pelo usurio, quando ele interage com a aplicao. (Variao: de difcil a fcil) Refere-se habilidade de acessar os contedos do software, de um tpico a outro. (Variao: de difcil a fcil) Refere-se ao esforo mental requerido durante a execuo das tarefas no software, como explorao dos contedos, uso da estrutura, respostas demandadas, etc. (Variao: de no gerencivel/ a confusa) gerencivel/intuitiva) Refere-se habilidade do software em rastrear e representar, de forma clara para o usurio, os caminhos por ele percorridos ao usar o software (Variao: de nenhum a poderoso). Compreende aspectos como aparncia e disposio dos elementos nas telas do software incluindo texto, cones, grficos, cores, etc. (Variao: de princpios violados a princpios respeitados) Refere-se rede de conceitos e relacionamentos que compem o esquema mental que um usurio possui sobre determinado tema ou fenmeno, que deve ser considerada pelo software. (Variao: de incompatvel a compatvel) Est relacionada a se a informao contida no espao de conhecimento incorporado no software apresentado de maneira entendvel. (Variao: de confusa a clara) Refere-se quo bem o software combina diferentes mdias (udio, texto, imagem, vdeo), para produzir um todo que atenda aos objetivos do software. (Variao: de no coordenada a coordenada) Refere-se a aspectos artsticos do software, no sentido destes expressarem beleza, estilo, elegncia, etc. (Variao: de desagradvel a agradvel)

3.Carga Cognitiva

4. Mapeamento

5. Design de tela

6. Compatibilidade Espacial do conhecimento 7. Apresentao da Informao 8. Integrao de Mdias

9. Esttica

114 Representa uma dimenso mais abrangente, relacionada utilidade do software e atendimento dos objetivos pretendidos. (Variao: de no funcional a altamente funcional)

10. Funcionalidade Geral

115

C Formulrios do Instrumento de Avaliao

3.4.1 Formulrio para Avaliao dos Aspectos Pedaggicos

.Anexo

1) Afetividade
Refere-se explicitao de aspectos e comportamentos fsicos e psicolgicos, capazes de indicar o envolvimento do usurio, quando ele utiliza o software, tais como: emoo, estados de humor, motivao, ansiedade, sentimentos de raiva, desinteresse, prazer, alegria, etc.

BAIXA 1 Comentrios: 2 3 4

ALTA 5

2) Flexibilidade
Refere-se capacidade que o software tem de ser flexvel e acomodar diferentes estilos individuais de ensino e aprendizagem, tais como: autoaprendizagem, objetivismo, construtivismo, etc.

BAIXA 1 Comentrios: 2 3 4

ALTA 5

3) Carga Cognitiva
Refere-se ao esforo mental requerido durante a execuo das tarefas no software, como explorao dos contedos, uso da estrutura, respostas demandadas, etc.

BAIXA 1 Comentrios: 2 3 4

ALTA 5

116

4) Confiabilidade Conceitual
Refere-se capacidade do software em despertar reaes e comportamentos que expressam confiana nos seus contedos e resultados por ele propiciados.

BAIXA 1 Comentrios: 2 3 4

ALTA 5

5) Suporte Colaborao
Refere-se ao apoio fornecido pelo software realizao de atividades de forma colaborativa, apoiando o compartilhamento de conhecimento e o desenvolvimento de habilidades sociais.

BAIXO 1 2 3 4

ALTO 5

Comentrios:

6) Objetividade
Refere-se forma de funcionamento do software e dos procedimentos nele incorporados, ou seja, os quo bem definidos e padronizados eles so.

BAIXA 1 Comentrios: 2 3 4

ALTA 5

117

7) Apoio Professores
Refere-se ao nvel de apoio que o software oferece ao professor, que lhe permitir atuar como provedor de informaes e/ou de facilitador da aprendizagem.

BAIXO 1 Comentrios: 2 3 4

ALTO 5

8) Controle por parte do Estudante

Refere-se possibilidade oferecida pelo software aos usurios, para este definir como explorar os mdulos e contedos, ou seja, decidir que sees estudar, que caminhos seguir, que material utilizar e a ordem envolvida nessas decises.

BAIXO 1 2 3 4

ALTO 5

Comentrios:

9) Motivao
Refere-se capacidade de software em, por si s, motivar os usurios a explorar temas e conceitos, por meio de elementos como recursos. Multimdia, interao de boa qualidade, etc.

BAIXA 1 Comentrios: 2 3 4

ALTA 5

118

10) Acomodao das Diferenas Individuais

Refere-se capacidade do software em considerar e facilitar a acomodao de diferenas individuais dos estudantes, ou seja, refora a heterogeneidade em termos de atitudes, conhecimento e experincia anteriores, estilos de aprendizagem, etc.

BAIXA 1 Comentrios: 2 3 4

ALTA 5

119 3.4.2 Formulrio para Avaliao dos Aspectos de Ensino de Cincias

1) Apoio Construo de Conceitos

Refere-se construo de conceitos abstratos em conceitos mais concretos. Acentua a formao dos conceitos e promove a mudana conceitual.

BAIXO 1 Comentrios:

ALTO 5

2) Suporte para a Aplicao de Conceitos

Refere-se aplicao simplificada da realidade, tornando os conceitos abstratos em seus elementos mais importantes.

BAIXO 1 Comentrios: 2 3 4

ALTO 5

3) Apoio a Aprendizagem Evolutiva

Refere-se aprendizagem crescente que auxilia na compreenso dos conceitos desde estgios mais simples at os fenmenos mais complexos.

BAIXO 1 Comentrios: 2 3 4

ALTO 5

120

4) Suporte Emprico
Refere-se s atividades que deixam explcito a natureza da pesquisa cientfica e suas teorias.

BAIXO 1 Comentrios: 2 3 4

ALTO 5

5) Associao entre Teoria e o Mundo Real

Refere-se compreenso sobre o mundo natural real, interagindo com modelos cientficos subjacentes que no poderiam ser inferidos atravs da observao direta.

BAIXA 1 2 3 4

ALTA 5

Comentrios:

6) Apoio Representao de Teoria e Conceitos

Refere-se s informaes visuais como frmulas, resultados, modelos 3D e um feedback para aperfeioar a compreenso de conceitos.

BAIXO 1 Comentrios: 2 3 4

ALTO 5

121

7) Preciso dos Clculos e Resultados

Refere-se coleta, gerao e teste de grandes quantidades de dados que comprovem a hiptese.

BAIXA 1 Comentrios: 2 3 4

ALTA 5

8) Rigor Cientfico
Refere-se identificao e relao entre causas e efeitos entre os sistemas complexos, comprovados com critrios de natureza cientfica.

BAIXO 1 2 3 4

ALTO 5

Comentrios:

9) Clareza dos Procedimentos

Refere-se reduo de rudo cognitivo de modo que os estudantes possam atravs de comandos simples de maneira a permitir se concentrarem nos conceitos envolvidos.

BAIXA 1 Comentrios: 2 3 4

ALTA 5

122

10) Suporte para a Resoluo de Problemas

Refere-se ao suporte promoo de habilidades para a resoluo de problemas e promover o raciocnio crtico e analtico.

BAIXO 1 Comentrios: 2 3 4

ALTO 5

123 3.4.3 Formulrio para Avaliao dos Aspectos de Usabilidade

1) Adequao do Software
Refere-se capacidade que o software tem de possibilitar ao usurio compreender se ele (software) apropriado para as suas tarefas (do usurio).

BAIXA 1 Comentrios: 2 3 4

ALTA 5

2) Facilidade de Aprendizagem
Refere-se facilidade oferecida pelo software para que o usurio aprenda a explorar e utilizar os diferentes mdulos e atividades includos.

BAIXA
1 Comentrios: 2 3 4

ALTA
5

3) Operacionalidade
Refere-se capacidade que o software possui de tornar a sua utilizao fcil para os usurios.

BAIXA 1 Comentrios: 2 3 4

ALTA 5

124

4) Suporte Memorizao
Refere-se s caractersticas (padronizao de telas, navegao, design, etc.) que facilitem ao usurio a memorizao dos caminhos e procedimentos de interao para uso adequado do software.

BAIXO 1 Comentrios: 2 3 4

ALTO 5

5) Proteo aos Erros do Usurio

Refere-se s caractersticas que o software possui para proteger o usurio de cometer possveis erros.

BAIXA 1 Comentrios: 2 3 4

ALTA 5

6) Clareza das Informaes

Est relacionada a se a informao contida no espao de conhecimento incorporado no software apresentada de maneira entendvel.

BAIXA 1 Comentrios: 2 3 4

ALTA 5

125

7) Acessibilidade
Refere-se capacidade do software de ser usado por pessoas com diferentes perfis e caractersticas, em um contexto especfico ligado aos objetivos do sistema.

BAIXA 1 Comentrios: 2 3 4

ALTA 5

8) Qualidade do Design
Compreende aspectos como aparncia e disposio dos elementos nas telas do software, incluindo texto, cones, grficos, cores, etc.

BAIXA 1 2 3 4

ALTA 5

Comentrios:

9) Satisfao do Usurio
Representa uma condio subjetiva, segundo a qual o usurio considera a interao com a aplicao agradvel e atrativa, sentindo-se satisfeito com o software.

BAIXA 1 Comentrios: 2 3 4

ALTA 5

126

10) Funcionalidade Geral

Representa uma dimenso abrangente, relacionada utilidade do software e atendimento dos objetivos pretendidos pelos usurios.

BAIXA 1 Comentrios: 2 3 4

ALTA 5

127 3.4.4 Formulrio para Avaliao dos Aspectos Tecnolgicos

1) Exigncia de Equipamento
Refere-se aos equipamentos computacionais (computador, rede, dispositivos especficos) que o software requer para seu amplo funcionamento.

BAIXA 1 Comentrios: 2 3 4

ALTA 5

2) Exigncia de Software
Refere-se aos softwares e verses (sistema operacional, linguagens, etc.) que o software requer para seu amplo funcionamento.

BAIXA 1 Comentrios: 2 3 4

ALTA 5

3) Disponibilidade
Refere-se capacidade que o software possui de estar disponvel em qualquer instante de tempo, quando for necessrio ou requisitado.

BAIXA 1 Comentrios: 2 3 4

ALTA 5

128

4) Segurana
Refere-se aos mecanismos incorporados pelo software, capazes de garantir a privacidade do usurio, quanto a sua identificao, mesmo compartilhando e publicando informaes.

BAIXA 1 Comentrios: 2 3 4

ALTA 5

5) Confidencialidade
Refere-se capacidade do software de garantir que os dados estaro acessveis somente aos usurios que possuem autorizao de acesso.

BAIXA 1 2 3 4

ALTA 5

Comentrios:

6) Comportamento em Relao ao Tempo

Refere-se capacidade do software tem de atender a condies pr-estabelecidas quanto ao tempo de resposta, processamento e taxa de transferncia apropriada.

BAIXO 1 Comentrios: 2 3 4

ALTO 5

129

7) Portabilidade
Refere-se capacidade que o software apresenta para se adaptar a diferentes ambientes, previamente especificados, sem a necessidade de mudanas em outras aplicaes.

BAIXA 1 Comentrios: 2 3 4

ALTA 5

8) Adaptabilidade
Refere-se capacidade do software em ter caractersticas passveis de serem modificadas, para atender diferentes perfis de usurios.

BAIXA 1 2 3 4

ALTA 5

Comentrios:

9) Mapeamento das Aes de Usurios

Refere-se habilidade do software em rastrear e representar, de forma clara para o usurio, os caminhos por ele percorridos ao usar o software.

BAIXO 1 Comentrios: 2 3 4

ALTO 5

130

10) Facilidade de instalao

Refere-se facilidade e possibilidade do software ser instalado em um ambiente pr-especificado.

BAIXA 1 Comentrios: 2 3 4

ALTA 5

131 3.4.5 Formulrio de Cadastro da Avaliao

Avaliao de Software Educacional para o Ensino de Cincias Cadastro da Avaliao

Nome do Software: _____________________________________________________

rea do Software: _[ ] Cincias

[ ] Biologia

] Qumica

[ ] Fsica___

Descrio:_________________________ ___________________________________ ______________________________________ _________________ _____ ___________________________________________ _______ ___________

Software para: [ ] Ensino Fundamental (nvel 2)

[ ] Ensino Mdio

Responsvel pela Avaliao:(opcional) ________________ _________________ ___

Nome do Avaliador (opcional): ____________________________________________

Data e Local da Avaliao: ________________________________________________

Pesos Atribudos aos Mdulos da Avaliao [ ] Peso igual para os 4 Mdulos [ ] Pesos diferentes para os Mdulos: - Mdulo Aspectos Pedaggicos - Peso: _____ - Mdulo Aspectos do Ensino de Cincias - Peso: _____ - Mdulo Aspectos de Usabilidade - Peso: _____ - Modulo Aspectos Tecnolgicos - Peso: _____