UNIVERSIDADE DE SO PAULO

FACULDADE DE ECONOMIA, ADMINISTRAO E CONTABILIDADE

DEPARTAMENTO DE CONTABILIDADE E ATURIA

MARCELO CUNHA DE SOUZA

O USO DE INTELIGNCIA ARTIFICIAL NO ENSINO DE CONTABILIDADE

SO PAULO
2014
 Prof. Dr. Marco Antonio Zago
Reitor da Universidade de So Paulo

Prof. Dr. Adalberto Amrico Fischmann

Diretor da Faculdade de Economia, Administrao e Contabilidade

Prof. Dr. Edgard Bruno Cornacchione Junior

Chefe do Departamento de Contabilidade e Aturia

Prof. Dr. Andson Braga de Aguiar

Coordenadora do Programa de Ps-Graduao em Controladoria e Contabilidade
Autorizo a reproduo e divulgao total ou parcial deste trabalho, por qualquer meio
convencional ou eletrnico, para fins de estudo e pesquisa, desde que citada a fonte.

Catalogao na publicao
Servio de Biblioteca e Documentao
Faculdade de Economia, Administrao e Contabilidade da
Universidade de So Paulo

FICHA CATALOGRFICA
Elaborada pela Seo de Processamento Tcnico do SBD/FEA/USP

Souza, Marcelo Cunha de

O uso de inteligncia artificial no ensino de contabilidade / Marcelo
Cunha de Souza. -- So Paulo, 2014.
112 p.

Dissertao (Mestrado) Universidade de So Paulo, 2014.

Orientador: Edgard Bruno Cornacchione Junior.

1. Contabilidade 2. Ensino por computador 3. Inteligncia artificial

4. Avaliao da aprendizagem I. Universidade de So Paulo. Faculdade
de Economia, Administrao e Contabilidade. II. Ttulo.

CDD 657
Para Ana Souza, minha amada esposa,
com todo meu amor e carinho.
 AGRADECIMENTOS

Agradeo a minha esposa, Ana Souza, por todo o apoio, carinho e pacincia durante a
realizao deste trabalho. Certamente nossas conversas e suas contribuies foram
enriquecedoras e de inestimvel contribuio para esta Dissertao. Sem seu apoio e sua ajuda
esta pesquisa certamente no teria existido.

Agradeo a minha me, Marlene Esteves, e ao meu pai, Jos Cunha de Souza, por todos os
valores e ensinamentos, a mim transmitidos, guiando meus passos at aqui. Agradeo ainda
aos meus sogros, Jos Teixeira e Maria Solange, pelo especial apoio e dedicao durante
todos esses meses de mestrado. A toda minha famlia, muito obrigado!

Ao meu orientador, Prof. Dr. Edgard Cornacchione, registro um agradecimento especial, no

apenas na conduo deste trabalho, mas tambm em todos os aspectos acadmicos e
profissionais que o destacam como exemplo de educador e pesquisador. Seu apoio e
consideraes foram fundamentais para a realizao deste trabalho, muito obrigado!

Agradeo ALEKS Corporation, na figura do Sr. Sam Hussey, por acreditar e incentivar a
realizao do presente estudo, dando suporte tcnico e gentilmente cedendo as licenas
necessrias para o desenvolvimento do experimento. Seu apoio foi muito incentivador e
importante. Sam, really thank you!!

Agradeo aos colegas to GETEC-USP pelas conversas, auxlios e contribuies na realizao

da presente pesquisa. Em especial a Tnia Nunes, por suas valiosas contribuies e
participaes neste projeto e, ao amigo Renato Azevedo fundamental no apoio logstico da
reviso da literatura.

Agradeo aos Professores Bruno Salotti, Fernando Murcia e a Professora Mara Jane
Malacrida pela oportunidade e interesse no desenvolvimento deste trabalho e tambm a todos
os estudantes da diciplina de Contabilidade Introdutria (EAC0106) do ano de 2014. O apoio
e didicao de vocs foi fundamental para a conduo do experimento.
Agradeo aos professores e a equipe do PPGCC, sempre contribuindo e auxiliando nos
trabalhos de ps-graduao. Em especial, agradeo a Belinda Ludovici, a Profa. Silvia Casa
Nova e a Marcia Bento pelo apoio nas horas mais complicadas.

Agradeo tambm a Universidade de So Paulo, ao Departamento de Contabilidade e Aturia,

e a FIPECAFI pelo apoio instituicional que propiciaram a conduo desse trabalho. Por fim,
agradeo a CAPES pelo apoio financeiro que possibilitou a realizao dessa Dissertao.
 RESUMO

Souza, M. C. (2014). O uso de Inteligncia Artificial no ensino de Contabilidade. Dissertao

de Mestrado, Faculdade de Economia, Administrao e Contabilidade , Universidade de
So Paulo, So Paulo.

O cenrio contbil brasileiro reflete as diversas transformaes tecnolgicas que a sociedade

vem passando, como o aumento expressivo do comrcio e dos servios eletrnicos e o
surgimento de moedas totalmente digitais, o bitcoin. Essa sociedade demanda um novo
profissional contbil, na vanguarda da tecnologia, focado no negcio da empresa,
participando da gesto e provendo informaes teis para a tomada de deciso. Preparar esse
Contador tarefa que certamente recai sobre as instituies de ensino. Essas instituies
precisam adaptar seu currculo para uma realidade diferente daquela que existia quando os
programas de contabilidade, do Brasil, foram criados. Nesse cenrio foi realizada uma
pesquisa visando a insero de tecnologia baseada em inteligncia artificial, o sistema
ALEKS, no ensino de Contabilidade. A questo de pesquisa foi avaliar em que medida a
tecnologia da educao, baseada em Inteligncia Artificial, pode auxiliar na aquisio de
habilidades tcnicas necessrias ao estudante de Cincias Contbeis. Para tanto foi realizado
um quase-experimento com os estudantes da disciplina de Contabilidade Introdutria do curso
de Bacharelado em Cincias Contbeis da Universidade de So Paulo, introduzindo o sistema
ALEKS como ferramenta de suporte no ensino de Contabilidade bsica. Apesar da adeso
pesquisa de 122 estudantes, somente 71 fizeram algum acesso ao sistema e apenas 16
estudantes utilizaram o sistema de forma satisfatria para que se pudesse captar algum
benefcio do uso do sistema. A hiptese nula foi mantida para os estudantes da turma T01 (p =
0,398, n = 8) do perodo diurno e para a turma T22 (p = 0,014, n = 5) do perodo noturno,
tendo sido rejeitada para a turma T21 (p = 0,001, n = 3) do perodo noturno, significando que
o sistema produz pequeno ou nenhum efeito sobre o desempenho dos estudantes na disciplina
presencial. Grande destaque deve ser dado a baixa adeso dos estudantes ao uso do sistema.
Uma pesquisa de adequao buscou capturar esse aspecto. Os estudantes elencaram a
dificuldade com o idioma e com os termos tcnicos, o no alinhamento do sistema com a
disciplina presencial e a falta de tempo para realizao de tarefas extraclasse como fatores
impeditivos ou desmotivadores de acesso e uso do sistema ALEKS. Entende-se que a insero
de tecnologia baseada em inteligncia artificial no ambiente educacional positiva, devido a
motivao incial e aos relatos dos estudantes com apoio a iniciativa. Essa insero pode
fomentar o processo educacional para estudantes, docentes e instituies. Um alinhamento do
ALEKS disciplina presencial certamente produziria resultados diferentes dos encontrados na
presente pesquisa, permitindo maior confiabilidade aos achados. Mais pesquisas precisam ser
produzidas no ambiente brasileiro, considerando no apenas os estudantes, mas considerando
docentes, instituies e empresas.

Palavras-chave: Contabilidade, Ensino por computador, Inteligncia Artificial, Avaliao da

aprendizagem
 ABSTRACT

Souza, M. C. (2014). The use of Artificial Intelligence in Accounting Education. Dissertao

de Mestrado, Faculdade de Economia, Administrao e Contabilidade , Universidade de
So Paulo, So Paulo.

The Brazilian accounting scenario reflects the many technological changes that society is
facing, as a significant increase in trade and electronic services, and the emergence of fully
digital currencies, such as bitcoin. This society demands a new accountant at the forefront of
technology, focused on the company's business by participating in management and providing
useful information for decision making. Helping to prepare this accountant is a task that
surely lies with educational institutions. These institutions need to adapt syllabi to a different
reality if compared to what existed when most accounting programs in Brazil were created. In
this scenario, this research relies on a survey aimed at adoption of educational technology
based on artificial intelligence (ALEKS), in an Accounting. The research question is to assess
the extent to which technology education based on Artificial Intelligence can assist students to
acquire the necessary Accounting technical skills. A quasi-experiment with students of
Introduction to Accounting course at the undergraduate level at the University of So Paulo
was developed, introducing ALEKS as a support tool in teaching basic accounting. Despite
the large number of participants of the survey, 122 students, only 71 actually accessed the
system and only 16 students used the system in a satisfactory manner, so to allow capturing
some benefit of its use. The null hypothesis was sustained for students of cohort T01 (p =
0.398, n = 8) day period and the cohort T22 (p = 0.014, n = 5) of the evening. The hypothesis
was rejected for cohort T21 (p = 0.001, n = 3) of the evening period, meaning that the system
produces little or no effect on student performance. Attention should be given to poor
adherence of students to use the system and an additional survey of adequacy sought to
capture this aspect. Students list the difficulty with language and technical terms, the non-
alignment of the system with the classroom discipline and lack of time to perform tasks such
as extracurricular, or demotivating factors all impeding access and use of the ALEKS system.
It is clear that the adoption of artificial intelligence-based technology in the educational
environment is positive, because the initial motivation of students and feedbacks supporting
the initiative. It can foster the educational process for students, teachers and institutions. An
alignment of ALEKS with other classroom activities certainly would find different results
from those found in the present research, increasing reliability of the findings. More research
in this area needs to be conducted in the Brazilian environment, considering not only students,
but also teachers, institutions and companies.

Keywords: Accounting, Computer-based Instruction, Artificial Intelligence, Assessment,

Evaluation
 1

SUMRIO

LISTA DE TABELAS .......................................................................................................... 3

LISTA DE FIGURAS........................................................................................................... 4
1 INTRODUO ............................................................................................................. 5
1.1 Problema de pesquisa: ........................................................................................................... 8
1.2 Justificativa: ........................................................................................................................ 10
1.3 Objetivos do estudo: ............................................................................................................ 11
1.4 Hipteses: ............................................................................................................................ 12
2 REVISO DA LITERATURA .................................................................................. 14
2.1 Avaliao, Assessment e Evaluation ................................................................................... 14
2.2 The Knowledge Spaces Theory........................................................................................... 17
2.2.1 Precedence Relation .................................................................................................... 19
2.2.2 Knowledge state .......................................................................................................... 19
2.2.3 Knowledge Structures ................................................................................................. 21
2.2.4 Learning Paths ............................................................................................................ 21
2.2.5 Inner Finge e Outer Fringe ......................................................................................... 22
2.3 Tecnologia aplicada Educao ......................................................................................... 24
2.4 Inteligncia Artificial impulsionando a Educao .............................................................. 26
2.5 As tecnologias aplicadas ao ensino de Contabilidade ......................................................... 29
2.6 O sistema ALEKS ............................................................................................................... 33
2.6.1 The Initial assessment ................................................................................................. 34
2.6.2 Grfico das habilidades - Pie....................................................................................... 36
2.6.3 Utilizando o sistema .................................................................................................... 37
2.6.4 A viso do Instrutor ..................................................................................................... 39
2.6.5 A Inteligncia Artificial no ALEKS ............................................................................ 40
2.7 Estudos anteriores ............................................................................................................... 42
3 PROCEDIMENTOS METODOLGICOS ............................................................. 44
3.1 O Desenho experimental ..................................................................................................... 44
3.2 Populao e amostra ............................................................................................................ 46
3.3 Conduo do experimento ................................................................................................... 50
3.3.1 ALEKS Corporation e o Departamento de Contabilidade e Aturia .......................... 50
3.3.2 Teste piloto .................................................................................................................. 54
3.3.3 O Pr-teste (O1) .......................................................................................................... 55
3.3.4 Acesso ao ALEKS....................................................................................................... 56
3.3.5 O Ps-teste................................................................................................................... 60
 2

3.3.6 Pesquisa sobre o uso do ALEKS ................................................................................. 61

3.3.7 Coleta dos dados.......................................................................................................... 62
3.4 Ameaas validade do experimento ................................................................................... 63
4 RESULTADOS ............................................................................................................ 67
4.1 Anlise dos resultados ......................................................................................................... 75
5 CONCLUSES ........................................................................................................... 83
5.1 Limitaes ........................................................................................................................... 91
5.2 Contribuies ...................................................................................................................... 92
5.3 Sugestes para futuras pesquisas......................................................................................... 93
6 REFERNCIAS BIBLIOGRFICAS ...................................................................... 95
7 APNDICES .............................................................................................................. 103
7.1 Syllabus do curso .............................................................................................................. 103
7.2 Termo de consentimento livre e esclarecido ..................................................................... 106
7.3 Pr-teste ............................................................................................................................. 107
7.4 Pesquisa de Adequao e uso do Sistema ALEKS ........................................................... 111
 3

LISTA DE TABELAS

Tabela 1- Tipos de habilidades.............................................................................................................. 19

Tabela 2 - Distribuio das Turmas ...................................................................................................... 49
Tabela 3 - Distribuio dos Tpicos e Contedos ................................................................................. 53
Tabela 4 - Tempo de Utilizao do ALEKS ......................................................................................... 59
Tabela 5 - Itens concludos no ALEKS ................................................................................................. 60
Tabela 6 - Proficincia por Contedo................................................................................................... 60
Tabela 7 Perfil dos respondentes da pesquisa .................................................................................... 62
Tabela 8 - Distribuio dos Estudantes ................................................................................................. 68
Tabela 9 - Normalidade dos Dados ....................................................................................................... 70
Tabela 10 - Distribuio dos Estudantes 2014 ...................................................................................... 71
Tabela 11 - Resultado das Anlises de 2014 com e sem o ALEKS ...................................................... 71
 4

LISTA DE FIGURAS

Figura 1 - Learning paths ...................................................................................................................... 22

Figura 2 - Outer and Inner fringes ......................................................................................................... 23
Figura 3 - Initial Assessment ................................................................................................................. 35
Figura 4 - Grfico de habilidades (PIE) ................................................................................................ 36
Figura 5 - Assignments ......................................................................................................................... 38
Figura 6 - Viso do Instrutor ................................................................................................................. 39
Figura 7 - Ameaas Validade Interna ................................................................................................. 64
Figura 8 - Ameaas Validade Externa ................................................................................................ 65
Figura 9 - Distribuio das notas por atividade..................................................................................... 69
Figura 10 - Distribuio das Notas da Disciplina vs. Nota do Sistema ALEKS ................................... 72
Figura 11 - Distribuio dos estudantes e notas .................................................................................... 72
Figura 12 - Distribuio de Idade e Opo de Cursos ........................................................................... 81
Figura 13 - Acessibilidade do ALEKS .................................................................................................. 81
Figura 14 - Percepo sobre o Sistema ALEKS.................................................................................... 82
 5

1 INTRODUO

No Brasil, desde 2008, a Contabilidade vem passando por diversas mudanas que buscam a
harmonizao das normas contbeis brasileiras ao padro internacional. So exemplos dessas
mudanas as alteraes decorrentes da promulgao da Lei 11.638/07, assim como os
pronunciamentos emitidos pelo Comit de Pronunciamentos Contbeis (CPC). Estes fatos
colocam a profisso contbil em posio de destaque no cenrio econmico e expe a
necessidade da formao de profissionais com um perfil adequado s novas realidades e aos
interesses que as empresas demandam.

Alguns avanos na tecnologia contbil tais como a Nota Fiscal Eletrnica (NF-e), a
popularizao e o desenvolvimento de sistemas integrados de gesto (ERP), com significativa
reduo de custos permitem que as empresas tenham todas as suas transaes conectadas
por um nico sistema, em uma nica base de dados. A migrao da computao embarca para
sistemas em nuvem, tornando a informao acessvel em qualquer dispositivo e em qualquer
parte do globo, o que reduz drasticamente o custo para implantar e manter os controles desde
a origem da transao at ao usurio final. O advento do Sistema Pblico de Escriturao
Digital (SPED) possibilita ao Governo Federal e aos Governos Estaduais e Municipais a
obteno de acesso, quase em tempo real, das transaes e movimentaes das empresas.
Estes so exemplos das transformaes que o ambiente empresarial vem enfrentando, na
ltima decada, o que deixa evidente a necessidade de mudana no perfil dos profissionais
contbeis, tradicionalmente ligados aos aspectos tcnicos de escriturao e contabilizao,
para um perfil mais dinmico, ligado aos aspectos gerenciais do negcio. A lgica que a
velocidade da informao, aliada ao baixo custo do poder de processamento computacional,
far com que as empresas automatizem todo o parque contbil de forma que a informao
seja gerada e processada automaticamente e instantaneamente, sem a presena de um ser
humano. Tal contexto contribui para que a Contabilidade necessite menos de profissionais
com hard skills, habilidades diretamente relacionadas tcnica e prtica; e, demande mais
profissionais com soft skills, que so menos dependentes da tcnica, uma vez que possuem
mais habilidades interpessoais e raciocnio crtico (Passos, 2011).

Essa demanda da sociedade por um novo profissional, focado no negcio da empresa,

participativo da gesto e provedor de informaes teis para a tomada de deciso, recai
diretamente sobre as instituies responsveis pela formao. No Reino Unido esse contexto
 6

permeia as mesas de discusses h bastante tempo. Na dcada de 1980, um grande programa,

intitulado Enterprise in Higher Education, foi realizado e financiado pelo Governo em
resposta s reclamaes das empresas de que universities were not producing effective
graduates equipped with the necessary skills to apply their knowledge in the workplace
(Macdonald, 2002, p. 6). Naquela ocasio, mais de 1 milho de Libras foram destinados ao
ensino superior to develop enterprising graduates in partnership whith employers
(Macdonald, 2002, p. 6). Nos Estados Unidos, os rgos relacionados ao desenvolvimento
profissional da profisso contbil tambm vem discutindo e destacando esses aspectos h
algum tempo. Sobre esse quadro, Passos (2011) menciona que:

Em 1990, a Accounting Education Change Commission (AECC), que ligada ao AAA,

publicou um documento com diretrizes para que os cursos de graduao em Cincias
Contbeis se adequassem s novas demandas do mercado. Este documento enfatizou a
utilizao de mtodos de instruo que ensinam os estudantes a aprenderem por eles mesmos
e definiu esta abordagem como Aprendendo a Aprender (Learning to Learn), a qual tambm
defende a necessidade do desenvolvimento de habilidades e atitudes que podem ser
consideradas de raciocnio crtico.

O referido documento ganhou destaque nas publicaes relacionadas educao contbil, no

s pelo seu assunto, mas tambm por ter sido fruto de um relatrio escrito, em 1989, por
executivos das oito maiores empresas de Contabilidade e auditoria do mundo (The Bedford
Report), cujo contedo demonstrou a preocupao daquelas empresas em relao
quantidade e qualidade dos profissionais recm-formados em Contabilidade (May, Windal &
Sylvestre, 1995). Estas preocupaes presentes no Reino Unido e nos Estados Unidos, nas
ltimas dcadas, apesar de seguirem diferentes caminhos, tiveram a mesma profundidade e o
anseio por mudanas. A educao superior, mas especificamente a educao contbil,
precisava de mudanas, as quais deveriam ser profundas, para que o estudante pudesse chegar
preparado ao mercado de trabalho, com conhecimentos slidos, tendo em vista as alteraes
do contedo transmitido e tambm da modificao na forma de ensinar e aprender.

Nos anos seguintes, diversos artigos foram publicados, como resultados de pesquisas, sobre a
necessidade de mudana no foco e no formato da educao contbil (Kimmel, 1995; May,
Windal & Sylvestre, 1995; Davis & Sherman, 1996; Leauby & Brazina, 1998). O que talvez
todos estes pesquisadores tenham percebido que alterar o ensino, e principalmente a forma
 7

como este conduzido, no uma tarefa trivial. O sistema metodolgico de transmisso do

conhecimento algo que h muitos sculos est enraizado nas instituies. Desta forma,
Alterar esse sistema um processo que requer muito esforo e cooperao por parte dos
diversos participantes do processo de ensino-aprendizagem.

Downes (1998) comenta que a educao, desde o jardim de infncia at o doutorado,

baseada no modelo de classes, onde a definio das turmas no feita por necessidades de
aprendizagem de cada estudante, mas sim fundamentada em um currculo padro, que
seguido por todos os estudantes, o qual ignora as necessidades, competncias, experincias e
os conhecimentos prvios de cada um. Nesse modelo, todos so tratados como idnticos, pois
iniciam o curso ao mesmo tempo, estudam os mesmos materiais, no mesmo ritmo, passam
pelas mesmas avaliaes e finalizam ao mesmo tempo. Tal modelo o mais adotado por ser
considerado, at ento, como o mais eficiente; porm, trata-se de um mtodo que altamente
dependente do professor. Levy (2007), doutor em Sociologia e Cincia da Informao e da
Comunicao, pela Universit de Paris-Sorbonne, levanta algumas preocupaes com relao
educao nos prximos anos, entre elas, a impossibilidade de se aumentar a quantidade de
professores proporcionalmente demanda prevista. Barr e Tagg (1995), ao discutirem a
mudana no paradigma educacional, afirmam que: any attempt to increase outputs without
increasing resources is a threat to quality (p. 12).

No Brasil tem-se atualmente 1299 instituies habilitadas a oferecerem o curso de

Bacharelado em Cincias Contbeis para um pblico de mais de 44 mil ingressantes, contra
um total de 910 cursos habilitados em 2006 (ENADE, 2006; Andere & Arajo, 2007). Este
rpido crescimento justifica a preocupao em relao quantidade de professores, o que traz
ainda um desdobramento em relao preocupao sobre a qualidade desses cursos, uma vez
que se tm salas muito mais densas e um ensino muito menos direcionado s necessidades
individuais de cada estudante. Os resultados do ano de 2012 mostram diversas universidades
pblicas operando com notas 1 e 2 no ENADE para os cursos de Cincias Contbeis, as quais
so consideradas insuficientes para manuteno desses cursos.

Analisando pela tica da instituio, atualmente 135 instituies contam com recursos
pblicos governamentais para manuteno de seus cursos, as demais delas tm como fonte
primria o valor que o estudante paga mensalmente para estudar. O ENADE (2009) aponta
que mais de 80% dos estudantes matriculados esto em instituies privadas de ensino.
 8

Devido quantidade de profissionais de ensino, alinhada quantidade de ingressantes nas

instituies, muito comum que se tenha salas de aula com 80 estudantes, ou mais, para
apenas um professor.

Nesse ambiente o professor tem seu poder de ao limitado, pois mesmo que dedique uma
grande parte de seu tempo preparando aulas ou atividades para a conduo da disciplina, basta
que cada um de seus estudantes intervenha com algum questionamento, durante a aula, para
que qualquer planejamento seja prejudicado pelo consumo de tempo. Em um ambiente onde
as aulas so conduzidas totalmente no formato presencial e a preparao dos materiais
responsabilidade exclusiva do professor, extremamente difcil que as aulas e os contedos
sejam preparados em acordo com as necessidades de cada estudante, bem como respeitando
os conhecimentos prvios e o ritimo de aprendizagem de cada um. Sendo assim, resta ao
professor proferir palestras para a conduo da aula, deixando toda uma possvel interao
com os estudantes para o ps-aula, que geralmente no acontece. O professor possui tempo
limitado para a conduo, extraclasse, das atividades relacionadas s aulas j que ele tambm
sofre por outras presses, interesses e obrigaes relacionadas a sua carreira, as quais
demandam grande parte do seu tempo fora da sala de aula. Miranda, Arajo, Casa Nova e
Cornacchione (2013) mencionam que um membro do corpo docente que publica muito
mais valioso(a) para a comunidade educativa do que quele que se dedica mais a docncia
(p. 76), considerando que seu reconhecimento pela academia, bem como prestigio e posio
dentro da universidade, at mesmo no que diz respeito ao seu salrio, deve-se pelo tempo que
empregou em publicaes cientficas e no pelo tempo que dedicou aos seus estudantes,
dentro ou fora da sala de aula (Gibbs, 2004). O estudante embarca nesse processo com a
perspectiva de adquirir um conhecimento que ser relevante para sua formao e carreira
profissional, porm desde o incio tem que realizar uma srie de escolhas entre tempo de
estudo, trabalho, famlia, lazer, entre outros, para estar dentro de uma sala de aula, onde ser
exposto a um contedo que no respeita suas origens, suas experincias anteriores e sua
capacidade e forma de aprendizado. Cabe ento, a ele formas alternativas de absorver o
contedo que realmente importa e se motivar de alguma outra maneira para jogar o jogo do
ensino versus aprendizado.

1.1 Problema de pesquisa:

 9

Parecem existir poucas alternativas capazes de equilibrar as necessidades do mercado de

trabalho, os interesses de estudantes e professores e as capacidades das instituies. Uma
possibilidade passa, certamente, pela insero e ampla utilizao de tecnologia no ambiente
de Ensino Superior, no apenas de forma pontual ou como apoio discreto ao processo, mas a
tecnologia com pilar de sustentao do processo educacional. Certamente, podemos
argumentar que a presena do professor, em um espao fsico estruturado como nas escolas
que se tem hoje, seja importante no processo de ensino-aprendizagem, principalmente por
questes sociais, comportamentais e de raciocnio crtico.

Da mesma forma, mudanas nem sempre so fceis de serem introduzidas em ambientes

escolares. Beetham and Bailey (2002) mencionam que it should not be any surprise that
academic staff have viewed the learning technology revolution with a degree of scepticism
(p. 164), relatando alguns problemas enfrentados devido s mudanas no ambiente de ensino
do Reino Unido. Entretanto devamos destacar os pontenciais benefcios que os recursos
computacionais, sobretudo aqueles vinculados internet, trazem em relao quebra de
barreiras geogrficas, culturais e idiomticas, possibilitando a aquisio de uma srie de
novos conhecimentos e habilidades. Um conjunto de vdeos, disponveis no Youtube, ensina
milhares de pessoas algumas lies sobre como tocar piano1, isto s possvel devido
evoluo dos sistemas computacionais, principalmente aqueles baseados em Inteligncia
Artificial, que podem distribuir uma grande quantidade de contedo e permitir a gerao de
conhecimento de forma ampla e individualizada para cada pessoa, ou ainda, identificarem
gostos, preferncias e necessidades distintas de forma a possibilitar a interao entre pessoas
distantes por milhares de quilmetros. Toda essa tecnologia no s pode como deve ser
utilizada para fomentar o ensino e a aquisio de conhecimento: desde os mais elementares,
passando pelo ensino formal, incluindo habilidades como tocar uma guitarra, falar mandarim
e, at mesmo, aprender Contabilidade bsica.

Diante do exposto, a questo de pesquisa que direciona o presente trabalho : em que medida
a tecnologia da educao, baseada em Inteligncia Artificial, pode auxiliar na aquisio
de habilidades tcnicas necessrias ao estudante de Cincias Contbeis?

1
Vdeo disponvel na internet, com 11.327.191 acessos desde 10/07/1008. Acessado em 29/07/2014, disponvel
em: https://www.youtube.com/watch?v=vphWgqbF-AM
 10

1.2 Justificativa:

Habilidades tcnicas so competncias funcionais que o estudante deve adquirir para

desempenhar corretamente uma atividade. No ensino de Contabilidade essas habilidades esto
relacionadas terminologia contbil e ao ciclo bsico de escriturao dos eventos
econmicos. A tcnica contbil, demoninada mtodo das partidas dobradas, representa a base
matemtica do sistema de contabilizao e est diretamente ligada s habilitades prticas e ao
conhecimento cognitivo, que so fundamentais para o entendimento e desenvolvimento das
competncias do estudante. Esta tcnica est estruturada e registrada desde, pelo menos, 1494
quando foi impresso e publicado, em Veneza, o primeiro exemplar da obra Summa de
Arithmetica, Geometria, Proportioni et Proportionalita, escrita por Luca de Pacioli, a qual
contm 27 pginas sobre a tcnica das partidas dobradas (Sangster, Stoner & McCarthy,
2008). Por ser um sistema estruturado e codificado h mais de 500 anos, o ensino do mtodo
das partidas dobradas, est fortemente solidificado, podendo ser transmitido de forma simples
e funcional aos estudantes, o que possibilita a difuso por diferentes meios, tais como:
apostilas, vdeos tutoriais ou por meio de sistemas inteligentes. Manter o ensino dessa tcnica
pelos mtodos tradicionais, com um professor em uma sala aula de forma presencial,
ineficiente do ponto de vista do alcance e dos custos envolvidos.

O uso de sistemas inteligentes (baseados em Inteligncia Artificial) no apoio ao ensino algo

presente h algum tempo na literatura acadmica. Em 1976, Miranda Robertson publicou, na
revista Nature, um artigo apresentando e discutindo o projeto LOGO, criado e liderado por
Seymour Papert e Marvin Minsky, no laboratrio do MIT. A ideia bsica era a de que os
estudantes utilizassem o sistema computacional, baseado em Inteligncia Artificial, para
programar uma tartaruga virtual, permitindo que a mesma fizesse desenhos na tela do
computador (Robertson, 1976). Ao final do curso, todos os estudantes teriam aprendido a
habilidade tcnica da chamada lgica de programao, como objetivo principal, e era
esperada, ainda, a obsoro de algum conhecimento sobre geometria espacial, um efeito
indireto da insero dessa tecnologia no processo de ensino.

O uso de Inteligncia Artificial no ensino de habilidades tcnicas, tal como o clico bsico de
Contabilidade, pode trazer vantagens aos professores, instituio e, principalmente, aos
estudantes. Os professores passaro a contar com materiais interativos e personalizados, os
quais sero utilizados por um nmero maior de estudantes e com a economia de tempo de
 11

preparo, monitoria e correo de atividades, fornecendo informaes sobre a situao e as

necessidades especficas dos alunos, possibilitando aes de ajustes e correes no decorrer
do curso. As instituies podero atender mais estudantes, sem a necessidade de aumento no
nmero de professores, mantendo a qualidade do ensino, possibilitando otimizar os recursos
de tempo e espao. Os estudantes, por sua vez, tero acesso a um sistema individualizado,
respeitando a capacidade e as necessidades de cada um, aderente aos mais variados estilos de
aprendizagem, com retorno imediato sobre o desempenho pessoal e acessvel de qualquer
hora e lugar.

No ensino de Contabilidade, podemos citar diversas iniciativas de utilizao de softwares no

apoio e fomento ao ensino e aprendizado, entre elas, a utilizao do software Byzantium, um
sistema tutor que auxila em tpicos de Contabilidade financeira e gerencial (Nicholson, 1999)
e o software BITE, um sistema focado no ensino Contabilidade bsica (Williams, 1992),
frutos do Teaching & Learning Technology Programme (TLTP) do Reino Unido, e ainda, The
transaction analysis tutor, um sistema tutor inteligente que apoia o ensino de transaes
contbies (Johnson, Phillips & Chase, 2009). Para o presente trabalho destacamos o sistema
ALEKS (Assessment and LEarning in Knowledge Spaces), baseado em Inteligncia Artificial
desenvolvido como resultado das pesquisas dos professores Jean-Paul Doigon e Jean-Claude
Falmagne sobre a Knowledge Space Theory (KST), propiciando um ambiente online que se
prope ao apoio do ensino de Contabilidade bsica de forma individualizada, respeitando os
conhecimentos prvios e fornecendo um retorno contnuo sobre as habilidades de cada um dos
estudantes.

1.3 Objetivos do estudo:

Nesse contexto, em que o ensino do ciclo introdutrio de Contabilidade se prope a transmitir

ao estudante uma srie de habilidades tcnicas, onde a tecnologia baseada em Inteligncia
Artificial representa uma importante ferramenta de auxilio no processo de ensino-
aprendizagem e com foco no sistema ALEKS, apresentado acima, o presente trabalho tem
como objetivo principal avaliar experimentalmente em que extenso o sistema ALEKS
pode contribuir para a aquisio das habildades tcnicas bsicas, necessrias na
formao do aluno, no curso de Contabilidade Introdutria do Bacharelado em Cincias
Contbeis da Universidade de So Paulo.
 12

O presente trabalho conta ainda com os seguintes objetivos especficos:

1) avaliar o interesse dos estudantes em utilizar um software de maneira

complementar a disciplina presencial na realizao dos seus estudos;

2) Analisar possveis diferenas no uso do sistema e, consequentemente, o

desempenho na disciplina em funo de acesso, aceitao e familiarizao com a
tecnologia utilizada;

3) Analisar possveis diferenas no uso do sistema e, consecutivamente, o

desempenho na disciplina em funo do perodo em que o aluno est matriculado;

4) Analisar possveis diferenas no uso do sistema e, conseguintemente, desempenho

na disciplina em funo da bonificao adicionada nota final, pelo uso do
sistema;

5) Comparar os resultados obtidos, na presente pesquisa, com os resultados

adquiridos por Baxter e Thibodeau (2011) em uma universidade dos Estados
Unidos.

1.4 Hipteses:

Com base nos objetivos acima descritos, e como tentativa de resposta s questes levantadas,
um quase-experimento foi realizado, utilizando o sistema ALEKS, com a finalidade de testar
as hipteses apresentadas abaixo. O sistema ALEKS foi desenvolvido como forma de auxiliar
ao estudante a entender em que estgio do conhecimento ele se encontra, o que ele j sabe se
precisa buscar algum reforo e o que ele est apto a aprender (Doignon & Falmagne, 1999),
por meio de testes e exerccios nos quais ter um retorno imediato sobre seus acertos e erros.
Mesmo que o sistema no faa parte da disciplina e que o estudante no seja obrigado a
utilizar o sistema durante o semestre, como pr-requisito, o uso do sistema ALEKS deve
representar um ganho para o estudante, em relao ao seu desempenho naquela disciplina.

O sistema dividido em exerccios, questes e testes onde o estudante ser exposto ao

contedo de diversas formas, com o intuito de absorver e fixar o conhecimento. Esperamos
 13

que haja uma associao positiva entre o tempo que o estudante despende realizando as
atividades no sistema e o seu desempenho no curso presencial. As hipteses, abaixo
apresentadas, esto na forma de hipteses nulas, as quais buscaro rejeitar ou falsear a partir
dos resultados obtidos pelos testes estatsticos. As hipteses para o presente trabalho so:

H1: O uso do sistema de apoio ao aprendizado ALEKS durante o semestre

impactar favoravelmente no desempenho dos estudantes na disciplina
presencial da Turma 01 do perodo diurno.

H2: O uso do sistema de apoio ao aprendizado ALEKS durante o semestre

impactar favoravelmente no desempenho dos estudantes na disciplina
presencial da Turma 21 do perodo noturno.

H3: O uso do sistema de apoio ao aprendizado ALEKS durante o semestre

impactar favoravelmente no desempenho dos estudantes na disciplina
presencial da Turma 22 do perodo noturno.

H4: Estudantes que completarem mais atividades dentro do sistema ALEKS tero
melhor desempenho na disciplina presencial, em relao aos estudantes que
realizarem menor nmero de atividades no sistema.
 14

2 REVISO DA LITERATURA

2.1 Avaliao, Assessment e Evaluation

Avaliao um item que ocupa posio de destaque no cotidiano de educadores, estudantes e

instituies (Astin, 2012; Jones, 1996; Wiliam, 2011). Avaliar e ser avaliado so aes que
esto presentes no dia-a-dia e acontecem praticamente a todo instante. A lngua inglesa
apresenta duas palavras que, traduzidas para lngua portuguesa, podem remeter a um nico
entendimento. Assessment e evaluation geralmente so traduzidos como sinminos de
avaliao. Apesar de possuirem a mesma origem, na lngua francesa o significado, na
concepo atual de educao, apresenta diferenas em relao aos objetivos de cada um dos
termos. Para Astin (2012) evaluation, of course, has to do with motivation and the rendering
of value judgments (p. 3), dando um significado que nos remete ao julgamento e juzo de
valor, sobre algum dado ou observao, possuindo o mesmo significado do termo avaliao.
Porm esse sentido no pode ser confiavelmente extendido ao termo assessment.

No contexto educacional, a palavra assessment no possui uma traduo, para a lngua

portuguesa, que remeta ao significado correto do termo e, no presente trabalho, ser utilizado
sempre no idioma original. Mesmo na lngua inglesa existe uma preocupao em definir qual
sentido da palavra ser utilizado, pois o seu significado pode mudar, dependendo do contexto.
Com essa preocupao, Astin (2012), no incio do primeiro captulo de seu livro, destaca: in
this book we view assessment as the gathering of information concerning the functioning of
students, staff and institutions of higher education (p. 3). Com esta afirmao o autor deixa
clara a definio que pretende utilizar no referido termo: coletar dados, medir, mensurar.
Aps declarar o significado que utilizar, Astin (2012) chama a ateno para uma definio
mais ampla, ao afirmar que the term assessment can refer to two different activities: (a) the
mere gathering of information (measurement) and (b) the use of that information for
institutional and individual improvement (evaluation) (p. 3), onde mostra que assessment
possui uma definio mais abrangente. William (2011) traz uma viso histrica uma vez que
menciona: for many years, the word assessment was used primarily to describe processes
of evaluating the effectiveness of sequences of instructional activities when the sequence was
completed (p. 3). Essa definio carrega aspectos funcionais e temporais, alm de evidenciar
o motivo pelo qual realizar o assessment.
 15

Pesquisas demonstram que o assessment gera valor para o processo de ensino e

aprendizagem, quando seguido por um propsito avaliativo, relacionado misso
institucional e melhoria das condies do processo educacional (Astin, 2012; Jones, 1996;
Wiliam, 2011; Postareff, Katajavuori & Lindblom-Ylnne, 2012). Postareff et al. (2012)
afirmam que researchers have been especially interested in how assessment influences
students study strategies and learning processes (p. 84). Nicol, & MacfarlaneDick (2006)
asseguram que there is considerable research evidence to show that effective feedback leads
to learning gains (p. 204). Para Astin (2012) assessment and evaluation are inextricably
linked (p. 3), e ainda, segundo o mesmo autor:

Many hundreds of studies of human learning have shown that the learning process can be
substantially enhanced if the learners have appropriate knowledge of results showing how
much progress they have made and pointing out specific areas in which additional work is
needed. Without such feedback, learning can be slow and difficult, or under some conditions,
virtually impossible (p. 197).

A melhoria, que ocorre quando o assessment est correlacionado a um processo avaliativo,

no algo direto, pois depende dos objetivos e dos sujeitos que conduzem a avaliao.
Quando o processo totalmente orientado pelos professores, o retorno aos estudantes d-se
apenas no formato de notas ou ranqueamento, onde alguns aspectos, nem sempre desejados,
comeam a aparecer. Um primeiro aspecto a postura do estudante frente ao processo
avaliativo. Jones (1996) sustenta que it is often, perhaps generally, the case that the
assessment regime perceived by students will drive both what and how they learn (p. 99),
mostrando que os estudantes tendem a agir direcionados pelo objetivo pelo qual so
avaliados. Outro aspecto a ser considerado a attitude dos estudantes frente s nota ou
ranqueamento. Astin (2012) alerta que grades can operate as both a carrot and a stick,
depending on whether the student is oriented toward attaining success or avoiding failure (p.
196), destacando o aspecto de premiao e punio que as notas podem representar para os
estudantes.
Com destaque para esses aspectos, Jones (1996) afirma que a well-intentioned and well-
structured curriculum will have little chance of success if it is accompanied by an
inappropriate assessment strategy (p. 99). Astin (2012) mostra que a major reason for
assessing class projects and for giving classroom exams is to grade students. Thus, all forms
of classroom assessment can be and often are used to generate course grades (p. 12).
 16

Quando o processo avaliativo tem por objetivo captar o conhecimento dos estudantes, com
maior foco na absoro dos contedos, os estudantes comeam a colher melhores frutos desse
processo. Kahl (2005) salienta que a formative assessment is a tool that teachers use to
measure student grasp of the specific topics and skills they are currently teaching (p. 11).
Nicol & MacfarlaneDick (2006) chamam ateno para o fato de que in higher education,
formative assessment and feedback are still largely controlled by and seen as the
responsibility of teachers (p. 200). Os autores observam alguns problemas na forma como
esse processo conduzido, principalemtne no que tange a centralizao do processo pelos
professores, mencionando que:

There are a number of problems with this transmission view when applied to formative
assessment and feedback. Firstly, if formative assessment is exclusively in the hands of
teachers, then it is difficult to see how students can become empowered and develop the self-
regulation skills needed to prepare them for learning outside university and throughout life
(Boud, 2000). Secondly, there is an assumption that when teachers transmit feedback
information to students these messages are easily decoded and translated into action [...]
Thirdly, viewing feedback as a cognitive process involving only transfer of information
ignores the way feedback interacts with motivation and beliefs [...] Fourthly, as a result of
this transmission view of feedback, the workload of teachers in higher education increases
year by year as student numbers and class sizes become larger (Nicol & MacfarlaneDick,
2006, p. 201)

Os problemas levantados pelos autores indicam a necessidade de mudana do foco e sujeito

no processo avaliativo. O estudante deve ser protagonista na aquisio de conhecimento e
responsvel pelo processo avaliativo desta aquisio. Postareff, Katajavuori & Lindblom-
Ylnne (2012) asseguram que recent research emphasises the use of assessment to serve
lifelong development purposes (p. 84), indicando que essa mudana trar benefcios para
alm dos bancos escolares. Entretanto, Nicol & MacfarlaneDick (2006) afirmam que while
students have been given more responsibility for learning in recent years, there has been far
greater reluctance to give them increased responsibility for assessment processes (even low-
stakes formative processes) (p. 215), o que indica que os educadores ainda entendem a
assessment e avaliao como um mecanismo de poder.
 17

Contudo, quando assessment aplicado de forma a identificar e agir sobre as necessidades

dos estudantes, torna-se uma importante ferramenta. Sobre esta questo, The Assessment
Reform Group destaca assessment for learning is one of the most powerful ways of
improving learning and raising standards (Broadfoot et al., 2002). Klenowski (2009)
corrobora essa afirmao quando diz que assessment for Learning is part of everyday
practice by students, teachers and peers that seeks, reflects upon and responds to information
from dialogue, demonstration and observation in ways that enhance ongoing learning (p.
264). Neste trabalho, definimos assessment como captao de dados e mensurao do estado
atual de conhecimento de um estudante, com o propsito de posicionamento ou
ranqueamento, realizado por um sistema computadorizado, o qual baseado em Inteligncia
Artificial, em qualquer momento. A premisssa adotada a de que este assessment a base
para que se possa realizar uma avaliao, seja ela durante, seja ela ao final do curso, com
propsito de entender o atual estado de conhecimento de um estudante, de forma que se
tenham condies de traar o melhor caminho e a melhor estratgia para o aprendizado.

2.2 The Knowledge Spaces Theory

Conforme discutido anteriormente, assessment um item crtico no processo de ensino e

aprendizagem. Assessment geralmente feito no formato de uma srie de questes sobre um
determinado conjunto de conhecimentos. O encadeamento das questes possibilita inferir
sobre a proficincia ou no dos estudantes em um determinado assunto. Educadores tendem a
despender inmeras horas com a sua elaborao, realizao e correo desta tarefa. Uma
forma de aprimorar o tempo despendido perguntar a menor quantidade de questes
necessrias para que se consiga um panorama preciso e completo sobre as capacidades do
estudante. Falmagne, Cosyn, Doignon & Thiry (2006) afirmam que the assessment of
human competence, as it is still performed today by many specialists in the schools and in the
workplace, is almost systematically based on the numerical evaluation of some aptitude (p.
61), demonstrando que o resultado geralmente informado no formato de uma nica varivel
numrica. Essa representao nmerica, herdada da fsica do sculo XIX, onde tudo era
medido e informado no formato de um nmero em uma escala: temperatura, inteligncia,
conhecimento, desempenho de atletas entre outros (Falmagne et al, 2006). Trata-se de um
mecanismo de informao pobre sobre a qualidade do que se pretende conhecer. Neste
sentido, Assessment um processo determinstico, entretanto no se deve preocupar com as
 18

interferncias prprias do comportamento dos seres humanos, tais como sorte, erro acidental,
entre outros.

Com esse panorama em mente, nas dcadas de 1980 e 1990, os pesquisadores Jean-Paul
Doignon e Jean-Claude Falmagne desenvolveram a Knowledge Space Theory (KST), tem
como objetivo constructing a system which is realistic enough to capture the complexity of
empirical situations, and simple enough to be capable of practical applications (Doignon &
Falmagne, 1985, p. 188). Albert e Stefanutti (2003) afirmam que KST is a psychometric
theory for the assessment and acquisition of knowledge (p. 2). O Knowledge Space o
conjunto de todos os itens que compem os conhecimentos ou habilidades necessrias para
proficincia em uma determinada rea (e.g., biologia, qumica fsica), ou ainda as partes que
compem uma rea (e.g., aritimtica, geometria, algebra) (Albert e Stefanutti, 2003). Dowling
e Hockemeyer (1998) formalizaram Knowledge Space como a structure for representing
prerequisite relationships between items form a specified branch of knowledge (p. 133).

A proposta da KST fomentar o assessement, em um determinado campo de estudo, por meio

de um conjunto mnimo de questes que traga, em suas respostas, a representao do exato
estado de conhecimento de um indivduo (knowledge state) em relao ao conhecimento total
naquele campo (knowledge space), obedecendo hierarquia entre os contedos (precedence
relation), que permitem indicar o caminho que o indivduo percorreu (learning paths) para
antingir aquele estado, de forma que se possam inferir quais itens o indivduo possui de
proficincia (inner fringe) e quais os itens ele est preparado a aprender (outer fringe) na
sequncia (Doignon & Falmagne, 1985; Falmagne, Koppen, Villano, Doignon & Johannesen,
1990; Falmagne, Villano, Doignon, e Johannesen, 1997; Doignon & Falmagne, 1999). Nos
prximos itens os conceitos, acima apresentados, sero discutidos com maior profundidade
para indicar como se relacionam e qual a importncia nessa teoria.

No livro e nos diversos artigos publicados sobre a KST, os autores Doignon e Falmagne
ilustram essa teoria com um exemplo genrico acerca de alguns itens que compem o
conjunto de conhecimentos em uma determinada rea do saber. Conjunto este que
representado da seguinte forma: Q = {a,b,c,d,e,f}. Neste exemplo, Q representa o knowledge
space (espao do conhecimento), ou seja, o conjunto de todas as habilidades que o estudante
deve ser proficiente para que possa dominar aquele conhecimento (Doignon & Falmagne,
 19

1999; Falmagne et al, 2006). A Tabela 1 apresenta um exemplo do conjunto possvel de

habilidades em aritimtica e algebra.

Tabela 1- Tipos de habilidades

Letra Tipo de habilidade Exemplo de Questes

A Multiplicao com nmeros inteiros 376 x 125 = ?
B Multiplicao com nmeros decimais 12,89 x 0,94 = ?
C Multiplicao de fraes 1/3 x 2/9 = ?
D Percentual Quanto 32% de 1.500,00?
E Equaes do primeiro grau Se: x + 15 = 20, qual o valor de x?
x - 13 = 20
F Sistema de equaes do primeiro grau y + 1 = 23
x+Y=?
Fonte: Adaptado de Falmagne et al. (2006, p. 65)

2.2.1 Precedence Relation

Falmagne et al (2006) observam que some pieces of knowledge normally precede, in time,
other pieces of knowledge (p. 64), como sendo algo que pode ser inferido, conforme
observado na Tabela 1. Nesse exemplo, podemos afirmar que se o estudante proficiente no
item (f), provvel que ele seja proficiente tambm no item (e); e, se o estudante proficiente
no item (b), provvel que ele seja proficiente tambm no item (a). Esta relao de
probabilidade se deve ao fato de que alguns itens so pr-requesitos para outros, ou seja,
existe uma relao de precedncia (Precedence Relation) entre eles. Esta probabilidade til
para o assessemt, uma vez que, se o professor deseja possuir o melhor quadro das
competncias do estudante, realizando o menor nmero possvel de questes, ele no dever
abordar todos os itens, uma vez que alguns contedos so pr-requisitos para outros
(Falmagne et al., 2006).

2.2.2 Knowledge state

O Knowledge state representa o conjunto de todos os possveis estados que podem estar
contidos em um knowledge space (Doignon & Falmagne, 1999). No exemplo a seguir, o
knowledge space Q = {a,b,c,d,e,f}, um possvel conjunto dos knowledge states pode ser
representado por: Q={,a,ab,ac,ad,abc,abd,abcd,ae,aef,abe,ace,abdef,e}, onde representa o
 20

estado vazio, ou seja, o respondente no possui proficincia em nenhuma das habilidades

testadas. Neste exemplo, o conjunto Q ir desempenhar o knowledge state do estudante, o
que representar a soma de todas as habilidades que ele possui, isto , a soma de todos os
problemas que o ele capaz de solucionar em sua avaliao (Doignon, & Falmagne, 1985;
Falmagne et al., 2006). Pela existncia de algumas propriedades matemticas, prprias dos
conjuntos, tais como: unio, interseco, relao de quase-ordem (Doignon & Falmagne,
1985), algumas importantes inferncias so possveis quando se busca encontrar o knowledge
state de um determinado estudante. Suponha que o estudante tenha respondido e acertado
apenas as questes (b) sobre multiplicaes com nmeros decimais e (e) sobre equaes do
primeiro grau. Considerando as precedence relation e as propriedades matemticas dos
conjuntos, podemos afirmar que o knowledge state deste estudante representado pelo
conjunto Q = {b,e,ab,abe}.

Dois aspectos devem ser considerados ao se analisar o knowledge state Q. O primeiro se

refere presena de itens no perguntados no conjunto Q. Mesmo que o estudante no tenha
respondido a questo (a), os estados {ab}, {abe} fazem parte do conjunto, porm os {a} e
{ae} no esto contidos no referido conjunto. Isso se deve precedence relation a qual
permite afirmar que caso o estudante tivesse acertado a questo (b) provvel que ele
acertasse a questo (a), permitindo inferir que os estados {ab} e {abe} fizessem parte do
conjunto. Entretanto, devido as mesmas premissas, no se pode dizer que {a} faz parte do
conjunto, pois a referida questo no foi perguntada, o que tambm exclui o estado {ae}
(Falmagne et al., 2006). Parte do trabalho de Doignon e Falmagne, na formalizao da KST,
est diretamente relacionada preocupao em provar, matemticamente, essa relao. No
texto seminal sobre a KST, em 1985, os autores afirmam:

[] the major difficulty lies in the result that, in a quasi ordinal space, to any question
corresponds a unique set of "antecedent" questions: if a correct response to some question x
is observed, it can be surmised that all the questions in a specified set Sx can also be
answered correctly. It seems more reasonable to suppose that a correct response to x is
consistent with several sets of antecedent questions (Doignon & Falmagne, 1985, p. 183).

O segundo aspecto, a ser considerado para o exemplo citado, refere-se quantidade de

possveis knowledge states e de questes respondidas. Assumindo que a cada questo s pode
ser respondida de forma correta ou errada, tm-se 2 possiveis knowledge states, onde n
 21

representa o nmero de questes respondidas (Falmagne, Villano, Doignon, e Johannesen,

1997). No exemplo em tela, para um knowledge space de 5 habilidades tm-se 14 knowledge
states possveis e, como se deseja otimizar o assessment, com apenas duas questes possvel
mapear o knowledge state com 4 itens no conjunto.

2.2.3 Knowledge Structures

O conjuntos de todos os possveis knownledge states formam a knowledge structure (Koppen

& Doignon, 1990, p. 312), que conceitualmente pode ser entendida como sinnimo de
knowledge space. Entretanto, formalmente existem dois atributos matemticos que
diferenciam as duas estruturas, Doignon e Falmagne (1985) mencionam que knowledge
structure (X, K) is called a (knowledge) space if the following two conditions are satisfied:
[K1] The set X and the empty set are states; [K2] Every union of states is a state (p. 180).

2.2.4 Learning Paths

A possibilidade de reduzir o nmero de knowledge states, alm de relacionada aos pr-

requesitos existentes, tambm tem estreita relao ao caminho seguido pelo estudante na
proficincia dos itens abordados. Os learning paths (caminhos do aprendizado) representam
os possveis caminhos a serem percorrido desde o estado inicial (vazio) at o estado final
completo (knowlede space) do conhecimento do estudante (Falmagne et al. (2006). A Figura 1
ilustra os possveis learning paths para o conjunto Q = {a,b,c,d,e,f}, anteriormente utilizado
como exemplo. Interessante notar que, se no houvessem relaes de dependncia, para um
conjunto de 6 elementos, teriamos 64 possveis caminhos. Entretanto, devido aos pr-
requesitos existentes entre os contedos, possvel reduzir essa quantidade para os 6
caminhos mostrados na Figura 1. Neste, verificamos que o estudante deva iniciar o seu trajeto
pelos itens (a) ou (b), no sendo possvel iniciar por qualquer outro item. Sobre essa situao,
Falmagne et al (2006) afirmam in a given environment, some concepts are always taught in a
particular order, even though there may be no logical or pedagogical reason to do so (p. 64).
A preocupao sobre como estabelecer a ordem hierrquica, entre as sequncias de contedos,
aparece em diversos trabalhos, todos eles abrangendo de forma direta ou indiretamente a
necesidade de um especialista na definio do fluxo de contedo. Albert, Schrepp and Held
 22

(1994) realizaram uma extenso do trabalho de Doignon e Falmagne para construir um

knowledge space aplicado na resoluo do jogo de xadrez.

Figura 1 - Learning paths

Fonte: Falmagne et al. (2006, p. 68)

Os autores, nas discusses gerais, ressaltam a que with more complex problems, the set of
relevant problem components will still contain motives, but other factors which are
indispensable in the knowledge of a good chess player may become relatively more
important (p. 134). Falmagne et al (1990) mostram a preocupao em como construir e
testar um knowledge space. Apesar de no abordarem diretamente a figura de um especialista
na construo, os autores utilizam a base didtica, estabelecida anteriormente por especialista,
para o ensino da aritimtica. Koppen e Doignon (1990) realizaram um trabalho intitulado
How to Build a Knowledge Space by Querying an Expert, com a seguinte preocupao:
for this, we would not want to rely on our own, restricted knowledge, but we would rather
consult an expert in the field (p. 312).

2.2.5 Inner Finge e Outer Fringe

Fringe, ou fronteira, uma relao entre o knowledge state e os itens que o compe. Falmagne
et al. (2006) afirmam que each knowledge state (except the top one) has at least one
immediate successor state, that is, a state containing all the same problems, plus exactly one
[and] each knowledge state (except the empty state) has at least one predecessor state, that is a
state containing exactly the same problems, except one (p. 69). Fringes esto relacionadas
aos caminhos (learning paths), conforme discutido anteriormente, que podem ser percorridos
para o domnio total do conhecimento. Como um estudante pode perfazer diversos caminhos
 23

para absorver o conhecimento, um item interessante a possibilidade de mapeamento ou

localizao do estudante enquanto o estudo est em curso.

A Figura 2 mostra um knowledge space contendo diversos tipos de problemas, onde indica a
existncia de dois knowledge states (K e K) e, ainda, mostra a existncia do inner fringe, para
o estado K e do outer fringe para o estado K. O inner fringe representa os learning paths
percorrido pelo estudante at este ponto e o outer fringe representa o restante deste caminho,
em cada um dos contedos que o estudante dever percorrer. Falmagne et al (2006) chama
ateno para a importncia do conceito de outer fringe, afirmando que is critical because this
is where progress is taking place: learning proceeds by mastering a new problem in the outer
fringe, creating a new state, with its own outer fringe (p. 69). Em relao ao inner fringe, os
autores apontam a importncia deste mapeamento nas questes relacionadas reviso ou
reforo de contedos, ressaltando que if for some reason a student experiences difficulties in
mastering the problems in the outer fringe, reviewing previous material should normally take
place in the inner fringe of a students state (Falmagne et al , 2006, p. 69)

Figura 2 - Outer and Inner fringes

Fonte: Falmagne et al. (2006 p. 69)

 24

Quando se utiliza a KST, como ferramenta para assessment, fringes desempenham um papel
importante na sumarizao dos resultados, mostrando as habilidades j adiquiridas e as que
devem ser aprendidas na sequncia. Falmagne et al (2006) chamam a ateno para esse item
no to obvio, porm importante ao mencionarem que:

Interestingly, the fringes also play a less obvious, but equally important role in summarizing
the results of an assessment. A knowledge state is essentially a list of all the problems
mastered by a student at the time of an assessment. Such a list will often be unwieldy and
contain several dozen problem names, not a very convenient description. It can be shown
mathematically, however, that for the most useful kinds of knowledge structures, the two
fringes suffice to specify the knowledge state completely. In other words, the result of an
assessment can be given in the form of two short lists, one for the inner fringe (WHAT THE
STUDENT CAN DO, which is understood here as the most sophisticated problems in
thestudents state), and one for the outer fringe (WHAT THE STUDENT IS READY TO
LEARN) (Falmagne et alt, 2006, p. 69-70)

2.3 Tecnologia aplicada Educao

A tecnologia transforma as organizaes e suas estruturas, algumas de forma mais ampla, tal
como o telefone, que permitiu a comunicao em larga escala e o trabalho a distncia; outras,
de maneira mais localizada, como a inveno de Chester Carlson, que permitiu a cpia e
disseminao de diversos documentos (Kerr, 2004). A escola, enquanto organizao, tambm
est sujeita a essas transformaes. Sangster e Lymer (1998) afirmam que change is
occurring and likely to continue. Faculty and institutions need consider how they should
respond (p. 1105). Os autores destacam ainda as amplas possibilidades de uso do word wide
web como facilitador em cursos de Contabilidade de finanas.

Tecnologia da educao um campo de estudo, assim como outros dentro das Cincias
Sociais aplicadas, que no conta com uma clara definio sobre si mesma (Kerr, 2004;
Luppicini, 2005). Entretanto, tangncia inmeras transformaes que ocorrem, ou deixam de
ocorrer, no ambiente escolar. Podemos distinguir o termo tecnologia da educao em duas
concepes distintas, porm interligadas: primeiro, por intermdio de uma concepo social,
voltada aos contextos sociais, aos valores e ao intelecto humano; segundo, por meio de
compreenso pautada na rea de engenharia, muito prxima do desenvolvimento de mquinas
e sistemas computadorizados (Luppicini, 2005).
 25

Luppicini (2005) destaca dois propsitos em sua definio sistmica para tecnologia da
educao na sociedade: em primeiro lugar, por facilitar e influenciar todos os aspectos da
aprendizagem; e, em segundo, por contribuir para uma mudana dentro da sociedade. No se
pode afirmar em que extenso essas duas definies so indissociveis ou mesmo se existe
alguma ordem de prioridade entre elas. No obstante, avalimos esses propsitos sempre em
razo de alguma mudana, intencional ou no, de atitude, comportamento ou conhecimento
(Seels, Fullerton, Berry, e Horn, 2004).

Seels et al. (2004) afirmam que the State University of Iowa began the first educational
television broadcasts in 1933. Neste mesmo trabalho, os autores identificaram mais de
20.000 citaes do termo televiso na literatura sobre educao em um importante banco de
dados da rea (ERIC), dando a dimenso do profundo impacto que esta tecnologia teve sobre
a mesma. O uso desta tecnologia na educao cresceu rapidamente nos anos seguintes, tendo
sido utilizada por inmeras instituies educacionais. Nas dcadas de 1950 e 1960, a inveno
da fita magntica, permitiu a gravao dos contedos e o advento da comunicao via satlite,
o que contribuiu significativamente para que a instruo via televiso ganhasse dimenses
globais (Seels et al., 2004). Nas dcadas seguintes, a disseminao dos programas de
televises, via cabo, e mais recentemente a utilizao da televiso baseada em protocolo de
internet (ipTv), possibilitou com que esse recurso continuasse a ser utilizado at os dias
atuais. A educao por televiso um caminho de mo nica, no permite a interao entre os
participantes e foi desenvolvida para atingir grandes audincias. Seels et al. (2004) comentam
que from an instructional point of view, the most important factor in the development of any
of these technologies is not the technical aspect of their development but rather the impact of
the medium on the audience.

De todos os campos de educao suportados por tecnologias, a educao a distncia

certamente um dos que mais vem sendo afetada e alterada nos ltimos tempos (McIsaac &
Gunawardena, 2004). Desde suas origens, em 1800, at meados da dcada de 1990, a
educao a distncia experimentou e foi suportada por inmeras tecnologias presentes na
sociedade (cartas, rdio, televiso, fita cassete, entre outras); porm, s foi com o advento da
internet e com os avanos dos computadores pessoais que essa modalidade ganhou papel de
destaque no cenrio educacional. McIsaac e Gunawardena (2004, p. 357) apontam que nos
Estados Unidos more than 40 billion dollars a year are spent by IBM, Kodak, and the
Fortune 500 companies on distance education programs. Inmeros recursos online, tais como
 26

chats, fruns, programas de comunicao instantnea (ICQ, MSN, SKYPE) e plataformas de

ensino (Blackboard, Moodle, WebCT, MOOCs), esto disponveis para o uso no ensino a
distncia. No entanto, pesquisas so necessrias para entender a extenso que esses recursos
tm sobre a qualidade de ensino, tanto para a instituio quanto para o estudante
(Romiszowski & Mason, 2004; Hill, Wiley, Nelson, & Han, 2004).

Atualmente a tecnologia da educao se encontra em um estgio onde o prprio conceito de

distncia precisa ser revisto. A distncia fsica no tem mais sentido quando os estudantes
so transportados para outro mundo, em outra dimenso (McLellan, 2004; Gredler, 2004).
Warburton (2009) explora as oportunidades e barreiras do uso do Second-life, um sistema em
3D que permite ao usurio embarcar em um mundo virtual, no processo de ensino e
aprendizado. O autor conclui que as realidades virtuais so atrativas para a educao, mas que
tambm representam um grande desafio para os educadores (Warburton, 2009). Neste sentido,
cabe abrir parntesis para dizer que os jogos e as simulaes tambm possam auxiliar no
processo educacional. Sobre tal questo, Gredler (2004, p. 573) diz ser uma vantage o uso de
simulaes, uma vez que se tem a possibilidade de they bridge the gap between the
classroom and the real world by providing experience with complex, evolving problems. J
Johnson, Vilhjlmsson e Marsella (2005) concluem que: serious games can support learning
in a wide range of learners, including those who have little initial motivation to study the
subject matter.

2.4 Inteligncia Artificial impulsionando a Educao

John McCarthy, cientista da computao da Stanford University, cunhou o termo Inteligncia

Artificial (IA) com significado de the science and engineering of making intelligent
machines, especially intelligent computer programs. It is related to the similar task of using
computers to understand human intelligence, but AI does not have to confine itself to methods
that are biologically observable (McCarthy, s.d.).

Russell e Norvig (1995), ao descreverem as disciplinas que de alguma forma contriburam

para o aparecimento e desenvolvimento da Inteligncia Artificial, listam oito reas do
conhecimento: Filosofia, Matemtica, Economia, Neurocincia, Psicologia, Engenharia da
Computao, Ciberntica e Lingustica. Cada uma dessas reas traz um conjunto de ideias,
 27

pontos de vista ou tcnicas que se entrelaam na formao de uma mais ampla e complexa, a
Inteligncia Artificial (Russell & Norvig, 1995).

Hoje a Inteligncia Artificial faz parte do cotidiano dos seres humanos e, ainda que no a
notemos, est presente em uma diversidade de mquinas e sistemas computacionais, nos quais
as pessoas interagem no seu dia-a-dia, tais como: caixas eletrnicos, guichs de check-in em
companhias areas, sites de internet, entre outros. A Inteligncia Artificial tambm se faz
presente quando o assunto Educao. Um timo exemplo uma simples busca por um livro,
que antes era realizada de forma esttica em catlogos, hoje feita em sites que possuem
muito desta tecnologia embarcada.

Existem inmeras abordagens envolvendo o uso de Inteligncia Artificial na Educao. A

mais tradicional a abordagem dos Intelligent Tutoring Systems (ITS), que so sistemas
interdisciplinares que tangenciam Psicologia, Cincia Cognitiva, Inteligncia Artificial,
Lingustica e Antropologia (Holt & Wood, 1990). No campo de estudo da Inteligncia
Artificial, aplicada aos ITS, encontramos tcnicas para tornar tutores inteligentes mais
acessveis aos seres humanos, como por exemplo, auxiliando no processo de gerao de dicas
automatizadas, o que diminui a quantidade de dados coletados sobre dvidas de estudantes
anteriores necessrias para eficientemente gerar as dicas (Stamper, Barnes & Croy, 2011).

Algumas pesquisas avanam no processo de interao homem-mquina, tal como no dilogo,

conversao, reconhecimento e sintetizao de voz e comunicao verbal. Graesser,
VanLehn, Ros, Jordan, e Harter (2001) acreditavam que a prxima gerao de tutores ir
conversar com os estudantes em lnguagem natural e, em seu trabalho, discutem trs projetos
(AutoTutor, ATLAS e WHY2) voltados ao dilogo e conversao escrita. Litman e Silliman
(2004) demonstram o ITSPOKE, um sistema tutor de fsica onde o estudante digita uma
pergunta sobre algum tema e o sistema o conduz a um dilogo falado sobre o tema. Chen,
Mostow & Aist (2011) utilizaram um framework para aprimorar o reconhecimento automtico
da fala de estudantes, que esto iniciando o processo de aprendizado de leitura de textos. A
motivao dos autores reside no argumento de que a fala a forma natural de comunicao
entre os seres humanos e os tutores inteligentes devem aprimorar essa qualidade, para que
tenham um ganho significativo.
 28

Ainda no campo dos ITS, encontramos uma segunda vertente que a aplicao desses
sistemas dentro da sala de aula, no apoio ao processo de ensino e aprendizagem. Koedinger,
Anderson, Hadley, e Mark (1997) mostram o uso em trs escolas pblicas de Pittsburgh, nos
Estados Unidos, de um sistema tutor inteligente de lgebra (PAT). Os autores descrevem que
o sistema foi recebido com entusiasmo por estudantes e professores. Como resultado, de um
lado, temos um maior engajamento dos estudantes, que passaram a aprender em um
laboratrio computadorizado, com situaes do dia-a-dia. De outro, percebemos um maior
tempo livre dos professores para ateno individual s necessidades particulares dos
estudantes, uma vez que o sistema responde a grande quantidade de dvidas genricas dos
usurios.

Arroyo, Royer e Woolf (2011) mostram o uso combinado de um sistema tutor inteligente e
treinamento de fluncia em Matemtica para ganho de performance nesta disciplina. Os
autores realizaram um experimento onde avaliaram o uso de dois sistemas distintos, um tutor
inteligente para Matemtica (Wayang), utilizado por todos os estudantes, e um para a fluncia
na referida disciplina, utilizado apenas por um grupo de tratamento. Os resultados sugerem
que houve um aumento na performance dos estudantes do grupo de tratamento, tanto em
relao ao desempenho nas avaliaes como tambm na velocidade em responder aos
enunciados.

Quando a Inteligncia Artificial utilizada dentro da sala de aula, ou at mesmo substituindo

esta, surgem questes e dvidas que precisam ser pensadas no desenvolvimento dos sistemas,
para que o resultado da insero da tecnologia seja positivo para todas as partes do processo.
Koedinger e Aleven (2007) trazem a preocupao com o dilema da assistncia ao estudante,
onde questionam o quanto e como um tutor inteligente deve apontar dicas e solues a um
exerccio. Muita assistncia pode deixar o estudante preguioso, porm a pouca presena dela
pode desestimul-lo do contedo de uma determinada tarefa.

Essas questes no so triviais e devem sempre estar presentes na mente de quem desenvolve
e utiliza qualquer tipo de tecnologia no processo de ensino e aprendizado. Mas tambm
devem ser avaliadas as melhorias nos nveis de compreenso dos estudantes, utilizando
sistemas inteligentes de apoio ao ensino, em relao aos custos de se conseguir isso de outra
forma (Hobbs & Judge, 1992). O desdobramento dessa segunda afirmao a utilizao e
pesquisas sobre o uso de sistemas inteligentes em diversas reas do conhecimento, como
 29

forma de se aumentar o nvel de entendimento dos estudantes, diminuindo o custo de se fazer

isso.

Aleven, Mclaren, Roll, e Koedinger (2006) colocam como hiptese em seu trabalho que um
sistema de tutoria inteligente fornece orientaes nas habilidades meta-cognitivas que podem
ajudar os estudantes a se tornarem melhores estudantes (p. 101, traduo nossa). No ensino
de Economia, por exemplo, esses sistemas so encontrados desde o Ensino Mdio at o
Ensino Superior, tanto para assuntos bsicos como para assuntos mais complexos (Paden &
Barr, 1980; Grimes & Willey, 1990; Hobbs & Judge, 1992; Steagall & Mason, 1994).

Outro desdobramento do uso de sistemas inteligentes, no processo de ensino e aprendizado,

a capacidade que tais sistemas possuem para auxiliar o professor ou a instituio que oferece
o curso. Dentre as inmeras possibilidades que o uso destes sistemas inteligentes permite,
destacamos a medio do conhecimento do estudante em determinado campo do
conhecimento, a avaliao do alinhamento das estratgias do curso com o que realmente est
sendo entregue e aprendido, a mensurao do engajamento do estudante nas tarefas propostas,
entre outras inmeras possibilidades que uso desses sistemas inteligentes permite. Como
exemplo, Baker, Goldstein e Heffernan (2011) descrevem um sistema que no s avalia o
conhecimento que o estudante possui, sobre um determinado assunto, mas tambm realiza
esse diagnstico momento a momento, enquanto o estudante responde a uma determinada
tarefa. Chi, VanLehn, Litman e Jordan (2011) utilizam um sistema inteligente para avaliar
tticas pedaggicas inseridas em um tutor computadorizado, concluindo que mesmo com
tticas pedaggicas pobres, os estudantes podem aprender, porm com tticas pedaggicas
efetivas os estudantes podem aprender ainda mais (Chi et al., 2011).

2.5 As tecnologias aplicadas ao ensino de Contabilidade

O uso de sistemas computacionais na educao contbil algo que a permeia a literatura h

vrias dcadas e constantemente ocupa um papel de destaque nos mais importantes peridicos
da rea (Er e Ng, 1989). Borthick e Clark (1987, p. 173) salientam que "computer use in
accounting education began in the late 1960s, initially on mainframe computers and later on
microcomputers", e o uso de computadores poderia revolucionar o ensino contbil
melhorando, desta forma, o processo de ensino-aprendizado, j que reduziria o tempo ou o
custo despendido neste processo (Borthick & Clark, 1987). Rebele, Stout e Hassell (1991), em
 30

sua reviso de literatura contbil dos anos de 1985 a 1991, apontam para os pronunciamentos
profissionais que destacavam "[the] importance of computer-based skills to the education of
future accounting professionals" e as opnies divergentes a respeito do referido tema. Os
artigos analisados pelos autores no demonstram o efeito positivo consistente do uso de
computer-assisted instruction (CAI) nos cursos de Contabilidade, porm apontam que o uso
de microcomputadores foi bem recebido pelos estudantes (Rebele, Stout & Hassell, 1991).

Rebele et al. (1998), em sua reviso da rea de tecnologia educacional, localizam e agrupam
diversos trabalhos sobre computer-based learning em trs focos distintos: em primeiro lugar o
computer-aided teaching; em segundo, o computer for research; e, finalmente, em terceiro, o
computer for computing processing. Apesar da quantidade maior de trabalhos, os autores
chamam a ateno para a falta de evidncias empricas que suportem qual a melhor forma de
integrar a tecnologia ao currculo contbil e sugerem que os pesquisadores explorem esse
campo (Rebele et al., 1998). Uma evidncia da pouca explorao emprica pode ser vista em
Jensen e Sandlin (1992), onde os autores apontam um aumento na performance de estudantes
que receberam o material via course management software (CMS). No entanto, chamam a
ateno para o fato de que devido s situaes de pesquisa, os resultados apenas poderiam ser
vistos como anedticos (Jensen & Sandlin, 1992).

Apostolou, Watson, Hassell e Webber (2001) mencionam que "accounting researchers need to
address when the use of technology results in more effective and efficient learning"
reafirmando as considerees feitas anteriomente por Rebele et al. (1998). Em contribuio,
os autores colocam em destaque temas novos, emergentes da poca, sobre a tecnologia
aplicada educao contbil. Sangster e Lymer (1998) discutem o uso do World Wide Web
(www) como base do processo educacional de uma nova era. Um ano antes, Sangster e
Mulligan (1997) reportavam o uso de recursos como e-mail e web em um curso de sistemas
contbeis. Bryant e Hunton (2000) realizaram uma pesquisa em tecnologia da educao nas
seguintes reas: (1) evaluation research; (2) media-comparison studies; (3) intra-media
studies; (4) aptitude-treatment interaction studies and; (5) alternative research designs
(p.130) Os autores propuseram um framework para auxiliar na escolha da melhor tecnologia a
ser inserida no processo educacional, os mesmos concluem que esse framework deve ser
tomando com um ponto de partida para escolha de ferramentas de maior sucesso em cada
context (Bryant & Hunton, 2000).
 31

Nos anos posteriores, observamos um aumento significativo no nmero de pesquisas

empricas envolvendo o uso da tecnologia na educao contbil (Watson, Apostolou, Hassell
& Webber, 2003). Novos recursos, baseados na web, foram apresentados como facilitadores
para cursos online e cursos presenciais, como o Blackboard e o WebCT, o que demandou a
necessidade de mais pesquisas sobre estes recursos (Watson, Apostolou, Hassell & Webber,
2007). Apostolou, Hassell, Rebele, e Watson, 2010 dividem sua pesquisa em tecnologia da
educao em duas reas distintas, sendo que a primeira corresponde a: "reviews articles about
technology that assist or enhance the education process"; e, a outra: "reviews articles about
distance education only". J, Apostolou, Dorminey, Hassell e Watson (2013) ampliam ainda
mais essa diviso e revisam os trabalhos, dividindo-os em: tecnologias utilizadas dentro da
sala da aula (computadores e clickers); tecnologias utilizadas fora da sala de aula (vdeos
online, WebCT, Blackboard); e, Educao a distncia.

No que se refere Inteligncia Artificial aplicada ao ensino da Contabilidade, destacamos a

dcada de 1990, quando inmeros trabalhos foram publicados sobre o desenvolvimento e uso
dos Expert Systems, tanto na rea de negcios quanto no campo de Educao (Baxter &
Thibodeau, 2011; Baldwin-Morgan, Brown & Trinkle, 2006; Baldwin-Morgan, 1995;
Sangster & Wilson, 1991; Boer & Livnat, 1990,). Esses trabalhos aparecem como resposta a
um special report publicado, em 1987, pelo American Institute of Certified Public
Accountants (AICPA), que propunha a familiarizao dos profissionais contbeis aos temas
de Inteligncia Artificial e experts systems (Smith & McDuffie, 1996) emergentes na poca.

Behrens e Steinbart (1992) descrevem um programa acadmico multidisciplinar em

Contabilidade, mantido pela University of Memphis, nos Estados Unidos, onde o uso dos
Experts Systems e de Inteligncia Artificial abordado em dois nveis distintos, sendo que o
primeiro d-se no curso de Mestrado, que tem como propsito o desenvolvimento de
habilidades no uso de diversas ferramentas de Inteligncia Artificial e do entendimento de
como essas ferramentas inserem-se dentro de uma organizao; e, o segundo nvel, no curso
de doutorado, que tem como objetivo preparar os estudantes para conduzirem suas pesquisas
por meio desses sistemas, alm de avaliar os impactos do uso das mesmas no ambiente
educacional (Behrens & Steinbart, 1992).

Brown, Baldwin-Morgan e Sangster (1995) realizam uma ampla pesquisa sobre Experts
Systems, onde apontam que apesar do uso crescente desses sistemas para auditoria, impostos e
 32

Contabilidade gerencial, muitos contadores ainda no estavam familiarizados com esse

assunto. Alm disso, comentam que h problemas em relao abordagem desses contedos
nos cursos de Contabilidade.

Smith e McDuffie (1996, p. 181) iniciam o artigo questionando at que ponto os experts
systems podem ser utilizados para apresentar os tpicos em Contabilidade. O trabalho busca
compreender como esses sistemas poderiam ser utilizados no ensino da Contabilidade, em
assuntos complexos, tal como Contabilidade para combinao de negcios. Os autores
concluem que a manipulao dos expert systems, na resoluo de um problema, pode
significar um avano tanto no entendimento do funcionamento dos expert systems como
tambm nos tpicos especficos que esto sendo estudados.

McDuffie e Smith (2006) descrevem um experimento sobre o uso do AUDPORT, um expert

system, que auxilia no ensino de auditoria, realizado em duas universidades norte-americanas.
Experimento este que demonstra um significante aumento nas notas dos estudantes que
utilizaram esse sistema (Apostolou, Hassell, Rebele e Watson, 2010).

Friedman, Rushinek, and Rushinek (2006) descrevem o sistema Light (Building Block of
Accounting A Managerial Perspective, I See The Light), construdo com tecnologia
emergente, da seguinte maneira: caso nico por estudante; Inteligncia Artificial modular;
retorno imediato 24/7; retornos ilimitados; sem a necessidade de recursos adicionais. Todos
estes elementos proporcionam um ganho para o estudante no processo de aprendizagem. Os
autores concluem, em seu experimento, que h uma tendncia de aumento na integrao de
recursos computacionais, no processo de ensino-aprendizado, que se deve ao efeito positivo
sobre o desempenho dos estudantes (Friedman et al, 2006).

Johnson, Phillips e Chase (2009) descrevem um sistema baseado em Inteligncia Artificial

que auxilia o estudante no aprendizado do ciclo bsico de Contabilidade, mais
especificamente, no que se refere s transaes contbeis. O sistema utiliza um algoritmo de
model tracing que compara o que o estudante realiza com uma soluo padro previamente
inserida na tarefa, de maneira que o sistema possa identificar o caminho que ele est seguindo
e apontar onde e como o mesmo se distncia do caminho padro. Os autores realizaram um
experimento no qual concluem que os estudantes que utilizaram o sistema, por 50 minutos na
resoluo de tarefas, tiveram um desempenho 27% superior aos estudantes que no o
 33

utilizaram. Eles atribuem o sucesso do sistema ao engajamento do estudante na resoluo e

compreenso das tarefas realizadas e, atribui esse empenho dinmica de feedback, que o
sistema transmite ao estudante, mostrando em tempo real o caminho seguido: o que est
correto, o que est errado e o motivo do erro (Johnson et al., 2009).

Phillips e Johnson (2011) prope avaliar o impacto de um sistema de lio de casa on-line e
um sistema de tutoria inteligente em funo do aprendizado do estudante. O objetivo no
apenas avaliar um recurso computacional em comparao lio de casa feita com papel e
caneta, mas sim comparar dois sistemas que empiricamente j mostraram resultados positivos
(Phillips & Johnson, 2011): um Online Homework System (OHS) e um Intelligent Tutor
System (ITS). Os autores realizaram um quase-experimento envolvendo 139 estudantes
divididos em 4 turmas, de um mesmo professor, do ciclo inicial de Contabilidade financeira.
Uma turma utilizou um sistema OHS e a outra, um sistema ITS para apoio ao aprendizado.
Houve ainda uma turma de controle para cada turma de tratamento. Phillips e Johnson (2011)
concluem que os Results indicated that students ability to account for transactions increased
over the period of the study, but at a significantly faster rate when students used the ITS rather
than the OHS. Os autores atribuem essa melhor performance, observada nos sistemas ITS, a
dois fatores inerentes ao sistema: feedback detalhado e suporte durante o processo de
resoluo dos problemas.

2.6 O sistema ALEKS

Assessment and LEarning in Knowledge Spaces is a Web-based, artificially intelligent

assessment and learning system. ALEKS uses adaptive questioning to quickly and accurately
determine exactly what a student knows and doesn't know in a course. ALEKS then instructs
the student on the topics she is most ready to learn. A student who shows a high level of
mastery of an ALEKS course will be successful in the actual course she is taking2.

Esta definio, apresentada pelos desenvolvedores do sistema, nos permite uma viso geral do
ALEKS e dos recursos e funes que o ele se prope a realizar. O sistema ALEKS fruto das
pesquisas realizadas pelos professores Jean-Paul Doigon e Jean-Claude Falmagne sobre a
Knowledge Space Theory (KST), pesquisa que foi realizada em duas Universidades Norte

2
http://www.aleks.com/about_aleks
 34

Americanas, com apoio financeiro do National Science Foundation (NSF)3. O ALEKS, at

ocasio da realizao do presente trabalho, estava disponvel apenas em ingls, sendo que
todo vocabulrio, terminologia, tarefas, botes de ao, comandos, manuais, vdeos e funo
de ajuda esto somente disponveis nesse idioma. O acesso e utilizao do sistema requer
entendimento bsico do idioma ingls. A realizao das tarefas em terminologia na lingua
inglesa pode se configurar um fator impeditivo de acesso ao ALEKS, mas poder tambm
representar uma grande oportunidade para que os estudantes familiarizem-se com essa
terminologia em outro idioma. No decorrer dessa seo ser possvel explorar esses tpicos,
descrevendo seu funcionamento e as principais funcionalidades.

2.6.1 The Initial assessment

Quando o estudante ingressa pela primeira vez no sistema, ele intrudo a responder um
conjunto de questes, a fim de mapear suas competncias prvias no contedo da disciplina.
As questes so sempre disitintas, cada conjunto de questes nico, e a questo seguinte
depende sempre da resposta dada na questo anterior4. A Figura 3 mostra um exemplo de uma
dessas questes. Inicialmente o sistema informa ao estudante que ele dever responder entre
15 a 20 questes, porm as perguntas podem no ser repondidas, bastando que o aluno
indique a opo I dont know. O aluno poder acompanhar seu progresso na parte superior da
tela no item Assessment Progress. Respondento todas as questes ou indicando a opo I
dont know diversas vezes, na sequncia, o assessment do aluno finalizado e ele
apresentado a um grfico (pie), o qual demonstra a sua situao no sistema. O initial
assessment fundamental para que o estudante incie os estudos, de modo a aproveitar o seu
conhecimento prvio, evitando, desta forma, a repetio de contedos que o mesmo j domina
os quais so pr-requisitos para o aprendizado de outros. O mapeamento dos conhecimentos
prvios utiliza elementos da knowledge space theory e Inteligncia Artificial para elaborar o
knownledge state do estudante, no momento inicial. Os recursos de Inteligncia Artificial
esto presentes na learning engine e na assessment engine e so responsveis por traar o
quadro inicial, contendo todas s habilidades do estudante5. A Inteligncia Artificial tambm
responsvel por avilar probabilidade de o estudante ter acertado ou errado,
independentemente de saber ou no a resposta (chute); como, tambm, tem a funo de

3
http://www.aleks.com/about_aleks/research_behind
4
http://www.aleks.com/about_aleks/overview#origine (traudo nossa)
5
http://www.aleks.com/about_aleks/tour_ai_intro
 35

identificar qual questo deve ser perguntada na sequncia, a qual baseada na resposta da
pergunta anterior.

Figura 3 - Initial Assessment

Extrado de https://secure.aleks.com

No exemplo de questo da Figura 3, vale destacar que, devido ao uso de um sistema online, o
estudante possui diversas funcionalidades para o auxlio da resoluo da questo, no
precisando recorrer aos materiais impressos para realiz-lo. Uma dessas funcionalidades a
calculadora do sistema que permite que o estudante arraste os valores do texto para a
calculadora e da calculadora para o texo para poder responder a questo, sem a necessidade de
digitar a sequncia de nmeros que aparecem. Esta funcionalidade mostra-se importante para
diminuir a probabilidade de o estudante errar uma questo devido ao erro nas operaes
aritimticas e, ainda, propiciar um ambiente mais amigvel ao usurio.

O Initial Assessment de carter compulsrio; entretanto, o instrutor pode parametrizar o

sistema de forma que o estudante possa no realizar este Assessment. Dessa forma, o
estudante, quando acessar o sistema pela primeira vez, vizualizar a mesma inicial, porm
haver a opo de pular o exame. Se o estudante pular o assessment, o sistema utilizar a
 36

premissa de que o estudante no possui nenhum conhecimento prvio sobre o contedo, como
se ele no tivesse acertado nenhuma questo.

2.6.2 Grfico das habilidades - Pie

Uma das ferramentas visuais do sistema ALEKS o Grfico de habilidades ou MyPie como
demoninado no sistema. Ele possibilita que o estudante tenha um panorama geral de todos os
itens que compem o curso e tambm de sua situao em relao a cada um dos itens. A
Figura 4 mostra esse Grfico para um estudante que acabou de realizar o initial assessment. O
Grfico mostra a distribuio dos contedos (fatias do grfico) que compem o curso
completo. No exemplo da Figura 4 so 7 contedos distintos, sendo eles: Basic Terminology,
Basic Transactions and Financial Statements, Journal Entries, Adjusting Entries, Closing
Process and Financial Statements, Merchandising Accounting e Advanced review topics.
Cada um desses contedos possui uma quantidade de tpicos que o estudante deva possuir ao
trmino do uso do sistema.

Figura 4 - Grfico de habilidades (PIE)

Extrado de https://secure.aleks.com
 37

Visualmente o estudante percebe o seu desempenho, em cada contedo, pela diferena da

tonalidade de cores em cada uma das fatias, sendo a colorao escura o representativo das
habilidades que ele domina, ou pela numerao de contedos, em relao ao total, mostrados
entre parnteses ao lado do nome de cada fatia do grfico. possvel visualizar, acima do
grfico, a quantidade de tpicos que o estudante tem proficincia em relao ao total do curso.
Quando o estudante seleciona alguma rea do grfico, os tpicos, que ainda no foram
totalmente aprendidos, aparecem disponveis para que eles possam realizar as atividades
previstas para aquele item. Se houver algum pr-requesito, ainda no cumprido, os tpicos
ficam indisponveis at que o estudante cumpra os pr-requesitos e volte at aquela parte do
grfico.

2.6.3 Utilizando o sistema

Ao acessar o sistema, depois do acesso inicial, o estudante conduzido ao grfico de

habilidades, como tela inicial ou ponto de partida, para o uso das funcionalidades do sistema.
Como discutido anteriormente, o grfico de habilidades pode ser utilizado para a realizao de
algumas atividades. Entretanto, para acessar os Tests, Quizzes e Homeworks, parametrizados
pelo instrutor e aderente ao material de aula e livro didtico, o estudante deve utilizar a opo
de Assignments. A Figura 5 mostra a tela com os Assignments designados pelo instrutor e o
estudante ter acesso lista completa das atividades, podendo visualizar o tipo de tarefa (Test,
Quizz, Homework ou Assessment), o tempo limite para a execuo da tarefa, o nmero de
vezes que ele poder realizar cada uma das tarefas e as datas de incio e fim da diponibilidade
de cada uma delas.

Os Tests e Quizzes so atividades mais rpidas e simples em relao aos Homeworks. Trata-
se, geralmente, de um conjunto de pequenas atividades voltadas para fixar algum contedo.
No ensino de Contabilidade, essas atividades esto relacionadas nomenclatura contbil e
estrutura patrimonial. A diferena fundamental entre Test e Quizz a possibilidade de parar
um Test durante seu curso e retom-lo depois, algo que no possvel no Quizz. Homework
uma atividade mais complexa e demanda de mais tempo e ateno para ser realizada. No
ensino de Contabilidade, esse tipo de tarefa est direcionado contabilizao dos eventos
econmicos, encerramento de demonstraes financeiras, clculos especficos como
apropriao de juros e depreciao. Assim como o Test, o Homework tambm pode ser
 38

interrompido e salvo para continuidade em outro momento, sem prejuzo para a nota do
estudante.

Figura 5 - Assignments

Extrado de https://secure.aleks.com

Os Assessment so questes que o instrutor programa para mapear o desenvolvimento do

estudante. O formato e a utilidade do Assessment so os mesmos do Initial Assessment, a
diferena est no fato de que o primeiro Assessment, no incio do curso realizado de forma
automtica pelo sistema e, geralmente, compulsrio, enquanto que os Assessments posteriores
so programados pelo instrutor e sua obrigatoriedade depende do planejamento das atividades
para o curso.

Ainda na tela de Assignments o estudante encontra a aba para os Assignments Results, onde
poder ver os resultados de todas as atividades concludas. O estudante conta, ainda, com um
Gradebook onde poder encontrar seus scores totais e individuais para cada uma das
atividades, alm do Calendar onde encontrar todas as atividades demonstradas pelo dia de
disponibilizao e data final para encerramento. A qualquer momento o estudante pode
 39

retornar a pgina inicial do Grfico de habilidades (MyPie) e verificar a sua evoluo por
meio desta ferramenta.

2.6.4 A viso do Instrutor

O ALEKS conta com uma dashboard, onde o intrutor pode facilmente navegar e acessar todas
as turmas e cursos os quais est responsvel e, ainda, acessar todas as ferramentas que
utilizar em cada uma das turmas e em cada curso. A Figura 6 mostra a uma tela do instrutor,
contendo informaes sobre o desempenho geral de cada um dos estudantes.

Figura 6 - Viso do Instrutor

Extrado de: https://secure.aleks.com

 40

Entre as ferramentas disponveis, podemos destacar alguns tipos: (a) Ferramentas

administrativas: so ferramentas utilizadas para visualizar os dados dos estudantes, efetuar
procedimentos de transio de estudantes entre cursos e excluir algum estudante; (b)
Ferramentas de contedo: so as funcionalidades que permitem ao instrutor adicionar, editar e
remover os assignments que devero ser realizados pelos alunos; (c) Ferramentas de
mensagens: Fruns e e-mails que possibilitam a troca de informaes entre instrutores e
estudantes; (d) Ferramentas de apoio: formadas por itens externos ao sistema (vdeos, plugins,
arquivos); e (e) Ferramentas de relatrios: compostas por uma diversidade de relatrios sobre
o desempenho do estudante, alm de dados sobre acesso e uso dos sistemas e suas
funcionalidades. O sistema possibilita ao instrutor um acompanhamento personalizado ao
estudante, uma vez que, traando o knowledge state, por meio da primeira avaliao, o
sistema indica ao estudante quais tpicos o mesmo deve buscar reforo e quais ele est apto
para aprender na sequncia. Com essa informao, o instrutor poder direcionar a quantidade
e o tipo de tarefas que sero mais interessantes para cada um dos contedos e o estudante
estar exposto a um maior nmero de tarefas sobre os tpicos que ainda no possui pleno
domnio e uma menor quantidade relacionada aos contedos que j tenha adquirido habilidade
suficiente. A tutoria tambm ocorre quando o estudante responde a uma tarefa e o sistema d-
lhe um retorno quase em tempo real sobre o que est correto e o que est errado.

2.6.5 A Inteligncia Artificial no ALEKS

Conforme discutido anteriormente, o sistema ALEKS fruto de pesquisas sobre a knowledge

space theory. Os desenvolvedores do sistema asseguram que essa teoria proporciou uma base
matemtica slida para a criao de um sistema inteligente. Como os prprios
desenvolvedores dizem que o ALEKS "knows," at each moment, with respect to each
individual topic, whether each individual student has mastered that topic. If not, ALEKS
knows whether she is ready to learn the topic at that moment6. Essa afirmao, utilizada
como suporte para a utilizao de Inteligncia Artificial pelo sistema, no deve ser tomada
como verdade absoluta sem a apresentao de alguma evidncia ou dado adicional sobre os
algoritimos de Inteligncia Artificial utilizados. Como o software possui cdigo fechado,
apresentamos abaixo algumas evidncias que buscam apoiar a premissa adotada neste
trabalho de que: o sistema ALEKS inteligente, ou seja, baseado em algoritimos de
Inteligncia Artificial. Inicialmente devemos considerar os diversos estudos e publicaes

6
http://www.aleks.com/about_aleks/tour_ai_intro
 41

contendo a Knowledge Space Theory (KST) relacionada Intelligent Tutoring Systems (ITS)
e Computer-Aided Instruction (CAI), como base da criao de algortimos de mapeamento do
conhecimento do estudante. Dentre eles, podemos mencionar, nesse trabalho alguns nomes
relevantes para o assunto. O primeiro Villano (1992) que relaciona KST e Bayesian Belief
Networks (BBN) para a construo de um ITS. Depois, contamos com Harp, S. A., Samad, T.,
& Villano (1995) que descrevem uma aplicao com redes neurais e KST onde o student
models are developed using a neural network learning algorithm from existing test datasets
(p. 736). Dowling, Hockemeyer e Ludwig (1996) sugerem mtodos de melhoria em um
algortimo adaptativo para assessment e implementao de um multi-plataform tutoring
shell (p. 578). Tambm se tem em considerao o trabalho de Peirce, Conlan, e Wade
(2008), onde apresentam e discutem um jogo adaptativo ELEKTRA, que utiliza a KST na
implementao de inteligencia artificial. Outro aspecto que devemos considerar a possvel
presena de alguns algortimos de Inteligncia Artificial no sistema ALEKS. Koedinger e
Aleven (2007) afirmam que the tutoring intelligence comes from two algorithms called
model tracing and knowledge tracing (p. 248). Johnson, Phillips e Chase (2009) apontam
que no model tracing:

At each step of a students response, the tutor assesses whether the student has invoked the
same production rule as that applied by the tutor. This tracing of steps enables the tutor to
provide confirmatory feedback, corrective feedback, or hints, which most intelligent tutoring
systems provide upon the students request (p. 32),

Sobre o knowledge model, Koedinger e Aleven (2007) asseguram que:

Is used to estimate how well an individual student has mastered each key production rule.
The results of knowledge tracing are used to determine (a) the selection of problems relevant
to individual student needs and (b) when the student has mastered the all the knowledge
components, the concepts and skills, in a curriculum unit intelligence comes from two
algorithms called model tracing and knowledge tracing (p. 248).

Conforme demonstrado anteriormente, uma das funcionalidades do sistema ALEKS o

mapeamento do conhecimento do estudante, que informa quais itens o mesmo possui
proficincia e quais os itens que ele est apto a aprender na sequncia. Esses itens so
prprios da KST, mas tambm so aderentes ao knowledge model, conforme demonstrado
 42

acima. Outra funcionalidade do sistema ALEKS o retorno sobre o desempenho do estudante

e a apresentao de dicas e ajuda na resoluo dos problemas. Essa funcionalidade do sistema
pode totalmente aderente ao algoritimo de model tracing, conforme descrito acima. A
existncia de itens aderentes a esses dois algortimos (model tracing e knowledge model) no
prova, mas sugere fortemente que implementao de algum deles no sistema ALEKS, dando
ao sistema a denominao de sistema inteligente.

2.7 Estudos anteriores

Baxter e Thibodeau (2011, p. 650) mostram que grande parte dos estudos sobre a utilizao
do sistema ALEKS concentram-se nas reas da Matemtica e Estatstica. Para esses
segmentos, os autores citam os trabalhos de Hagerty e Smith (2005), Callahan et al. (2008),
Hampikian et al. (2006) e Bullock et al. (2009), que encontram resultados positivos no uso do
sistema como apoio nos cursos de graduao. No ensino de Contabilidade, at o momento da
realizao dessa pesquisa, existiam apenas dois estudos sobre a utilizao do sistema ALEKS
como auxlio ao processo de ensino e aprendizado; e, apenas um eles foi realizado e publicado
com rigor cientfico, para suportar os resultados dos estudos. Para o presente trabalho,
destacamos apenas este estudo realizado em 2011 por Ryan J. Baxter e Jay C. Thibodeau, o
qual foi publicado na revista Issues in Accounting Education, desconsiderando os demais.

Baxter e Thibodeau (2011) realizam um quase-experimento, onde comparaam um grupo de

estudantes utilizando o sistema ALEKS, como apoio ao aprendizado (grupo experimental), a
um grupo de estudantes do perodo anterior (grupo de controle), que no tiveram acesso ao
sistema. O curso foi o primeiro que os estudantes fizeram na rea de Contabilidade. Alm
disso, faz-se necessrio expor que todo o contedo ministrado, bem como o material utilizado
e o professor da disciplina, foi o mesmo para ambos os grupos. A nica diferena entre o
grupo experimental e o grupo de controle foi utilizao do software como ferramenta de
apoio no processo de ensino e aprendizagem.

O quase-experimento foi conduzido entre o outono de 2005 e a primavera de 2006, em uma

universidade dos Estados Unidos. O grupo de controle contou com a participao de 69
estudantes, divididos em duas turmas: uma com 35 e outra com 34. O grupo experimental teve
com uma nica turma de 34 estudantes, porm 4 foram retirados da amostra por utilizarem o
sistema em tempo abaixo do delimitado para a pesquisa, o que deixou o grupo experimental
 43

com 30 estudantes. A diviso de gnero era de aproximadamente 52% de homens para o

grupo de controle e aproximadamente 53% para o grupo experimental. Todos os estudantes
foram submetidos aos exames, no meio e no final do curso, sendo que os testes foram
idnticos para todas as turmas, tanto para o grupo experimental quanto para o de controle. As
hipteses levantadas pelos autores no trabalho foram:

H1: Students who use the software, as compared to students who do not, will perform
better on examinations that test for the knowledge content studied within the software.
H2: Students who complete more of the softwares problem types and learning objectives
willperform better on examinations that test for the knowledge content studied within
thesoftware. (Baxter & Thibodeau, 2011, p. 651)

Os resultados mostraram maiores notas no exame final para os estudantes que utilizaram o
software, indicando um efeito positivo sobre o aprendizado dos mesmos. Baxter e Thibodeau
(2011) realizaram o teste de Wilcoxon rank-sum e demonstram o efeito suportanto a hiptese
H1 ao mencionarem que for a one-tailed test, the z-statistic was about 1.76 (U=803.5),
giving a pvalue of about 0.039 (p. 652) e for a one-tailed test, the z-statistic was
approximately 1.23 (U=873.5) giving a p-value of about 0.11 (p. 653). Para suportar a
hiptese H2, os autores afirmam que there was a significant, positive, linear (Pearson)
correlation between the score on the first midterm and essentially any measure of progress in
the software (p. 653). Apesar de no realizado no texto, calculamos o Effect Size do
experimento e foi possvel chegar aos valores de ES = 0.38 para o First Midterm Examination
Score e ES = 0.28 para o Final Examination Score, indicando que os resultados apresentados,
como suporte para a hiptese H1, podem ter um alcance reduzido ou limitado. Outra
descoberta foi a significante diminuio das horas de tutoria (extraclasse) demandadas pelos
estudantes do grupo experimental (Baxter & Thibodeau, 2011).
 44

3 PROCEDIMENTOS METODOLGICOS

Nesta parte do trabalho so descritos os tpicos relativos pesquisa emprica que foi
desenvolvida, durante o primeiro semestre de 2014, no curso de Bacharelado em Cincias
Contbeis da Universidade de So Paulo. A pesquisa foi conduzdida junto disciplina de
Contabilidade Introdutria (EAC0106), nos perodos diurno e noturno, contando com o apoio
dos desenvolvedores do Sistema ALEKS, do Departamento de Contabilida e Aturia (EAC) e
a participao dos alunos e professores da mencionada disciplina. Os alunos receberam acesso
ao sistema, de forma complementar disciplina presencial; e, como forma de bonificao,
receberam pontuao adicional na mdia final. A particiapao foi voluntria e no houve
prejuzo, na disciplina, queles que no participaram do processo. Nos prximos tpicos os
procedimentos relacionados a esta pesquisa sero explorados de forma mais ampla.
Inicialmente ser apresentado o delineamento do experimental, na sequncia sero discutidas
a seleo da populao e a definio da amostra. Posteriormente, sero apresentadas as etapas
da realizao do experimento e, por fim, os itens de ameaa validade interna e externa da
pesquisa.

3.1 O Desenho experimental

Para resposta aos objetivos formulados, assim como para o teste das hipteses estabelecidas,
foi realizado um quase-experimento, entre os grupos, no formato denominado por Campbell
(1957), o Pretest-Posttest Control Group Design (p. 300). A escolha por um quase-
experimento, em detrimento a um experimento, est relacionada seleo da amostra e a
impossibilidade de escolha aleatria ou randomizada dos indivduos expostos, ou no, ao
ambiente experimental. Sobre a diferena entre os dois mtodos, Reichardt and Mark (1998)
salientam que:

The differrence between these two design types is that in a randomized experiment, a
random process determines who receives the treatment and who receives the non-treatment
or alternative treatment condition, whereas in a quase-experiment, assignment to treatment
conditions is determined nonrandomly (p. 193).

No delineamento experimental de Pr-teste, Ps-teste com Grupo de Controle, selecionamos

dois grupos (A): um experimental e outro de controle. Os grupos passaram por avaliaes ou
 45

medies no incio (O1), e ao final do processo (O2). Entretanto, o grupo experimental recebeu
a interferncia de um tratamento (X) entre a avaliao inicial e a avaliao final. A figura 1
ilustra este modelo de delineamento.

Figura 1 - Delineamento experimental

Fonte: Campbell and Stanley (1979, p. 26)

O uso de dois grupos auxilia na confiabilidade dos resultados obtidos, ao medir o efeito de um
tratamento em comparao a um grupo diferente (Bickman, Rog & Hedrick, 1998). Em um
delineamento sem grupo de controle, as explicaes sobre as mudanas ocorridas entre o pr-
teste e ps-teste teriam diversas hipteses rivais plausveis, tais como a histria e a maturao
da amostra, sem que o tratamento experimental aplicado realizasse algum efeito (Campbell,
1979). Sobre a importncia de um grupo de controle, Gall, Borg e Gall (2007) afirmam que:

The goal is to keep the experiences of the experimental and control groups as identical as
possible, except that the experimental group is exposed to experimental treatment. If
extraneous variables have brought about changes between the pretest and posttest, these will
be reflected in the scores of the control group. Thus, the posttest change of the experimental
group beyond the change tha occurred in the control group can be safely attributed to the
experimental treatment (p. 405).

A aleatoriedade da seleo da amostra auxilia na remoo de vieses da formao (Campbel,

1979); entretanto, no garante a remoo das diferenas entre as mesmas, que continuaram
presentes em todo o experimento (Bickman, Rog & Hedrick, 1998). Para remover essa
disparidade, utilizamos o pr-teste (O1), para os grupos selecionados, que auxilia no
mapeamento do estado inicial das amostras, possibilitando ao pesquisador inferir a real
alterao entre o incio e o final do experimento. Reichardt and Mark (1998) descrevem
quatro significativas vantagens no uso do pr-teste no delineamento de uma pesquisa:
 46

1. Pr-testes podem aumentar o poder e preciso das anlises, com mais benefcio quanto
maior o valor absoluto da correlao entre o pr-teste e o ps-teste.
2. Escolha aleatria nem sempre fcil de programar e s vezes corrompida (Boruch &
Wothke, 1985; Braucht & Reichardt, 1993; Conner, 1977), e pr-testes podem auxiliar o
pesquisador a avaliar a probabilidade de a seleo aleatria ter sido comprometida e o
dano causado.
3. Diferentes desgastes entre grupo de tratamento podem introduzir vis no experimento
aleatrio, e o pr-teste podem permitir ao pesquisador abordar esse vis.
4. O efeito do tratamento pode variar ao entre indivduos com caractersticas diferentes, e a
incluso de um ou mais pr-testes permite ao pesquisador estimar o tamanho dessa
interao do tratamento com as caractersticas individuais (p. 211-212, traduo nossa).

O presente experimento foi realizado com estudantes ingressantes no curso de Cincias

Contbeis, tendo, alguns deles, acesso ao software de apoio aprendizagem (ALEKS). O uso
do sistema foi o tratamento aplicado ao grupo experimental, o qual teve como propsito
auxili-los no aprendizado de alguns intens do Curso de Contabilidade Introdutria
(EAC0106), tais como: terminologia bsica contbil, transaes contbeis bsicas, relatrios e
encerramento da Contabilidade mercantil. Por estar instanciado em ambiente web, o sistema
pde ser utilizado de qualquer lugar e em qualquer horrio, no sendo necessria a
permanncia do estudante na Universidade para esse fim.

O uso do sistema foi feito durante o primeiro semestre de 2014, mais especificamente entre os
meses de Maro, Abril, Maio e Junho de 2014, com o objetivo de produzir algum efeito
positivo no aprendizado dos tpicos relacionados disciplina presencial. O efeito era
esperado tanto em relao aos seus prprios conhecimentos antes e depois do acesso ,
quanto em relao ao grupo de estudantes que no receberam este tratamento. No incio do
curso, todos os alunos realizaram uma avaliao para medir o conhecimento prvio de cada
um. Ao trmino do curso, os alunos foram submetidos ao exame final: uma avaliao para
aferio do grau de domnio sobre os tpicos aos quais foram expostos durante o semestre.
Nos prximos itens, os procedimentos de amostragem e da conduo do experimento sero
detalhados.

3.2 Populao e amostra

 47

Para que os dados coletados e os resultados obtidos pudessem ser confiveis, e ainda, para que
futuras pesquisas pudessem replicar o experimento, a seleo da populao e da amostra de
participantes deveria incluir 4 critrios, utilizados por Permut, Michael and Joseph (1976), em
seu trabalho cientifico, onde analisaram 470 amostras de 356 artigos publicados no perodo de
10 anos no Journal of Marketing Research, sendo eles: (1) intended sample universe, (2)
selection procedure, (3) sample frame, and (4) completion rate obtained (p. 279). Estes
mesmos critrios so revisados por Gall, Borg and Gall (2007), em seu captulo sobre a
seleo de amostras, de forma ampliada, conforme exposto abaixo:

1. Clear description of the population to which the results are to be generalized should be
given.
2. The sampling procedure should be specified in sufficient detail that another investigator
would be able to replicate the procedure. The details should include, at a minimum, (a)
the type of sample (simple random, stratified random, convenience, etc.); (b) sample size;
and (c) geographic area. Depending on the study, other descriptive data (e.g. gender, age,
grade level, socioeconomic status) also should be included.
3. The sampling frame, that is, the list, indexes, or other population records from which the
sample was selected, should be identified.
4. The completion rate, which is the proportion of the sample that participated as intended in
all of the research procedures, should be given.

A identificao da populao e a seleo da amostra so itens de extrema importncia na

conduo de um experimento cintfico. Gall, Borg e Gall (2007) afirmam que the first step
in sampling is to define the target population (p. 167). Essa populao alvo representa todo
o universo em que os resultados da pesquisa podero ser generalizados. Henry (1998)
evidencia que researchers would like to be able to speak about entire populations of interest
(p. 101). Todavia, inmeras questes tais como tempo hbil para execuo, custos
envolvidos, disponibilidade de acesso, distncia geogrfica, entre tantas outras , direcionam
o pesquisador ao uso de uma populao acessvel, com indivduos e locais que realmente
poderiam ser acessados e pesquisados (Henry, 1998; Gall, Borg & Gall, 2007). Encontrada a
populao, o passo seguinte a difnio da amostra, ou seja, a determinao da quantidade
de indivduos que iro realmente participar do experimento de onde os dados sero coletados
para as anlises e composies dos resultados. A amostra pode ser selcionada de forma
aleatria, onde cada um dos indivduos da populao acessvel ter a mesma probabilidade de
 48

ser selecionado ou de forma no aleatria, onde os indivduos sero selecionados com base
em algum critrio especfico (Henry, 1998).

O tamanho da amostra ir impactar diretamente nos resultados, pois est relacionada aos itens
de validade e poder estatstico da pesquisa. Lipsey (1998) define poder estatstico por the
probability (1 ) that statistical significance will be attained given that there really is an
intervention effect (p. 40). Slavin e Smith (2009) mencionam que estudos com pequenas
amostras tendem a ter o tamanho do efeito positivo em relao aos estudos com grandes
amostras (p. 500, traduo nossa). Porm, a generalizao dos resultados tem maior peso
quando se utiliza amostras maiores. Estudos com amostras pequenas podem ser de grande
valia em estgios primrios da pesquisa em um determinado programa (Slavin & Smith,
2009), tal como a proposta do presente estudo.

No presente estudo, a populao alvo composta por todos os estudantes ingressantes, no

primeiro semestre, dos cursos de Bacharelado em Cincias Contbeis de instituies pblicas
ou privadas do Brasil, o que representa um universo com mais de 40 mil estudantes7
espalhados por 1299 instituies em todo o Brasil. Acessar essa populao, para realizar o
procedimento amostral, dependeria de tempo e recursos financeiros incompatveis com o
propsito e extenso desta pesquisa. A populao acessvel foi delimitada por alunos do
curso de Bacharelado em Cincias Contbeis da Universidade de So Paulo. Ainda que,
geograficamente possvel, o acesso a estudantes de outras instituies, pblicas ou
particulares, foi desencorajado pelo desenho experimental, que exigia o apoio dos professores
e das instituies onde o sistema seria utilizado. Outro fator impeditivo foram as licenas para
acesso ao sistema ALEKS, cedidas gratuitamente pelo desenvolvedor do software para o uso
nesta pesquisa na Universidade de So Paulo.

O acesso a essa populao foi possvel devido ao amplo apoio da Chefia do Departamento de
Contabilidade e Aturia (EAC) da Faculdade de Economia, Administrao e Contabilidade
(FEA) da Universidade de So Paulo (USP), em conjunto com os professores que ministraram
a disciplina de Contabilidade Introdutria (EAC0106), no primeiro semestre de 2014.

7
Fonte: Enade 2009
 49

A seleo da amostra foi no aleatria e os indivduos selecionados por convenincia. Henry

(1998) afirma que uma amostra por convenincia consiste em um grupo de indivduos que
esto prontamente disponveis para participar em um estudo (p. 105, traduo nossa). A
amostra total foi composta por um grupo de 334 estudantes ingressantes, no primeiro
semestre do curso de graduao, em Cincias Contbeis da Faculdade de Administrao,
Economia e Contabilidade da Universidade de So Paulo (FEA-USP) que cursaram ou
estavam cursando a disciplina de Contabilidade Introdutria (EAC0106). Estes estudantes
foram divididos em 6 turmas, sendo duas no perodo diurno e quatro no perodo noturno,
conforme apresentados na Tabela 2.

Tabela 2 - Distribuio das Turmas

Cdigo Nmero de Nmero de Nmero de

Ano Perodo
Estudantes homens mulheres
EAC0106_2013101 2013 Diurno 51 25 26
EAC0106_2013121 2013 Noturno 56 37 19
EAC0106_2013122 2013 Noturno 55 34 21
EAC0106_2014101 2014 Diurno 58 39 19
EAC0106_2014121 2014 Noturno 58 35 23
EAC0106_2014122 2014 Noturno 56 39 17
TOTAIS 334 209 125
Fonte: Elaborao Prpria

Do total dos estudantes, 67% cursaram a disciplina no perodo noturno e 37% eram do sexo
feminino. No ano de 2013, 162 cursaram essa disciplina no primeiro semestre, sendo 31% no
perodo diurno. Dos 172 estudantes, que cursaram a disciplina primeiro semestre de 2014,
34% eram do perodo diurno e 66% eram do sexo masculino. Anualmente as turmas so
formadas com 50 alunos no perodo diurno, em uma nica turma; e, 100 alunos no perodo
noturno, dividos em duas turmas. A alocao entre perodo Diurno ou Noturno feita de
acordo com a opo que cada estudante escolheu para a carreira e tambm em funo da
colocao de cada um no exame vestibular. A diviso entre as turmas, do perodo noturno,
realizada pela primeira letra do nome de cada aluno, de forma que as turmas possuam
aproximadamente a mesma quantidade de alunos. Apesar de serem oferecidas apenas 150
vagas por ano, podemos observar que a quantidade de alunos superior a este nmero. Isso se
deve a existncia de alunos matriculados na disciplina sem terem prestado o exame vestibular.
 50

So alunos que j possuem outra graduao, que realizaram processo interno de ingresso ou
alunos que reprovaram anteriormente na disciplina e esto cursando-a pela segunda vez. A
grade curricular dos estudantes a mesma para os perodos diurno e noturno e todos os
ingressantes devem cursar a disciplina Contabilidade Introdutria (EAC0106) no primeiro
semestre como pr-requisito s demais disciplinas da rea de concentrao.

Os achados da amostra podero ser generalizados para a populao acessvel devido

procedncia e a formao dos docentes presentes nas instituies pblicas (Universidades
Estaduais e Federais) da Regio Sudoeste. At meados da dcada de 2000 existia um nico
curso de Doutorado, em Contabilidade, no departamento onde a amostra foi selecionada.
Diante disto, podemos afirmar que a grande maioria dos doutores alocados nos departamentos
da populao acessvel frequentou os mesmos bancos escolares em seus doutoramentos, de tal
forma que se pode esperar grande similaridade no ensino de Contabilidade nestes
departamentos.

3.3 Conduo do experimento

Neste iten sero explorados os passos seguidos na elaborao e conduo da presente

pesquisa. Os acontecimentos sero descritos em ordem cronolgica, iniciando pelos primeiros
contatos estabelecidos com o desenvolvedor do sistema ALEKS, em Fevereiro de 2013,
passando pelas etapas de alinhamento do experimento, junto aos professores da disciplina e ao
Departamento de Contabilidade e Aturia (EAC), o teste piloto, a parametrizao do sistema,
o uso do sistema, durante a discipliana e, por fim, a pesquisa de satisfao sobre a utilizao
do ALEKS, realizada juntos aos estudantes da disciplina de Contabilidade Introdutria.
Esperamos, com estes itens, descrever claramente o protocolo utilizado, aqui, o que
possibilitar que outros pesquisadores possam analisar, criticar e replicar o presente estudo
com a segurana necessria em relao ao passos aqui adotados (Henry, 1998; Reichardt and
Mark, 1998; Gall, Borg & Gall, 2007 ).

3.3.1 ALEKS Corporation e o Departamento de Contabilidade e Aturia

O primeiro contato com o sistema ALEKS foi realizado, em fevereiro de 2013, por meio de
uma troca de e-mails com a Sra. Kathy Chang, assistente executiva da ALEKS Corporation.
Nesta ocasio, fomos apresentados ao Sr. Sam Hussey e, desta data em diante, ele foi o nosso
 51

principal contato com a empresa e apoiador no desenvolvimento desta pequisa. No dia 05 de

maro de 2013, o Sr. Sam Hussey realizou uma apresentao (via WebEx), onde foi possvel
visualizar o Sistema ALEKS, suas origens, os principais recursos e ferramentas. Como fruto
dessa reunio, tivemos acesso aos materiais de apoio do sistema (Manual do estudante e
Material do instrutor) e tambm ao artigo escrito por Ryan J. Baxter e Jay C. Thibodeau sobre
o uso do ALEKS, em uma universidade estadunidense.

Em junho de 2013 foi disponibilizado, pelo Sr. Sam Hussey, um acesso de instrutor ao
sistema, vlido at outubro de 2014, com dois cursos cadastrados, Accounting Cycle e
Financial Accounting, com a finalidade de explorar as funcionalidades do ALEKS. O curso
Accounting Cycle contava com 63 itens, divididos entre os seguintes mdulos: Basic
Terminology; Basic Transactions and Financial Statements; Journal Entries; Adjusting
Entries; Closing Process and Financial Statements; Merchandising Accounting; e Advanced
review topics. O curso de Financial Accounting contava com 215 tpicos, divididos da
seguinte forma: Accounting Cycle; Cash and Cash Equivalent; Merchandising and Inventory;
Receivables; Property, Plant, and Equipment; Current Liabilities, Payroll, Warranties, and
Discounted Notes; Partnerships; Corporate Balance Sheet, Income Statement, and Analysis;
Bonds e Investments, and Cash Flow.

O acesso de instrutor permite parametrizar os cursos, acessar os tests, quizzes e homeworks e,

ainda, vizualizar os tpicos disponveis para cada uma das atividades. Existe ainda a
possibilidade de Student View uma alternativa de visualizar as tarefas da maneira como o
estudante ir enxerg-las. Na ocasio desse acesso, no foi possvel utilizar os relatrios de
acesso do sistema, utilizao e desmpenho nas tarefas, pois essas informaes so gravadas
somente quando o estudante, devidamente registrado, acessa e responde s tarefas de algum
curso. O acesso como estudante s pode ser realizado mediante aquisio de licena de
permisso, o que representa um custo mensal de US$ 19.95 para cada um, por curso.

Entre os meses de setembro a dezembro de 2013 foram realizadas diversas conversas e

reunies no Departamento de Contabilidade e Aturia (EAC), da Universidade de So Paulo
(USP), para que os professores e a chefia do departamente pudessem se informar sobre o
sistema e avaliar a possibilidade de utilizao durante o primeiro semestre de 2014. Nesse
mesmo perodo, houve uma conversa (via skype) entre os professores, a chefia do EAC e o Sr.
Sam Hussey sobre a utilizao do sistema no curso de graduao. Aps essas conversas, e
 52

com intuito de apoio a presente pesquisa, os professores e a chefia do EAC aceitaram o uso do
sistema ALEKS, em conjunto com a disciplina. No desenho inicial do experimento, estava
previsto que 40 estudantes receberiam acesso ao sistema ALEKS para o uso, no decorrer a
disciplina. Como material de apoio, seria utilizada a stima edio da obra Financial
Accounting de Robet Libby, Particia Libby e Daniel G Short, livro texto sobre Contabilidade
Societria, em lingua inglesa. O desempenho dos estudantes, que utilizassem o sistema, seria
comparado ao rendimento dos estudantes sem acesso ao ALEKS. Pela participao na
pesquisa, os estudantes receberiam a bonificao at 1,0 ponto adicional, o que correspondia a
10% da mdia final da disicplina, dependendo da quantidade de horas e itens realizados no
sistema. Essa bonificao era vlida apenas para os estudantes que tivessem alcanado mdia
5,0 sem o cmputo da nota do uso do sistema. Esta gratificao foi mantida por todo o
semestre para a turma do perodo diurno, porm para as turmas do perodo noturno, em maio
de 2014, foi aumentada para 2,0 pontos como forma de incentivo aos estudantes no acesso e
uso do sistema.

Inicialmente prevamos uma populao acessvel de 150 pessoas de onde seria retirada uma
amostra aleatria de 40 indivduos. A limitao da populao e amostra davam-se pela crena
de contarmos com uma quantidade restrita de lincenas para uso nesta pesquisa. Entretanto,
em abril de 2014 foram cedidas pela ALEKS Corporation, por intermdio do Sr. Sam Hussey,
148 licenas para o uso nessa pesquisa, a ser realizada no Departamento de Contabilidade da
Universidade de So Paulo. Desta forma, a pesquisa pode ser extendida a todos os estudantes
ingressantes no ano de 2014, no perodo diurno e noturno. As licenas foram cedidas sem
nenhum custo para os estudantes e/ou departamento, mas possvel estimar que seu valor seja
em aproximadamente US$ 15 mil.

Em janeiro de 2014, foi realizado um teste piloto, que ser detalhado a seguir, e no final do
ms de fevereiro de 2014, no primeiro dia de aula de cada turma, foi realizada uma rpida
apresentao do ALEKS, onde os alunos foram informados sobre a pesquisa desenvolvida e
convidados a participarem do projeto. Eles foram avisados que alguns receberiam acesso ao
sistema e que o uso era gratuto e opcional. Foram informados tambm sobre a bonificao.
Uma avaliao inicial foi feita com as turmas para aferir o grau de conhecimento dos mesmos
em Contabilidade. Essa interveno, que ser descrita, com mais dados, na sequncia destre
trabalho, foi o pr-teste do desenho experimental. No ms de maro de 2014, aps uma
reunio com os professores da disciplina de Contabilidade Introdutria, ficou acertado o uso
 53

do curso de Financial Accounting, sem o apoio do livro texto, citado anteriormente. Nesta
ocasio, foram definidos os contedos que seriam trabalhados com os estudantes, aderentes ao
currculo oferecido na disciplina presencial. A definio dos tpicos a serem ministrados foi
realizada pelos professores da disciplina presencial, Doutores em Contabilidade e com ampla
experincia no ensino do ciclo bsico contbil. Dos 215 tpicos disponveis no sistema, foram
selecionados 121, referentes disciplina ministrada. O syllabus do curso utilizado nessa
pesquisa consta como apndice do presente trabalho e mostra a distribuio dos contedos e
itens utilizados. Os 121 itens foram distribudos entre Homeworks, Quizzes e Tests, conforme
descrito na Tabela 3. Os itens marcados com asterisco no foram utilizados na pesquisa,
considerando que contedo no estava alinhado ao assunto da disciplina presencial. Cada uma
das turmas contou com 305 itens distribudos entre os 6 contedos.

Tabela 3 - Distribuio dos Tpicos e Contedos

Fonte: Elaborao Prpria

Ainda, no ms de maro de 2014, os estudantes receberam o Termo de Consentimento Livre e

Esclarecido, constante no apndice deste trabalho, onde foram formalmente informados dos
propsitos de esta pesquisa, do carter voluntrio e gratuito, bem como da participao de
cada um, que consistiu em: 1) Utilizar um sistema artificial inteligente no apoio ao
aprendizado, de modo a realizar as tarefas, testes e quizzes propostos dentro do ambiente
virtual, durante o perodo de 01/04/2014 a 30/06/2014 e; 2) Ao final do perodo, participar de
uma pesquisa ou entrevista sobre o ambiente virtual de ensino e sobre a experincia no uso do
 54

sistema. O termo foi apresentado para todos os estudantes e um total de 122 assinaram o
referido termo, onde concordaram em participar da pesquisa e a cumprir as estapas acima
descritas. Dos estudantes que assinaram o termo, 47 eram do perodo diurno, turma T 01 e 75
do perodo noturno, sendo 37 estudantes da turma T 21 e 38 da turma T 22.

3.3.2 Teste piloto

Em janeiro de 2014, foi realizado um teste piloto com cinco estudantes da Universidade de
So Paulo, tanto da graduao quanto da ps, da rea de Contabilidade e contou, ainda, com a
colaborao de um estudante de Ps-graduao em Cincia da Computao. Aos estudantes
do teste piloto foi informado que deveriam realizar o cadastramento no site do ALEKS e foi
dado a eles um cdigo de acesso a uma disciplina. Como a ideia do teste piloto era entender
possveis dificuldades no acesso ao sistema, no foram prestadas maiores informaes sobre o
acesso. Todos os estudantes conseguiram realizar o cadastro inicial no sistema. Em apenas um
caso houve dificuldade em relao plataforma JAVA (Oracle), dificuldade esta que pode ser
resolvida com atualizao do sistema. Aps o cadastro inicial, os estudantes que realizaram o
teste piloto foram conduzidos ao Initial Assessment, como forma de testar as funcionalidades
do sistema. Foi-lhes solicitado o uso contnuo do sistema, a fim de explorar todas as
ferramentas e funes. Houve relatos de problemas de gravao das respostas: quando o
estudante respondia uma pergunta e tentava avanar, o sistema voltava na mesma questo,
como se o estudante no houvesse respondido. Aps investigao e contato com o Sr. Sam
Hussey, descobrimos que esse problema deu-se pelo plugin do JAVA. Em acessos contnuos,
havia o risco da sesso encerrar durante o uso do sistema e as informaes no serem
devidamente enviadas, isso acarretou o erro apresentado. Aps a atualizao do JAVA esse
erro foi corrigido e identificamos que o mesmo no estaria presente durante o uso no ambiente
experimental.

Como resultato do teste piloto, contando com as percepes dos participantes, focamos a
ateno em dois pontos considerados principais para o sucesso do experimento. O primeiro
foi ateno especial aos procedimentos de acesso inicial. Acesso este que se resume em
entrar em um site de internet. Entretanto questes de atualizao e permisso do plugin JAVA
poderiam comprometer o acesso ao sistema. O segundo ponto que se mostrou importante foi a
no obrigatoriedade do Initial Assessment. Mesmo sendo til para mapeamento das
competncias iniciais, a percepo dos participantes do teste piloto desencorajou a
 55

obrigatoriedade desta etapa incial, dado que inciar o uso do sistema com uma prova, no era
nada atrativo. Esse ponto foi acatado e solicitamos ao Sr. Sam Hussey essa possibilidade, a
qual foi parametrizada para os demais cursos do experimento. No havia modo de remover o
Initial Assessment; contudo, foi possvel deixar essa etapa opcional ao estudante. Ao optar
pela no realizao do Assessment Inicial, o sistema entende que o estudante no possui
nenhum conhcimento prvio das habilidades que esto sendo testadas.

3.3.3 O Pr-teste (O1)

Aps a seleo da amostra e diviso dos grupos, experimental e de controle, o delineamento

do experimento utilizado, nesta pesquisa, previa a aplicao de um pr-teste, o qual apontou o
ponto de partida de cada um dos estudantes que compuseram a amostra. Apesar de toda a
populao acessvel ser composta por estudantes ingressantes no curso de graduao em
Cincias Contbeis, encontramos, entre eles, estudantes que estavam em uma segunda
graduao e que j tenham tido algum contato com a disciplina de Contabilidade na
graduao anterior; estudantes com conhecimento prtico em Contabilidade e, como
consequncia, j expostos ao contedo e, com isso, familiarizados com a terminologia da
disciplina.

O Pr-teste foi realizado entre 26 de fevereiro de 2014 e 06 de mao de 2014, no primeiro e

no segundo dia de aula da disciplina, em cada uma das turmas, em um total de 143 estudantes.
Foi conduzido no formato de uma prova, impressa e em lngua portuguesa, cobrindo o
contedo que seria abordado no primeiro ms da disciplina. A prova foi composta por 15
questes, sendo duas de mltipla escolha. O contedo cobrado no pr-teste abrangeu:
terminologia contbil; contabilizao bsicas de eventos econmicos; e, noes da estrutura
das demonstraes contbeis. O contedo da prova foi elaborado em conjunto com os
professores da disciplina, que validaram as questes e o gabarito, direcionando a correo e
composio das notas. Uma cpia da prova utilizada como Pr-teste consta nos apndices do
presente trabalho. Os estudantes receberam o Pr-teste, logo aps a apresentao do curso, da
pesquisa e do sistema ALEKS. Foram reservados 30 minutos, durante a aula, para a realizao
da referida prova. Os alunos foram informados de que essa avaliao no impactaria de
nenhuma maneira nas notas da disciplina presencial, e de que o seu resultado seria mantido
em sigilo e tratado de forma conjunta, por mdias. Da mesma forma, foram orientados a no
responder as questes que no tinham nenhum conhecimento sobre o contedo. Em outras
 56

palavras, solicitamos para eles no chutarem, pois a prova visava captar o estado real de
conhecimento deles e um chute certeiro poderia prejudicar os resultados.

A realizao do Pr-teste foi considerada desnecessria por diversas vezes durante as

discusses e desenho da pesquisa junto aos professores da disciplina. A premissa adotada a
de que os alunos ingressantes, no curso de cincias contbeis, no possuiam nenhum
conhecimento sobre a disciplina. Alguns deles por virem direto do ensino mdio para o
concurso vestibular, outros, mesmo em segunda formao, por terem um conhecimento muito
superficial sobre os assuntos ali abordados. A percepo dos professores, que lecionam nessa
disciplina, h muitos anos, sobre o estado inicial dos alunos a de que eles no possuem
nenhuma base sobre Contabilidade ao ingressarem no curso de graduao em Cincias
Contbeis. Incialmente a realizao do Pr-teste teve como propsito o fornecimento do mapa
mdio de conhecimento de cada grupo, de modo a mostrar o estgio inicial do grupo
experimental e grupo de controle. Entretanto, considerando as mudanas no escopo da
pesquisa, com a possibilidade de licenas para todos os alunos que assinaram o Termo de
Consentimento, exergamos a possibilidade de utilizarmos as turmas de 2014 como grupo
experimental e as turmas de 2013 como grupo de controle. A percepo dos professores em
relao ao conhecimento prvio dos estudantes, alinhada aos resultados obtidos no Pr-teste,
onde as mdias das turmas estavam muito prximas de zero, deu base para entender que esse
desenho seria possvel. Para todos os efeitos e clculos, consideramos o momento inicial (O1)
em 2013 e 2014 como iguais e prximos de zero, de tal forma que a mdia final do estudante
na disciplina, para os anos de 2013 e 2014, representou de forma confivel a evoluo e/ou
ganho do estudante durante o curso.

3.3.4 Acesso ao ALEKS

No incio do ms de abril de 2014, os alunos receberam um comunicado sobre a liberao de

acesso ao sistema ALEKS, informando-os que o sistema totalmente baseado em ambiente
web e poderia ser acessado de qualquer lugar e horrio, bastando apenas que o usurio tivesse
acesso internet. Cada uma das turmas recebeu dois materiais, em arquivo, para acesso. O
primeiro arquivo chamado de Manual de Cadastramento ALEKS, escrito em lingua inglesa,
continha o cdigo de registro para cada turma (Course Code), que garantia o acesso gratuito
ao curso para os alunos da disciplina. Este documento abrangia, ainda, as seguintes
informaes: a) uma breve apresentao do sistema; b) intrues passo-a-passo sobre o
 57

registro inicial no sistema; c) a viso geral do que estaria disponvel aps efetuarem o
cadastramento no sistema; e, d) as informaes para contatar o suporte em caso de dvidas ou
problemas no acesso ao sistema. O segundo arquivo, recebido pelos estudantes, foi o LEIA-
ME, um documento em lingua portuguesa, onde os estudantes receberam uma breve
apresentao da pesquisa desenvolvida e onde foram explorados os dois mais importantes
itens: em um deles, os estudantes foram orientados sobre a existncia do Initial Assessment e
informados sobre a possibilidade de pular essa etapa; no outro, disponibilizamos, com
maiores detalhes, informaes sobre o suporte ao sistema, e-mails de contato, dias e local
onde poderiam solicitar qualquer tipo de informao ou apoio ao sistema. No que se refere
especificamente sobre o mencionado suporte, cabe informar que o mesmo foi conduzido pelos
realizadores da pesquisa, presencialmente ou por e-mail, totalmente prestado em lngua
portuguesa. Duas semanas aps a liberao do material e do acesso ao ALEKS, realizamos
uma visita em cada uma das turmas para demonstrar o processo de cadastramento. A visita foi
motivada pelas queixas de alguns estudantes, aos professores da disciplina, sobre as
dificuldades no acesso para o cadastramento. Durante a apresentao do sistema ALEKS,
explicamos que o mesmo estava disponvel na plataforma Java, da Oracle, e que no momento
da instalao nos sistemas operacioanais da Microsoft e Apple poderia enfrentar algum
problema relacionado verso do plugin e bloqueio ao acesso, por diretivas de segurana.

No decorrer do perodo da pesquisa foram relatados quatro problemas de acesso e dois

problemas no uso do sistema. Aps verificao, ficou constado que todos os problemas
estavam relacionados atualizao da plataforma JAVA e aos nveis de segurana do
computador do estudante, o qual impedia o uso do sistema ALEKS. Trs dos problemas de
acesso e os dois problemas de uso dos sistemas foram solucionados com a atualizao da
plataforma JAVA e alterao dos nveis de segurana do computador. Infelizmente, um dos
estudantes, que relatou problemas de acesso, no teve, no computador de sua residncia, o
problema resolvido. Todos os procedimentos possveis foram realizados, porm o sistema no
funcionou nesse computador. Foi sugerido ao estudante que utilizasse outro computador para
desenvolver as atividades, como forma de no prejudicar o aluno no uso do sistema. Todos os
problemas relatados foram realizados e resolvidos por e-mail ou diretamente com o estudante
na sala de aula, durante a disciplina. Apesar de disponibilizados dias e locais para dvidas e
suporte, no perodo em que foi realizada a pesquisa nenhum aluno procurou para essa
finalidade.
 58

O acesso ao sistema foi garantido aos estudantes para uso individual por todo o perodo da
pesquisa, sendo que eles estavam livres para utilizar em qualquer lugar e horrio, e o uso
deveria ser feito de forma paralela s atividades que estavam realizando na disciplina. No
havia limite mximo para utilizao do software, mas para o bom andamento da pesquisa e
para melhor proveito do sistema, desejamos um perodo mnimo de dedicao e uso do
software de quatro horas semanais. Foi solicitado aos estudantes que no divulgassem os
materiais de acesso ao sistema e tampouco que fornececem o acesso particular para qualquer
outra pessoa, independentemente de ser ou no participante da pesquisa. Essa solicitao foi
realizada devido ao escopo da pesquisa e tambm por conta do compromisso tico e moral
que se firmou na ocasio em que as licenas foram recebidas, de forma gratuita, da ALEKS
Corporation.

Conforme discutido anteriormente, todo o contedo do sistema encontra-se em lngua inglesa

e no h nenhuma traduo dos controles ou do contedo lngua portuguesa. O domnio ou
conhecimento prvio do idioma ingls no foi considerado como pr-requisito para
participao na pesquisa, e os participantes foram informados dessa prerrogativa antes de
aceitarem a participao do projeto. Durante a exposio do sistema, aos estudantes,
entendemos que a diferena do idioma no seria um limitador para uso do software, mas sim
uma motivao e oportunidade para ampliao do conhecimento sobre a disciplina e, como
no poderia ser diferente, do prprio idioma.

Ao ingressar no sistema o estudante teve acesso ao curso de Financial Accounting, conforme

discutido anteriormente, onde foi solicitado que ele iniciasse e explorasse o mximo possvel
das tarefas. O sistema no possui aulas virtuais, contedos pr-gravados ou tpicos tericos
em seu interior, toda a interao do estudante, com o contedo do sistema, foi realizada pela
resoluo das atividades, questes e testes. O frum da disciplina no foi utilizado e a
interao entre instrutores e estudantes foi realizada pelo servio de mensagens do sistema,
onde o instrutor pode enviar mensagens individuais ou para toda a turma e os estudantes
puderam enviar dvidas e/ou questionamentos aos professores. No decorrer da pesquisa,
foram enviadas, via sistema, 27 mensagens, sendo que 9 delas foram originadas das contas
dos estudantes. A Tabela 4 mostra a quantidade de horas em mdia que os estudantes
utilizaram o sistema ALEKS e a Tabela 5 mostra a quantidade de itens que os mesmos
conseguiram de proficicncia com o uso do sistema.
 59

Dos 122 alunos que assinaram o Termo de Consentimento, 82 (67%) realizaram o cadastro e
acessaram o sistema, pelo menos uma vez, na turma T 01 (33), na turma T 21 (13) e na turma
T 22 (36).

Tabela 4 - Tempo de Utilizao do ALEKS

Turma T 01 Turma T 21 Turma T 22

Tempo de acesso (em horas)
n = 33 n = 13 n = 36

Tempo mdio no ALEKS 3,01 4,68 5,67

Desvio padro 5,50 5,62 8,10
Tempo mnimo no ALEKS 0,00 0,10 0,00
Tempo mximo no ALEKS 26,20 18,50 32,20

Fonte: Elaborao prpria

Entre a liberao do acesso e a data da prova final da disciplina, os estudantes tiveram, em

mdia, 10 semanas para usar e realizar as tarefas propostas no ALEKS. Do total dos 82 alunos
que realizaram o cadastro, 38 utilizaram o sistema por menos de uma hora, o que significa que
46% desses estudantes realizaram o cadastro inicial, utilizaram uma das licenas disponveis,
ingressaram na pagina principal do sistema, sairam e no regressaram mais ao ALEKS.

Dos alunos que utilizaram o sistema aps o cadastramento, 33 realizaram o Initial

Assessment: turma T 01 (9); turma T 21 (6) e turma T 22 (18). Apenas um estudante
conseguiu a proficincia em todos os itens do sistema, sendo que ele utilizou o sistema por
18,5 horas durante todo o perodo. A Tabela 6 mostra a mdia da proficincia das turmas
pelos contedos ofertados. O contedo relacionado ao Accounting Cycle foi o que teve a
maior proficincia, onde os resultados podem ter sido alcanados pelo Initial Assessment,
realizado pelos estudantes. Por ocasio do primeiro acesso ao sistema, os estudantes j haviam
cursado, em mdia, 8 das 30 aulas previstas na grade curricular, cobrindo diversos tpicos do
programa, o que garantiu a familiaridade com o cliclo bsico de Contabilidade.
 60

Tabela 5 - Itens concludos no ALEKS

Turma T 01 Turma T 21 Turma T 22

Itens com proficincia no
ALEKS

n = 33 n = 13 n = 36

Quantidade mdia de itens 10 34 18

Desvio padro 16 37 26
Quantidade mnima de itens 0 0 0
Quantidade mxima de itens 61 121 98

Fonte: Elaborao prpria

Tabela 6 - Proficincia por Contedo

Turma T 01 Turma T 21 Turma T 22

Proficincia por Contedos
n = 33 n = 13 n = 36

Accounting Cycle 29% 47% 40%

Merchandising and Inventory 2% 26% 13%
Receivables 9% 16% 13%
Property, Plant, and Equipment 3% 16% 9%
Current Liabilities, P., W. and Disc
0% 13% 6%
Notes
Partnerships 0% 10% 4%
Fonte: Elaborao prpria

3.3.5 O Ps-teste

Como ferramenta de ps-teste, utilizamos a nota final (mdia) atribuda aos estudantes da
disciplina presencial. Essa mdia representa a avaliao dos professores e calculada sobre as
atividades e provas realizadas dentro, ou fora, da sala de aula, em momentos distintos, porm
conduzidas pelos professores da disciplina. Como parte integrante da avaliao, no meio e ao
final do curso, so realizadas, em todas as turmas, provas onde os estudantes devem fazer a
contabilizao de diversos eventos econmicos e encerrar as demonstraes contbeis
 61

relativas quelas transaes. As provas so parte integrante da disciplina presencial, previstas

no programa, devendo ser realizadas, em sala de aula, por todos os estudantes manualmente,
isto , com papel e caneta. Vale a pena comentar que essas provas foram todas realizadas em
lngua portuguesa. A correo e a atribuio de nota foram feitas pelo professor de cada uma
das turmas. O contedo exigido nessas avaliaes foi o ministrado, na disciplina presencial,
acumulado desde o primeiro dia de aula at o dia da realizao do exame, cobrindo todos os
itens do currculo e do programa. Para cada avaliao, houve, como retorno, uma nica nota
sobre a cobertura de todos os itens do programa e no foi possvel obter avaliaes individuais
para cada item, assim como no foi possvel realizar a fatorao das notas entre os itens
componentes da estrutura curricular. Nas provas no foram solicitadas ou feitas quaisquer
referncias, diretas ou indiretas, aos itens ou tpicos do sistema ALEKS, de forma que os
alunos que no participaram da pesquisa no fossem prejudicados nas avaliaes. A nota final
do aluno na disciplina calculada pela mdia ponderada das avaliaes e de outros itens
constante do programa. A pondereao d maior peso para as notas das avaliaes, o que
permite utilizar a mdia final como pontuao para o ps-teste. No foi possvel obter, para
todas as turmas, as notas por avaliao dos estudantes do ano de 2013, utilizados como grupo
de controle; e, por isso, optamos por utilizar apenas a mdia final como elemento de ps-teste.

3.3.6 Pesquisa sobre o uso do ALEKS

Durante o ms de junho de 2014 foram realizadas trs tentativas para conduo de um grupo
focal com os estudantes que utilzaram o sistema ALEKS. Infelizmente nenhum dos estudantes
respondeu ao convite e as sesses no puderam ser realizadas. Como forma de captar a
percepo dos estudantes, sobre o processo de pesquisa ao qual haviam sido expostos e como
forma de buscar respostas a baixa quantidade de participantes em relao ao grande nmero
de interessados, foi realizada uma pesquisa sobre o uso do sistema ALEKS. A Tablea 7
apresenta um panorama geral dos respondentes da pesquisa. Os resultados sero analisados
em conjunto com os resultados do experimento, na seo de anlise dos resultados deste
trabalho. A pesquisa foi conduzida em conjunto com a prova final, em cada uma das turmas,
e a resposta era completamente voluntria, sendo que o aluno poderia entregar a pesquisa sem
repond-la. O formulrio contou com questes demogrficas, porm sem a identificao do
respondente. As questes foram fechadas e o estudante deveria selecionar um valor, em uma
escala, para respond-las.
 62

Tabela 7 Perfil dos respondentes da pesquisa

T 01 T 21 T 22

Nmero de Respondentes 54 48 46
Mdia de Idade 19 23 23
Desvio 2,0 4,5 7,2

Masculino 36 28 31
Gnero
Feminino 18 20 15

Contabilidade 10 21 17
Administrao 11 15 11
Primeira opo Economia 30 10 17
no Vestibular
Aturia 0 0 0
No Prestou 0 0 0
Outros 3 2 1

Fonte: Elaborao prpria

Haviam questes relacionadas aceitao e familiaridade com o uso de tecnologias, questes

sobre o acesso e uso do sistema ALEKS e havia tambm um espao para que os estudantes
dissertassem sobre as percepes pessoais que obtiveram com o uso do sistema, da pesquisa e
dos realizadores. Os resultados da pesquisa sero analisados em conjunto com os resultados
do experimento, na seo de anlise dos resultados deste trabalho.

3.3.7 Coleta dos dados

O sistema ALEKS permite a coleta de diversos tipos de dados de acesso (entrada, tempo de
permanncia, sada) e do uso do sistema (materiais consultados, tests, quizzes e homeworks
respondidos, quantidade de acertos, quantidade de erros). O cadastro do sistema no coleta
dados demogrficos ou acadmicos (gnero, idade, ano de ingresso no curso, formao
anterior, opo no vestibular), os quais foram coletados por intermdio de dois intrumentos, o
Pr-teste e a Pesquisa de uso do sistema.

Os dados relativos s notas dos estudantes, que cursaram a disciplina no ano de 2013, foram
conseguidos junto Secretaria de Graduao do Departamento de Contabilidade e Aturia,
 63

com o aval dos professores ministrantes da disciplina. As notas dos estudantes que cursaram a
disciplina no ano de 2014 foram coletadas diretamente com os professores, logo aps o
encerramento da nota final. Aps a citada coleta, os dados sero tabulados e analisados de
forma estatstica para que se possa inferir sobre os resultados encontrados. As anlises a
serem desenvolvidas dependem dos dados coletados, assim como da distribuio destes em
relao a sua mdia. Os dados coletados foram mantidos sobre total sigilo e somente os
realizadores da pesquisa e os professores da disciplina tiveram acesso a eles. As anlises
foram sempre efetuadas no conjunto e nenhum estudante foi analisado individualmente por
nenhum item da presente pesquisa.

3.4 Ameaas validade do experimento

Em um quase-experimento cientfico, um determinado grupo submetido a algum tipo de

tratamento e se espera algum efeito sobre o mesmo. Porm, cabe ao pesquisador o papel de se
preocupar com dois quesitos importantes para seu experimento, validade e sensibilidade. A
Figura 7 composta por fatores que representam ameaa validade interna de um
experimento e a forma como foram tratados para garantir os resultados. Para Bickman, Rog
and Hedrick (1998) sensibilidade se refere probabilidade de um efeito, se presente, ser
detectado pelo instrumento que estamos utilizando (p. 39). Validade a preocupao em
relao s variveis, no controlveis, que podem influenciar o experimento e
consequentemente a forma como se interpretam os resultados (Campbell, 1957).

A Figura 8 composta por fatores que representam ameaa validade externa de um

experimento e a forma como foram tratados para garantir os resultados do mesmo. A
influncia dessas variveis pode ser interna ou externa pesquisa que est sendo conduzida.
Campbell (1981) afirma que validade interna aquele mnimo bsico sem o qual qualquer
experimento seria ininterpretvel, se o observado ocorreu devido a interveno proposital
(experimento) ou devido a outros fatores no controlveis (p. 9). Validade externa est
relacionada capacidade de generalizao dos resultados do experimento para o mundo real
(Anderson & Bushman, 1997), trata-se da capacidade de predizer se os resultados
encontrados, em uma determinada amostra, so significantes para uma populao alvo.
 64

Figura 7 - Ameaas Validade Interna

VALIDADE INTERNA
Ameaa O que ? Medida de controle

Histria Outros fatores que ocorram com Utilizao de um grupo de

os participantes entre o pr-teste controle. Possveis ameas sero
e o ps-teste podem explicar a tratadas como limitaes deste
alterao. trabalho
Maturao Efeito observado com o passar Utilizao de um grupo de
do tempo e no pela interveno controle. Possveis ameas sero
utilizada. tratadas como limitaes deste
trabalho
Testando Pr-teste igual ao Ps-teste, onde Utilizao de um grupo de
o indivduo aprende a realizar o controle
teste.
Instrumentao Falta de consistncia nos Pr-teste corrigido pelo
intrumentos de medio. pesquisador e Ps-teste corrigido
pelos professores da disciplina
Regresso estatstica Realizao da escolha de Todos os estudantes foram
participantes que tenham se convidados a participarem da
destacado. pesquisa e no houve nenhuma
seleo entre eles.
Seleo diferencial Utilizao de grupos especficos, Todos os estudantes foram
pr-formados. convidados a pariciparem da
pesquisa, no houve nenhuma
seleo entre eles.
Mortalidade experimental Desistncia considervel em No houve dissitncias durante a
cada um dos grupos. conduo do experimento

Interao seleo-maturao Interao entre os grupos Foram testadas as faixas etrias e

experimentais e de controle. no foram encontradas diferenas
significativas
Difuso do tratamento Interao entre os grupos Controle e experimento estavam
experimental experimentais e de controle. em anos distintos

Rivalidade compensatria pelo Interao entre os grupos Controle e experimento estavam

grupo de controle experimentais e de controle. em anos distintos

Equalizao compensatria Interveno poderia prejudicar o O sistema no foi utilizado em

dos tratamentos tempo disponvel no grupo sala da aula
experimental
Desmoralizao ressentida do Interao entre os grupos Controle e experimento estavam
grupo de controle experimentais e de controle. em anos distintos

Fonte: Adaptado de Gall, Borg e Gall (2007, p. 382)

 65

Figura 8 - Ameaas Validade Externa

VALIDADE EXTERNA - DA POPULAO

Ameaa O que ? Medida de controle

Extenso da generalizao
da amostra para a
populao alvo
Extenso que as variveis
amostrais interagem com
efeitos do tratamento
VALIDADE EXTERNA - ECOLGICAS OU AMBIENTAIS
Descrio explicita do
tratamento experimental
Interferncia de
tratamentos mltiplos
Risco das mdias das amostras
ser diferente das mdias da
populao alvo.
Caractersticas prprias da
amostra podem interferir no
resultado.
Procedimentos experimentais
no descritos de forma que se
possa replicar o experimento.
Mesmo sujeito recebe diversos
tratamentos.
Amostra ter um comportamento
prximo populao alvo. Possveis
ameas sero tratadas como limitaes
deste trabalho.
Amostra compatvel a populao alvo.
Possveis ameas sero tratadas como
limitaes deste trabalho.
O protocolo utilizado foi explicitado
em todos os detalhes possveis.
Apenas um tratamento foi realizado.

Efeito Hawthorne Outras variveis explicando os Controle e experimento estavam em

resultados. Efeito placebo. anos distintos

Efeito de novidade e Interveno surtir efeito por ser Trabalho no original, estudantes
rompimento pioneiro no ramo. responderam com pouco entusiasmo.

Efeito experimentador Efeitos realizarem-se por conta Pesquisador procurou no interferir na

Sensibilizao do pr-teste
Sensibilizao do ps-teste
Interao de histria e
efeitos do tratamento
Mensurao de variveis
dependentes
Interao do tempo de
mensurao e efeitos do
tratamento
Fonte: Adaptado de Gall, Borg e Gall (2007, p. 382)
da amostra ou do pesquisador. pesquisa. Notas finais foram dadas
pelos professores.
Quanto o pr-teste pode Apesar de haver um pr-teste, o
influenciar no tratamento e nos mesmo no moldou a atitude dos
resultados. estudantes frente disciplina ou ao
uso do sistema.
Quanto o ps-teste pode O contedo era obrigatrio para a
influenciar no tratamento e nos disciplina, mas o uso do sistema no.
resultados O pr-teste tenha influenciado o
experimento.
Efeitos serem positivos por Apenas um trabalho foi publicado
influncias externas. utilizando o sistema ALEKS para
Tratamento sendo muito ensino de Contabilidade. Considera-se
discutido e efeitos positivos esse risco baixo.
constantemente encontrados.
Diferentes formas de aplicar um O Pr-teste e o Ps-teste foram
teste, gerando diferentes dados aplicadados em portugus e em papel
em formas distintas. de forma igual para todos os
estudantes.
Risco de perder o efeito devido Ps-teste aplicado logo no final do
demora em coletar os dados experimento.
do ps-teste.
 66

O desenho experimental utilizado, nesta pesquisa, levou em considerao as ameaas e

buscou mitigar seus impactos sobre os indivduos ou sobre o ambiente experimental.
Entretanto, diversas variveis, potencialmente ameaadoras realizao da pesquisa, so
externas e no podem ser controladas, as quais foram consideradas como limitaes ao
presente trabalho.
 67

4 RESULTADOS

Durante a conduo do experimento, dados foram coletados e agrupados para que se

pudessem testar estatisticamente as hipteses levantadas nesta pesquisa. O desenho incial do
experimento previa a realizao da pesquisa apenas entre os estudantes de 2014, com um
grupo experimental de 40 indivduos. Entretanto, a ampla aceitao da pesquisa e a
disponibilizao de 148 licenas de uso do sistema aumentou a expectativa quanto ao nmero
de estudantes no grupo experimental, optando-se pelo uso dos estudantes do ano de 2013
como grupo de controle. Posteriormente, o uso discreto do sistema, tanto em quantidade
quanto em qualidade, fez com que o desenho original de pesquisa fosse resgatado, utilizando
o grupo experimental e de controle com estudantes de 2014. Dessa forma, os dados de 2013
foram utilizados apenas para dois propsitos: a) testar a normalidade das notas dos estudantes
e; b) testar as mdias das notas dos estudantes nos anos de 2013 e 2014, a fim de enteder se
existia alguma diferena significativa que pudesse influenciar no resultado do experimento,
como efeito de regresso estatstica, destacado no item de ameas validade do experimento.

Para os estudantes de 2013, foram utilizadas listas, retiradas do sistema da Universidade de

So Paulo, as quais foram disponibilizadas pela secretaria de graduao do Departamento de
Contabilidade e Aturia, contendo os nomes, as notas finais, as frequencias e as aprovaes e
reprovaes dos estudantes. Para os indivduos dessa amostra no foram coletados dados
adicionais ou demogrficos. A amostra foi utilizada em sua totalidade, no tendo sofrido
nenhum ajuste ou corte. Em relao aos estudantes de 2014, os dados foram disponibilizados
pelos professores da disciplina, logo aps correo da prova final. Os professores
disponibilizaram planilhas contendo as notas da primeira e segunda prova, notas das
atividades e exerccios, notas da utilizao do sistema ALEKS, e, por ltimo, a composio da
nota final (mdia) dos estudantes.

A planilha contava, ainda, com a frequncia dos estudantes na disciplina presencial. Para a
presente pesquisa, consideramos como corte 70% da frequncia nas aulas presenciais, sendo
que os estudantes com frequncia menor que esse valor foram removidos da amostra,
independente de terem sido aprovados ou reprovados no curso. A assiduidade nas aulas um
fator preponderante para o desempenho do estudante no curso e, para essa pesquisa, adotamos
tal fator como linha de corte. A nota de utilizao do sistema ALEKS foi calculada, em uma
escala de zero a dez pontos, e composta pelos seguintes elementos: a) cadastramento (0,5
 68

pontos), atribudo aos estudantes que realizaram o cadastro corretamente no sistema; b) tempo
de utilizao do ALEKS (at 4,5 pontos), nota atribuida em funo da quantidade de horas
que o estudante permaneceu logado no sistema, com nota mxima alcanada pelos alunos que
permaneceram pelo menos 20 horas no ambiente e; c) quantidade de itens concludos (at 5,0
pontos), calculada sobre a quantidade de itens que o estudante mostrou proficincia em
relao aos 121 itens cadastrados no sistema. Do total de 82 estudantes, que utilizaram o
sistema, onze tiveram as notas invalidadas para o experimento, devido aos problemas no uso
do sistema. Para esses estudantes, foi-lhes atribuda nota zero no uso do sistema e eles foram
mantidos como participantes do experimento. A Tabela 8 mostra a distribuio dos alunos de
2013 e 2014. A Figura 9 mostra a distribuio das notas dos estudantes de 2014 em funo de
4 itens: uso do sistema ALEKS; Primeira prova, Prova Final e Nota final atribuda ao
estudante.

Tabela 8 - Distribuio dos Estudantes

Turma T 01 Turma T 21 Turma T 22 TOTAIS

N 54 54 44 152 100%
Nota Final 7,03 6,58 7,30 - -
2014 Desvio 1,36 1,98 1,37 - -
n a_Aleks 32 11 28 71 47%
n a_Aleks' 8 3 5 16 11%

N 50 56 55 161 100%
2013 Nota Final 6,34 5,53 6,39 - -
Desvio 2,63 2,72 2,28 - -

Fonte: Elaborao prpria

A quantidade de estudantes no ano de 2013 superior a quantidade de estudantes em 2014.

Este fato pode ser explicado pelo corte estabelecido na frequncia dos estudantes de 2014, no
realizado em 2013. As notas finais de 2013 so, em mdia, 0,89 pontos menores que as notas
de 2014 e o desvio padro menor, em mdia, 0,97 pontos no ano de 2014.
 69

Figura 9 - Distribuio das notas por atividade

5,01 a 10
Turma 01

0a5
Turma 21

5,01 a 10

0a5
Turma 22

5,01 a 10

0a5

0 20 40 60 80 100 120 140 160 180

ALEKS Prova 1 Prova 2 NOTA FINAL

Fonte: Elaborao prpria

As Figuras 10 e 11 mostram a distribuio das notas dos estudantes na disciplina e a

distribuio das notas de acesso ao sistema ALEKS. A curva demonstra que a utilizao do
sistema de maneira satisfatria (nota acima de 5,0 para o uso do ALEKS) foi baixa para os
estudantes em geral. A varivel Nota Final, utilizada nesta pesquisa, representa a nota final
atribuda pelo professor da disciplina sem a nota do uso do sistema ALEKS. Neste sentido,
todas as atividades desempenhadas pelos alunos na disciplina, tais como provas, exerccios,
resoluo de casos e outras atividades, esto computadas, exceto o uso do sistema ALEKS, o
qual representou um bnus nota do estudante. A seguir sero apresentados os resultados dos
testes e anlises conduzidos a partir dos dados coletados, os quais foram realizados com apoio
do software SPSS verso 21, produzido pela IBM. Todos os clculos foram relizados com
nvel de significncia = 0,05.

Depois de agrupados e organizados, os dados foram testados para verificao da normalidade

da varivel dependente (Nota Final), por meio dos testes de Kolmogorov-Smirnov e Shapiro-
Wilk. Inicialmente os testes foram realizados para todas as notas, em um nico conjunto.
 70

Posteriormente foi realizada uma segmentao por ano e por turma, para a realizao dos
testes. A Tabela 9 mostra os resultados dos testes para as amostras.

Tabela 9 - Normalidade dos Dados

Shapiro-Wilk
Statistic Df Sig. Statistic Df Sig.
NOTA FINAL 0,085 313 0,000 0,938 313 0,000
2013 0,106 161 0,000 0,944 161 0,000
ANO
2014 0,064 152 0,200* 0,965 152 0,001
1 0,087 104 0,051 0,965 104 0,007
TURMA 21 0,127 110 0,000 0,917 110 0,000
22 0,099 99 0,019 0,890 99 0,000
*. This is a lower bound of the true significance.
a. Lilliefors Significance Correction
Fonte: Elaborao prpria

Para as amostras e composio testadas o resultado foi sempre a rejeio da normalidade dos
dados, exceto para o ano de 2014, no teste de Kolmogorov-Smirnov, porm com uma
advertncia sobre o seu clculo. Com base nos resultados acima, assumios a premissa de que
os dados so no paramtricos e a anlise deveria ser conduzida com um teste tambm no
paramtrico. Pagano (2001, p. 472) mostra um fluxograma de deciso para a escolha do
melhor teste de inferncia a ser realizado para uma determinada amostra. Seguindo esta
rvore de deciso e respeitando as caractersticas dos dados coletados, o teste U de Mann-
Whitney foi escolhido para o teste das hipteses formuladas. Sobre o teste U, Mann-Whitney
Pagano (2001) afirma que is a powerful nonparametric test used in place of the t test for
indepedent groups when there is na extreme violation of the normality assumption or when
the data are not of appropriate scaling for the t test (p. 436). Para o conjunto de testes abaixo,
apenas os dados dos estudantes do ano de 2014 foram considerados.

A primeira anlise realizada buscou-se verificar a relao entre as notas dos estudantes que
utilizaram o ALEKS e os estudantes que no o utilizaram. Dente os estudantes que utilizaram
o sistema, dois grupos foram formados: a) grupo ds estudantes que fizeram algum uso do
sistema, porm no de forma satisfatria (atingindo nota igual ou superior a 5,0 pelo suso do
sistema) e; b) grupo dos estudantes que utilizaram o sistema de forma satisfatria. A Tabela
10 mostra a distribuio desses estudantes. No total foram analisadas as notas de 168
 71

estudantes, sendo que destes 81 alunos (48%) no utilizaram o sistema ALEKS como apoio
ao aprendizado. Apenas 16 (10%) estudantes conseguiram pontuao superior a 5,0 no uso do
sistema ALEKS, considerado um bom uso do sistema. Destes 10 (63%) eram do gnero
masculino e 6 (37%) do gnero feminino. Em todas as turmas, as mdias dos estudantes que
utilizaram o sistema ALEKS foi maior que a mdia dos estudantes que no realizaram
nenhum uso do sistema. Os estudantes que utilizaram o sistema ALEKS de forma satisfatria
tiveram mdias ainda maiores que os estudantes que fizeram algum uso do sistema.

Tabela 10 - Distribuio dos Estudantes 2014

Utilizou o ALEKS Utilizou bem o ALEKS No utilizou ALEKS

T 01 T 21 T 22 T 01 T 21 T 22 T 01 T 21 T 22

N 32 11 28 8 3 5 22 43 16

Mdia Notas Finais 7,18 8,33 7,76 7,47 8,53 7,79 6,82 6,13 6,51

Desvio 1,33 0,73 1,07 1,62 0,28 1,04 1,38 1,95 1,48

Fonte: Elaborao prpria

A segunda comparao foi realizada utilizando os estudantes que no fizeram nenhum acesso
ao sistema como grupo de controle, em relao a dois grupos experimentais: estudantes que
fizeram algum uso do sistema e estudantes que fizerm uso satisfatrio do sistema.ALEKS. A
Tabela 11 evidencia os resultados dessas anlises.

Tabela 11 - Resultado das Anlises de 2014 com e sem o ALEKS

Utilizou o ALEKS Utilizou bem o ALEKS

T 01 T 21 T 22 T 01 T 21 T 22
Mann-Whitney U 304,000 75,000 123,000 143,500 3,000 75,000
Wilcoxon W 557,000 1021,000 259,000 1224,500 1381,000 855,000
Z -,846 -3,469 -2,464 -,987 -2,244 -,832
p-value (2-tailed) ,398 ,001 ,014 ,324 ,025 ,405

Fonte: Elaborao prpria

 72

Figura 10 - Distribuio das Notas da Disciplina vs. Nota do Sistema ALEKS

Nota Final Usou o Aleks

70

60

50

40

30

20

10

0
0,1 - 5 5,1 A 6,9 7 ,0 A 8,9 9,0 A 10,0

Fonte: Elaborao prpria

Figura 11 - Distribuio dos estudantes e notas

80 16

70 14

60 12

50 10

40 8

30 6

20 4

10 2

0 0
0 a 4,9 5,0 a 6,9 7,0 a 8,9 9,0 a 10,0

No usaram o ALEKS Usaram o Aleks Usaram bem o ALEKS

Fonte: Elaborao prpria

 73

Em relao aos estudantes que realizaram algum acesso ao sistema (Utilizou o ALEKS),
encontramos uma diferena significativa entre as notas finais para os estudantes do perodo
noturno, na Turma 21 (p-value = 0,001) e para a Turma 22 (p-value = 0,014). No foi
encontrado efeito no uso do sistema na Turma 01. Com base nos valores encontrados foi
calculado o Effect size, utilizamos a formula de d de Cohen, para cada um dos experimentos
realizados, encontrando os valores de ES = 0,27 para Turma 01, ES = 1,64 para a Turma 21 e
ES = 0,98 para a Turma 22. Considerando os estudantes que utilizaram de foma satisfatria o
sistema (Utilizou bem o ALEKS), obtendo nota igual ou superior a cinco, foi encontrado efeito
siginficativo apenas na Turma 21 (p-value = 0,025). Para as demais turmas, no houve
influncia significativa para aqueles estudantes que utilizaram, de forma mais ampla, o
sistema. O Effect size, calculado para esse experimento, foi ES = 0,43 para a Turma 01, ES =
2,15 para a Turma 21 e ES = 1,02 para a Turma 22. Por fim, foram efetuados testes,
considerando apenas os estudantes que utilizaram o sistema ALEKS, a para verificar se o
maior uso implicaria em melhor desempenho na nota final da disciplina. No foi constatada
influncia em nenhuma das turmas nesse quesito. O resultado no foi significativo quando os
dados das trs turmas foram analisados em cojunto (p-value = 0,321) e, mesmo na anlise das
turmas de forma individualizada, tambm no se obtive influncia significativa. Os seguintes
valores foram encontrados para as anlises: Tuma 01 (p-value = 0,480), Turma 21 (p-value =
0,145) e Turma 22 (p-value = 0,816).

Com base nos dados e valores encontrados acima, apresentamos os resultados para cada uma
das hipteses formuladas no incio deste trabalho. As hipteses foram escritas no formato de
hipteses alternativas e os testes realizados buscavam suporte para manter as hipteses. Os
resultados encontrados e a resposta s hipteses desta pesquisa so:

H1: O uso do sistema de apoio ao aprendizado ALEKS durante o semestre Hiptese

impactar favoravelmente no desempenho dos estudantes na disciplina Rejeitada
presencial da Turma 01 do perodo diurno.

Os dados no permitem manter a hiptese H1. Quando analisados com todos os estudantes
que acessaram o sistema ou quando analisado apenas com os estudantes que tiveram uso
satisfatrio do sistema ALEKS (nota igual ou superior a cinco neste item), os resultados
mostram que no houve influncia significativa do uso do sistema no desempenho dos
estudantes na disciplina presencial.
 74

H2: O uso do sistema de apoio ao aprendizado ALEKS durante o semestre Hiptese

impactar favoravelmente no desempenho dos estudantes na disciplina Mantida
presencial da Turma 21 do perodo noturno.

Os dados permitem manter a hiptese H2. Quando analisados o total dos estudantes que
acessaram o sistema ou quando analisados apenas com os estudantes que tiveram uso
satisfatrio do sistema ALEKS (nota igual ou superior a cinco neste item), os resultados
mostram que houve influncia significativa do uso do sistema no desempenho dosestudantes
na disciplina presencial.

H3: O uso do sistema de apoio ao aprendizado ALEKS durante o semestre Hiptese

impactar favoravelmente no desempenho dos estudantes na disciplina Rejeitada
presencial da Turma 22 do perodo noturno.

Os dados no permitem manter a hiptese H3. Quando analisados o total dos estudantes que
acessaram o sistema, foi detectada influncia positva do uso do sistema no desempenho na
disciplina (p-value = 0,14); entretanto, quando a anlise deu-se com os estudantes que
obtiveram nota igual ou superior a cinco no uso do sitema, os resultados mostraram que no
houve influncia significativa, algo que no era esperado aps o primeiro achado. O nmero
de estudantes que fizeram acesso satisfatrio ao sistema foi um limitador para a essa anlise,
fato que nos conduz rejeio da hiptese.

H4: Estudantes que completarem mais atividades dentro do sistema ALEKS Hiptese
tero melhor desempenho na disciplina presencial, em relao aos Rejeitada
estudantes que realizarem menor nmero de atividades no sistema.

Os dados no permitem manter a hiptese H4. O resultado das anlises, em conjunto ou de

forma individualizada, mostra que no h relao significativa entre a quantidade de
atividades que o estudante realizou no sistema e o desempenho do mesmo na disciplina
presencial. O nmero de estudantes que completaram uma quantidade satisfatria de
atividades no sistema foi um limitador para a essa anlise.
 75

4.1 Anlise dos resultados

De modo geral, os resultados encontrados no permitem manter as hipteses testadas, o que

sugere pouco ou nenhum efeito do sistema ALEKS sobre o desempenho na disciplina. O
calculo do Effect size, em alguns itens, indica resultado diferente; entretanto, para o presente
experimento, esses valores no devem ser utilizados como parmetros de anlise, pois duas
importantes premissas do uso desse indicador no foram atendidas, a normalidade da
distribuio da varivel dependente e desvio padro igual entre os grupos experimental e de
controle (Lipsey, 1998). Como consequncia, esses valores no sero considerados nas
anlises dos resultados deste experimento. Sobre os resultados, alguns itens importantes
devem ser pontuados para o entendimento dos achados na pesquisa. O primeiro item a
destacar foi a baixa adeso dos estudantes ao sistema. Dos 122 estudantes que assinaram o
Termo de Consentimento, 71 (59%) fizeram algum acesso, e apenas 16 (13%) conseguiram
nota igual ou superior a cinco pela utilizao do ALEKS (uso satisfatrio), mostrando que,
alm de uma baixa adeso ao sistema, os estudantes que o acessaram fizeram um uso pequeno
ou limitado da ferramenta.

A Pesquisa de adequeo e uso do sistema ALEKS, realizada ao final do experimento, buscou

captar itens que pudessem explicar esses fatos. A tabulao dos formulrios mostrou que 51
estudantes (34% dos respondentes) entendem que o idioma foi uma importante barreira para o
uso do sistema, fator que pode explicar, ainda que parcialmente, a baixa adeso ao sistema. Os
estudantes foram informados de que o sistema ALEKS estava disponvel apenas no idioma
ingls e que no havia nenhuma traduo ou dicionrio para os termos utilizados e
imaginamos que isso poderia representar uma oportunidade para aprendizado do idioma
ingls. Entretanto, no formulrio de pesquisa, alguns estudantes relataram o idioma como
impeditivo para o acesso e, tambm, como fator que desmotivou o maior uso do sistema.
Diversos relatos, feitos por estudantes, elencando o problema do idioma como fator
impeditivo de acesso ao sistema, como foi o caso do estudante E01 que destaca tive alguma
dificuldade com o idioma ingls no curso, ou do estudante E02 que afirma que o idioma foi
a principal barreira ao software. O estudante E03 afirma que no comeo eu tive interesse
em utilizar o ALEKS, principalmente para eu treinar a matria, que eu tenho muita
dificuldade, mas o idioma foi uma barreira muito grande, j o estudante E07 relata:
 76

O sistema , realmente, muito til e bem feito, porm, para realizar as tarefas, precisei de um
tradutor aberto durante todas as atividades. Caso o sistema fosse traduzido, eu, com certeza,
utilizaria-o com muito prazer em qualquer que fosse a disciplina.

Essas afirmaes demonstram que para alguns estudantes o idioma foi barreira de acesso ao
sistema e para outros o idioma uma grande barreira na utilizao e continuidade das
atividades. Alguns estudantes no consideraram o idioma como barrerira para acesso e uso,
porm destacaram dificuldades relacionadas terminologia dos termos contbeis em ingls. A
disciplina presencial foi conduzida com materiais e textos totalmente em lngua portuguesa e
os termos prprios da rea foram tratados apenas neste idioma. Alguns estudantes relataram
dificuldades nesse ponto. O estudante E04 relata apesar de ser importante saber ingls,
alguns termos mais tcnicos eram difcies de entender. O estudante E03 afirma era muito
exaustivo recorrer ao tradutor em todos os momentos.

Entendemos que esse fator foi o grande responsvel pela pouca utilizao dos recursos do
sistema, o que ajuda a explicar a baixa quantidade de horas que os estudantes permaneceram
no ambiente virtual e a pouca quantidade de tarefas respondidas. Um maior alinhamento da
disciplina presencial com a terminologia contbil em outros idiomas, principalmente com
relao lngua inglesa, pode auxiliar os estudantes, no apenas no uso do sistema ALEKS,
como apoio disciplina, mas tambm pode auxiliar aos estudantes no acesso a materiais e
artigos em outros idiomas, de outras culturas, o que tende a ser importante para a preparao
dos estudantes para um ambiente de trabalho altamente globalizado, principalmente quando se
tem em conta o idioma ingls como sendo a linguagem dos negcios. Sobre esse tpico, o
estudante E05 afirma que poderia haver antes um pouco mais de informao sobre as
diferenas entre as prticas americanas e brasileiras.

Apesar de importate aspecto limitador do uso do sistema, no podemos considerar que o

idioma foi o nico responsvel pela baixa utilizao. O experimento contou com um intervalo
de 10 semanas, em mdia, para a utilizao e realizao das tarefas. Conforme informando
anteriormente, era desejada a dedicao de quatro horas semanais, extraclasse, para a
realizao de atividades do ALKES e espervamos que os alunos tivessem uma mdia de 20
horas de utilizao para o referido perodo. Faz-se necessrio comentar que esse dado, em
momento algum, foi informado aos estudantes, pois a ideia central era deix-los livres para o
uso. Os resultados mostraram uma mdia de 26 minutos de acesso semanal e de 4,5 horas de
 77

acesso total ao sistema, durante todo o perodo do experimento. Mesmo quando comparados
os dados apenas dos estudantes que tiveram um acesos satisfatrio (obtiveram nota igual ou
superior a cinco, no uso do sistema), a mdia de utlizao do mesmo ficou abaixo do esperado
(16,5 horas). Do total dos estudantes que realizaram o primeiro acesso ao sistema, 38 (54%)
utlizou por menos de uma hora, e destes, 90% no realizou nenhum outro acesso ao sistema
durante todo o perodo da pesquisa. Sobre esse aspecto, alguns estudantes relataram falta de
tempo disponvel para dedicao aos estudos. Dois teros dos estudantes de Cincias
Contbeis estudam no perodo noturno, onde esperada uma disponibilidade menor de tempo
para realizao de atividades extraclasse. No entanto, foi observada uma maior mdia de
acesso nos estudantes desse perodo, acima de 5 horas. A questo de tempo, para o acesso,
tambm foi identificada pelos alunos do perodo diurno; entretanto, com uma conotao
diferente, alguns estudantes destacam que no se dedicaram mais ao uso do sistema devido a
grande carga de contedos do semestre, em especial, a quantidade de tarefas exigidas pela
prpria disciplina de Contabilidade Introdutria. Outros estudantes entendem que o tempo
para o uso do sistema foi curto, e a demora na liberao pode ter impactado na motivao e no
uso. Sobre esse ponto podemos destacar o estudante E06 que afirma:

acredito que o tempo proposto para o uso do sistema ALEKS deveria ser maior, e se deveria
contar com este recurso o antes possvel no comeo do semestre, para que o aluno possa
fazer mais uso dele no inicio do curso, quando a matria mais simples e o aluno dispe de
mais tempo para se familializar [sic] com o sistema de apoio ALEKS.

O estudante E08 relata que:

O sistema foi timo para reforar a matria de contabilidade. No entanto, o tempo proposto
para uso foi muito pequeno diante do fato que demorou para ser [sic] disponibilizados as
senhas e o termino no foi avisado antecipadamente, paraque pudesse concluir com maior
comodidade.

O estudante E09 comentou a liberao tardia do acesso ao sistema atrapalhou no

desempenho, descordenou com a matria da disciplina. O uso do sistema no foi pr-
requisito para o andamento da disciplina, porm os estudantes que utilizaram o sistema
receberam uma bonificao de 1 ponto no perodo diurno e de 2 pontos no perodo noturno,
mas esse bnus s foi computado aos estudantes que alcanaram nota final superior a cinco na
 78

disciplina em questo, sem a nota de utilizao do ALEKS. Em resumo, o acrscimo s seria

vlido aps alcanarem a nota mnima necessria para aprovao. Ao mesmo tempo, os
estudantes tiveram, em mdia, vinte atividades para o cmputo de nota nas disciplinas, tais
como exerccios, resoluo de casos, provinhas e outros, alm das provas intermediria e
final, o que significa que, a cada semana, os estudantes poderiam utilizar o sistema de forma
complementar o estudo, mas sempre teriam a concorrncia de, pelo menos, uma atividade
obrigatria para a nota. Alguns estudantes relataram esse ponto em suas consideraes, como
foi o caso do estudante E09 que afirma o contedo do sistema muito bom, pormem muita
quantidade, sobrecarregando o tempo de estudo de usa s disciplina.

Entendemos que a bonificao pelo uso do sistema foi importante para que os estudantes
obtivessem algum retorno direto pelo tempo que se dispuseram a participar da presente
pesquisa. A quantidade de pontos para cada turma foi adequada. Os resultados da pesquisa
sobre o usos do sistema mostram que 92 estudantes (62% dos respondentes) entendem que o
incentivo para uso do sistema foi adequado, o que corrobora nossa expectativa. Entretanto
vale destacar o comentrio do estudante E10 que afirma embora o (pequeno) incentivo de
nota, o sistema foi percebido como algo acessrio, prescindvel. A concorrncia por tempo
algo que certamente afeta a vida do estudante e nesse quesito a introduo de uma atividade
adicional, ainda que bonificada, pode ter desmotivado o estudante ao acesso e uso do sistema
ALEKS. Uma maior aproximao da disciplina com o uso da ferramenta, com a diminuio
das atividades ou com a substituio de algumas pelo uso do sistema, poderia impactar
favoravelmente no uso do sistema. Esse entendimento foi relatado por alguns estudantes no
relato que fizeram sobre o experimento, como nos casos dos estudantes E10 que considerou
a proposta interessante, e h grande potencial de contribuir para a aprendizagem da
Contabilidade. No entanto, penso que seria necessrio integrar mais a plataforma ao
andamento do curso para gerar adeso dos estudantes e do estudante E11 que indica
integrar o ALEKS aos exerccios propostos pelo professor, pois para mim, ficaria muito
difcil conciliar os exerccios dados pelo professor e os exerccios do ALEKS, por esse motivo
no acessei.

Conforme dito anteriormente, os resultados dos testes mostraram que das quatro hipteses
levantadas, apenas uma pode ser mantida, a hiptese H2, indicando que o sistema ALEKS
produziu efeito positivo apenas para os alunos da Turma 21. Entretanto, devemos ter alguns
cuidados em relao a esse resultado. Apesar de a Turma 21 possuir vinte e um estudantes
 79

(38%), que optaram pelo curso de Cincias Contbeis como primeira opo do vestibular, foi
a turma com o menor nmero de estudantes que acessaram e utilizaram o sistema ALEKS,
pois, dos 13 estudantes, apenas onze puderam ser considerados como participantes da
pesquisa. Esse nmero corresponde a metade dos que optaram pelo curso de Cincias
Contbeis como primeira opo no vestibular. Quando se considera apenas os estudantes que
receberam nota cinco ou mais no uso do sistema ALEKS, a Turma 21 conta com apenas trs
participantes para a presente pesquisa, entretanto, entre eles, encontra-se o nico estudante
que adquiriu proficincia nos 121 tpicos do sistema. A proposta do presente estudo foi
apresentada de igual forma nas trs turmas: as atividades, as visitas, o suporte, enfim, tudo
realizado da mesma maneira. A nica diferena foi em relao liberao do material de
acesso ao sistema, que na Turma 21 ocorreu com atraso de 14 dias com relao s demais
turmas. Compreendemos que essa demora pode ter, em alguma medida, desmotivado os
estudantes para acessar ao sistema. O nmero reduzido de participanes nesta turma certamente
prejudica os resultados. Alm desse fato, devemos levar em considerao que dos onze
estudantes que acessaram o sistema, nove deles esto entre os dez melhores estudantes da
turma, e que os trs estudantes que obtiveram nota igual ou supeiror a cinco, no uso do
sistema ALEKS, esto entre os cinco melhores estudantes daquela classe.

A hiptese H1 refere-se aos estudantes do perodo diurno, Turma 01. Essa turma contou com
menor bonificao pelo uso do sistema, entretanto contou com maior tempo para acesso e uso
das ferramentas. A Turma 01 contou com os estudantes de menor mdia de idade (19 anos) e
tambm menor desvio de padro 1,9 anos. Do total de 54 estudantes, 30 (55%) indicaram o
curso de Economia como primeira opo do concurso vestibular e apenas 10 (19%) estavam
no curso em que realmente escolheram como primeira opo. Nessa turma, 47 estudantes
assinaram o Termo de consentimento e 20 estudantes efetuaram o cadastro na primeira
semana de disponibilizao do sistema. Aps a segunda semana da pesquisa, apenas cinco
estudantes deram sequncia e acessaram ao sistema. A interferncia deveria ser a menor
possvel para no comprometer o resultado do experimento e por esse motivo no se fez
nenhuma interveno especfica para esta turma. Porm, tivemos conhecimento de que o
professor da disciplina incentivou o uso por parte dos estudantes. Certamente os resultados do
experimento foram comprometidos pela baixa utilizao do sistema, pois 24 (73%) dos
estudantes participantes da pesquisa utilizaram o sistema por menos de 2 horas, considerando
uso total e para esse nvel de acesso, realmente no seria esperado nenhum efeito sobre a
disciplina presencial.
 80

Os resultados obtidos na Turma 22 sugerem que a hiptese H3 pode ser mantida quando se
considera todos os estudantes que utilizaram o sistema no grupo experimental, indicando um
efeito positivo do uso do sistema na disciplina. A Turma 22 teve o maior nmero de
estudantes cadastrados no sistema (36 indivduos), assim como o estudante que teve maior
tempo de uso do ALEKS (32, 2 horas). Entre os 5 estudantes, que mais utilizaram o sistema
na Turma 22, a mdia de acesso foi supeiror a 20 horas e a quantidade de itens completados
foi superior a 75 itens. Entretanto, quando se leva em considerao apenas os estudantes que
obtiveram nota igual ou superior a cinco, pelo uso do sistema, no se tem elementos suficiente
para manter a hiptese H3. Apesar de esperado um efeito positivo nesse experimento, o
mesmo no se realizou. A mdia dos cinco estudantes que mais utilizaram o sistema ALEKS
foi de 7,79 contra uma mdia de 7,30 observada no grupo de controle. Novamente
entendemos que o nmero pequeno de indivduos na amostra prejudicou a composio dos
resultados e, consequentemente, afeta a manuteno da hiptese H3. Devido quantidade
pequena de participantes, o que gera resultados ainda mais frgeis, decidimos por rejeitar a
hiptese, mesmo tendo encontrado efeito positivo em uma das anlises.

A hiptese H4 buscou verificar a relao entre a qualidade do uso do sistema ALEKS e o

desempenho na disciplina presencial. A esperana era a de que quanto mais os estudantes
utilizassem o sistema, considerando tempo e a quantidade de tarefas realizadas, melhor seria o
desempenho do estudante na disciplina presencial. Esse fator pode ser intuitivo, dado que os
estudantes que tem maior carga de estudo tendem a ter maiores notas na disciplina.
Entretanto, como o uso do sistema era adicional ao contedo da disciplina e de carter no
obrigatrio, entendemos que essa verificao era vlida. Os resultados encontrados no foram
significativos nem para o total dos estudantes e nem para o das turmas, quando analisados
separadamente. Novamente, a pequena amostra influenciou nos resultados. As anlises foram
conduzidas com grupos pequenos (< 5 indivduos), o que prejudica o poder da anlise
estatstica. Os resultados convergem para a rejeio da hiptese H4.

Como os resultados tiveram seu poder estatsico limitado pela pequena quantidade de
elementos nos grupos experimentais, buscamos outros elementos que pudessem auxiliar na
interpretao e anlise dos dados coletados. Conforme informado anteriormente, uma
pesquisa de adequao e uso do sistema ALEKS foi realizada com aos estudantes no dia da
prova final.
 81

Figura 12 - Distribuio de Idade e Opo de Cursos

Distribuio das Idades Primeira opo de Curso

at 19 20 a 30 31 a 40 mais de 40 Cont. Adm. Econ. Atua. No Prestou Outros

Fonte: Elaborao prpria.

A tabulao dos resultados do questionrio sugerem que os estudantes estavam confortveis

com o experimento, com o acesso e com o uso do sistema ALEKS. A Figura 12 mostra a
distribuio das idades e as opes de cursos dos estudantes que responderam ao questionrio.
A Figura 13 mostra a viso dos estudantes sobre a acessibilidade do sistema.

Figura 13 - Acessibilidade do ALEKS

90
80
70
60
50
40
30
20
10
0
Sistema Simples Acesso adequado Consigo acessar Navegao simples

Discordam Indiferentes Concordam

Fonte: Elaborao prpria.

 82

Do total dos 142 respondetes do questionrio, 63 (43%) afirmam que o acesso ao sistema
simples e rpido; 62 (42%) informaram que no econtraram problemas para acessar o sistema.
Em uma escala de 0 a 10, os estudantes atriburam mdia de 7,7 para a acessibilidade do
sistema. A Figura 14 destaca a percepo geral dos estudantes sobre o contedo no sistema
ALEKS.

Em relao ao contedo do sistema, 57 (39%) dos respondentes entenderam que o contedo

do sistema estava alinhado ao contedo da disciplina presencial e 50 (34%) entendem que o
sistema til como apoio ao ensino de Contabilidade. No item sobre o uso do sistema, os
estudantes atribuiram nota 6,3 para o uso que fizeram do ALEKS.

Figura 14 - Percepo sobre o Sistema ALEKS

As Tarefas so bem distribudas

Sistema til para o ensino de Contabilidade

Os tipos de Tarefas eram adequadas

A quantidade de tarefas estava adequada

Retorno do sistema adequado

Exemplos e dicas so adequados

Tarefas so claras e objetivas

Tarefas esto alinhadas a disciplina

0 10 20 30 40 50 60 70 80

Discordam Indiferentes Concordam

Fonte: Elaborao prpria.

Os resultados da pesquisa de uso sugerem que, no geral, os estudantes entenderam como

positiva a introduo a realizao do experimento e a insero do sistema ALEKS como apoio
ao ensino de Contabilidade Introdutria, entretanto, eles entendem que a operacionalizao
poderia ter sido realizada de outra maneira, com maior suporte ao idioma, maior alinhamento
disciplina presencial e com mais tempo para a realizao das tarefas propostas.
 83

5 CONCLUSES

No presente trabalho foi realizada uma pesquisa visando insero de tecnologia, baseada em
inteligncia artificial, no ensino de Contabilidade. O tema recorrente, considerando que
diversos trabalhos relatam de alguma forma o uso dessa tecnologia nesse campo especfico do
conhecimento. Como exemplo, podemos citar Baxter & Thibodeau, 2011; Baldwin-Morgan,
Brown & Trinkle, 2006; Nicholson, 1999; Baldwin-Morgan, 1995; Williams, 1992; Sangster
& Wilson, 1991; e Boer & Livnat, 1990. O tema possui relevncia no cenrio brasileiro atual
devido s transformaes tecnolgicas que a sociedade vem passando, como por exemplo, o
aumento expressivo do comrcio e dos servios eletrnicos, bem como o surgimento de novas
modalidades de meio de pagamentos, por meio do celular e at a utilizao de moeda
totalmente digital, sem lastro no mundo fsico, como o caso dos bitcoin. Essas
transformaes direta ou indiretamente recaem sobre o profissional de Contabilidade que
precisa lidar com essas novas formas de se fazer negcios entre o mundo fsico e o mundo
virtual. Ainda que o Contador, de alguma forma, esteja imune s transformaes do mundo
digital, ele no conseguir escapar das alteraes tecnolgicas prprias de sua profisso.
Conforme discutido na introduo deste estudo, a evoluo dos sistemas contbeis e a
virtualizao da fiscalizao sobre as empresas, faz com que a profisso contbil tenha que se
adptar e estar na vanguarda do uso da tecnologia voltada ao ambiente econmico e
empresarial. Preparar o futuro Contador para esse ambiente empresarial tarefa que
certamente recai sobre as instituies de ensino, que precisam adaptar seu currculo para uma
sociedade diferente daquela que existia quando a maioria dos programas acadmicos de
contabilidade do Brasil fora criado. Entretanto, alterar o ambiente de ensino no uma tarefa
fcil, tendo em vista que demanda tempo para que as mudanas possam ser incorporadas com
a profundidade necessria para se tornarem permantes, pois exigem diversos recursos que
nem sempre esto disponveis e dependem, ainda, de apoio, dedicao e disposio dos
agentes envolvidos na mudana do ambiente (Levy, 2007; Downes, 1998). A insero da
tecnologia no ambiente de ensino, certamente uma mudana que deve ser considerada e
implementada. No se trata de criar algo novo e revolucionrio, mas sim de trazer para o
banco escolar o ambiente que o estudante vive fora dele, ou apenas desenhar o ambiente
escolar de forma que o banco escolar no seja mais um item necessrio.

Nesse ambiente a presente pesquisa realizou um quase-experimento com os estudantes da

disciplina de Contabilidade Introdutria do curso de Bacharelado em Cincias Contbeis da
 84

Universidade de So Paulo, onde se introduziu um sistema baseado em inteligncia artificial,

o sistema ALEKS, como ferramenta de suporte no ensino da sistemtica bsica de
contabilizao dos eventos econmicos e do encerramento das demonstraes contbeis. A
expectativa era a de que, no final do processo, os estudantes tivessem a oportunidade de
aprender a sistemtica contbil com o apoio de um sistema inteligente. Como o sistema est
disponvel apenas no idioma ingls, o estudante tambm aprenderia a terminologia contbil
nesse idioma, o que extremamente positivo para o estudante. Com esse cenrio, e no escopo
de um trabalho cintifico, o presente trabalho conta com uma questo de pesquisa a ser
respondida e alguns objetivos a serem alcanados.

Apesar do grande nmero de estudantes interessados em utilizar o sistema, assim como a

grande quantidade que realizou o primeiro acesso ao ALEKS, um pequeno nmero de
estudantes fez o uso mnimo satisfatrio para que se pudessem analisar, de maneira confivel,
os possveis impactos do ALEKS no desempenho na disciplina presencial. Entendemos que a
pouca quantidade de estudantes no invalida os resultados da pequisa realizada, porm coloca
um seno sobre os resultados. Dessa forma, a resposta a questo de pesquisa e o alcance dos
objetivos do presente trabalho teve como foco os resultados do quase-experimento, porm
buscando identificar e destacar os principais motivos que levaram a baixa aderncia ao
processo quase-experimental aqui conduzido.

A questo de pesquisa formulada para o presente estudo foi: em que medida a tecnologia da
educao, baseada em Inteligncia Artificial, pode auxiliar na aquisio de habilidades
tcnicas necessrias ao estudante de Cincias Contbeis? A resposta a essa questo no
fcil e nesse trabalho no se pretende respond-la de forma definitiva, at porque no processo
cintfico definitivo um termo limitador. Entretanto, o propsito de contribuir para a
construo deste conhecimento. O uso de computadores, o acesso internet e o apoio de
sistemas podem fomentar o processo de aquisio de conhecimento, tornando-o mais simples,
dinmico e mais interessante aos estudantes. No ensino de Contabilidade no faz sentido que
o estudante gaste diversas horas realizando contabilizao de transaes econmicas de forma
manual, com papel e caneta, assim como era feito na Veneza Renascentista. Se no Brasil,
desde 1980, a Contabilidade toda realizada em planilhas eletrnicas ou em sistemas
computadorizados, por que nossos estudantes aprendem a fazer a contabilizao de forma
manual? Como pde ser visto no decorrer deste trabalho, entendemos que a tecnologia digital
um item indispensvel no ambiente escolar, no um coadjuvante, mas sim como
 85

protagonista no processo. A insero de planilhas eletrnicas podem trazer diversos ganhos

para os estudantes e professores, economizando tempo na confeco e resoluo das tarefas.
Aprender a lgica contbil por meio de um sistema informatizado certamente ir preparar o
estudante para o ambiente de trabalho. Alguns podem elencar os riscos da introduo de
sistemas no ambiente escolar. Como garantir que as planilhas no possam ser replicadas para
todos os estudantes? Como ter certeza de que o usurio daquele sistema realmente o
estudante matriculado na disciplina? Entendemos que esses argumentos so vlidos e devem
ser considerados, porm o benefcio do uso da tecnologia supera os riscos inerentes a essas
preocupaes. Ainda em relao s ameaas associadas s colas, as mesmas no fazem
parte de nosso escopo de pesquisa e no se possui nenhuma propriedade para tratar deste
assunto, porm se acredita que foram inventadas bem antes dos computadores.

Quando o objetivo introduzir inteligncia artificial no ensino de Contabilidade, as

possibilidades so ainda mais amplas. Um professor que possui 50 alunos, em uma sala de
aula, dificilmente poder criar um exerccio direcionado para cada um de seus estudantes.
Durante a conduo do presente experimento, podemos observar que os professores indicaram
e cobraram a realizao de diversas tarefas aos estudantes. Em cada uma das turmas foi
solicitado resoluo e entrega de, pelo menos, 10 atividades entre exerccios e casos. Os
professores certamente despenderam diversas horas na preparao e na correo dos mesmos.
Entretanto, mesmo considerando todo o tempo consumido com o preparo e correo de tais
atividades, no se pode descosiderar um tpico bvio: todos os estudantes receberam as
mesmas atividades, no mesmo dia, para serem realizadas da mesma forma e com o mesmo
prazo de entrega. Essa igualdade de tratamento um pressuposto de que todos os estudantes
iniciam o curso no mesmo nvel e a cada aula absorvem exatamente o mesmo conhecimento,
da mesma maneira, ou seja, os estudantes so tratados em conjunto e no de forma
individualizada. No se faz aqui nenhuma crtica aos professores, ou a forma como eles
conduzem a disciplina, mas sim uma censura sobre a no utilizao dos recursos disponveis
para individualizar e fomentar o ensino, o que favorece tanto os estudantes como tambm os
prprios professores. Um sistema baseado em inteligncia artificial gera exerccios com
questes aleatrias, sempre mapeando o resultado da questo em funo do resultado pr-
estabelecido. Dessa forma, ao propor um exerccio o professor teria inmeras possibilidades
de respostas e o sistema mapearia sequencialmente qual a resposta foi dada pelo estudante,
compararia com a resoluo ideal e o direcionaria para a prxima questo. Cada estudante
seria direcionado para as questes que realmente precisa responder, de modo que tivesse um
 86

retorno imediato sobre o que est acertando ou errando, contando ainda com dicas ou tutoria
para os contedos que tivesse dvidas. O professor teria um trabalho incial para gerar os
parmetros do sistema, mas no teria mais a necessidade de gastar inmeras horas corrigindo
exerccios. Sistemas baseados em inteligncia artificial j contam com essa possibilidade,
devidos aos algortimos de model tracing e knowledge tracing capazes de gerar contedos
individuais e relacionados a um padro anteriormente estabelecido (Koedinger e Aleven,
2007; Johnson, Phillips e Chase 2009). O sistema ALEKS, objeto de estudo dessa pesquisa,
possui inteligncia artificial e se pode afirmar que as possibilidades acima elencadas esto
presentes nele. Assim como amplamente discutido, a Knowledge Space Theory (KST)
representa uma base para o mapeamento dos conhecimentos dos estudantes, permitindo a
individualizao do processo de aquisio do conhecimento, respeitando os conhecimentos
prvios de cada um e os caminhos a serem percorridos para a obteno do conhecimento
(Doignon & Falmagne, 1985). O sistema ALEKS foi construdo sobre a plataforma da KST e
representa uma importante ferramenta na individualizao do processo de aquisio de
conhecimento.

Os estudantes so protagonistas no processo de aquisio de conhecimento. A busca por um

determinado curso, a necessidade de aprender determinado contedo guiam-os para as aulas
que iro cursar. Porm, reproduzindo as palavras de Astin (2012) grades can operate as both
a carrot and a stick, depending on whether the student is oriented toward attaining success or
avoiding failure (p. 196). Esse direcionamento ir impactar na atitude dos estudantes frente
ao contexto que iro encontrar. Durante a conduo do presente estudo, os estudantes foram
convidados a utilizarem o sistema ALEKS, de forma complementar ao estudo e, ainda,
receberam uma bonificao pelo uso. Entretanto, essa gratificao veio somente depois que
eles atingiram a nota mnima para aprovao e, certamente, a nota mmina para aprovao foi
a maior orientao aos estudantes. Aprender no basta se no significar a obteno dos
crditos da disciplina. No que se refere ao uso do sistema ALEKS, a proposta foi bem
recebida e altamente incentivada pelos estudantes. O alto nmero de estudantes que assinaram
o termo de consentimento da pesquisa indica esse aceite. O acesso ao sistema no
correspondeu s expectativas criadas aps a assinatura dos termos, o que se entende ser
resultado de diversos fatores, conforme discutidos no captulo 4. Entretanto, durante a
pesquisa de adequao foi amplamente reconhecido, pelos estudantes, a importncia da
iniciativa do uso de sistemas computadorizados no ensino de contabilidade. Devemos destacar
que diversas crticas foram feitas ao sistema, principalmente por estar em outro idioma, porm
 87

h diversos elogios praticidade (sistema online), simplicidade (clicar e arrastar) e ao

contedo do sistema.

Respondendo diretamente a questo de pesquisa do presente trabalho, podemos dizer: a

Inteligncia Artificial pode auxiliar na aquisio de habilidades tcnicas tornando o ensino
mais prtico, atrativo, dinmico, individualizado, mapeando o estado inicial de cada
estudante, entendendo onde o mesmo possui maior ou menor deficincia, orientando-o sobre
seus erros e guiando-o ao melhor caminho para aquisio do conhecimento. Os professores,
por contarem com a presena dessa ferramenta, podem conhecer melhor cada um dos seus
estudantes, encadeando a sequncia lgica de aquisio de conhecimento para cada aluno de
forma individualizada, como se fossem aulas particulares, respeitando o rtimo e o passado de
cada um deles. Nesse contexto, as aulas ainda seriam encontros presenciais entre todos os
estudantes e o professor para a aquisio de um determinado conhecimento. Entretanto a
forma como cada um alcanaria esse objetivo seria nica e adequada a cada necessidade.

O objetivo principal deste trabalho foi o de avaliar experimentalmente em que extenso o

sistema ALEKS pode contribuir para a aquisio das habildades tcnicas bsicas,
necessrias na formao do aluno, no curso de Contabilidade Introdutria do
Bacharelado em Cincias Contbeis da Universidade de So Paulo. Por tudo o que foi
discorrido at aqui, entendemos que o mencionado objetivo foi alcanado. Ainda que se
tenha contado com uma amostra pequena, o que certamente influenciou nos resultados, e que
o ALEKS no tenha produzido efeito positivo sobre o desempenho dos estudantes na
disciplina, no se pode afirmar que esse foi o alcance do objetivo do presente trabalho.
Quando indagamos extenso que a ferramenta pode contribuir para a aquisio das
habilidades tcnicas, no se est referindo apenas nota na disciplina, mesmo que essa seja
um importante fator de anlise. Como anteiormente observado, os estudantes reagiram bem
proposta de inovao na sala de aula. Na pesquisa de adequao e uso do sistema, diversos
estudantes indicaram que a proposta foi interessante e que a ferramenta era atrativa para a
aprendizagem dos contedos da disciplina. Se por um lado possvel dizer que o sistema
ALEKS, da maneira como foi utilizado, no auxiliou no desempenho dos estudantes na
disciplina presencial; por outro, podemos afirmar que a introduo de um sistema, como apoio
ao processo de ensino e aprendizado, motivou os estudantes, algo visto no grande nmero de
estudantes que assinaram o termo de consentimento, e tambm mostrou que possvel
conciliar a tecnologia, principalmente aquela baseada em inteligncia artificial, ao ensino
 88

tradicional. Essa ltima afirmao pode ser suportada pelo nmero de estudantes que, ao
acessarem o sistema pela primeira vez, decidiram realizar o initial assessment para checar o
estado atual do conhecimento que possuam em relao disciplina. Conforme descrito
anteriormente, o initial assessment era opcional, porm diversos estudantes o realizaram no
intuto de mapear suas capacidades na disciplina. Entendemos que o desempenho na
disciplina presencial foi o fator primordial para essa investigao e os resultados sugerem que
o sistema ALEKS poder auxiliar em uma extenso muito curta no ensino de Contabilidade.
Entretando se deve colocar o presente foco em algumas consideraes igualmente importantes
ao estudo. Diversos estudantes relataram o problema do sistema no estar conectado com a
disciplina e que a terminologia em lngua inglesa foi algo desmotivante ao acesso e uso do
sistema. Entendemos que se a disciplina presencial contasse com uma maior proximidade com
o sistema, utilizando os exerccios oferecidos ou, pelo menos, auxiliando na nomenclatura no
idioma ingls, os estudantes teriam mais facilidade e tambm atratividade pelo uso do
sistema. O uso do sistema deve ser opcional, mas se entende que o alinhamento teria
favorecido ao experimento e aumentaria a extenso em que o sistema pode auxiliar na
aquisio das habilidades tcnicas de contabilidade, ou seja, o entendimento da nomenclatura
contbil, o registro das transaes econmicas bsicas e o encerramento das demonstraes
contbeis.

Outra extenso que podemos creditar ao sistema ALEKS, no apoio ao ensino de

Contabililidade, ainda que no diretamente verificada nessa pesquisa, refere-se ao apoio que o
sistema propicia ao professor na avaliao dos estudantes. Princiapalmente quando nos
referimos avaliao formativa, aquela que ocorre no decorrer do processo e tem por
finalidade sua melhoria. Como dito anteriormente as bases da Knowledge Space Theory
representam uma importante ferramenta no mapeamento das competncias do indivduo. O
knowledge state permite registrar, em qualquer momento, quais os contedos que o estudante
j possui amplo conhecimento e aqueles contedos que o estudante tem alguma dificuldade ou
ainda no est apto a aprender, pois dependem de algum pr-requisito. Aliado a essa
fotografia do estado do estudante, os fringes permitem identificar qual o caminho que o
estudante percorreu at aquele ponto (inner fringe) e principalmente, quais caminhos e
contedos ele est apto a percorrer na sequncia (outer fringe). Nas palavras de Falmagne et
al (2006): inner fringe (WHAT THE STUDENT CAN DO, which is understood here as the
most sophisticated problems in thestudents state), and one for the outer fringe (WHAT THE
STUDENT IS READY TO LEARN) (p. 69-70). Utilizando o sistema ALEKS como apoio
 89

ao processo e ensino e aprendizado, os professores poderiam mapear as competncias dos

estudantes de forma constante e automtica, captando como a turma se comportou diante de
um determinado tpico ou ainda, entender se a sequncia planeja est realmente adequada
quela turma ou precisa ser ajustada. Conforme exposto anteriormente, o uso do sistema como
apoio ao professor da disciplina no esteve presente no escopo deste trabalho, entretanto
entendemos que seja uma ferramenta til, suportada por extensiva pesquisa cintfica e que
pode fomentar o educador no processo de avaliao formativa dos estudantes.

Sobre os obejtivos especficos, abaixo os mesmos so elencados e comentados sobre o

resultado de cada um deles. O primeiro objetivo especfico foi: avaliar o interesse dos
estudantes em utilizar um software de maneira complementar a disciplina presencial na
realizao dos seus estudos. A adeso dos estudantes tanto no termo de consentimento,
quanto no primeiro acesso e cadastramento evidenciam que os mesmos estavam dispostos
utilizarem um software em seus estudos. O pequeno nmero de estudantes que completou
quantidade significativa de itens no sistema no invalida a disposio dos estudantes em
acessar o sistema. Para resposta a esse quesito, entendemos que os estudantes esto dispostos
utilizao de sistemas, planilhas, sites e todas as demais tecnologias disponveis para
complementar seus estudos.

O segundo objetivo especfico foi: analisar possveis diferenas no uso do sistema e,

consequentemente, o desempenho na disciplina em funo de acesso, aceitao e
familiarizao com a tecnologia utilizada. Os resultados da pesquisa de satisfao e uso,
realizada pelos estudantes, demosntra que eles possuem ampla familiaridade com o uso de
teconlogias digitais. Todos os estudantes informaram que utilizam algum recurso tecnolgico
digital como computadores, celulares, tablets ou smartphones, mais de trs vezes por semana.
85% dos estudantes mencionaram que utilizam algum desses recursos mais de 6 horas por dia.
Nenhum dos participantes entende que esses recursos so difceis de utilizar. Entendemos que
todos os participantes dessa pesquisa e do experimento possuem ampla familiaridade e
aceitao das tecnologias, no tendo sido encontrada nenhuma indicao de diferena do
acesso e uso do ALEKS devido a esses fatores.

O terceiro objetivo especfico foi: analisar possveis diferenas no uso do sistema e,

consecutivamente, o desempenho na disciplina em funo do perodo em que o aluno
est matriculado. Notamos algumas diferenas entre os estudantes do perodo diurno e
 90

noturno. Os estudantes do perodo diurno tiveram maior aceitao proposta da pesquisa e

maior nimo em iniciar o projeto. Na primeira semana de liberao do sistema, mais de 20
alunos acessarm o ALEKS e realizaram seu cadastro. Grande parte desses estudantes realizou
o initial assessment e se mostrou interessado em dar continuidade no uso do sistema. No
perodo noturno o que notamos foi uma resposta lenta ao uso do ALEKS. Quase um ms aps
liberado o acesso e menos de 20 estudantes haviam se inscrito no sistema, isso considerando a
soma das duas turmas. Foi preciso uma segunda visita s salas e o aumento na bonificao de
1 para 2 pontos na nota final para que os estudantes respondessem positivamente e
acessassem o sistema. Posteriomente o que verificamos foi a inverso da tendncia. Os
estudantes do perodo diurno diminuiram drasticamente o uso do sistema enquanto os
estudantes do perodo noturno, principalmente aqueles da turma 22, aumentaram
gradativamente o uso do software. Esses acontecimentos podem ser explicados por fatores
como idade dos participantes, sendo a mdia de idade na turma da manh de 19 anos contra
22 das turmas do noturno. Pode ser explicado tambm pelo fato de que os estudantes do
perodo noturno tiveram menor tempo disponvel para atividades extraclasse, j que grande
parte deles trabalha, e concentratam o uso e acesso em um determinado perodo. Entretatno,
embora no se consiga explicar a diminuio dos acessos dos estudantes do perodo diurno,
observado aps as primeiras semanas da pesquisa, percebemos que os estudantes do perodo
noturno s responderam ao chamado devido ao aumento substancial na bonificao para o
acesso e uso do sistema.

O quarto objetivo especfico foi: analisar possveis diferenas no uso do sistema e,

conseguintemente, desempenho na disciplina em funo da bonificao adicionada
nota final, pelo uso do sistema. Conforme mencionado no item anterior, o aumento da
bonificao foi fator preponderante para reposta dos estudantes do perodo noturno.
Entendemos que, ao se manter a bonificao em apenas 1 ponto, os estudantes do perodo
noturno teriam ainda menores ndices de acesso e uso do sistema. Como a bonificao para os
estudantes do perodo diurno foi mantida constante do incio ao final da pesquisa, no foi
possvel avaliar diferenas em funo dessa varivel. O aumento do bnus para os estudantes
do perodo diurno poderia ter significado maior quantidade de horas de uso do sistema. Porm
por ocasio da conduo do experimento, consideramos que esse aumento poderia causar uma
distoro nos resultados de forma a comprometer os achados. Com base nessa convico a
bonificao foi mantida at o final do experimento.
 91

O quinto e ultimo objetico especfico foi: comparar os resultados obtidos, na presente

pesquisa, com os resultados adquiridos por Baxter e Thibodeau (2011) em uma
universidade dos Estados Unidos. A maior comparao que podemos fazer em relao aos
dois trabalhos certamente : os autores Baxter e Thibodeau encontraram um efeito positivo
para o uso do sistema ALEKS enquanto que o presente trabalho no econtrou esse efeito.
Porm alguns itens devem ser considerados para essa comparao. Em primeiro lugar, a
amostra pesquisada por Baxter e Thibodeau no possua a barreira do idioma, fato relatado
por diversos estudantes que utilizaram o sistema e por estudantes que nem ao menos tentaram
utilizar esse sistema. Conforme demonstrado anteriormente, O idioma no foi fator
preponderante para os baixos ndices de uso do sistema, entretanto no se pode negar que foi
um fator importante e principalmente um fator desmotivador a continuidade do uso. Um
segundo fator a ser considerado refere-se aderncia do sistema disciplina. Na pesquisa de
Baxter e Thibodeau, o sistema era parte integrante da disciplina e seu uso foi considerado pr-
requisito para o bom desempenho na mesma. Nesta pesquisa o uso do sistema foi totalmente
complementar disciplina e de forma totalmente opcional. O sistema no foi pr-requisito
para o bom desempenho na disciplina presencial. Comparando os resultados obtidos por
Baxter e Thibodeau com os resultados obtidos nessa dissertao, podemos dizer que a
pesquisa realizada nos Estados Unidos encontrou efeito significativo, para o uso do sistema,
enquanto que a pesquisa realizada no Brasil encontrou efeito significativo apenas em uma
turma, porm com algumas ressalvas. Entretanto vale destacar que, conforme descrito no
texto, o Effect Size da pesquisa efetuada por Baxter e Thibodeau no refora o achados no
experimento. O tamanho do efeito, para os resultados encontrados, considerado baixo para
os padres estabelecidos em pesquisas na rea de Cincias Sociais aplicadas. Mesmo
considerando as diferenas de cenrios e os itens destacados acima, devemos ter foco, para a
essa comparao, na diferena do desenho experimental. O experimento de Baxter e
Thibodeau teve contornos distintos dos aplicados aqui. Essa distino no significa maior ou
menor qualidade em um ou em outro experimento, entretanto devemos ter em mente essa
diferena para a comparao.

5.1 Limitaes

A primeira e mais expressiva limitao ao presente trabalho certamente reca sobre a

quantidade de estudantes que utilizaram o sistema da forma esperada, alcanando nota igual
ou superior a cinco pelo uso do ALEKS. Como destacado anteriormente, 71 (47%) estudantes
 92

participantes da disciplina acessaram o sistema, porm apenas 16 (10%) fizeram o uso

mmino esperado da ferramenta para que se pudesse detectar alguma interferncia do seu uso
no desempenho do estudante. A amostra pequena no invalidou os resultados encontrados e
pode ter sido til devido ao estgio primrio desse tipo de pesquisa em instituies de ensino
superior no Brasil (Slavin & Smith, 2009). Porm, preciso destacar que esse fator foi um
importante limitador para a presente pesquisa.

Outro ponto que certamente deve ser levantado como limitador do presente estudo refere-se
definio da populao acessvel. Apesar de possvel geograficamente, optamos por no
utilizar outra instituio para o experimento e mesmo dentro da Universidade de So Paulo,
optamos pela concentrao na disciplina de Contabilidade Introdutria apenas para os
estudantes do Bacharelado em Cincias Contbeis. Vale destacar que existe o oferecimento de
disciplinas de Contabilidade bsica para Graduao em outros cursos. A deciso de manter a
pesquisa apenas na Universidade de So Paulo deu-se pela dificuldade de acesso e
acompanhamento dos estudantes e professores de outras instituies. Alm desse fato,
espervamos um menor nmero de licenas para uso do sistema e que o escopo do
experimento seria reduzido.

5.2 Contribuies

Como contribuio mais duradoura, a presente pesquisa buscou inserir, no Brasil, um

protocolo de pesquisa cientfica, baseada no uso de experimento, para avaliar a insero e
utilizao de inteligncia artificial no ensino de Contabilidade. O formato e a conduo da
pesquisa, desde a seleo da amostra, passando pela forma de exposio aos estudantes,
coleta e anlise dos dados, constituem esse protocolo, com bases slidas para que se possa
mensurar as mehorias efetivas no processo de ensino e aprendizado, resultantes da insero de
tecnologias nos cursos de Contabilidade no Brasil. Como visto anteriormente, esse tema
permeia a literatura internacional h algum tempo e, dado o cenrio atual da Contabilidade no
Brasil, o destaque ao tema e modelo de explorao so formas de contribuir para o avano da
rea. Entendemos que este protocolo encontra-se em estgio incial e outras pesquisas devem
ser feitas para que se possa valid-lo, entretanto espera-se que possa ser utilizado, criticado e
melhorado por outros pesquisadores que tenham interesse em avaliar o uso de tecnologias no
ambiente de ensino, principalmente as tecnologias aqui elencadas.
 93

Como contribuio prtica, esperamos que os resultados contribuam para o dilogo e para a
melhoria do ambiente educacional com a insero de tecnologias digitais no processo de
ensino de Contabilidade, principalmente na Universidade de So Paulo, onde a presente
pesquisa foi realizada. Ainda que o ALEKS, da forma como foi utilizado, no tenha
produzido efeitos positivios sobre o desempenho dos estudantes na disciplina, o grande
interesse e a boa recepo dessa iniciativa por parte dos estudantes um ponto que merece
destaque. Esperamos que esses resultados inciem um dilogo institucional, visando inserir
tecnologias digitais, principalmente aquelas baseadas em inteligncia artificial, no processo de
ensino de Contabilidade. Ainda que professores optem por no utilizar o sistema ALEKS,
baseados nos resultados desta pesquisa, esperamos que iniciem uma reflexo sobre as
possveis vantagens que os sistemas inteligentes podem trazer em aspectos de praticidade e
tambm de motivao dos indivduos. Os estudantes devem desempenhar papel ativo no
processo de ensino e aprendizagem e por isso acreditamos que inser-los em um processo
cintfico pode contribuir para a aquisio de uma postura ativa frente aos objetivos
educacionais como tambm pode contribuir para a formao de um pensamento crtico frente
aos contedos e formas de aprendizados aos quais esto expostos. Por fim, esperamos que
este trabalho no termine aps a ltima pgina dessa Dissertao. Desejamos que, de alguma
forma, a pesquisa, aqui realizada, possa inspirar e motivar os envolvidos no processo e
despertar o interesse de futuros pesquisadores em contribuir e contradizer os mtodos e
resultados aqui encontrados. Esperamos, ainda, que essa pesquisa tenha fora suficiente para
mudar atitude dos seus leitores frente aos temas aqui abordados, alcanando assim o maior
objetivo deste trabalho.

5.3 Sugestes para futuras pesquisas

Como sugesto para o futuro, esperamos que futuras pesquisas consigam abordar o uso de
sistemas inteligentes de forma alinha disciplina, podendo, assim, contar com uma maior
participao e captar outros dados que possam reforar ou no o uso de sistemas inteligentes
no ambiente educacional. Ainda no ambiente educacional, recomendamos que futuras
pesquisas olhem tambm para o impacto dessas ferramentas para a instituio. A aquisio de
um sistema implica em diversos custos, diretos e indiretos, e em instituies pblicas, como
foi o presente estudo. preciso avaliar o trade-off entre esses custos e os possveis benefcios
causados aos estudantes. Recomendamos tambm que futuras pesquisas busquem analisar o
impacto de outras variveis em relao ao acesso e uso de sistemas inteligentes pelos
 94

estudantes de Cincias Contbeis, tais como gnero, idade, conhecimento sobre linguagem de
programao, entre outros. Sugerimos tambm que pesquisas sejam realizadas em outras
instituies, em locais distintos, para que possamos entender possveis diferenas em relao
ao uso e aceitao dessas tecnologias no ambiente de ensino. Hoje o Brasil possui cursos
online de Cincias Contbeis com diplomas vlidos e seria interessante que alguma pesquisa
abordasse a possveis diferenas entre o uso de sistemas inteligentes por estudantes de
disciplinas presenciais e estudantes de disciplinas online.

Mudar o foco das investigaes, analisando o uso do sistema por parte dos professores, assim
como os impactos que um sistema intelignte pode causar no processo de docncia, tambm
uma sugesto de futuras pesquisas envolvendo o sistema ALEKS. Os professores gastam
grande quantidade de tempo obtendo informaes sobre os estudantes, corrigindo provas,
exerccios e anlisando a interao dos estudantes em sala de aula. Analisar o impacto que um
sistema inteligente pode causar nesse processo, com economia de tempo e tambm com
ampliao da quantidade de informaes captadas, assim como uso que os professores fazem
das informaes sobre seus estudantes, um item que certamente merece destaque nas
prximas pesquisas. No podemos deixar de destacar e sugerir que outras pesquisas analisem
o impacto do sistema ALEKS em ambientes corporativos, como por exemplo, treinamentos
corporativos (MBA) e treinamentos em empresas de auditoria. Nesses ambientes a insero de
um sistema inteligente pode impactar os envolvidos de forma distinta e uma investigao
nesse campo certamente seria bem vinda.
 95

6 REFERNCIAS BIBLIOGRFICAS

Albert, D., Schrepp, M., & Held, T. (1994). Construction of knowledge spaces for
problem solving in chess. In G. H. Fischer & D. Laming (Eds.), Contributions to
Mathematical Psychology, Psychometrics and Methodology (pp. 123135)
Albert, D., & Stefanutti, L. (2003). Knowledge structures and didactic model selection in
learning object navigation. In FW Hesse & Y. Tamura (Eds.), The Joint Workshop of
Cognition and Learning through MediaCommunication for Advanced E-Learning
(JWCL), September 8-9, 2003, Berlin (pp. 1-10).
Aleven, V., Mclaren, B., Roll, I., & Koedinger, K. (2006). Toward meta-cognitive
tutoring: A model of help seeking with a Cognitive Tutor. International Journal of
Artificial Intelligence in Education, 16(2), 101-128.
Andere, M. A., & ARAJO, A. M. P. D. (2008). Aspectos da formao do professor de
ensino superior de Cincias Contbeis: uma anlise dos programas de ps-
graduao. Revista de Contabilidade e Finanas, 19(48), 91-102.
Anderson, C. A., & Bushman, B. J. (1997). External validity of" trivial" experiments: The
case of laboratory aggression. Review of General Psychology, 1(1), 19.
Apostolou, B., Watson, S. F., Hassell, J. M., & Webber, S. A. (2001). Accounting
education literature review (19971999). Journal of Accounting Education, 19(1), 1-
61.
Apostolou, B., Hassell, J. M., Rebele, J. E., & Watson, S. F. (2010). Accounting education
literature review (20062009). Journal of Accounting Education, 28(3), 145-197.
Apostolou, B., Dorminey, J. W., Hassell, J. M., & Watson, S. F. (2013). Accounting
education literature review (20102012). Journal of Accounting Education.
Arroyo, I., Royer, J. M., & Woolf, B. P. (2011). Using an intelligent tutor and math
fluency training to improve math performance. International Journal of Artificial
Intelligence in Education, 21(1), 135-152.
Astin, A. W. (2012). Assessment for excellence: The philosophy and practice of
assessment and evaluation in higher education. Rowman & Littlefield Publishers.
Baker, R. S., Goldstein, A. B., & Heffernan, N. T. (2011). Detecting learning moment-by-
moment. International Journal of Artificial Intelligence in Education, 21(1), 5-25.
Baldwin, A. A., Brown, C. E., & Trinkle, B. S. (2006). Opportunities for artificial
intelligence development in the accounting domain: the case for auditing. Intelligent
Systems in Accounting, Finance and Management, 14(3), 77-86.
 96

Baldwin-Morgan, A. A. (1995). Integrating artificial intelligence into the accounting

curriculum. Accounting Education, 4(3), 217-229.
Barr, R. B., & Tagg, J. (1995). From teaching to learningA new paradigm for
undergraduate education. Change: The magazine of higher learning, 27(6), 12-26.
Baxter, R. J., & Thibodeau, J. C. (2011). Does the Use of Intelligent Learning and
Assessment Software Enhance the Acquisition of Financial Accounting
Knowledge?. Issues in Accounting Education, 26(4), 647-656.
Behrens, M. L., & Steinbart, P. J. (1992). Integrating expert systems and artificial
intelligence in accounting: A description of the academic program at Memphis State
University. Expert Systems with Applications, 4(2), 219-223.
Beetham, H. & Bailey, P. (2002). Professional development for organizational change.
Academic and educational development: Research, evaluation and changing practice
in higher education, 164-176
Bickman, L., Rog, D. J., & Hedrick, T. E. (1998). Applied research design: A practical
approach. In D. Bickman e Rog (Eds.), Handbook of applied social research methods,
pp. 5-38. Sage Publications.
Boer, G. B., & Livnat, J. (1990). Using expert systems to teach complex accounting
issues. Issues in Accounting Education, 5(1), 108-119.
Borthick, A. F., & Clark, R. L. (1987). Research on computing in accounting education:
Opportunities and impediments. Issues in Accounting Education, 2(2), 173-192.
Brown, C. E., Baldwin-Morgan, A. A., & Sangster, A. (1995). Expert systems in
accounting educationa literature guide. Accounting Education, 4(3), 283-296.
Bryant, S. M., & Hunton, J. E. (2000). The use of technology in the delivery of
instruction: Implications for accounting educators and education researchers.Issues in
Accounting Education, 15(1), 129-162.
Campbell, D. T. (1957). Factors relevant to the validity of experiments in social
settings. Psychological bulletin, 54(4), 297.
Campbell, D. T. & Stanley, J. (1979). Delineamentos experimentais e quase-
experimentais de pesquisa. So Paulo, EPU-EDUSP, 138p.
Chen, W., Mostow, J., & Aist, G. (2011). Recognizing Young Readers' Spoken
Questions. International Journal of Artificial Intelligence in Education, 21(4), 255-269.
Chi, M., VanLehn, K., Litman, D., & Jordan, P. (2011). An evaluation of pedagogical
tutorial tactics for a natural language tutoring system: A reinforcement learning
approach. International Journal of Artificial Intelligence in Education, 21(1), 83-113.
 97

Davis, S. W., & Sherman, W. R. (1996). The accounting education change commission: a
critical perspective. Critical perspectives on accounting, 7(1), 159-189.
Doignon, J. P., & Falmagne, J. C. (1985). Spaces for the assessment of
knowledge. International journal of man-machine studies, 23(2), 175-196.
Doignon, J. P., & Falmagne, J. C. (1999). Knowledge spaces. Springer.
Dowling, C. E., Hockemeyer, C., & Ludwig, A. H. (1996). Adaptive assessment and
training using the neighbourhood of knowledge states. InIntelligent tutoring
systems (pp. 578-586). Springer Berlin Heidelberg.
Dowling, C. E., & Hockemeyer, C. (1998). Computing the intersection of knowledge
spaces using only their basis In C. E. Dowling, F. S. Roberts & P.Theuns
(Eds.). Recent progress in mathematical psychology, 133-141.
Downes, S. We dont need no educator: the role of the teacher in todays online education.
Palestra proferida na NADE Conference (The National Association for Development
of Education), 2011. Disponvel em: http://www.downes.ca/presentation/286. Acesso
em setembro de 2013.
Er, M. C., & Ng, A. C. (1989). The use of computers in accountancy courses: a new
perspective. Accounting and Business Research, 19(76), 319-326.
Falmagne, J. C., Koppen, M., Koedinger & Aleven, 2007)o, M., Doignon, J. P., &
Johannesen, L. (1990). Introduction to knowledge spaces: How to build, test, and
search them. Psychological Review, 97(2), 201.
Falmagne, J. C., Cosyn, E., Doignon, J. P., & Thiry, N. (2006). The assessment of
knowledge, in theory and in practice. In Formal concept analysis (pp. 61-79). Springer
Berlin Heidelberg.
Friedman, M., Rushinek, A., & Rushinek, S. (2006). The effect on achievement of using
emerging technology in the managerial accounting course. The Accounting Educators
Journal, 16, 2540.
Gall, M. D., Borg, W. R., & Gall, J. P. (2007). Educational research: An introduction. 8th
edition, Pearson.
Gredler, M. E. (2004). Games and simulations and their relationships to learning. In D.
Jonassen (Ed.), Handbook of research for educational communications and
technology, 2, pp. 571-581, Mahwah, NJ: Lawrence Erlbaum.
Graesser, A. C., VanLehn, K., Ros, C. P., Jordan, P. W., & Harter, D. (2001). Intelligent
tutoring systems with conversational dialogue. AI magazine, 22(4), 39.
 98

Gibbs, G. (2004). Mejorar la enseanza y el aprendizaje universitario mediante estrategias

institucionales. Educar, (33), 11-30.
Grimes, P. W., & Willey, T. E. (1990). The effectiveness of microcomputer simulations in
the principles of economics course. Computers & Education, 14(1), 81-86.
Guskey, T. R. (2003). How classroom assessments improve learning. Educational
Leadership, 60(5), 6-11.
Harp, S. A., Samad, T., & Villano, M. (1995). Modeling student knowledge with self-
organizing feature maps. Systems, Man and Cybernetics, IEEE Transactions on, 25(5),
727-737.
Henry, G. T. (1998). Practical Sampling. In D. Bickman e Rog (Eds.), Handbook of
applied social research methods, pp. 101-126. Sage Publications.
Hill, J. R., Wiley, D., Nelson, L. M., & Han, S. (2004). Exploring research on Internet-
based learning: From infrastructure to interactions In D. Jonassen (Ed.), Handbook of
research for educational communications and technology, 2, pp. 443-460, Mahwah,
NJ: Lawrence Erlbaum
Hobbs, P., & Judge, G. (1992). Computers as a tool for teaching economics. Computers &
Education, 19(1), 67-72.
Holt, P., & Wood, P. (1990). Intelligent Tutoring Systems: A Review for
Beginners. Canadian Journal of Educational Communication, 19(2), 107-23.
Jensen, R. E., & Sandlin, P. K. (1992). Why do it? Advantages and dangers of new waves
of computer-aided teaching/instruction. Journal of Accounting Education, 10(1), 39-
60.
Johnson, B. G., Phillips, F., & Chase, L. G. (2009). An intelligent tutoring system for the
accounting cycle: Enhancing textbook homework with artificial intelligence. Journal
of Accounting Education, 27(1), 30-39.
Johnson, W. L., Vilhjlmsson, H. H., & Marsella, S. (2005). Serious games for language
learning: How much game, how much AI?. In AIED (Vol. 125, pp. 306-313).
Jones, C. J. (1996). Assessment and accounting education. Accounting Education: an
international journal, 5(2), 99-101.
Kahl, S. (2005). Where in the world are formative tests? Right under your nose!.
Education Week, 25(September (4)), 11
 99

Kerr, S. T. (2004). Toward a sociology of educational technology. In D. Jonassen (Ed.),

Handbook of research for educational communications and technology, 2, pp. 113-
142, Mahwah, NJ: Lawrence Erlbaum.
Kimmel, P. (1995). A framework for incorporating critical thinking into accounting
education. Journal of Accounting Education, 13(3), 299-318.
Klenowski, V. (2009). Editorial: Assessment for learning revisited: An Asia-Pacific
perspective. Assessment in Education: Principles, Policy, and Practice, 16(3), 263
268.
Koedinger, K. R., Anderson, J. R., Hadley, W. H., & Mark, M. A. (1997). Intelligent
tutoring goes to school in the big city. International Journal of Artificial Intelligence in
Education (IJAIED), 8, 30-43.
Koedinger, K. R., & Aleven, V. (2007). Exploring the assistance dilemma in experiments
with cognitive tutors. Educational Psychology Review, 19(3), 239-264.
Koppen, M., & Doignon, J. P. (1990). How to build a knowledge space by querying an
expert. Journal of Mathematical Psychology, 34(3), 311-331.
Leauby, B. A., & Brazina, P. (1999). Concept mapping: Potential uses in accounting
education. Journal of Accounting Education, 16(1), 123-138.
Lvy, P. (2007). Cibercultura. Traduo de Carlos Irineu da Costa. So Paulo:
Editora, 34.
Libby, R.; P.A. Libby; AND D.G. Short. Financial Accounting. Seventh edition. New
York, NY: McGraw-Hill/Irwin, 2011.
Litman, D. J., & Silliman, S. (2004). ITSPOKE: An intelligent tutoring spoken dialogue
system. In Demonstration Papers at HLT-NAACL 2004 (pp. 5-8). Association for
Computational Linguistics.
Lipsey, M. W. (1998). Design sensitivity: Statistical power for experimental research. In
D. Bickman e Rog (Eds.), Handbook of applied social research methods, pp. 39-68.
Sage Publications
Luppicini, R. (2005). A systems definition of educational technology in society.
Educational Technology & Society, 8(3), 103-109.
Macdonald, R. (2002). Educational development: research, evaluation and changing
practice in higher education. Academic and educational development: Research,
evaluation and changing practice in higher education, 3-13.
 100

May, G. S., Windal, F. W., & Sylvestre, J. (1996). The need for change in accounting
education: an educator survey. Journal of accounting education, 13(1), 21-43.
McCarthy, J. (n.d.) What is artificial intelligence? Recuperado em 28/10/2013, de
http://www-formal.stanford.edu/jmc/whatisai/
McDuffie, R. S., & Smith, L. M. (2006). Impact of an audit reporting expert system on
learning performance: a teaching note. Accounting Education: an international
journal, 15(01), 89-102.
McIsaac, M. S., & Gunawardena, C. N. (2004). Distance education. In D. Jonassen (Ed.),
Handbook of research for educational communications and technology, 2, pp. 355-
396, Mahwah, NJ: Lawrence Erlbaum.
McLellan, H. (2004). Virtual realities. In D. Jonassen (Ed.), Handbook of research for
educational communications and technology, 2, pp. 461-498, Mahwah, NJ: Lawrence
Erlbaum.
Miranda, G. J., Arajo L. A. A., Casa Nova, S. P., & Cornacchione, E. B. (2013). A
Pesquisa em Educao Contbil: Produo Cientfica e Preferncias de Doutores no
Perodo de 2005 a 2009. Revista de Contabilidade e Finanas, 24(61), 75-88.
Nicol, D. J., & MacfarlaneDick, D. (2006). Formative assessment and selfregulated
learning: a model and seven principles of good feedback practice.Studies in higher
education, 31(2), 199-218.
Nicholson, A. H. (1999). Interactive Accounting: Byzantium. Accounting Education, 8(3),
267-270.
Paden, D. W., & Barr, M. D. (1980). Computer-assisted instruction in an elementary
college economics course. Computers & Education, 4(4), 259-267.
Pagano, R. (2001). Understanding statistics in the behavioral sciences. Wadsworth.
Passos, I. C. (2011). Raciocnio crtico de estudantes de graduao em cincia contbeis:
Aplicao do modelo instrucional de Richard Paul. Tese de Doutorado, Faculdade de
Administrao, Economia e Contabilidade, Universidade de So Paulo, So Paulo.
Peirce, N., Conlan, O., & Wade, V. (2008). Adaptive educational games: Providing non-
invasive personalised learning experiences. In Digital Games and Intelligent Toys
Based Education, 2008 Second IEEE International Conference on (pp. 28-35). IEEE.
Permut, S. E., Michel, A. J., & Joseph, M. (1976). The researcher's sample: A review of
the choice of respondents in marketing research. Journal of Marketing Research, 278-
283.
 101

Phillips, F., & Johnson, B. G. (2011). Online homework versus intelligent tutoring
systems: Pedagogical support for transaction analysis and recording. Issues in
Accounting Education, 26(1), 8797.
Postareff, L., Virtanen, V., Katajavuori, N., & Lindblom-Ylnne, S. (2012). Academics
conceptions of assessment and their assessment practices. Studies in Educational
Evaluation, 38(3), 84-92.
Romiszowski. A. & Mason, R. (2004). COMPUTER-MEDIATED COMMUNICATION.
In D. Jonassen (Ed.), Handbook of research for educational communications and
technology, 2, pp. 397-431, Mahwah, NJ: Lawrence Erlbaum.
Rebele, J. E., Stout, D. E., & Hassell, J. M. (1991). A review of empirical research in
accounting education: 19851991. Journal of Accounting Education, 9(2), 167-231.
Rebele, J. E., Apostolou, B. A., Buckless, F. A., Hassell, J. M., Paquette, L. R., & Stout,
D. E. (1998). Accounting education literature review (19911997), part II: students,
educational technology, assessment and faculty issues. Journal of Accounting
Education, 16(2), 179-245.
Reichardt, C. S., & Mark, M. M. (1998). Quasi-experimentation. In D. Bickman e Rog
(Eds.), Handbook of applied social research methods, pp. 193-228. Sage Publications.
Robertson, M. (1976). Artificial intelligence in education. Nature, 262, 435-437.
Russell, S. & Norvig, P. (1995). Articial Intelligence: A Modern Approach, 3rd edition,
Prentice Hall, NJ.
Sangster, A., & Lymer, A. (1998). How to survive a new educational era. Issues in
Accounting Education, 13(4), 10951109.
Sangster, A., & Wilson, R. A. (1991). Knowledge-based learning within the accounting
curriculum. The British Accounting Review, 23(3), 243-261.
Sangster, A., & Mulligan, C. (1997). Integrating the World Wide Web into an accounting
systems course. Accounting Education, 6(1), 53-62.
Sangster, A., Stoner, G. N., & McCarthy, P. (2008). The market for Luca Pacioli's Summa
arithmetica. The Accounting Historians Journal, 111-134.
Seels, B., Fullerton, K., Berry, L., & Horn, L. J. (2004). In D. Jonassen (Ed.), Handbook
of research for educational communications and technology, 2, pp. 249-334, Mahwah,
NJ: Lawrence Erlbaum.
Slavin, R., & Smith, D. (2009). The relationship between sample sizes and effect sizes in
systematic reviews in education. Educational Evaluation and Policy Analysis, 31(4),
500-506.
 102

Smith, L. M., & McDuffie, R. S. (1996). Using an expert system to teach accounting for
business combinations. Expert Systems with Applications, 10(2), 181-191.
Stamper, J., Barnes, T., & Croy, M. (2011). Enhancing the automatic generation of hints
with expert seeding. International Journal of Artificial Intelligence in Education, 21(1),
153-167.
Steagall, J. W., & Mason, P. M. (1994). Technology in the classroom: using PCs to teach
business and economic statistics. Computers & Education, 23(4), 253-259.
Villano, M. (1992). Probabilistic student models: Bayesian belief networks and
knowledge space theory. In Intelligent Tutoring Systems (pp. 491-498). Springer
Berlin Heidelberg.
Warburton, S. (2009). Second Life in higher education: Assessing the potential for and the
barriers to deploying virtual worlds in learning and teaching. British Journal of
Educational Technology, 40(3), 414-426.
Watson, S. F., Apostolou, B., Hassell, J. M., & Webber, S. A. (2003). Accounting
education literature review (20002002). Journal of Accounting Education, 21(4),
267-325.
Watson, S. F., Apostolou, B., Hassell, J. M., & Webber, S. A. (2007). Accounting
education literature review (20032005). Journal of Accounting Education, 25(1), 1-
58.
Williams, B. C. (1992). Computers BITE accounting education. Accounting
Education, 1(4), 343-346.
Wiliam, D. (2011). What is assessment for learning?. Studies in Educational
Evaluation, 37(1), 3-14.
 103

7 APNDICES

7.1 Syllabus do curso

104
105
 106

7.2 Termo de consentimento livre e esclarecido

 107

7.3 Pr-teste
108
109
110
 111

7.4 Pesquisa de Adequao e uso do Sistema ALEKS

112