Provas digitais online na avaliação formativa. Exploração das práticas e conceções dos professores

Challenges 2015: Meio Século de TIC na Educação, Half a Century of ICT in Education

484

PROVAS DIGITAIS ONLINE NA AVALIAÇÃO FORMATIVA: EXPLORAÇÃO DAS PRÁTICAS E CONCEÇÕES DOS PROFESSORES Nuno Dorotea Neuza Pedro Universidade de Lisboa, Portugal

Resumo: A avaliação formativa desempenha um papel fundamental no processo de ensino e de aprendizagem; informa sobre o estado dos alunos, os problemas que apresentam, como estão a progredir. Um feedback relevante e imediato promove a autonomia dos alunos e a autorregulação dos seus próprios processos de aprendizagem, e permite ao professor decidir sobre o processo de ensino, promovendo a adaptação de estratégias de acordo com as necessidades dos alunos. Para ser realmente eficaz o feedback formativo deve ser cuidadosamente desenvolvido e individualizado, tarefa que lamentavelmente exige aos professores um dispêndio de tempo que lhes escasseia. Através da utilização de sistemas de provas digitais online, o feedback pode tornar-se mais rápido e eficaz, sendo entregue instantaneamente e ao ritmo de cada aluno. O presente estudo pretende assim analisar os efeitos de tais sistemas pela perspetiva de professores e alunos. No mesmo assume-se abordagem multimetodológica de recolha e análise de dados. O estudo envolverá os alunos de duas turmas e o respetivo professor. Numa fase preliminar do estudo foi aplicado um questionário para conhecer as práticas e conceções dos professores em relação à avaliação formativa e às potencialidades das provas digitais online. Apresentam-se os respetivos resultados e conclusões. Palavras-chave: avaliação formativa, feedback, provas digitais online

Abstract: Formative assessment plays a key role in the process of teaching and learning. It informs about the status of students learning, their problems, how they are progressing. Relevant and just-in-time feedback promotes students’ autonomy and selfregulation of the learning processes and also allows teachers to make decisions about the teaching process, promoting the adjustment of strategies according to the students’ needs. For being really effective, formative assessment feedback should be carefully and individually developed, a task that unfortunately requires teachers an expenditure of time that it is scarce to them. Through the use on online digital tests systems (eassessment), the feedback can become prompt and effective. It can be delivered instantly and on each students pace. This study therefore aims to analyze the effects of such systems by the perspective of teachers and students. It assumes a multimethodological approach of data collection and analysis. The study will involve students from two classes and the respective professor. At an early stage of this study a questionnaire was applied to get to know the practices and conceptions of teachers regarding formative assessment and the potential of online digital tests. The former results and conclusions will be presented. Keywords: formative assessment, feedback, digital online tests.

Challenges 2015: Meio Século de TIC na Educação, Half a Century of ICT in Education

485

Introdução A avaliação formativa desempenha um papel fundamental no processo de ensino e aprendizagem (Marzano, 2007). Segundo Black e William (1998), a prática regular da avaliação formativa melhora as aprendizagens e, quando é uma prática sistemática, tende a promover nos alunos melhores resultados. A avaliação formativa consiste na recolha, análise e interpretação sistemática de evidências para determinar o estado do aluno relativamente aos seus progressos, com o objetivo de identificar as suas dificuldades e lacunas e, através do feedback, orientá-lo para as ultrapassar rapidamente. Um feedback relevante e imediato promove a autonomia dos alunos e a autorregulação dos seus próprios processos de aprendizagem, permitindo ainda ao professor refletir e decidir sobre o processo de ensino (Earl, 2003) e promover a adaptação das estratégias e metodologias de acordo com as necessidades dos alunos. Para além de outros processos mentais, a memória desempenha um papel fundamental no processo de aprendizagem. Após a aquisição de novas informações estas são retidas na memória de longo prazo para posterior recuperação e utilização. Mas a maior parte da informação aprendida é rapidamente perdida e a restante é esquecida a um ritmo lento mas relativamente estável, tornando-se impossível a sua recuperação (Ebbinghaus, 1913). Por outro lado, a informação retida pode ser incorreta ou incompleta sendo mais tarde recuperada com erros ou enviesamentos. Desde o estudo de Ebbinghaus várias investigações confirmaram as suas conclusões de que a retenção de novas informações se degrada rapidamente a não ser que sejam reforçadas ou recuperadas de algum modo (Figura 1).

Figura 1. Curva de esquecimento de Ebbinghaus (retirado de http://drvcourt.com/2015/02/07/ memory-the-forgetting-curve)

Challenges 2015: Meio Século de TIC na Educação, Half a Century of ICT in Education

486

De acordo com vários estudos e experiências recentes (Roediger & Butler, 2013; Stahl, Davis, Kim, Lowe, Carlson, Fountain & Grady, 2010) existe um efeito significativamente positivo na retenção das aprendizagens quando estas são recuperadas de forma espaçada no tempo e em especial quando se efetuam revisões sistemáticas de tais conteúdos (Figura 2). As revisões podem tomar a forma de reestudo ou, com melhores resultados, a forma de provas.

Figura 2. Efeito das revisões na retenção das aprendizagens (retirado de http://www.homeschoollaboratory.com/the-retention-toolkit-2-spacing-effect)

Roediger e Butler (2013) descrevem o termo ‘testing effect’ para enunciar que testar matéria previamente estudada proporciona melhor retenção a longo prazo, comparativamente a tarefas de reestudo ou à não realização de quaisquer provas. Os fatores apontados como potenciadores do aumento da eficácia das provas na retenção das aprendizagens são precisamente o feedback e a repetição. De acordo com Irving (2007), para que o feedback de uma avaliação formativa seja realmente eficaz deve ser cuidadosamente desenvolvido e individualizado; deve ser claro, detalhado, orientador e tão imediato quanto possível, de modo a permitir que o aluno atue sobre ele, potencializando uma intervenção atempada no processo de ensino-aprendizagem. O mesmo autor refere ainda que o feedback em tempo útil é um componente vital na avaliação formativa, e uma das maiores razões para esta ser eficaz. Segundo Hounsell (2003, p. 67), “We learn faster, and much more effectively, when we have a clear sense of how well we are doing and what we might need to do in order to improve”. Fornecendo informações úteis e que orientem o aluno a melhorar o

Challenges 2015: Meio Século de TIC na Educação, Half a Century of ICT in Education

487

seu desempenho futuro pode ajudá-lo a tornar-se num aprendente autorregulado e reflexivo. As provas são uma boa ferramenta para este propósito. Porém, com o escasso tempo que os professores têm disponível, torna-se complexo executar todas as demoradas etapas da construção e avaliação de provas, as quais de acordo com Arends (1995, p.241-248) se distinguem como i) planificação, ii) elaboração, iii) construção, iv) realização v) correção e classificação. Acrescentamos ainda a etapa de produção de um feedback imediato, personalizado, descritivo e orientador. A aplicação de uma prova de avaliação formativa implica um enorme consumo de tempo para o professor que já só consegue atuar tardiamente, pelo tempo consumido na correção e análise dos resultados e obtenção de informação detalhada da situação de cada aluno e do geral de cada turma. Entende-se assim que um dos principais entraves à utilização sistemática de provas de avaliação formativa apontados pelos professores é efetivamente a falta de tempo para correção e produção de feedback eficaz. Uma forma de exigir menos tempo e esforço associados a este processo consiste em construir as provas com questões de resposta fechada – verdadeiro/falso, resposta múltipla, correspondência, entre outras. Deste modo, poder-se-á agilizar os processos de correção, classificação e produção de feedback, informando os alunos de forma mais célere. A investigação produzida em torno deste tópico tem salientado que é possível considerar estes tipos de questões como sendo tão válido como as questões de resposta aberta (Dermo & Carpenter, 2012; McDermott, Agarwal, D'Antonio, Roediger & McDaniel, 2013; Smith & Karpicke, 2013). Apesar do tipo de questão de resposta fechada não permitir genericamente avaliar objetivos de níveis taxonómicos mais complexos, McDermott, Agarwal, D'Antonio, Roediger e McDaniel (2013) bem como Smith e Karpicke (2013) referem que os alunos que realizam provas constituídas por questões em formato de resposta de escolha múltipla e de resposta curta apresentam melhor desempenho em exames finais do que os alunos que não as realizam. Smith e Karpicke (2013) referem ainda que esta prática produz efeitos robustos na retenção a longo prazo, melhorando as aprendizagens. Kang, McDermott e Roediger (2007, citados por Smith & Karpicke, 2013) recomendam que, para maximizar a aprendizagem através de provas, estas sejam constituídas por questões de resposta curta e com produção de feedback disponibilizado aos alunos. É, neste sentido, que se assinalam as vantagens associadas à utilização de provas digitais em ambiente online, especialmente porque proporcionam a correção,

Challenges 2015: Meio Século de TIC na Educação, Half a Century of ICT in Education

488

classificação e produção de feedback de qualidade de forma automática e imediata. Assim, este formato de prova pode constituir-se como uma solução para colmatar as dificuldades e constrangimentos associados ao formato tradicional (em suporte papel). Simultaneamente, e tal como apresentado na Figura 3, nas provas em formato papel apenas é possível integrar elementos estáticos, como o texto e imagens. São habitualmente aplicadas a todos os alunos ao mesmo tempo, no mesmo local e com a mesma duração. A correção, classificação e produção de feedback é manual e demorada e, deste modo, os alunos recebem esta informação muitos dias após a realização da prova, quando já outras matérias poderão estar a ser abordadas. De igual modo, o conteúdo do feedback tende a ser limitado, dado a todos os alunos em simultâneo e habitualmente de forma oral ou manuscrita. Cada prova é aplicada uma única vez a cada aluno limitando assim o efeito de recuperação da informação da memória de longo prazo.

Figura 3 – Provas em formato papel

As provas digitais online envolvem um processo diferente. Como representado na figura 4, permitem a integração de elementos multimédia (som, vídeo, animações, simulações interativas), o que pode contribuir para uma melhor compreensão das questões e do respetivo feedback. Possivelmente muitas das respostas erradas em provas de avaliação poderão dever-se à dificuldade de compreensão das questões ou a erros na sua interpretação, e não à falta de conhecimentos científicos. Neste sentido, a integração de elementos multimédia poderá ajudar a clarificar as questões. Assim que a prova é criada pode ser automaticamente partilhada com outros professores e utilizada pelos alunos a qualquer momento, em qualquer local, e ao ritmo de cada um. Os alunos podem repetir a prova as vezes que entenderem e o sistema pode

Challenges 2015: Meio Século de TIC na Educação, Half a Century of ICT in Education

489

selecionar e reordenar automaticamente tanto as questões como as respetivas opções de resposta a cada nova tentativa. Esta caraterística promove a revisão e recuperação da informação da memória de longo prazo, uma vez que não permite ao aluno decorar a posição da resposta correta. Assim que o aluno responde a uma questão ou termina a prova recebe imediatamente a correção, classificação e o feedback relativo a cada questão ou resposta indicada. Como todas as informações são armazenadas no sistema, tanto os alunos como o professor podem analisar cuidadosamente as respostas e o feedback de cada questão e de cada tentativa. O professor pode ainda proceder a correções e classificações manuais. Para além dos resultados individuais, o professor pode analisar a performance da(s) turma(s) e atuar de imediato ao nível das estratégias de ensino.

Figura 4 – Provas digitais online

Como as provas digitais online podem facultar feedback instantâneo proporcionam aos alunos a oportunidade de atuarem imediatamente no sentido de ultrapassar dificuldades, colmatar lacunas e orientar os seus passos seguintes, o que tornar esse feedback garantidamente mais eficaz. Através da utilização de sistemas de provas online, o feedback pode tornar-se mais rápido e eficiente, por poder ser entregue instantaneamente e ao ritmo de cada aluno, permitindo-lhe compreender as suas fraquezas e problemas no seu processo de aprendizagem e consequentemente tomar medidas imediatas para ultrapassar as suas próprias dificuldades (Hattie & Timperley, 2007; Stobart, 2008). Complementarmente, ao corrigir, classificar e enviar o feedback

Challenges 2015: Meio Século de TIC na Educação, Half a Century of ICT in Education

automaticamente,

proporcionam

ao

professor

mais

tempo

490

para

analisar

cuidadosamente o progresso de cada aluno. Entre muitas outras possibilidades, as tecnologias de avaliação online também permitem a integração de elementos multimédia para suporte às questões, a criação de provas adaptáveis, bem como o desenvolvimento de questões partilhadas em bases de dados que podem ser partilhadas e cooperativamente ampliadas por diferentes professores da mesma escola e/ou da mesma área curricular. Por estes motivos, as provas digitais online podem constituir uma resposta adequada para minimizar a atual falta de tempo, caraterística da função docente já tão retratada na literatura. Torna-se assim necessário, para a educação e educadores, explorar profundamente as vantagens e desvantagens da utilização de sistemas de avaliação baseados na web que permitem avaliar os conhecimentos dos alunos, habilidades e atitudes.

Objetivos O

presente

trabalho

integra-se

assim

numa

tese

de

doutoramento

em

desenvolvimento que se organiza em torno da temática da avaliação online, analisando-a tanto sob a perspetiva dos professores como dos alunos. Tem como objetivos: (i) compreender de que forma a utilização de provas digitais online na avaliação formativa contribui para a aprendizagem dos alunos, nomeadamente através da integração de elementos multimédia e interativos e da geração de feedback eficaz (imediato, descritivo e orientador); (ii) percecionar, através de uma utilização sistemática, que vantagens e desvantagens os alunos e professor lhes reconhecem, que caraterísticas valorizam mais, e se contribuem para a melhoria dos resultados escolares. Assumiu-se, como fase preliminar desta investigação mais ampla, uma etapa de recolha e análise de informação sobre as atuais práticas e conceções dos professores no que respeita à avaliação formativa e às provas digitais online. Neste sentido foi aplicado um questionário online a professores do ensino básico e secundário entre 15 de maio e 31 de julho de 2014. Os resultados recolhidos nessa fase são o foco particular do presente artigo.

Challenges 2015: Meio Século de TIC na Educação, Half a Century of ICT in Education

491

Metodologia A fase preliminar ao estudo teve como objetivo validar empiricamente os pressupostos prévios dos autores em relação a algumas práticas e conceções dos professores no que respeita à utilização de provas na avaliação formativa, assim como em relação à importância que atribuem às características das ferramentas de avaliação digital online. A validação ou refutação de cada um dos pressupostos pretendeu focar a investigação nas particularidades e nos processos relacionados com a aplicação de provas de avaliação formativa que requerem maior atenção, e confirmar a fundamentação e fortalecer pertinência do estudo a desenvolver numa fase seguinte da tese em causa. Esta fase preliminar do projeto posicionou-se num plano metodológico de cariz exclusivamente quantitativo de recolha e análise de dados, tendo sido selecionado como instrumento de recolha de dados o inquérito por questionário. Neste sentido foi aplicado um questionário online que teve como população os professores do 2.º e 3.º ciclo do ensino básico e os professores do ensino secundário das escolas públicas a nível nacional. Devido à inexistência de um questionário previamente testado e validado foi necessário desenvolver o instrumento. No sentido de garantir a sua qualidade e adequação foi necessário validar este novo instrumento. O processo de validação envolveu duas etapas: análise do questionário por especialistas da área das Tecnologias Educativas e E-Learning da Universidade de Lisboa, que resultou em várias recomendações relativamente à sua estrutura e à reformulação de algumas questões, seguida de um processo de pré-testagem, realizado com base na aplicação do mesmo a 59 professores de várias escolas e níveis de ensino.

Resultados preliminares Através da aplicação do questionário, obtiveram-se 793 respostas validadas, constituindo-se este grupo amostral de 73,5% de professores do género feminino e 26,5% do género masculino. O tempo de serviço da maioria dos professores apresentou-se compreendido entre os 16 e os 25 anos (44,8%), tendo o grupo de professores com 26 ou mais anos de tempo de serviço obtido a segunda maior representatividade (35,8%). Os restantes professores indicaram ter até 15 anos de tempo de serviço (19,4%). O grupo disciplinar com mais professores a responder ao

Challenges 2015: Meio Século de TIC na Educação, Half a Century of ICT in Education

492

questionário foi o 300-Português (11%) seguido pelos grupos 510-Física e Química (8,8%) e 500-Matemática (8,3%). À exceção dos grupos disciplinares de Latim e Grego, Alemão e Filosofia todos os grupos tiveram representatividade na resposta ao questionário. Relativamente à área geográfica dos professores, 42,9% dos participantes desempenham a sua atividade profissional na zona Norte e 36,2% na zona de Lisboa e Vale do Tejo. A zona geográfica com menor representatividade é o Alentejo (3,2%). No que diz respeito à formação académica, a maioria dos participantes (68,2%) são licenciados, 19,2% são mestres, 10% possuem uma pósgraduação, 1,8% são bacharéis e 0,9% dos participantes são doutorados.

No que respeita às práticas e conceções dos professores em relação à utilização de provas na avaliação formativa os resultados preliminares indicam que 84% dos professores aplicam provas de avaliação com estes propósitos. Destes, 77,6% referem utilizar o formato papel, 5,2% o formato digital online - embora através de ferramentas que não geram feedback eficaz (imediato, descritivo e orientador) - e 17,2% referiram que utilizam ambos os formatos. Relativamente à frequência de aplicação de provas formativas, apenas 18,5% dos inquiridos aplicam regularmente (semanalmente ou quinzenalmente). A maioria dos professores aplicam as provas de forma menos sistemática, sendo que 30,9% indicaram que o fazem mensalmente, 24,7% aplicam apenas uma prova por período letivo e 15,5% apenas imediatamente antes das provas de avaliação com propósitos sumativos. Salienta-se o fato de 3,6% dos professores aplicarem este tipo de provas no final de cada unidade didática.

A tabela 1 apresenta os principais resultados obtidos sobre as práticas e conceções dos professores relativamente à utilização de provas formativas. Os dados apresentados são resultado de uma questão constituída por itens no formato de escala de Likert com 5 níveis de concordância, variando entre 1 (Discordo totalmente) e 5 (Concordo totalmente). É apresentada a frequência relativa discordante (resultados congregados das respostas do nível 1 e 2) e a frequência relativa concordante (resultados congregados das respostas do nível 4 e 5). Os resultados do nível 3 da escala são assumidos como opiniões neutras.

Challenges 2015: Meio Século de TIC na Educação, Half a Century of ICT in Education

493

Tabela 3 Práticas e conceções dos professores acerca das provas de avaliação formativa (n=793)

Concordo Discordo Neutro 1. A classificação e correção das provas consome-me muito tempo. 2. Devido à morosidade do processo de correção e classificação, só me é possível indicar nas provas se cada resposta está certa ou errada e a respetiva cotação

65%

13%

22%

43%

34%

23%

3. Considero que a realização das provas ao interromper o processo de ensino faz-me gastar tempo precioso para o cumprimento dos programas curriculares.

29%

47%

24%

4. Habitualmente faço a correção de cada questão oralmente e indico como deveria ser dada a resposta, justificando-o.

58%

22%

20%

5. Geralmente a correção e feedback são dados aos alunos várias aulas após a realização da prova.

25%

56%

19%

62%

20%

18%

32%

45%

23%

65%

7%

28%

58%

19%

23%

6. Geralmente a correção e feedback são dados oralmente a todos os alunos em simultâneo. 7. Geralmente não consigo dar aos alunos, para cada questão, um feedback descritivo e uma orientação sobre recursos onde possam encontrar a solução e outros assuntos relacionados. 8. A informação obtida pela aplicação das provas aos alunos resulta habitualmente num reajuste do planeamento e estratégias de ensino. 9. O tratamento e análise dos resultados dos alunos consome-me muito tempo.

Concordo Discordo Neutro 10. Se a correção, classificação e feedback fossem mais rapidamente entregues aos alunos o resultado da aplicação de provas formativas era mais benéfico.

68%

14%

18%

De acordo com os resultados apresentados, consideramos como válidos os pressupostos iniciais ao estudo referentes aos itens 1, 4, 6, 8, 9 e 10. Os pressupostos associados aos itens 3, 5 e 7 foram claramente refutados, mantendo-se a incerteza no pressuposto referente ao item 2. Deste modo, os dados sugerem que a maioria dos professores participantes consideram que todo o processo associado às provas de avaliação formativa consomem muito tempo; a correção de cada questão tende a ser feita oralmente para todos os alunos em simultâneo e poucas aulas após a realização da prova; é dado aos alunos um feedback descritivo e orientador, apesar de ser oralmente e não diferenciado, ocorrendo para todos em simultâneo; a aplicação das provas resulta num reajuste do processo de ensino. De igual modo há concordância por parte dos professores que se a correção, classificação e feedback das provas fosse mais rapidamente entregue aos alunos, o resultado da aplicação das provas formativas seria mais benéfico. Surpreendentemente os resultados do item 3 indicam que apenas

Challenges 2015: Meio Século de TIC na Educação, Half a Century of ICT in Education

494

47% dos participantes concordam que a realização de provas de avaliação formativa não interrompem o processo de ensino, gastando tempo precioso para o cumprimento dos programas curriculares. A tabela 2 apresenta os principais resultados obtidos no que respeita à importância que os professores atribuem às características e potencialidades das provas digitais online. Os dados apresentados são resultado de uma questão constituída por itens no formato de escala de Likert com 5 níveis de concordância, variando entre 1 (Nada importante) e 5 (Muito importante). Tendo sido utilizada uma escala de importância, referimo-nos à frequência relativa sem importância como a soma dos resultados dos níveis 1 com o nível 2 da escala, e à frequência relativa importante como a soma dos resultados do nível 4 com o nível 5 da escala. Os resultados do nível 3 da escala são assumidos como opiniões neutras.

Tabela 2 Importância atribuída pelos professores às caraterísticas das provas digitais online (n=793)

Importante

Sem Neutro importância

1. Correção e classificação automáticas.

85%

4%

11%

2. Permite ao professor ajustar manualmente a correção e classificação geradas automaticamente.

68%

10%

22%

87%

2%

11%

87%

3%

10%

89%

2%

9%

81%

5%

14%

76%

8%

16%

72%

7%

21%

9. Permite a integração de elementos multimédia nas questões e no feedback.

87%

2%

11%

10. A integração de elementos multimédia enriquece a aprendizagem.

85%

3%

12%

86%

3%

11%

82%

4%

14%

3. Tratamento automático dos resultados por aluno e questão para posterior análise pelo professor. 4. Apresentação automática da grelha global da turma com a classificação e resposta de cada aluno em cada questão. 5. Feedback automático e imediato. 6. Permite um feedback eficaz (imediato, descritivo e orientador) 7. Os alunos podem repetir as provas sempre que desejarem. 8. Ordenação automática das opções de resposta de cada questão a cada tentativa de resolução da prova.

11. Possibilita integrar uma grande diversidade de tipos de questão (aberta, V/F, múltipla, correspondência, preenchimento de espaços, arrastar elementos para uma imagem, resposta em áudio, álgebra, entre outras) 12. Acesso às provas e resultados em qualquer momento e local.

Challenges 2015: Meio Século de TIC na Educação, Half a Century of ICT in Education

Importante

495

Sem Neutro importância

13. As provas e questões podem ser partilhadas automaticamente com outros professores.

84%

3%

13%

14. Os resultados, correção, classificação e feedback são guardados de forma permanente, ficando disponíveis para consulta sempre que necessário, pelo aluno e pelo professor.

85%

2%

13%

Os resultados apresentados na tabela 2 revelam que todas as características das provas digitais online indicadas são consideradas importantes na avaliação formativa pela maioria dos participantes. Assim, consideramos que todos os nossos pressupostos iniciais relativamente a este formato de prova se apresentam válidos. A integração de elementos multimédia nas questões, opções de resposta e feedback, o feedback imediato e automático, a geração automática e imediata da grelha com as respostas de cada aluno e respetiva correção e classificação (como consequência da correção e classificação automática) são consideradas como as características mais importantes da utilização de provas digitais online na avaliação formativa. Salientamos que a característica assinalada como menos importante é a possibilidade do professor ajustar manualmente a correção e classificação que foram geradas automaticamente. A tabela 2 apresenta as características que mais distinguem as provas digitais online das provas em formato papel, e que permitem a superação de alguns dos seus constrangimentos.

Conclusões e resultados esperados Estes resultados suportam a pertinência do estudo e sugerem que as provas digitais online podem realmente apresentar-se como uma alternativa válida e com vantagens significativas e reconhecidas pelos professores. Assinalamos que os constrangimentos das provas em formato papel com os quais os professores concordaram são possíveis de superar pelas provas digitais online. As características que mais distinguem este formato de prova do formato papel são consideradas pelos professores como importantes.

Challenges 2015: Meio Século de TIC na Educação, Half a Century of ICT in Education

496

Importa notar que a investigação na qual se inscreve o presente artigo assume objetivos mais amplos e que os mesmos conduzirão a uma análise mais profunda da temática em causa: provas digitais online. Especificamente, espera-se contribuir para a identificação das vantagens e desvantagens associadas às provas digitais online comparativamente às provas realizadas em formato papel; a verificação se o uso das provas digitais online tem algum impacto na aprendizagem; a identificação se esse impacto é positivo e, a ser, que papel revela a integração de elementos multimédia; bem como a identificação das perturbações que podem surgir nos processos de aplicação de provas digitais online e como minimizá-las.

A fase preliminar do presente estudo pretendeu validar os pressupostos iniciais dos investigadores e, deste modo, suportar a sua pertinência. Na fase seguinte pretende-se implementar um conjunto de provas digitais online de avaliação formativa, e obter a opinião de alunos e professor acerca da sua perceção sobre este formato de prova e sobre o seu impacto na aprendizagem e nos resultados académicos. Em particular pela integração de elementos multimédia e pelo feedback eficaz. Esta fase, de natureza multimetodológica de recolha e análise de dados, será dividida em duas etapas. A primeira etapa consistirá na recolha e análise de dados de natureza quantitativa, através de inquéritos por questionário aos alunos e professor, assim como através de análise documental dos resultados académicos dos alunos. Na segunda etapa, de natureza qualitativa, pretende-se obter explicações detalhadas dos dados

quantitativos

recolhidos

na

etapa

anterior,

através

de

entrevistas

semiestruturadas a um grupo de alunos e ao professor. Serão participantes no estudo duas turmas do ensino secundário e respetivo professor da área científica.

Referências Arends, R. (1995). Aprender a Ensinar. Lisboa: MGraw-Hill. Black, P., & William. D. (1998). Inside the black box. Raising standards through classroom assessment. Phi Delta Kappa International. Retirado de: http://blog.discoveryeducation.com/assessment/files/2009/02/blackbox_article.p df Creswell, J., & Clark, V. (2011). Designing and conducting mixed methods research (2nd Ed.). Los Angeles: Sage Publications, Inc.

Challenges 2015: Meio Século de TIC na Educação, Half a Century of ICT in Education

497

Dermo, J., & Carpenter, L. (2012). e-Assessment for learning: Can online multiplechoice and extended matching questions really provide useful formative feedback? International Journal of e-Assessment 2(1). Retirado de: http://journals.sfu.ca/ijea/index.php/journal/article/viewFile/32/34 Earl, L. (2003). Assessment as learning: Using classroom assessment to maximise student learning. Thousand Oaks: Corwin Press. Ebbinghaus, H. (1913). Memory: A Contribution to Experimental Psychology. New York. Columbia University Press Hattie, J., & Timperley, H. (2007). The power of feedback. Review of educational research, 77(1), 81-112. Hounsell, D., (2003). Student feedback, learning and development. In M. Slowey, M. e D. Watson (eds.) Higher Education and the Lifecourse (pp. 67-78). Buckingham: SRHE & Open UP. Irving, K. (2007). Formative assessment improves student learning. NSTA Reports, 18(7), 6-8. Marzano, R. (2007). Designing a comprehensive approach to classroom assessment. In. D. Reeves (Ed.), Ahead of the curve: The power of assessment to transform teaching and learning (pp. 79-100). Bloomington: Solution Tree. McDermott, K., Agarwal, P., D'Antonio, L., Roediger, H., & McDaniel, M. (2013) Both multiple-choice and short-answer quizzes enhance later exam performance in middle and high school classes. Journal of Experimental Psychology Applied, 20(1), 3-21. Retirado de: http://www.ncbi.nlm.nih.gov/pubmed/24274234 Roediger, H., & Butler, A. (2013). Retrieval practice (testing) effect. In H. Pashler (Ed.), Encyclopedia of the mind (pp. 661-663). Los Angeles: Sage Publishing Co. Smith, M., & Karpicke, J. (2013). Retrieval practice with short-answer, multiple-choice, and hybrid tests. Memory, 22(7), 784-802. Retirado de: http://dx.doi.org/10.1080/09658211.2013.831454 Stahl, S., Davis, R., Kim, D., Lowe, N., Carlson, R., Fountain, K., & Grady, M. (2010). Play it again: The master psychopharmacology program as an example of interval learning in bite-sized portions. CNS Spectrums, 15(8), 491-504. Stobart, G. (2008). Testing Times. Abingdon: Routledge.