Desempenho entre turmas que utilizaram jogos no ensino de Ciência da Computação : uma revisão sistemática da literatura

Desempenho entre turmas que utilizaram jogos no ensino de Ciˆencia da Computac¸a˜ o: uma revis˜ao sistem´atica da literatura Igor Moreira F´elix, Joyce Siqueira, Ana Paula Laboissi`ere Ambr´osio, Deller James Ferreira 1

Instituto de Inform´atica – Universidade Federal de Goi´as (UFG) Cˆampus Samambaia – 74.001-970 – Goiˆania – GO – Brazil {igormoreira,joycesi,apaula,deller}@inf.ufg.br

Abstract. Educational games are being used to teach a lot of subjects and most of times it shows to be efficient. But it is necessary to analyse the performance of the groups that adopt this practice and then investigate it real efficience. This paper, gives emphasis in the use of games for Computer Science higher education, through an SRL with the aim of presenting results from groups, in the latest 5 years. Were found 261 papers, in 4 search bases, from those, only 2 attend the touchstone defined. From these, only 1 shows the real efficience from the use of educational games. The result will contribute for future researches that aim to improve or creat new approaches in this area. Resumo. Jogos educacionais vˆem sendo utilizados para o ensino de diversas disciplinas, sendo que, na maioria das vezes, estes se mostram eficientes. Por´em, e´ necess´ario analisar o desempenho das turmas que adotaram tal pr´atica, para assim investigar sua real eficiˆencia. Neste trabalho, enfatiza-se na aplicac¸a˜ o de jogos em cursos superiores de Ciˆencia da Computac¸a˜ o, atrav´es de uma RSL com o intuito de apresentar os resultados de turmas, nos u´ ltimos 5 anos. Foram localizadas 261 publicac¸o˜ es, em 4 bases de busca, das quais apenas 2 trabalhos atenderam aos crit´erios definidos. Destes, somente 1 demonstra a real eficiˆencia da utilizac¸a˜ o dos jogos educacionais. O resultado contribuir´a a futuras pesquisas que visam aperfeic¸oar ou criar novas abordagens nesta a´ rea.

1. Introduc¸a˜ o Segundo o Censo da Educac¸a˜ o Superior do Brasil [INEP 2013], os cursos de ciˆencias, matem´atica e computac¸a˜ o vˆem apresentando um crescimento na quantidade de matr´ıculas, se comparado com os anos anteriores. Por´em, em contram˜ao a esses dados, a quantidade de concluintes nessas a´ reas vˆem caindo, quando comparado ao mesmo per´ıodo. Durante o processo de aprendizagem os alunos enfrentam in´umeros desafios, principalmente os iniciantes. No curso de Ciˆencia da Computac¸a˜ o, de forma geral, estes demonstram maior dificuldade nas disciplinas que envolvem programac¸a˜ o de computadores. Segundo [Raabe and Silva 2005], a dificuldade pode ser originada, por exemplo, pela exigˆencia l´ogico-matem´atica, pelo ritmo de aprendizagem ou mesmo pelo esforc¸o individual do estudante. Estes obst´aculos, enfrentados logo no in´ıcio do curso, resultam em um n´umero expressivo de evas˜ao, principalmente na a´ rea tecnol´ogica [Adamo-Villani et al. 2013], podendo ser observado tamb´em em [INEP 2013].

Segundo [IEEE CS/ACM 2005], a estrat´egia de ensino dominante nos cursos de graduac¸a˜ o em Ciˆencia da Computac¸a˜ o e´ a tradicional aula expositiva. Por´em, outras t´ecnicas e m´etodos est˜ao sendo aplicados, como a utilizac¸a˜ o de jogos educacionais, que tˆem se tornado cada vez mais comum, conforme [Caulfield et al. 2011]. Jogos educacionais s˜ao especificamente projetados para ensinar as pessoas acerca de um determinado assunto, expandir conceitos, reforc¸ar o desenvolvimento ou auxili´alas exercitando uma habilidade ou buscando uma mudanc¸a de atitude enquanto jogam [Dempsey et al. 1996]. Segundo [Kishimoto 2010], os jogos tˆem sido considerados recursos did´atico-pedag´ogicos valiosos e com comprovadas contribuic¸o˜ es no ensino. Neste contexto, o objetivo deste trabalho foi, por meio da Revis˜ao Sistem´atica da Literatura (RSL), investigar a eficiˆencia da utilizac¸a˜ o de jogos educacionais no processo de ensino aprendizagem, especificamente nos cursos superiores de Ciˆencia da Computac¸a˜ o, comparando os resultados apresentados a partir de turmas que utilizaram e n˜ao utilizaram o m´etodo. Este artigo segue organizado em quatro sec¸o˜ es, a partir desta introduc¸a˜ o. Na segunda parte s˜ao apresentados a revis˜ao sistem´atica da literatura em sua proposta e tamb´em a forma com que foi conduzida neste trabalho. Na sec¸a˜ o seguinte s˜ao apresentados os resultados encontrados. E, na sec¸a˜ o quatro s˜ao elencadas as conclus˜oes.

2. Revis˜ao Sistem´atica da Literatura A Revis˜ao Sistem´atica da Literatura e´ uma pesquisa em profundidade de um fenˆomeno de interesse que produz resultados espec´ıficos e detalhados por meio da an´alise de conte´udo e qualidade do material pesquisado [Kitchenham et. al. 2009]. A seguir, tratamos das etapas envolvidas na conduc¸a˜ o da revis˜ao sistem´atica. 2.1. Planejamento O objetivo desta revis˜ao e´ comparar os resultados obtidos em turmas que utilizaram com turmas que n˜ao utilizaram jogos educacionais durante as aulas ministradas nos cursos de graduac¸a˜ o em Ciˆencia da Computac¸a˜ o, para assim, apresentar as diferenc¸as de desempenho, ap´os an´alise das experiˆencias pr´aticas realizadas. Para tanto, realiza a seguinte quest˜ao de pesquisa: Qual e´ a diferenc¸a de desempenho em turmas de disciplinas de Ciˆencia da Computac¸a˜ o, quando utilizados ou n˜ao jogos educacionais? 2.2. Processo de busca, crit´erios de inclus˜ao e exclus˜ao O processo de busca de estudos prim´ario consistiu na realizac¸a˜ o de pesquisas nos seguintes mecanismos de buscas: IEEE Xplore, ScienceDirect, ACM Digital Library e Scopus. Poder˜ao compor a revis˜ao, estudos publicados em inglˆes. Para identificac¸a˜ o das fontes foram utilizadas as palavras chave: game, education, learning, teaching, computer science e undergraduate student. Os resultados destas buscas retornam diversas publicac¸o˜ es, no entanto, em muitos casos, nem todas tˆem relac¸a˜ o direta a` quest˜ao de pesquisa ou n˜ao apresentam os resultados necess´arios para a devida comparac¸a˜ o. Desta foram, delimita-se os crit´erios de inclus˜ao e exclus˜ao, conforme Tabela 1.

´ ˜ e exclusao ˜ Tabela 1. Criterios de inclusao

Crit´erios de Inclus˜ao (CI)

Crit´erios de Exclus˜ao (CE) CE1. Trabalhos que n˜ao apresentam os CI1. Publicac¸o˜ es que tratam sobre a resultados de desempenho da turma. utilizac¸a˜ o de jogos educacionais no CE2. T´ıtulos duplicados. ensino superior da computac¸a˜ o. CE3. Pesquisas sem resultados CI2. Artigos publicados nos anos 2011 metodologicamente validados. a 2015. CE4. Trabalhos que n˜ao respondem a quest˜ao de pesquisa. 2.3. String de busca A partir da identificac¸a˜ o das palavras chaves foram criadas as Strings de busca, em inglˆes, unindo-as por conectivos l´ogicos (and e or), al´em da utilizac¸a˜ o de parˆenteses para definir a precedˆencia e aspas para unir termos compostos. Como resultado desta ligac¸a˜ o entre os conectivos l´ogicos e as palavras chaves, temos a seguinte String de busca: game AND (education OR learning OR teaching) AND “computer Science” + “undergraduate student” AND performance. 2.4. Conduc¸a˜ o da revis˜ao sistem´atica Na primeira fase da revis˜ao sistem´atica, a pesquisa prim´aria foi realizada a fim de encontrar nos engenhos de buscas, os artigos que possam estar relacionados diretamente ao tema abordado neste trabalho. Como mencionado na sec¸a˜ o 2.2, os mecanismos de buscas foram IEEE Xplore, ScienceDirect, ACM Digital Library e Scopus, sendo que para cada um destes, pequenas adaptac¸o˜ es na String de busca foram necess´arias (ver Tabela 2), a fim de garantir uma ampla cobertura sobre os trabalhos indexados por estas bases digitais, al´em de adaptar a` s particularidades de cada mecanismo. ˜ Tabela 2. Adaptac¸oes da String a cada mecanismo de busca

Base ACM ScienceDirect IEEE Xplore Scopus

String de busca game AND (education OR learning OR teaching) AND computer science + undergraduate student AND performance game AND (education OR learning OR teaching) AND ”computer science”and ”undergraduate student”AND performance ((((((game) AND education) OR learning) OR teaching) AND computer science) AND performance) game AND ( education OR learning OR teaching ) AND ”computer science”AND ”undergraduate student”AND performance

Os pr´oprios mecanismos de busca permitem o filtro por per´ıodo, desta forma, e´ poss´ıvel contemplar o Crit´erio de Inclus˜ao 2 (CI2), que trata sobre o per´ıodo de investigac¸a˜ o deste trabalho, que visa incluir publicac¸o˜ es que foram divulgadas entre os anos de 2011 e 2015.

A busca prim´aria retornou ent˜ao o total de 261 trabalhos, apresentados na Tabela 3. Destes, ap´os a leitura do t´ıtulo e do resumo, foram selecionados 16 artigos, que contemplaram os crit´erios apresentados na Tabela 1. ˜ Tabela 3. Trabalhos inclu´ıdos e exclu´ıdos na revisao

Base ACM ScienceDirect IEEE Xplore Scopus Total

Selec¸a˜ o prim´aria Extrac¸a˜ o de dados Quantidade Inclu´ıdos Exclu´ıdos Inclu´ıdos Exclu´ıdos 55 05 50 01 04 88 01 87 00 01 19 02 17 00 02 99 08 91 01 07 261 16 245 02 14

Ap´os a etapa de selec¸a˜ o prim´aria, realizou-se a extrac¸a˜ o dos dados, fase em que os trabalhos inclu´ıdos (16) foram lidos por completo, resultando em apenas 02 artigos (Tabela 4), que contemplam todos os crit´erios de inclus˜ao. Dentre os trabalhos exclu´ıdos, a maioria deles n˜ao trazia o resultado do desempenho das turmas (CE01). Os demais, sugeria os jogos educacionais como eficazes, por´em, sem apresentar comprovac¸a˜ o (CE03) ou n˜ao foram aplicados nos cursos superiores em Ciˆencia da Computac¸a˜ o (CE04). Tabela 4. Trabalhos selecionados

Ano

T´ıtulo Using a student response system in CS1 and 2011 CS2 A Two-Tier Test-based Approach to Improving Students’ Computer 2015 Programming Skills in a Web-Based Learning Environment

Autor A. T. Chamillard Tzu-Chi Yang, Gwo-Jen Hwang, Stephen J. H. Yang, Gwo-Haur Hwang

3. Resultados O resultado obtido concernente ao desempenho na utilizac¸a˜ o de jogos educacionais nas turmas de Ciˆencia da Computac¸a˜ o ser´a apresentado em forma de resposta a` quest˜ao de pesquisa supracitada. Iniciando a an´alise pelo trabalho de [Chamillard 2011], a Figura 1, apresenta os resultados das turmas nas quais aplicou-se os jogos educacionais. Segundo [Chamillard 2011], foram realizadas comparac¸o˜ es cruzadas entre pares de turmas. Na comparac¸a˜ o entre GDD 120/GDD 220 nenhum resultado encontrado e´ significantemente satisfat´orio. Enquanto que no cruzamento entre as turmas CS 115/GDD 120, foram encontrados dois resultados significativos: nas tarefas de programac¸a˜ o e no exame parcial do conte´udo. Segundo o trabalho, a m´edia de aproveitamento era de 61% para o curso CS 115 e de 81% para GDD 120. Portanto, no curso GDD 120, os estudantes tiveram um desempenho significativamente melhor do que em CS 115.

Figura 1. Resultados obtidos em [Chamillard 2011]

Ainda de acordo com o autor, os resultados n˜ao podem ser levados em conta sem uma an´alise dos conte´udos, pois a disciplina GDD 120 possui o conte´udo de programac¸a˜ o apresentado em passo-a-passo, enquanto que CS 115 apresenta o material de forma menos detalhada. Continuando a comparar o par GDD 120/CS 115, os resultados do exame parcial das disciplinas expressam resultado mais interessante, pois possuem muitas quest˜oes similares e a m´edia desse exame na disciplina CS 115 foi de 65%, enquanto que na GDD 120 o resultado foi de 57%. Portanto, os alunos de CS 115 tiveram desempenho superior. O segundo trabalho inclu´ıdo [Yang et al. 2015], apresenta a Figura 2, na qual s˜ao exibidos os resultados encontrados ap´os a conduc¸a˜ o da pesquisa.

Figura 2. Resultados obtidos em [Yang et al. 2015]

Segundo [Yang et al. 2015], inicialmente foi aplicado um teste, antes mesmo dos alunos comec¸arem a disciplina, a fim de verificar o n´ıvel de conhecimento a respeito da mat´eria a ser lecionada. A turma foi dividida em dois grupos: experimental e de controle. A partir de ent˜ao, aplicou-se os jogos educacionais ao grupo experimental, para determinar o impacto do m´etodo, comparando-o ao grupo de controle, que n˜ao fez uso da ferramenta did´atica. Conforme a Figura 2, no teste inicial o grupo de controle apresentou m´edia 4.90, enquanto que o experimental atingiu 4.68. Por´em, ap´os a conduc¸a˜ o da disciplina e do jogo, o grupo experimental se saiu consideravelmente melhor, apresentando m´edia 5.33, enquanto o outro grupo 4.82.

4. Conclus˜ao Apesar da ampla utilizac¸a˜ o de jogos educacionais no ensino para o curso de Ciˆencia da Computac¸a˜ o, poucos trabalhos realizam uma comparac¸a˜ o de desempenho entre turmas. Com isso, apenas dois trabalhos atenderam aos crit´erios de inclus˜ao e foram selecionados para embasar a resposta da quest˜ao de pesquisa. Durante a conduc¸a˜ o desta revis˜ao, identificou-se muitos autores que afirmaram a eficiˆencia do uso de jogos no ensino superior, por´em, apenas [Yang et al. 2015] provou

esta eficiˆencia, por meio de experimento, demonstrando numericamente o desempenho superior dos alunos que utilizaram jogos. [Chamillard 2011], apesar de ter realizado toda metodologia para avaliac¸a˜ o do experimento, n˜ao obteve resultados contundentes. Jogos s˜ao divertidos e atic¸am a curiosidade dos usu´arios, desta forma, acredita-se na necessidade de novos estudos em relac¸a˜ o a` tem´atica, para que os jogos educacionais possam trazer aos alunos o m´aximo de benef´ıcios, novas experiˆencias e aprendizado. Desta forma, esta RS apresenta a escassez de estudos que comprovam a relac¸a˜ o custobenef´ıcio do uso de jogos na educac¸a˜ o superior, especificamente nos cursos de Ciˆencia da Computac¸a˜ o.

Referˆencias Adamo-Villani, N., Haley-Hermiz, T., and Cutler, R. (2013). Using a serious game approach to teach ’operator precedence’ to introductory programming students. In International Conference Information Visualisation, pages 523–526. Iv edition. Caulfield, C. et al. (2011). A systematic survey of games used for software engineering education. In Canadian Center of Science and Education, Modern Applied Science, Canada, 5(6), pages 28–43. Chamillard, A. T. (2011). Using a student response system in cs1 and cs2. In Proceedings of the 42Nd ACM Technical Symposium on Computer Science Education, SIGCSE ’11, pages 299–304, New York, NY, USA. ACM. Dempsey, J. V., Lucassen, B., and Rasmussen, K. (1996). The instructional gaming literature: Implications and 99 sources. In Tech. Report 96-1. College of Education, University of South Alabama, EUA. Kishimoto, T. M. (2010). Brinquedos e brincadeiras na educac¸a˜ o infantil. Kitchenham, B., Brereton, P., Budgen, D., Turner, M., Bailey, J., and Linkman, S. (2009). Systematic literature reviews in software engineering – a systematic literature review. In Information and Software Technology, v. 51, pages 7–15. Prensky, M. (2001). Digital game-based learning. In McGraw-Hill, University of California, page 442. Raabe, A. L. A. and Silva, J. M. C. (2005). Um ambiente para atendimento as dificuldades de aprendizagem de algoritmos. In XIII Workshop de Educac¸a˜ o em Computac¸a˜ o – WEI, pages 2326–2335. IEEE CS/ACM (2005). Joint task force on computing curricula. In Computing Curricula 2005: The Overview Report. INEP (Instituto Nacional de Estudos e Pesquisas Educacionais An´ısio Teixeira) (2013). Censo da educac¸a˜ o superior, 2013. Dispon´ıvel em http://download.inep.gov.br/educacao superior/censo superior/apresentacao/2014/cole tiva censo superior 2013.pdf. Acesso em 07/12/2015. Yang, T., Hwang, G., Yang, S. J. H., and Hwang, G. (2015). A two-tier test-based approach to improving students’ computer-programming skills in a web-based learning environment. Educational Technology & Society, 18(1):198–210.