Uma análise quantitativa do desempenho acadêmico de alunos auxiliada por técnicas de aprendizagem de máquina levando em consideração dados de relações professor-alunos

Uma análise quantitativa do desempenho acadêmico de alunos auxiliada por técnicas de aprendizagem de máquina levando em consideração dados de relações professor-alunos Eanes Torres Pereira

∗

21 de setembro de 2015

Resumo Neste artigo, é apresentada uma análise quantitativa de como a qualidade das interações entre professores e alunos afetam o desempenho acadêmico. Foram analisadas respostas de 131 alunos a um questionário contendo 14 perguntas. Três tipos de análises foram realizadas: análise descritiva, testes de hipótese e classificação dos alunos em desempenho positivo e desempenho negativo de acordo com as respostas dos questionários submetidas a uma máquina de vetores de suporte (SVM). A partir da análise descritiva verificou-se que um fator muito importante para o desempenho acadêmico dos alunos é o quanto eles procuram os professores em horário de antedimento. Embora exista uma vasta literatura com pesquisas qualitativas sobre como o relacionamento professor-aluno afeta o desempenho dos alunos, os testes de hipótese realizados nesta pesquisa apontaram que os dados coletados não apresentam evidências suficientes para rejeitar a hipótese de que não há diferenças significativas entre os desempenhos de alunos com bom e mau relacionamento com os professores. Por fim, foi possível obter acurácia média de classificação de 60, 46% treinando uma SVM utilizando respostas de apenas 10 questões.

Palavras-Chave — Desempenho Acadêmico, Interações Professor-Aluno, Reconhecimento de Padrões Abstract — This paper presents a quantitative analysis on how the quality of teacher-student interactions affects academic performance. The hypothesis tested states there are no significant differences between the performance of students and their positive or negative relationships with their teachers. One hundred and thirty-one students completed a fourteen-item questionnaire, and their responses were analyzed. Three types of analysis were performed: descriptive analysis, hypothesis testing, and student classification (in two classes, positive and negative ∗ Departamento de Sistemas e Computação, Universidade Federal de Campina Grande [email protected]

1

performance) using answers to the questionnaire given as input to a Support Vector Machine (SVM). The descriptive analysis verified a very important factor to academic performance: how much the students seek the teacher in office hours. Although there is a lot of literature with qualitative research about how the teacher-student relationship affects student performance, the hypothesis tested in this paper did not present sufficient evidence to reject the null hypothesis. Finally, an average accuracy of 60.46% of classification was obtained by training a SVM using answers from ten selected questions of the applied questionnaire. Keywords— Academic Performance, Pattern Recognition, Teacher-Student Interactions

1

Introdução

Há muito tempo, cientistas e estudiosos têm se debruçado sobre os motivos que levam algumas pessoas a terem desempenho mais elevado do que outras em determinadas atividades, sejam elas atividades escolares, esportivas ou mesmo no trabalho. Um fator crítico para entender tais motivos é a investigação do processo pelo qual o ser humano aprende e se torna um especialista na área estudada. Há várias teorias de aprendizagem que explicam ou modelam o processo de aprendizagem do ser humano. Algumas bastante conhecidas são: a teoria sóciointeracionista, a teoria construtivista, a teoria comportamentalista e a teoria da aprendizagem significativa. Cada uma dessas teorias enfatiza determinado aspecto do processo de aprendizagem. Por exemplo, a teoria sócio-interacionista enfatiza o fato de que o processo de aprendizagem é favorecido pela interação entre pessoas que possuem níveis diferentes de conhecimento sobre o assunto que está sendo estudado. Um fator em comum entre as teorias mencionadas é que elas focam principalmente em aspectos cognitivos do processo de aprendizagem. Outras teorias como a teoria do afeto de Henri Wallon e a teoria "não-diretiva"de Carl Rogers analisam o processo de aprendizagem pela perspectiva afetiva da interação professor-aluno. Particularmente, a teoria de Wallon favorece a compreensão das relações entre cognição e afetividade no campo educacional [1]. Segundo Ferreira e Acioly-Régnier [1]: No campo educacional, o interesse pelo estudo da afetividade é um fenômeno relativamente recente. A herança positivista nessa área dificultava a inclusão dessa temática, classificada geralmente como "não-científica"ou posta como não relevante, sendo muitas vezes marginalizada ou usada de maneira generalizada para justificar as dificuldades em lidar com aqueles que rompiam as barreiras das regras escolares. Essas teorias que consideram o fator afetivo no processo de aprendizagem podem ser utilizadas em conjunto com a teoria desenvolvida por Ericsson, Krampe e Tesch-Romer [2] para aperfeiçoar o processo de aprendizagem de modo que o aprendiz se torne um especialista na área. Segundo os autores [2]: a crença de que a quantidade de experiência e prática na execução de uma determinada 2

tarefa leva ao desempenho máximo em sua execução pode estar incorreta. Ericsson, Krampe e Tesch-Romer [2] afirmam que as condições para a aprendizagem ótima e para o aumento do desempenho na execução de determinada tarefa que são mais citadas na literatura são: • A motivação do indivíduo para executar a tarefa e se esforçar para melhorar seu desempenho; • O projeto da tarefa a ser executada deveria levar em consideração o conhecimento pré-existente dos aprendizes/estudantes de modo que a tarefa possa ser entendida corretamente após um pequeno período de instrução; • Os indivíduos deveriam receber retorno informativo e imediato sobre os resultados de seu desempenho. Segundo os autores [2], na ausência de retorno (feedback ) adequado, a aprendizagem eficiente é impossível e a melhoria do desempenho é mínima mesmo para indivíduos altamente motivados. Isso nos leva a questionar que características o termo retorno adequado deve possuir. Um aspecto extremamente importante que o presente artigo trata refere-se ao fato de que o processo de treinamento de um futuro especialista necessita de um relacionamento adequado entre o professor/treinador e o aluno/aprendiz. O professor/treinador seria um especialista que poderia acompanhar o processo de aprendizagem, verificar e indicar explicitamente onde estão os erros cometidos por seu aluno/aprendiz. Portanto, se a interação entre professor e aluno não for harmoniosa o processo de ensino-aprendizagem poderá não atingir o objetivo de tornar o aprendiz um especialista na área. Assim, podemos afirmar que uma característica fundamental da relação ensino/aprendizagem é a empatia mútua entre professor e aluno. Do ponto de vista das relações humanas, a empatia é a habilidade para antecipar e entender as reações dos outros [3]. Além disso, a empatia é necessária para a obtenção de conhecimentos sociais, entendimento de outras pessoas sem exitar em ajudar outras pessoas, compartilhar e exibir responsabilidade [3]. Há vários trabalhos na literatura que realizam análises da relação professor aluno no processo de aprendizagem. Um desses trabalhos foi realizado por Veras e Ferreira [4], que investigaram por meio de análise qualitativa como a postura do professor influencia a experiência de aprendizagem de estudantes universitários. A investigação foi realizada em duas turmas de um curso de graduação em Pedagogia de uma universidade pública de Recife-PE. Segundo Veras e Ferreira [4]: ..., podemos afirmar que a afetividade constitui um fator de grande importância no processo de desenvolvimento do indivíduo e na relação com o outro, pois é por meio desse outro que o sujeito poderá se delimitar como pessoa nesse processo em permanente construção. Nesse sentido, é essencial que o professor de Ensino Superior também esteja envolvido nesse processo, considerando a afetividade como parte do desenvolvimento, buscando a formação integral dos estudantes universitários e uma vivência positiva da aprendizagem. 3

As técnicas de coleta de dados empregadas por Veras e Ferreira [4] foram a observação e a entrevista. Foram realizadas 8 observações durante as aulas dos professores das turmas selecionadas aleatoriamente. Após as observações foram realizadas entrevistas com quatro professores e 8 alunos. Veras e Ferreira [4] afirmam que houve a presença de afetividade positiva nos processos de: • acompanhamento e feedback no decorrer do ensino-aprendizagem; • compartilhamento das responsabilidades exigidas por situações pedagógicas; • planejamento da disciplina; • consideração dos limites e possibilidades dos alunos. Por fim, Veras e Ferreira [4] concluem que se a relação professor-aluno é positiva então o ambiente de ensino e aprendizagem será prazeroso. Entendendo-se nesse caso, como relação positiva a presença de diálogo e proximidade. Assim, verifica-se que as conclusões de Veras e Ferreira [4] corroboram as afirmações de Ericsson, Krampe e Tesch-Romer [2] sobre a necessidade de um professor/treinador que entenda bem o seu aluno e lhe dê retorno de qualidade e imediato. A relação entre afetividade e práticas pedagógicas no ensino superior foi analisada por Garzella [5]. A pesquisa analisou dados coletados por meio de entrevistas com alunos do Ensino Superior de uma universidade pública de São Paulo e por meio de observação em duas salas de aula. Nas entrevistas, permitia-se que os alunos falassem de suas experiências em relação a aspectos afetivos decorrentes de práticas pedagógicas de seus professores. Os dados foram agrupados em três categorias: aula expositiva, planejamento do professor e avaliação. A categoria de aula expositiva trata de dados referentes ao uso da lousa, disponibilidade para atender solicitações de alunos, tom de voz e postura. Segundo Garzella [5], os fatores mencionados pelos alunos que afetam a aprendizagem são a forma de organização lógica e o modo de exposição da matéria. Além disso, Garzella [5] afirma que os relatos dos alunos evidenciam o fato de que os eles estão atentos ao planejamento da aula, ou à ausência de planejamento. Por fim, a categoria de dados chamada de avaliação refere-se ao modo como as avaliações são realizadas. Por exemplo, o nível ou tipo de questões que são incluídas nas avaliações. A autora cita alguns relatos de alunos mencionando a existência de irregularidades entre a complexidade do que é ensinado na aula e do que é cobrado na avaliação. Uma das alunas relata que chorou ao ver uma questão sobre um assunto que seria considerado uma exceção (pois o professor havia dito que não era importante) e que por isso ela não dedicou muito tempo a estudá-lo. A autora afirma que são evidentes os casos de ansiedade com relação às avaliações. Essa ansiedade pode ser decorrente das incertezas sobre quão fiel ao que foi ensinado será a avaliação. A autora conclui de suas análises que o ato de avaliar se tornou um ato de julgar e classificar o aluno e que isso não colabora para o seu sucesso. 4

Embora Garzella [5] não mencione explicitamente sobre quais são as disciplinas que os alunos entrevistados estão sendo questionados, pelos relatos é possível afirmar que se tratam de disciplinas de matemática ou Cálculo. Uma crítica em relação ao modo como os dados foram coletados é que pode ter ocorrido um enviesamento de opiniões dos alunos. Primeiro, foram enviadas mensagens de e-mail para uma lista de alunos e ex-alunos de um professor específico. Segundo, apenas parte dos alunos participaram. O fato de apenas alguns alunos terem mostrado interesse em participar das entrevistas, pode levantar outros questionamentos relacionados aos motivos que os levaram a participar. O problema de ansiedade em relação à matemática já é abordado na literatura especializada desde a década de 1950 [6]. Carmo e Simionato [7] definem a ansiedade em relação à matemática como "um fenômeno que compreende reações emocionais negativas diante de situações que requisitam o uso de conhecimentos matemáticos". Ainda segundo Carmo e Simionato [7], as origens desse tipo de ansiedade estão relacionadas às más experiências de ensino dessa disciplina. Carmo e Simionato [7] afirmam que: No caso da aprendizagem da matemática escolar, erros e mau desempenho ao fazer um exercício de matemática ou ao responder incorretamente a uma pergunta do professor podem ter como consequência uma das formas de controle aversivo. Esse controle aversivo seria um dos causadores da ansiedade em relação a ter de lidar com situações envolvendo matemática. Ainda segundo Carmo e Simionato [7], até mesmo alguns professores podem ter ansiedade matemática e passar uma certa insegurança para os alunos e deixá-los propensos a sofrerem, também, desse tipo de ansiedade. Os fatores mencionados nesta seção servem como motivação para a pesquisa descrita neste artigo. O presente artigo apresenta resultados quantitativos de uma pesquisa realizada com alunos do curso de Ciência da Computação de uma universidade pública brasileira que estavam matriculados nas disciplinas de Cálculo Diferencial I e Matemática Discreta. A pesquisa foi realizada por meio da aplicação de um subconjunto de questões do Questionário de Vivências Acadêmicas (QVA) [8] e posterior análise estatística das respostas. Este artigo é composto por 4 seções. Na Seção 1, apresentamos o problema a ser abordado e as motivações para a pesquisa. A metodologia adotada e as hipóteses de trabalho são descritas na Seção 2. Análises descritivas e estatísticas dos dados são apresentadas na Seção 3. Por fim, as conclusões obtidas da pesquisa são apresentadas na Seção 4.

2

Metodologia

Esta pesquisa foi realizada por meio da aplicação de um subconjunto de questões do QVA (Questionário de Vivências Acadêmicas) [8] a alunos de duas turmas de um curso de Ciência da Computação. Os alunos que responderam o questionário estavam matriculados nas disciplinas de Cálculo I e Matemática Discreta. Para verificar as hipóteses deste trabalho, foram utilizadas questões do Ques5

tionário de Vivências Acadêmicas (QVA) [8]. O QVA é dividido em 17 subescalas, nesta pesquisa avaliamos apenas questões da subescala Relacionamento com os professores. Para cada questão eram disponibilizadas 5 possibilidades de respostas possíveis, com níveis de intensidade variando de 1 a 5. As questões dessa subescala são: 1. Não me é fácil estabelecer contatos com os professores; 1 muito fácil, 5 muito difícil; 2. Tenho dificuldades no relacionamento com os professores; 1 nenhuma dificuldade, 5 muita dificuldade; 3. Considero que os meus professores têm poucas qualidades pedagógicas; 1 nenhuma qualidade pedagógica, 5 muitas qualidades pedagógicas; 4. Interajo com os professores fora das aulas;1 nenhuma interação, 5 muita interação; 5. Julgo não poder contar com a ajuda dos meus professores se vier a ter algum problema; 1 nenhuma ajuda, 5 muita ajuda; 6. Não tenho problemas em colocar questões ao professor na sala de aula; 1 nenhum problema, 5 muitos problemas; 7. Os docentes revelam pouca disponibilidade de tempo para os alunos; 1 nenhuma disponibilidade, 5 muita disponibilidade; 8. Os professores que tenho gostam de ensinar; 1 não gostam, 5 gostam muito; 9. São-me dadas oportunidades para interagir informalmente com os professores; 1 nenhuma oportunidade, 5 muitas oportunidades; 10. Sinto-me à vontade para falar dos meus problemas com alguns professores; 1 muito à vontade, 5 nem um pouco à vontade; 11. Tenho professores excelentes ou mesmo fora de série; 1 excelentes, 5 muito ruins; 12. Senti apoio dos professores na minha integração no curso; 1 muito apoio, 5 nenhum apoio; 13. O curso que frequento promove a interação entre professores e alunos; 1 muita interação, 5 nenhuma interação; 14. Procuro os professores nos gabinetes para colocar dúvidas. 1 sempre, 5 nunca; Nas questões e hipóteses abaixo, considere as seguintes definições: • desempenho acadêmico positivo: aluno com média superior a 5 no fim do período nas disciplinas mencionadas; 6

• bom relacionamento entre professores e alunos: não ter medo/receio de tirar dúvidas em sala de aula, procurar os professores em horários de atendimento, disponibilização (por parte do professor) de horários de atendimento, o aluno sabe que o professor é acessível em horários fora de aula. As seguintes questões de pesquisa e respectivas hipóteses guiaram as investigações realizadas neste trabalho: • Questão 1: a proporção de alunos que apresentam bom desempenho é diferente entre os grupos de alunos com bom e mau relacionamento? – Hipótese 1 - 0: a proporção de alunos com bom desempenho e mau desempenho é a mesma entre os grupos (bom relacionamento e mau relacionamento); – Hipótese 1 - A: a proporção de alunos com bom desempenho e mau desempenho é diferente entre os grupos (bom relacionamento e mau relacionamento); • Questão 2: É possível predizer o desempenho de alunos por meio de seu sentimento com relação ao seu relacionamento com professores? – Hipótese 2 - 0: um modelo de aprendizagem (e.g., máquina de vetores de suporte ou rede bayesiana) treinado com dados fornecidos por alunos é capaz de predizer o desempenho acadêmico de alunos levando em consideração variáveis que descrevem seu relacionamento com professores; – Hipótese 2 - A: um modelo de aprendizagem (e.g., máquina de vetores de suporte ou rede bayesiana) treinado com dados fornecidos por alunos não é capaz de predizer o desempenho acadêmico de alunos levando em consideração variáveis que descrevem seu relacionamento com professores.

3

Análise Estatística dos Dados Coletados

Esta seção é composta por 4 subseções que apresentam respectivamente: uma análise descritiva dos dados, testes de hipóteses por meio de intervalos de confiança, testes de hipótese utilizando proporções, análise probabilística e resultados de validações cruzadas utilizando o classificador SVM.

3.1

Análise Descritiva

Nesta subseção, serão analisadas as características dos dados coletados. Em primeiro lugar, será verificado se a condição de sucesso-falha para as proporções de alunos que indicaram em suas respostas um bom relacionamento com professores é obedecida. Na Tabela 1, são apresentados os valores obtidos para a condição sucesso- falha. Considerando como sucesso, os alunos terem indicado em suas

7

Tabela 1: Condições de sucesso-falha para proporções Questão 1 2 3 4 5 6 7 8 9 10 11 12 13 14

n × p 35 49 96 34 72 38 82 96 51 14 71 42 40 17

n × (p − 1) 63 49 2 64 26 60 16 2 47 84 27 56 58 81

respostas níveis compatíveis com bom relacionamento com os professores e como falha o contrário. Da análise dos dados apresentados na Tabela 1, verifica-se que apenas as respostas para as questões de números 3 e 8 não obedecem a condição de que o número de sucessos e falhas deve ser superior a 10 cada um. Além disso, observando-se os gráficos de barras correspondentes à questão 3 1(i) verifica-se que nenhum aluno indicou que seus professores não possuem um grau mínimo de qualidade (nível 1). Porém, é evidente a percepção negativa quanto ao grau de qualidade de seus professores que alguns alunos com bom desempenho indicaram. Como a proporção de alunos que indicaram que seus professores possuem boas qualidades pedagógicas foi muito superior à proporção que indicaram baixa qualidade, não será possível realizar inferências utilizando os dados da questão 3 1(i). Os dados representados no gráfico da Figura 1(a) se referem à percepção dos alunos quanto ao fato de seus professores gostarem ou não de ensinar. Como pode ser observado, a percepção indicada pelos alunos que possuem desempenho negativo é de que seus professores não gostam muito de ensinar. Verifica-se no gráfico da Figura 1(a) que em todos os níveis, com exceção do nível 5, há mais alunos de desempenho negativo do que alunos de desempenho positivo. A diferença de opinião entre alunos de desempenho negativo e desempenho positivo decresce do nível 3 ao 5, indicando que as opiniões positivas dos alunos de desempenho negativo são cada vez menores à medida que a percepção de qualidade positiva aumenta. Outro fator importante a ser destacado quanto às respostas da questão 8, é que nenhum aluno de desempenho positivo indicou que seus professores não gostam de ensinar. Como também houve uma desproporção alta entre as opiniões, não será possível considerar as respostas obtidas para para 8

esta questão nas inferências estatísticas que serão realizadas neste artigo. Contrastando as respostas obtidas para a questão 8 com as respostas obtidas para a questão 11, conforme dados apresentados na Figura 1(b), verifica-se que as opiniões dos alunos quanto às qualidades pedagógicas de seus professores estão relacionadas com a percepção que os alunos possuem em relação aos professores gostarem ou não de ensinar. Pois, enquanto nenhum aluno de desempenho positivo indicou que seus professores não gostam de ensinar (conforme dados da Figura 1(a)), nenhum aluno de desempenho positivo indicou que seus professores possuem péssimas qualidades pedagógicas. A coerência de opiniões também se mantém quanto aos alunos de desempenho negativo: há maior quantidade de alunos de desempenho negativo que julgam que seus professores possuem baixas qualidades pedagógicas e não gostam de ensinar. Os dados apresentados para as questões 7 (os professores tem tempo disponível para atender os alunos) e 14 (os alunos procuram os professores para tirar dúvidas), Figuras 7 e 14, também apresentam coerência entre as opiniões dos alunos: os alunos que apresentaram desempenho negativo indicam que embora eles procurem com frequência seus professores para tirar dúvidas, os professores não disponibilizam horários suficientes para atendimento. Porém, da Figura 14, verifica-se que os alunos que apresentam desempenho positivo procuram seus professores com muito mais frequência do que os alunos que apresentam desempenho negativo. Além disso, conforme Figura 7, os alunos que possuem desempenho positivo possuem uma percepção diferente quanto à disponibilidade de seus professores. Um fator que pode causar essa diferença é o fato de que se os alunos procuram com menos frequência seus professores a probabilidade de encontrarem eles em horário adequado para atendimento é menor. Embora a proporção de alunos que apresentaram desempenho negativo tenha indicado que grande parte deles não procura os professores para tirar dúvidas e que os professores não disponibilizam horários suficientes para atendimento, esses mesmos alunos indicaram em suas opiniões, conforme dados da Figura 1(e), que tem menos problemas de interação com seus professores do que os alunos que apresentaram desempenho positivo. As opiniões dos alunos que apresentaram baixo desempenho também apresentaram contraste em relação à promoção pela instituição de ensino de interações entre professores e alunos, conforme dados da Figura 1(g). A proporção de alunos com desempenho negativo que indicaram em suas respostas que a instituição promove muita interação entre professores e alunos é mais alta do que a proporção de alunos que apresentaram desempenho positivo. Além disso, conforme os dados apresentados na Figura 1(f), a maioria dos alunos indicou que não há interação com professores fora da sala aula, mesmo tendo indicado que a instituição promove a interação entre alunos e professores, conforme dados apresentados na Figura 1(g).

3.2

Testes de Hipóteses Utilizando Intervalos de Confiança

Para o caso aqui estudado, as proporções amostrais deverão ser calculadas separadamente para cada questão e para alunos com bom desempenho e mau 9

(a) Respostas para a questão: Os professores que tenho gostam de ensinar.

(b) Respostas para a questão: Tenho professores excelentes ou mesmo fora de série.

10

(c) Respostas para a questão: Os docentes revelam pouca disponibilidade de tempo para os alunos.

(d) Respostas para a questão: Procuro os professores nos gabinetes para colocar dúvidas

11

(e) Respostas para a questão: Tenho dificuldades no relacionamento com os professores.

(f) Respostas para a questão: Interajo com os professores fora das aulas.

12

(g) Respostas para a questão: O curso que frequento promove a interação entre professores e alunos.

(k) Respostas para a questão: Não tenho problemas em colocar questões ao professor na sala de aula.

(l) Respostas para a questão: São-me dadas oportunidades para interagir informalmente com os professores.

13

(m) Respostas para a questão: Sinto-me à vontade para falar dos meus problemas com alguns professores.

Figura 1: Intervalos de confiança para as proporções de respostas às perguntas do questionário agrupadas de acordo com o desempenho dos alunos.

desempenho. Assim, as proporções amostrais de cada questão correspondem às porcentagens de alunos com bom relacionamento e mau relacionamento. Nesta seção, para cada uma das questões analisadas com exceção das questões 3 e 8 serão construídos intervalos de confiança para verificar se há diferença estatística significativa entre a proporção de alunos que indicaram em suas respostas que tinham bom relacionamento com seus professores e a proporção de alunos que indicaram em suas respostas opinião contrária. A partir da análise dos intervalos de confiança apresentados na Figura 1, é possível verificar que, como previamente mencionado, os intervalos relativos às questões 3 e 8 não podem ser usados para traçar conclusões significativas sobre as proporções de opiniões dos alunos. Além disso, não há diferenças significativas entre as proporções de respostas para a questão 11, que se refere à opinião dos alunos sobre à qualidade de seus professores. Para as questões 5 e 7 há uma pequena interseção nos extremos dos intervalos, mas ainda é possível considerar que há diferenças significativas entre as proporções de respostas. Para os intervalos correspondentes a todas as outras questões, as diferenças são bastante elevadas. Deve-se notar que, como já foi mencionado na Subseção 3.1, havia uma pequena contradição referente à opinião dos alunos que apresentaram desempenho negativo quanto à disponibilidade de tempo que os professores possuem para o atendimento de alunos. Essa contradição se revelou nos intervalos de confiança como não havendo diferença significativa entre as proporções de respostas quanto à questão mencionada. Consequentemente, se grande proporção de alunos julga não ter a possibilidade de encontrar seus professores em horários de atendimento, se esperaria que tais alunos não contassem com a ajuda de seus

14

professores quando necessário. Porém, como mostrado na Figura 1(j), a maior parte dos alunos indicou que podem contar com seus professores. Essa contradição se revelou nos dados do intervalo de confiança para a questão 5 como não havendo diferenças significativas entre as proporções de opiniões. Considerando as análises realizadas nesta subseção e na Subseção 3.1, apenas os dados das questões 1, 2, 4, 6, 9, 10, 11, 12, 13 e 14 serão analisados na abordagem descrita na Subseção 3.3.

3.3

Análise Probabilística

Nesta subseção, os dados obtidos nos questionários serão analisados a partir de tabelas de contingência para cada uma das questões selecionadas de acordo com a metodologia descrita na Subseção 3.2. Como a variável de interesse é o desempenho dos alunos condicionado às interações entre alunos e professores, será utilizada a notação seguinte: • P(D): probabilidade do aluno obter desempenho positivo; • P(¬ D): probabilidade do aluno obter desempenho negativo; • P(R): probabilidade do aluno ter boa interação com professores; • P(¬ R): probabilidade do aluno não ter boa interação com professores. Usando a notação mencionada, para cada questão teremos P(Di ), P(¬Di ), P(Ri ) e P(¬Ri ), em que o índice corresponde a uma das questões analisadas, i = {1, 2, 4, 6, 9, 10, 11, 12, 13, 14}. A partir das opiniões dos alunos sobre a facilidade de estabelecer contato com os professores, pode-se observar na Tabela 4 que a probabilidade de um aluno obter bom desempenho dado que ele tem facilidade de interagir com os professores (Questão 1) é P(D1 | R1 ) = 0, 53. Segundo os dados da mesma questão, a probabilidade de um aluno obter desempenho negativo dado que ele possui facilidade de interação com os professores é P(¬D1 | R1 ) = 0, 47. Na Tabela 4, há um resumo das probabilidades possíveis. Asrespostas para a Questão 1 expressam o grau de facilidade que os alunos possuem para estabelecer relações com seus professores. A partir das probabilidades apresentadas para esta questão na Tabela 4 verifica-se que alunos que há uma maior probabilidade de alunos com bom relacionamento obterem melhor desempenho do que alunos com mau relacionamento (0, 53 versus 0, 43). Para essa mesma questão, verifica-se que a probabilidade de um aluno com mau relacionamento obter mau desempenho é maior do que a proabilidade desse mesmo aluno obter bom desempenho (0, 57 versus 0, 47). Essa questão é importante pois evidencia o sentimento geral, por parte do aluno, de relacionamento professor-aluno e as respostas dos alunos indicam que aqueles que possuem melhor relacionamento apresentam melhor desempenho. Resultados semelhantes ocorrem para as probabilidades das questões 2, 4, 6, 12, 13 e 14. Vale destacar a alta probabilidade de ter bom desempenho associada ao bom relacionamento para a questão 14 (71%). Essa questão indica o quanto os alunos procuram os professores para tirar dúvidas. Dado que ocorreu um empate nas quantidades 15

Tabela 2: Probabilidades de desempenho e interação professor-aluno. Questão 1 2 4 6 9 10 11 12 13 14

P (D|R) 0, 53 0, 58 0, 52 0, 45 0, 37 0, 33 0, 32 0, 50 0, 56 0, 71

P (D|¬R) 0, 43 0, 33 0, 40 0, 39 0, 47 0, 46 0, 53 0, 43 0, 42 0, 41

P (¬D|R) 0, 47 0, 42 0, 48 0, 55 0, 63 0, 67 0, 68 0, 50 0, 44 0, 29

P (¬D|¬R) 0, 57 0, 67 0, 60 0, 61 0, 53 0, 54 0, 47 0, 57 0, 58 0, 59

de questões que indicaram bom desempenho associado com bom relacionamento e mau desempenho associado com bom relacionamento, será necessário realizar um teste de hipótese. Esse teste de hipótese é detalhado na Subseção 3.4. Deve-se observar que os resultados das questões 9, 10 e 11 foram diferentes dos das outras questões. Para a questão 9, que considera as possibilidades de interação entre professores e alunos, os resultados indicam que o fato de o aluno possuir uma maior quantidade de possibilidades de interação não influencia positivamente seu desempenho. É muito importante ressaltar aqui que, embora haja a percepção por parte do aluno de que lhe são dadas maiores possibilidades de interação, isso não quer dizer que ele aproveite adequadamente tais possibilidades como é evidenciado pelo gráfico da questão 14 1(d), especificamente se observarmos as barras verticais de rótulos 3 e 4 fica clara a discrepância de desempenho entre alunos que nunca buscam auxílio de professores e alunos que sempre buscam auxílio. As respostas para a questão 10 podem estar evidenciando a necessidade de analisar com outros questionamentos como se dá essa conversa entre alunos e professores, pois o desempenho é mais elevado para os alunos que se sentem menos à vontade para tratar de seus problemas com os professores. Como o enunciado da questão não deixa claro que tipo de problemas são tratados (se são problemas pessoais ou técnicos) essa questão deveria ser melhor analisada em pesquisas posteriores para esclarecer que tipos de problemas são tratados. A percepção dos alunos de que seus professores são excelentes influencia mais seu desempenho negativo do que o desempenho positivo, como é ilustrado pelas probabilidades da Questão 11. As respostas da questão 10 e 11 podem estar relacionadas pelo fato de poder haver alguma inibição dos alunos em procurar seus professores para tirar dúvidas ou falar de seus problemas técnicos quando os alunos julgam que seu professor é um profissional muito bom e por isso eles não deveriam procurá-lo.

16

3.4

Testes de Hipóteses para Proporções de Respostas

O teste de hipótese descrito nesta seção foi projetado da seguinte forma; as respostas dos alunos, originalmente numa escala de 1 a 5, foram agrupadas em dois grupos de respostas: respostas positivas e respostas negativas utilizando o valor 3 como limiar. Assim, respostas acima de 3 eram contabilizadas em um grupo e respostas menores ou iguais a 3 eram contabilizadas em outro grupo. O desempenho dos alunos já estava projetado como positivo ou negativo. Todas as equações de probabilidades para esta seção são descritas no livro de Diez, Barr e Çetinkaya-Rundel [9]. A questão a ser respondida é: a proporção de alunos que apresentam bom desempenho é diferente entre os grupos de alunos com bom e mau relacionamento? A hipótese nula é que a proporção de alunos com bom desempenho e mau desempenho é a mesma entre os grupos (bom relacionamento e mau relacionamento). A estimativa pontual para a proporção entre as duas amostras é: pˆ1 − pˆ2 = 0, 49 − 0, 41 = 0, 08. A proporção estimada é obtida pela Equação 1. pˆ =

n1 × pˆ1 + n2 × pˆ2 n1 + n2

(1)

Tabela 3: Quantidades de respostas agrupadas para os grupos de alunos de acordo com relacionamento e desempenho. D ¬D Totais pˆ

¬R 29 41 70 0,41

R 30 31 61 0,49

Totais 59 72 131

Assim, as hipóteses nula e alternativa são, respectivamente: H0 : p 1 − p 2 = 0 HA : p1 − p2 6= 0 Para a diferença entre duas proporções o erro padrão (SE) é calculado utilizando a Equação 2. s pˆ(1 − pˆ) pˆ(1 − pˆ) + (2) SEpˆ1 −pˆ2 = n1 n2 Substituindo os valores n1 = 61, n2 = 70 e pˆ = 0, 45, obtemos SEpˆ1 −pˆ2 = 0, 09. As condições de inferência para comparar duas proporções são satisfeitas: • Independência: amostra aleatória e quantidade de elementos da amostra menor que 10% da população;

17

• Tamanho da amostra e skew: para bom relacionamento 61 × 0, 45 = 27, 45 e 61 × 0, 55 = 33, 55, para mau relacionamento 70 × 0, 45 = 31, 5 e 29 × 0, 55 = 38, 5. Para calcular o valor da estatística de teste Z utilizamos a Equação 3. estimativapontual − valornulo (3) SE Na Tabela 4, são apresentadas as quantidades de respostas para cada grupo de alunos de acordo com o desempenho e o relacionamento professor-aluno. Deste modo, Z = 0,08−0 = 0, 89. O valor de p (p-value) associado com a 0,09 estatística de teste é p − value = P (|Z| > 0, 89) = 0, 3734. Esse valor indica que os dados não possuem evidência suficiente para rejeitar a hipótese nula e que não há diferença estatística significativa entre os relacionamentos de alunos com bom desempenho e o bom ou mau relacionamento com os professores. Os dados indicam que o tipo de relacionamento não faz diferença para alunos com bom desempenho. Agora poderíamos fazer outro questionamento: o bom relacionamento influencia o bom desempenho? Em outras palavras, há diferença entre as proporções de alunos com bom relacionamento que possuem bom e mau desempenho? Para o segundo questionamento, um procedimento análogo ao que foi realizado para o primeiro é executado obtendo os seguintes valores para as estatísticas de teste: = 0, 22, SEpˆ1 −pˆ2 = 0, 07, Z = (0,51−0,43)−0 = 1, 14. pˆ = 59×0,51+72×31 59+72 0,07 Por meio desses valores obtemos p−value = 0, 2542 o que também indica que a hipótese nula não deve ser rejeitada e que os dados não apresentam evidências significativas de que o bom relacionamento não influência o bom desempenho. A partir das duas hipóteses testadas podemos concluir que alunos com bom desempenho não são afetados pelo tipo de relacionamento que possuem com seus professores. Z=

3.5

Experimentos de Classificação do Desempenho de Alunos por Meio das Respostas ao Questionário

Nesta seção, foram utilizadas as respostas obtidas dos questionários para realizar o reconhecimento de padrões por meio do treinamento e teste de um classificador. Um dos classificadores mais utilizados pela comunidade de aprendizagem de máquina é a SVM (Support Vector Machine - Máquina de Vetores de Suporte) [10], que foi utilizado nesta pesquisa. Segundo Bishop [10], uma propriedade importante da SVM é que a determinação dos parâmetros do modelo corresponde a um problema de otimização convexa e, portanto, qualquer solução local corresponde a um ótimo global. As máquinas de vetores de suporte exploram o conceito de kernel trick para lidar com dados não linearmente separáveis projetando-os em dimensões mais elevadas para facilitar a obtenção de hiperplanos de separação das classes. Nesta pesquisa, as respostas dos alunos representadas como valores inteiros variando de 1 a 5 foram utilizadas como características para treinar os classifi18

cadores. Portanto, para cada aluno temos 1 vetor de características correspondendo às suas respostas para o questionário e à cada vetor de característica é atribuído um rótulo -1 ou 1, para mau desempenho ou bom desempenho. De modo a verificar a possibilidade de prever o desempenho de alunos a partir do questionamento sobre seu relacionamento com professores, foram realizadas validações cruzadas de 5 partes (5-fold-cross-validation), essas validações cruzadas foram repetidas 10 vezes com misturas aleatórias do conjunto de respostas. Um validação cruzada de 5 partes corresponde ao procedimento de dividir o conjunto de características em 5 partes, treinar o classificador com 4 partes e testar com 1 das partes restantes. O processo foi repetido aleatoriamente para aumentar a representatividade dos resultados. Os resultados das acurácias para as dez repetições de validações cruzadas bem como a média e o desvio padrão dos resultados são apresentados na Tabela 4. Obervando a média e o desvio-padrão apresentados na Tabela 4, verifica-se que utilizando uma pequena amostra de respostas (apenas respostas de 131 alunos) para apenas 10 questões é possível classificar corretamente cerca de 60, 46% dos alunos quanto ao seu desempenho acadêmico. Um sistema que utilize um questionário semelhante ao que foi aplicado poderá servir para prever possíveis problemas que estudantes podem enfrentar quanto ao relacionamento com professores e antecipar soluções para tratar os problemas evitando a reprovação dos alunos. Tabela 4: Resultados da validação cruzada da classificação de alunos quanto ao desempenho utilizando respostas a 10 questões. Experimento 1 2 3 4 5 6 7 8 9 10 Média Desvio-Padrão

4

Acurácia 60, 31 58, 78 61, 83 59, 54 64, 12 61, 83 59, 54 60, 31 59, 54 58, 78 60, 46 1, 68

Conclusões

Este artigo apresentou uma análise das interações existentes entre professores e alunos e o quanto a qualidade de tais interações afeta o desempenho acadêmico. 19

Um diferencial deste trabalho em relação a outros trabalhos da área é que a análise foi realizada por meio de três abordagens diferentes: análise descritiva dos dados, testes de hipóteses e avaliação de classificadores de padrões SVM (Support Vector Machines - Máquinas de Vetores de Suporte). A análise qualitativa dos dados apontou alguns problemas existentes nas interações entre professores e alunos cujas respostas foram analisadas. Um problema que deve ser ressaltado é a indicação por parte das respostas dos alunos de que os professores não disponibilizam horários suficientes de atendimento. Porém, deve ficar claro que grande parte dos alunos relataram que não procuram seus professores com frequência em horários de atendimento. Além disso, a percepção que alunos que possuem desempenho positivo possuem quanto aos horários de atendimento dos professores difere da opinião dos alunos com desempenho negativo. Outro fator importante observado nas respostas dos alunos é que a percepção que alunos de desempenho positivo possuem quanto ao fato de seus professores gostarem de ensinar difere da opinião dos alunos de desempenho negativo. Ou seja, há uma relação entre desempenho e percepção de que o professor gosta ou não de ensinar. A análise probabilística por meio da análise dos dados das tabelas de contingência não foi suficiente para comprovar que ter bom relacionamento com os professores influência o bom desempenho. Portanto, foram realizados dois testes de hipótese que apontaram a impossibilidade dos dados apresentarem evidências suficientes de que o bom desempenho está relacionado com o bom relacionamento entre professores e alunos. Deve ser salientado aqui que as conclusões obtidas dos testes de hipótese refletem a opinião dos alunos questionados. Por fim, os dados coletados foram utilizados para realizar experimentos de validação cruzada e verificou-se que é possível prever o desempenho dos alunos por meio da utilização de suas respostas ao questionário aplicado. Em trabalhos futuros, deverá ser testada a hipótese de que o aumento da quantidade de alunos questionados influencia positivamente a acurácia dos resultados de experimentos com SVM. Na Seção 2, foram apresentadas duas questões para guiar esta pesquisa. Para a questão 1, a hipótese nula não foi rejeitada em favor da hipótese alternativa: a proporção de alunos com bom desempenho e mau desempenho é diferente entre os grupos (bom relacionamento e mau relacionamento). Essa questão teve sua hipótese nula mantida. Embora a hipótese nula tenha sido mantida, as análises qualitativas apresentaram um fator importante: um item do questionário apresentou resultados bastante altos mostrando a influência do bom relacionamento no desempenho positivo para a questão 14, que questiona o quanto os alunos procuravam os professores em suas salas para tirar dúvidas. A segunda questão teve sua hipótese nula mantida, pois foi possível classificar com acurácia média de 60, 46% o desempenho dos alunos entre as classes desempenho positivo e desempenho negativo tendo como entrada para uma SVM as respostas das 10 questões selecionadas do questionário. Considerando a utilização de apenas 10 respostas por aluno e respostas de apenas 131 alunos para treinar a SVM, os resultados de classificação obtidos foram satisfatórios e 20

supõe-se que possam ser elevados utilizando respostas de uma quantidade maior de alunos.

Referências [1]

FERREIRA, A. L.; ACIOLY-RéGNIER, N. M. Contribuições de Henri Wallon à relação cognição e afetividade na educação. Educar, n. 36, p. 21 – 38, 2010.

[2]

ERICSSON, K. A.; KRAMPE, R. T.; TESCH-ROMER, C. The role of deliberate practice in the acquisition of expert performance. Psychological Review, v. 100, n. 3, p. 363 – 406, 1993.

[3]

KESKIN, S. C. From what isn’t empathy to empathic learning process. Procedia - Social and Behavioral Sciences, n. 116, p. 4932 – 4938, 2014.

[4]

VERAS, R. da S.; FERREIRA, S. P. A. A afetividade na relação professoraluno e suas implicações na aprendizagem, em contexto universitário. Educar em Revista, n. 38, p. 219 – 235, 2010.

[5]

GARZELLA, F. A. C. Afetividade e as práticas pedagógicas no ensino superior. In: XVI Encontro Nacional de Didática e Práticas de Ensino. [S.l.: s.n.], 2012. p. 27 – 28.

[6]

DREGER, R. M.; JR, L. R. A. The identification of number anxiety in college population. Journal of Educational Psychology, v. 48, n. 6, p. 344 – 351, 1957.

[7]

CARMO, J. ao dos S.; SIMIONATO, A. M. Reversão de ansiedade à matemática: alguns dados da literatura. Psicologia em Estudo, v. 17, n. 2, p. 317 – 327, 2012.

[8]

ALMEIDA, L. S. Questionário de vivências acadêmicas para jovens universitários: estudos de construção e de validação. Revista Galego-Portuguesa de Psicología e Educación, v. 2, n. 3, p. 113 – 130, 1993.

[9]

DIEZ, D. M.; BARR, C. D.; RUNDEL, M. Çetinkaya. OpenIntro Statistics. openintro.org: OpenIntro, 2015.

[10] BISHOP, C. M. Pattern Recognition and Machine Learning. [S.l.]: Springer, 2006.

21