Itens em português ou na língua alvo na avaliação da compreensão escrita em língua estrangeira: um estudo preliminar

Revista Contexturas, n. 23, p. 125 - 148, 2014. ISSN: 0104-7485

ITENS EM PORTUGUÊS OU NA LÍNGUA ALVO NA AVALIAÇÃO DA COMPREENSÃO ESCRITA EM LÍNGUA ESTRANGEIRA: UM ESTUDO PRELIMINAR

Gladys QUEVEDO-CAMARGO UnB – Universidade de Brasília Telma GIMENEZ UEL – Universidade Estadual de Londrina/CNPq Viviane Bagio FURTOSO UEL – Universidade Estadual de Londrina

RESUMO

A fim de contribuir para a discussão sobre qual língua deveria ser empregada na elaboração das provas do Enem, realizamos estudo comparando questões de leitura em língua inglesa elaboradas em português e em inglês, aplicadas a estudantes de Agronomia. Os resultados indicam não haver diferença significativa entre as duas provas.

Palavras-chave: Enem, compreensão escrita, avaliação.

ABSTRACT

In order to contribute to the discussion on whether the language of the test matters, a study comparing two tests (in English and in Portuguese) was carried out with undergraduate students. The preliminary results indicate there was no significant difference between the two tests.

125

Revista Contexturas, n. 23, p. 125 - 148, 2014. ISSN: 0104-7485

Key-words: Enem, reading comprehension, testing.

Introdução

Em 2012, por meio de petição pública, a Diretoria da Associação de Linguística Aplicada do Brasil (ALAB) propôs que as próximas edições das provas de inglês e espanhol do Exame Nacional do Ensino Médio (Enem) tivessem “todas suas questões e alternativas de respostas elaboradas na língua alvo em questão”1. Como seria de se esperar, essa sugestão gerou inúmeras reações da comunidade acadêmica, e a Diretoria da Associação justificou-se:

Levando-se em consideração o potencial efeito retroativo do ENEM, compreendemos que o fato de esses enunciados serem na língua-alvo poderia enfatizar a importância do trabalho em leitura com diferentes gêneros e também ampliar, quantitativa e qualitativamente, a exposição do aluno à língua estrangeira.2

Deu-se início a uma série de réplicas, tréplicas e contribuições de diversos associados da ALAB, que se posicionaram favorável ou desfavoravelmente à ideia. Com o intuito de avançar na reflexão, nos propusemos a investigar mais sistematicamente a questão e oferecer contribuições, a partir do nosso contexto de atuação, para a discussão. Neste artigo apresentamos uma análise preliminar da questão em estudo no qual se procurou comparar questões de leitura em língua inglesa elaboradas em português e em inglês e aplicadas a um mesmo grupo de alunos em momentos diferentes, como descreveremos mais adiante. Antes da análise propriamente dita, apresentaremos uma síntese dos argumentos dos 1

Disponível em . Acesso em 23 de junho de 2014. 2 Disponível em . Acesso em 23 de junho de 2014.

126

Revista Contexturas, n. 23, p. 125 - 148, 2014. ISSN: 0104-7485

associados da ALAB que apoiam ou se contrapõem à proposta de elaboração de enunciados e alternativas das provas de língua estrangeira do Enem na própria língua alvo, bem como contextualizaremos o momento que motiva ações dessa natureza, considerando o papel que o exame nacional ocupa hoje no cenário educacional brasileiro. Embora cientes de que cada contexto de avaliação de proficiência em leitura em língua inglesa em questão, a prova do Enem e a prova que será aqui analisada, impliquem especificidades a serem consideradas, entendemos que este estudo possa oferecer contribuições para o início da discussão.

1. O debate sobre qual língua empregar nos itens da prova do Enem

Um exame de avaliação em larga escala brasileira que tem gerado muitas notícias, nem sempre elogiosas, é o Enem. Essa avaliação é de responsabilidade do Ministério da Educação, com execução do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP). O Enem foi criado em 1998, com o objetivo principal de avaliar o desempenho dos alunos egressos do Ensino Médio e proporcionar uma avaliação nacional da educação. Em 2009, o exame passou por uma reformulação, possibilitando também a utilização dos resultados individuais como mecanismo de seleção para o acesso à Educação Superior e para os programas de concessão de bolsas de estudos e financiamento estudantil do governo federal como o Programa Universidade para Todos (ProUni) e o Programa de Financiamento Estudantil (Fies). Além da importância do exame para programas brasileiros, o Enem começa também a ser reconhecido por universidades fora do país, conforme protocolo de intenções assinado pelo presidente do Inep e o reitor da universidade de Coimbra em maio de 20143. Desse modo o Enem tornou-se um exame de alta relevância (MADAUS, 1998; SHOHAMY, 2001; 2006), pois a partir dele importantes decisões são tomadas em relação ao futuro dos examinandos e da educação 3

Disponível em: . Acesso em: 20 jun. 2014.

127

Revista Contexturas, n. 23, p. 125 - 148, 2014. ISSN: 0104-7485

(RAUBER, 2012; BLANCO, 2013). O Enem passou então de exame de rendimento externo para exame de entrada4, o que atribui a ele e a todos os envolvidos no processo um valor de impacto ainda maior. No que tange a língua estrangeira, registramos que sua inclusão se deu a partir da edição do exame de 2010, sendo o inglês e o espanhol as línguas avaliadas5. De acordo com as Matrizes de Referência do Enem6, a língua estrangeira avalia o conhecimento e o uso de língua(s) estrangeira(s) moderna(s) como instrumento de acesso a informações e a outras culturas e grupos sociais. Essa competência é subdividida em quatro habilidades: H5 Associar vocábulos e expressões de um texto em LEM ao seu tema; H6 Utilizar os conhecimentos da LEM e de seus mecanismos como meio de ampliar aspossibilidades de acesso a informações, tecnologias e culturas; H7 Relacionar um texto em LEM, as estruturas linguísticas, sua função e seu uso social e H8 - Reconhecer a importância da produção cultural em LEM como representação da diversidade cultural e linguística. A partir das Matrizes e dos itens de língua estrangeira do Enem, a interpretação que se tem feito é de que o foco da avaliação recai sobre a habilidade de leitura (RAUBER, 2012; BLANCO, 2013; dentre outros). Embora sem espaço neste artigo para uma discussão mais aprofundada sobre isso, apontamos a necessidade de se estudar os documentos do Enem de modo mais amplo, para se analisar como a língua estrangeira está implicada no exame como um todo a partir dos eixos cognitivos avaliados. A língua estrangeira precisa ser vista e entendida como parte da área de conhecimento “Linguagens, códigos e suas tecnologias” e não como uma disciplina isolada em si mesma. Além disso, uma análise de documentos oficiais para a Educação Básica também pode nos ajudar a alinhar o exame ao que espera do 4

Um exame de rendimento externo tem como objetivo averiguar o produto da aprendizagem e, muitas vezes, contribuir para a avaliação do currículo, enquanto um exame de entrada (ou de admissão ou acesso), também externo, objetiva a classificação com vistas à seleção de candidatos para vagas em uma instituição (RAUBER, 2012). 5 A Matriz de Referência para o Enem 2009 introduziu pela primeira vez a presença da língua inglesa e da espanhola na área Linguagens, Códigos e suas Tecnologias (http://portal.mec.gov.br/dmdocuments/matriz_referencia_novoenem.pdf). 6 Disponível em: . Acesso em: 22 jun. 2014.

128

Revista Contexturas, n. 23, p. 125 - 148, 2014. ISSN: 0104-7485

aluno ao final do Ensino Médio em termos de capacidades, habilidades e conteúdos. Como apontamos na introdução, a ideia defendida pela ALAB é a de que os enunciados e as alternativas dos itens de língua estrangeira sejam propostos na língua alvo. No entanto, ao ler os posicionamentos de profissionais da área de língua estrangeira7 que sustentam a petição encaminhada ao Inep, constatamos que nos faltam elementos para afirmar, com certeza, que os enunciados em língua estrangeira discriminam de modo diferenciado quando comparados com os mesmos na língua portuguesa. Dentre os argumentos dos favoráveis ao uso da língua alvo nos itens estão: 1. o uso do inglês aumentaria a exposição à língua estrangeira; 2. o uso de língua estrangeira demandaria maior esforço de leitura e 3. a obrigação de ler o item na língua estrangeira se configuraria em uma exigência a mais ao examinando, consequentemente aumentando as chances da prova discriminar os alunos com melhor habilidade de leitura. Já os argumentos de especialistas contra a moção enfatizam que as questões a serem discutidas deveriam ser outras, já que o foco, de acordo com os argumentos favoráveis, não mudaria a ênfase na compreensão escrita. Analisando sob outra perspectiva, nem a favor nem contra, uma pesquisadora renomada na área de testes e exames ponderou que haveria vantagens e desvantagens tanto na formulação das questões em português quanto na língua estrangeira. Considerando ainda que o foco da avaliação é a leitura e não outras habilidades, a pesquisadora salienta que os itens em inglês podem, inclusive, facilitar a resposta. As implicações educacionais e sociais do uso de itens em uma ou outra língua remetem ao que a literatura denomina de efeito retroativo (ALDERSON; WALL, 1993; SCARAMUCCI, 2004; QUEVEDOCAMARGO, 2014) e as dimensões desse fenômeno propostas por Watanabe (2004): especificidade, intensidade, extensão, intencionalidade e valor. Essas dimensões, juntamente com questões relativas à dominação e ao poder exercido por avaliações de larga escala (SHOHAMY, 2001, 2005, 2006; MCNAMARA; ROEVER, 2006), devem ser analisadas cuidadosamente. Não 7

Disponível em: http://www.alab.org.br/pt/noticias/destaque/153-a-prova-de-le-noenem-e-seu-efeito-retroativo-no-ensino-basico-da-escola-publica rasileirahttp://www.alab.org.br/pt/noticias/destaque/153-a-prova-de-le-no-enem-eseu-efeito-retroativo-no-ensino-basico-da-escola-publica-brasileira. Acesso em: 22 jun. 2014.

129

Revista Contexturas, n. 23, p. 125 - 148, 2014. ISSN: 0104-7485

nos deteremos nesta discussão no momento, embora ela seja fundamental ao debate sobre Enem e seu impacto sobre o ensino. Entendemos, portanto, que a moção da ALAB mostrou a necessidade e a urgência de se realizar pesquisas com esse enfoque, principalmente considerando que a escolha da língua dos enunciados e das alternativas é somente a “ponta do iceberg”. Ainda que admitindo a complexidade de se abordar a relação do Enem, tomamos aqui um foco bastante específico: decidimos aplicar uma prova de proficiência em leitura em língua inglesa com enunciados e alternativas em português e em inglês a um grupo de estudantes do curso de Agronomia em uma universidade estadual do norte do Paraná (doravante universidade), com a finalidade de iniciar uma análise com base em estudo empírico no âmbito da polêmica instaurada.

2. Procedimentos metodológicos

O contato com um dos departamentos da universidade possibilitou o acesso a um grupo de alunos do 4º. Ano do curso de graduação em Agronomia, aos quais foi aplicada uma prova, em duas versões: uma com enunciados e alternativas em inglês e outra em português. A prova na versão em inglês foi aplicada em 15 de outubro de 2012, enquanto a versão em português foi aplicada na mesma turma em 5 de dezembro de 2012. Para a aplicação, foi feito contato com o professor responsável pela disciplina de Entomologia, que disponibilizou sua aula. A elaboradora da prova foi até a sala de aula, explicou aos alunos que se tratava de uma pesquisa sobre a proficiência em leitura em língua inglesa de alunos universitários e agradeceu a colaboração de todos. Não foi revelado que a mesma prova seria aplicada cerca de um mês depois, na versão em português. O professor da turma distribuiu então as provas fotocopiadas, na qual se pedia informações sobre os examinandos tais como tempo de estudo da língua inglesa, em que contexto (ensino regular público, ensino regular privado e /ou instituto de idiomas) e o nível de proficiência que o próprio aluno atribuía ao seu desempenho em língua inglesa (sem proficiência, proficiência em nível básico, intermediário ou avançado). A tabela a seguir traz as respostas obtidas nesta parte do questionário: 130

Revista Contexturas, n. 23, p. 125 - 148, 2014. ISSN: 0104-7485

Inglês (N=54)

Estuda Inglês?

Português (N=48)

sim não

14 40

38 10

sim não

42 12

37 10

28 12 14

32 6 10

8 23 18 3 2

8 20 16 1 3

Já estudou?

Estudou em escola de idiomas escola pública escola particular Proficiência não proficiente Básico Intermediário Avançado Não respondeu

Tabela 1: Perfil dos participantes.

O grupo de respondentes permaneceu relativamente homogêneo, porém observando-se que entre uma prova e outra (intervalo de 45 dias) um número significativo de examinandos informou estar estudando inglês. As provas consistiram em 10 questões a respeito de dois textos (Apêndice1) da área de Agronomia. Foram elaboradas cinco perguntas para cada um dos textos, totalizando 10 questões (Apêndice 2), e calculado o tempo de cerca de 1 hora para sua realização, ou seja, para resposta às 10 perguntas. O texto 1, intitulado Scientists uncover an interaction between sugarcane, an insect and a fungus,foi retirado do site da FAPESP e havia sido referendado pelo professor responsável pela disciplina de Entomologia. Da mesma forma, o segundo texto, SAVE FOOD initiative aims to cut food losses, boost sustainability, retirado site da FAO - Food and Agriculture Organization, também foi considerado adequado pelo mesmo professor. Enquanto o primeiro texto pertencia à esfera de divulgação científica a respeito de pesquisa com cana de açúcar, o segundo tinha caráter informativo, noticiando iniciativa para reduzir desperdício de alimentos. 131

Revista Contexturas, n. 23, p. 125 - 148, 2014. ISSN: 0104-7485

Com relação aos procedimentos utilizados para a análise das provas propriamente ditas, diante da subjetividade e de questões relativas a valor inerentes a qualquer processo avaliativo, buscamos nos apoiar em bases mais objetivas tendo como premissa que “[q]ualquer teste que se preste à validação e ao uso deve ser fruto de pesquisas psicométricas” (RUSSI; FERREIRA JUNIOR, 2010, p. 2). Para isso, recorremos de forma bastante incipiente à Teoria Clássica dos Testes (doravante TCT), que se constitui em “um instrumento para avaliação de testes, utilizad[o] para mensurar um conjunto ou uma gama de comportamentos que se deseja conhecer melhor” (RUSSI; FERREIRA JUNIOR, op.cit, p. 2). Ela é composta por parâmetros descritivos básicos que auxiliam na interpretação da distribuição das respostas fornecidas pelos alunos. Este trabalho utilizou somente dois parâmetros: (1) Índice de dificuldade: corresponde ao número de alunos que respondeu corretamente ao item. Esse índice varia de 0 a 1, como mostra a Tabela 2. Portanto, quanto menor o índice de dificuldade, mais difícil é o item; e

Nível Muito fácil Fácil Intermediário Difícil Muito difícil

Índice de dificuldade 0,75 – 1,00 0,55 – 0,74 0,45 – 0,54 0,25 – 0,44 0,00 – 0,24

Tabela 2. Níveis de dificuldade dos itens. (NÜNEZ, s.d., p. 6)

(2) Índice de discriminação: indica a capacidade que cada item tem de diferenciar os alunos com maior habilidade ou mais conhecimento (25% dos que acertaram mais) daqueles com menor habilidade ou menos conhecimento (25% dos que acertaram menos). Esse índice é calculado a partir da diferença na proporção de acertos do primeiro e do segundo grupo (BORGATTO; ANDRADE, 2012) e varia entre -1 e 1. Nas palavras de Nünez (s.d., p. 6), “[o]s valores positivos indicam que a pe rgunta discrimina a favor do grupo superior, e os valores negativos indicam que a pergunta é discriminadora a favor do grupo inferior”. A subdivisão de valores desse índice é apresentada na tabela a seguir. 132

Revista Contexturas, n. 23, p. 125 - 148, 2014. ISSN: 0104-7485

Classificação Muito alto Alto Moderado Baixo Muito baixo

Índice de discriminação 0,40 – 1,00 0,30 – 0,39 0,20 – 0,29 0,10 – 0,19 0,00 – 0,9

Tabela 3. Classificação da discriminação dos itens. (NÜNEZ, s.d., p. 6)

O uso da TCT neste trabalho mostrou-se possível devido, principalmente, às seguintes características apresentadas por Klein:

Na Teoria Clássica dos Testes, os resultados dependem do particular conjunto de questões que compõem a prova e dos indivíduos que a fizeram, ou seja, as análises e interpretações estão sempre associadas à prova como um todo e ao grupo de indivíduos. Assim, a comparação entre indivíduos ou grupos de indivíduos somente é possível quando eles são submetidos às mesmas provas ou, pelo menos, ao que se denomina de provas paralelas, quase sempre difíceis de serem construídas. Desta maneira, fica muito difícil fazer comparações quando diferentes indivíduos fazem provas diferentes. (KLEIN, 2009, p. 126-127)

Porém, a TCT apresenta algumas limitações que devem ser levadas em conta, principalmente ao considerarmos que o estudo apresentado aqui consiste de uma amostra pequena de provas e é apenas uma tentativa de refletir sobre as questões levantadas pela moção da ALAB. Dentre as limitações, destacamos: a) os parâmetros dependem da amostra na qual o instrumento foi aplicado; b) a discriminação (variável que melhor caracterizam uma amostra) é baseada no escore total do teste; c) o número de itens influencia na fidedignidade do instrumento; e d) há a necessidade de um número grande de participantes (RUSSI; FERREIRA JUNIOR, 2010, p. 2). 133

Revista Contexturas, n. 23, p. 125 - 148, 2014. ISSN: 0104-7485

A partir dessa análise quantitativa dos itens8 das duas provas – em inglês e português, com o auxílio da TCT, desenvolvemos uma análise interpretativista com o objetivo de verificar as implicações do uso de inglês ou português nos enunciados e nas alternativas nos itens de múltipla escolha utilizados. O universo de alunos investigados foi 48 para a prova com itens em português, e 54 para a prova com itens em inglês.

3. Resultados e discussão

Quanto ao conhecimento exigido do examinando, verificamos que as provas demandaram estratégia de localização de informação específica no texto aliada a um conhecimento linguístico para responder às questões. Em relação ao conhecimento linguístico, o foco recai sobre a estrutura linguística nas questões 3, 4 e 10, enquanto as demais questões voltam-se mais para o léxico de modo geral. Do ponto de vista da literatura sobre ensino e aprendizagem de leitura, os resultados aqui apresentados revelam uma perspectiva que exige um conhecimento de língua inglesa para fins específicos (SOUZA; COSTA; MELLO, 2006; NARDI, 2005; LIMA, 2007, dentre outros), neste caso a leitura de textos acadêmicos da área de Agronomia, não chegando assim a uma perspectiva crítica da leitura de textos em língua estrangeira (HEBERLE, 2000; SPINELLI, 2002; TAGLIEBER, 2003; TOMITCH, 2000; dentre outros). Para o contexto de aplicação da prova, reconhecemos a pertinência do foco de leitura instrumental, mas não podemos deixar de registrar que não é possível generalizar e aplicar isso diretamente a outros contextos, como no caso do Enem, sem antes analisar o construto do exame, ponto que será retomado nas considerações finais desse artigo. No que diz respeito ao grau de dificuldade e ao grau de discriminação das questões partiremos da tabela que segue.

Questão

Índice de dificuldade e proporção de acerto

Índice de discriminação

8

Essas análises foram feitas por um estatístico da mesma universidade em que as provas foram aplicadas.

134

Revista Contexturas, n. 23, p. 125 - 148, 2014. ISSN: 0104-7485

Português 1

Fácil 0,65

2

Intermediário 0,4

3

Muito fácil 0,83

4

Fácil 0,71

5

Intermediário 0,44

6

Difícil 0,33

7

Intermediário 0,46

8

Intermediário 0,54

Inglês

Português

Inglês

Fácil 0,72

Muito alto 0,54

Muito alto 0,64

Muito difícil 0,13 Muito fácil 0,85

Muito alto 0,46

Alto 0,35

Muito alto 0,44

Alto 0,25

Muito alto 0,48

Muito alto 0,60

Muito alto 0,65

Muito alto 0,78

Muito alto 0,44

Muito alto 0,61

Baixo 0,13

Baixo 0,19

Muito alto 0,63

Muito alto 0,58

Alto 0,38

Muito alto 0,43

Muito baixo 0,04

Muito alto 0,6

Fácil 0,74 Intermediário 0,48 Intermediário 0,46 Muito difícil 0,17 Fácil 0,61

9

Fácil 0,71

Fácil 0,61

10

Difícil 0,35

Difícil 0,3

Tabela 4: Análise das provas aplicadas.

Em consonância com a TCT, essa tabela nos mostra que os itens cuja proporção de acerto foi maior foram considerados fáceis (acima de 0,60) e que aqueles em que a proporção foi baixa (abaixo de 0,40) foram considerados difíceis ou muito difíceis. Se, ainda de acordo com essa teoria, 135

Revista Contexturas, n. 23, p. 125 - 148, 2014. ISSN: 0104-7485

Proporção de acertos

assumirmos que 0,50 é o ponto intermediário ideal de dificuldade de um item e compararmos as duas provas e os índices de dificuldade dos seus itens, constataremos que ambas as provas apresentaram-se perfeitamente equilibradas, com cinco itens acima e cinco abaixo de 0,50. Essa distribuição pode ser visualizada por meio do seguinte gráfico:

1

Índice de dificuldade dos itens

0,5 PORTUGUÊS

INGLÊS 0

Q 1 Q 2 Q 3 Q 4 Q 5 Q 6 Q 7 Q 8Q 9Q 10

Gráfico 1: Índice de dificuldade dos itens das duas provas.

Diante desses dados, não podemos afirmar que uma prova foi mais difícil que a outra, o que nos leva a lançar dúvidas particularmente sobre dois argumentos expostos anteriormente a favor do uso da língua estrangeira em itens: de que o uso de língua estrangeira demandaria maior esforço de leitura e que a obrigação de ler o enunciado na língua estrangeira seria uma exigência a mais ao aluno e que isso aumentaria as chances da prova discriminar os alunos com melhor habilidade de leitura. Esses dados também nos alertam para a possibilidade de ter fundamento à hipótese mencionada anteriormente de que itens na língua estrangeira podem vir ser um elemento facilitador para o aluno. Se partirmos para uma análise mais pontual, item por item na Tabela 4, quatro deles nos chamam a atenção por terem apresentado índices de dificuldade diferentes: 2, 6, 7 e 8. Com relação ao item 2, intermediário (0,40) em português e muito difícil (0,13) em inglês, uma possível explicação seria o fato da resposta do 136

Revista Contexturas, n. 23, p. 125 - 148, 2014. ISSN: 0104-7485

item não estar explícita no texto, nem em inglês, nem em português. Além do mais, na prova com itens em inglês, as palavras utilizadas no enunciado, embora contendo cognatos (methodology, used) e palavras muito frequentes em textos gerais e acadêmicos (the, used, by, had, researchers) não auxiliaram na identificação da resposta no texto. Dessa forma, o acerto desse item, independentemente da língua do item, dependeu grandemente de uma habilidade de leitura um pouco mais desenvolvida e de um conhecimento linguístico (no caso do inglês) um pouco maior, principalmente em termos lexicais. O item 6 requer, por definição, mais análise e leitura pela sua característica de solicitar que o aluno identifique, dentre cinco assertivas, aquela que não reflete informações apresentadas no texto. Em português, ele se mostrou difícil (0,33), possivelmente porque o aluno teve que ler o texto todo com atenção para buscar o que precisava. Em inglês, o item foi intermediário (0,46), o que nos faz pensar que o aluno possa ter se valido da estratégia de utilizar as palavras das próprias assertivas (SAVE FOOD, initiative, food loss and waste etc) como palavras-chave para localizar o que precisava. Esse tipo de estratégia, bastante incentivada em cursos de inglês para leitura, pode não ter sido utilizada para resolver o item em português. Passando para o item 7, vemos que ele foi considerado intermediário (0,46) em português e muito difícil (0,17) em inglês. As razões para índices de dificuldade tão diferentes neste item são semelhantes àquelas expostas para o item 2. No entanto, no item 7, a resposta está explícita no texto, inclusive com algumas palavras que foram utilizadas no item (Interpack, fair). Por fim, quanto ao item 8, que se apresentou intermediário (0,54) em português e fácil (0,61) em inglês, a análise dos itens nas duas línguas novamente nos remete à hipótese de facilitação por parte das palavras em inglês na composição do item. A palavra calling que está no texto, por exemplo, bastante conhecida entre os brasileiros, pode ter sido facilmente associada ao cognato recruit (recrutar), que consta da alternativa correta. Além disso, as palavras partners e contribute são utilizadas tanto no texto quanto na alternativa correta. Voltando à Tabela 4, é possível verificar o grau de discriminação entre as duas versões da prova, isto é, o quanto os itens elaborados conseguiram diferenciar os alunos com habilidade de leitura mais desenvolvida daqueles com menor desenvoltura nessa área. 137

Revista Contexturas, n. 23, p. 125 - 148, 2014. ISSN: 0104-7485

Ao observarmos os índices de discriminação dos itens das duas provas, podemos concluir que o resultado foi bastante satisfatório, com a prova com itens em português com 80% dos itens com índices alto e muito alto, e a prova em inglês com 90% com itens dessa natureza. Ambas, portanto, cumpriram seu papel, que foi discriminar os alunos que sabiam mais daqueles que sabiam menos. Repetindo o exercício feito anteriormente, de análise pontual dos itens, percebemos também quatro itens a serem destacados, quando comparados entre si: 2, 3, 9 e 10. Em um primeiro momento, constatamos que os itens 2 e 3 na versão em inglês discriminaram menos que na versão da prova em português. Um possível motivo para isso já foi mencionado: o uso de palavras em inglês no enunciado e/ou nas alternativas que estejam presentes também no texto, como aim, produce e protein no item 2 e gene no item 3. Como já discutimos, a localização dos termos em inglês no texto pode ter facilitado a escolha da resposta correta. Caso essa hipótese se repita em outros estudos, precisamos ficar atentos para não repetir esse equívoco. Uma alternativa seria substituir os termos do texto por sinônimos. Ainda nessa linha, encontramos outro aspecto que precisa ser considerado no momento de elaborar um item com enunciados e alternativas na língua alvo: a resposta de um item pode estar em outro, como acontece com as questões 1 e 4, conforme segue.

Enunciado e gabarito do item 4: Without losing its meaning, the sentence “the protein had no insecticidal effect whatsoever” can be rewritten as “the protein did not have any insecticidal effect”, the word that should fill in the blank is Gabarito do item 1: the sugarwin gene did not have any effect on the insects.

No segundo ponto destacamos que os itens 9 e 10 discriminaram mais na versão em inglês do que na versão em português da prova. Para nós, um primeiro caminho de interpretação desse resultado é que um enunciado mais complexo pode ter um grau de discriminação mais elevado, uma vez que a interpretação do enunciado já faria parte da avaliação do nível de proficiência em língua estrangeira do examinando. No entanto, observamos que isso 138

Revista Contexturas, n. 23, p. 125 - 148, 2014. ISSN: 0104-7485

também ocorreu no item 3, conforme discutido no parágrafo anterior. Assim, não seria a língua de produção do enunciado e das alternativas e sim o grau de complexidade do texto do enunciado propriamente dito. Concluindo, quanto maior o grau de complexidade do enunciado e das alternativas, maior o grau de discriminação da questão, independentemente da língua, o que nos mostra novamente que a grande questão a ser discutida pode não estar simplesmente na opção da língua utilizada na construção dos enunciados e das alternativas. É claro que seria muito incipiente afirmar que essas são conclusões fechadas sem outros estudos de envergadura maior que o nosso. Além disso, não podemos deixar de considerar sempre o contexto e, neste caso, estamos nos referindo a um contexto de leitura de textos acadêmicos em língua estrangeira.

Considerações finais

Conforme sinalizado na introdução desse artigo, os resultados aqui apresentados, embora em outro contexto que não o Enem, que suscitou a moção colocada pela ALAB sobre a utilização da língua estrangeira nos enunciados dos itens do exame, serviram de ponto de partida para se refletir sobre as implicações do uso do português ou da língua alvo em enunciados e alternativas quando o objetivo é avaliar leitura em língua estrangeira. Embora os dois contextos privilegiem a avaliação da compreensão escrita em língua estrangeira, é preciso considerar que o contexto investigado priorizou a leitura de textos acadêmicos em inglês numa perspectiva mais instrumental, enquanto o Enem, carente de investigações com foco na perspectiva teórica de leitura adotada, nos parece ter o objetivo de ir além de uma perspectiva instrumental, justamente porque insere a língua estrangeira em uma área de conhecimentos que demanda inter-relações, além de visar à formação do senso de cidadania dos aprendizes brasileiros. É importante ressaltar que, embora não haja até o momento nenhum estudo a respeito das consequências educacionais e sociais (ou do efeito retroativo) do Enem em âmbito nacional, é de se supor que um exame dessa envergadura exerça grande impacto nas salas de aula brasileiras. Sendo assim, as características do exame certamente provocam, em maior ou menor grau, consequências internas e externas às salas de aula de língua estrangeira, como 139

Revista Contexturas, n. 23, p. 125 - 148, 2014. ISSN: 0104-7485

evidenciado por Blanco (2013). Além disso, a ausência de clareza sobre o construto subjacente aos itens de língua estrangeira do Enem e as divergências com relação às OCEM-LE, como ressalta Rauber (2012), também se refletem na sala de aula, à medida que não contribuem para que o docente desenvolva seu trabalho de forma coerente e unificada em termos teóricos e metodológicos. Para finalizar, apontamos uma questão que se deve pautar em nossas agendas de discussão e investigação: enunciados e alternativas na própria língua estrangeira que se pretende avaliar vão, de fato, fazer com que o professor passe a usar mais essa língua em sala de aula, como argumentam alguns especialistas, ou vão induzir ao treinamento de macetes para se eliminar as respostas inadequadas, ou se preferirmos, para escolher a alternativa correta?

Referências

ALDERSON, J. C.; WALL, D. Does washback exist? Working Paper Series 11, CRILE, Lancaster University. Republicado em Applied Linguistics, 14, p. 115-129. 1993. BLANCO, J. A avaliação de língua inglesa no Enem: efeitos de seu impacto social no contexto escolar. 2013. 132f. Dissertação (Mestrado em Linguística) – Universidade Federal de São Carlos, São Carlos, 2013. BORGATTO, A. F.; ANDRADE, D. F. Análise clássica de Testes com diferentes Graus de dificuldade. Est. Aval. Educ., São Paulo, v. 23, n. 52, p. 146-156, maio/ago. 2012. HEBERLE. V. M. Critical reading: integrating principles of critical discourse analysis and gender studies. Ilha do Desterro, Florianópolis, n. 38, p. 115138, jan./jun. 2000. KLEIN, R. Utilização da Teoria da Resposta ao Item no Sistema Nacional de Avaliação da Educação Básica – Saeb. Meta-Avaliação, Rio de Janeiro, v. 1, n. 2, p. 125-140, maio/ago. 2009 140

Revista Contexturas, n. 23, p. 125 - 148, 2014. ISSN: 0104-7485

LIMA, D. Abordagem instrumental: um caminho para a formação do leitor. In: SEMINÁRIO PRÁTICAS DE LEITURA E EXCLUSÃO, 4., 2007, Campinas-SP. Disponível em: < http://alb.com.br/arquivomorto/edicoes_anteriores/anais16/sem03pdf/sm03ss07_02.pdf>. Acesso em: 23 jul. 2013. MADAUS, G. F. The influence of testing on the curriculum. In: TANNER, L.N. (Ed.) Critical issues in curriculum: eighty-seventh yearbook of the National Society for the Study of Education. Chicago: University of Chicago Press, 1988, pp.83–121. MCNAMARA; T.; ROEVER, C. Language testing: the social dimension. Oxford, UK: Blackwell Publishing. 2006 NARDI, N. Como surgiu o inglês instrumental no Brasil. Revista Voz das Letras, Concórdia, n. 3, 2005. NÜNEZ, I.B. Instrumentos de avaliação: provas de perguntas discursivas. s.d. Disponível em: http://www.sistemas.ufrn.br/shared/verArquivo?idArquivo=670232&key=8f5 71209bd3523d4ee8cd349145b63a6. Acesso em: 28 jun. 2014. QUEVEDO-CAMARGO, G. Efeito retroativo da avaliação na aprendizagem de línguas estrangeiras: que fenômeno é esse? In: MULIK, K. B.; RETORTA, M. S. (Org.) Avaliação no ensino-aprendizado de línguas estrangeiras: diálogos, pesquisas e reflexões. Campinas, SP: Pontes Editores, 2014, p. 7793. RAUBER, B. B. Avaliação em língua estrangeira (inglês) no acesso ao Ensino Superior: o Enem em discussão. 2012. 108f. Dissertação (Mestrado em Linguística) – Universidade Federal de São Carlos, São Carlos, 2012. RUSSI, A.W.; FERREIRA JUNIOR, S.S. Introdução à Ferramenta Teoria de Resposta ao Item – TRI. In: 19º. SINAPE – Simpósio Nacional de Probabilidade e Estatística, Julho/2010. Disponível em: 141

Revista Contexturas, n. 23, p. 125 - 148, 2014. ISSN: 0104-7485

http://www.ime.unicamp.br/sinape/19sinape/node/745. Acesso em: 28 jun. 2014. SCARAMUCCI, M. V. R. Efeito retroativo da avaliação no ensino/aprendizagem de línguas: o estado da arte. Trabalhos em Linguística Aplicada, Campinas, v. 2, n.43, p. 203-226, jul./dez. 2004. SHOHAMY, E. The power of tests: a critical perspective on the uses of language tests. London: Pearson, 2001. ______. The power of tests over teachers: the power of teachers over tests. In: TEDICK, D.J. (Ed.). Second language teacher education: international perspectives. Mahwah, NJ: Lawrence Erlbaum Associates, 2005. p. 101-112. ______. Language policy: hidden agendas and new approaches. Abingdon, Oxon: Routledge, 2006. SOUZA, A. G. F.; COSTA, G. C.; MELLO, L. F. Teaching English through an ESP approach. New Routes, São Paulo, Disal, 2006. SPINELLI, D. C. M. B. Uma proposta discursiva de leitura nos cursos de formação de professores de língua inglesa. Fragmentos, Florianópolis, n. 22, p. 79-100, jan./jun. 2002. Disponível em: http://journal.ufsc.br/index.php/fragmentos/article/viewFile/6865/6421. Acesso em: 03 jul. 2013. TAGLIEBER, L. K. Critical reading and critical thinking: the state of the art. Ilha do Desterro, Florianópolis, n. 44, p. 141-163, jan./jun. 2003. TOMITCH, L. M. B. Designing reading tasks to foster critical reading. Ilha do Desterro, Florianópolis, n. 38, p. 83-90, jan./jun. 2000. WATANABE, Y. Methodology in washback studies. In: CHENG, L.; WATANABE, Y.; CURTIS, A. (Ed.). Washback in language testing: research contexts and methods. Mahwah, NJ: Erlbaum. 2004, p.19-36.

142

Revista Contexturas, n. 23, p. 125 - 148, 2014. ISSN: 0104-7485

Apêndice 1 TEXT 1 Scientists uncover an interaction between sugarcane, an insect and a fungus June 6, 2012 By Fábio de Castro Agência FAPESP – A study conducted by Brazilian researchers shows that infestation by the sugarcane borer (Diatraeasaccharalis), a caterpillar that is the main sugarcane pest, activates a gene that encodes a protein with a strong antifungal property. The study, the results of which were published in Molecular Plant-Microbe Interactions, is part of a FAPESP Bioenergy Research Program (BIOEN) research project on the interactions between plants, microorganisms and insects. The study involved scientists from the Universidade de São Paulo (USP) Luiz de Queiroz School of Agriculture (ESALQ), the USP School of Pharmaceutical Sciences in Ribeirão Preto, the Universidade Federal de São Carlos (UFSCar) and the National Bioethanol Science and Technology Lab in Campinas (SP). According to Marcio Castro Silva-Filho, one of the article’s authors and a professor in the Genetics department at ESALQ-USP, the researchers had already shown in previous studies that attack by the borer activates a gene that encodes a protein called Sugarwin. The ESALQ researchers assumed that sugarwin has an insecticidal effect, and they patented the promoter of the sugarwin gene with the aim of using it in genetically modified plants in which the protein would be produced only when the plant was attacked by an insect. However, the group made an intriguing finding: sugarwin had no effect on the insects. “We cloned the sugarwin gene, introduced it into a fungal vector to produce a large quantity of the protein and tested its action on the insect. We were surprised because the protein had no insecticidal effect whatsoever. It was only then that we formulated the hypothesis that perhaps the gene was expressed to protect the plant from the fungi that could appear after the insects’ attack,” said Silva-Filho to Agência FAPESP. Plants carry a series of genes that can be activated in response to attack by certain insects, producing proteins that can impede the attack. For some time, the ESALQ group has been trying to insert such genes into sugarcane. (Available at: http://agencia.fapesp.br/en/15691. Retrieved on: Jul. 112012.)

143

Revista Contexturas, n. 23, p. 125 - 148, 2014. ISSN: 0104-7485

TEXT 2 SAVE FOOD initiative aims to cut food losses, boost sustainability 13 June 2012, Rome - The Food and Agriculture Organization of the United Nations (FAO) and key partners are calling on companies and organizations worldwide to join in the SAVE FOOD initiative, a global effort designed to cut down on food losses and waste. Established in 2011, SAVE FOOD, the Global Initiative on Food Losses and Waste Reduction, aims to reduce the estimated 1.3 billion tonnes of food that is lost or wasted every year. Annual losses are valued at nearly one trillion U.S. dollars. The Save Food campaign currently has over 50 partners. FAO, together with Messe Düsseldorf GmbH, a trade fair organizer, and Interpack, a trade fair for packaging and processes, are calling for new private sector partners as well as non-profit organizations involved throughout the food supply chain to join the effort and contribute their expertise. New technologies, better practices, coordination, and investments in infrastructure from food production to consumption - are critical to reducing food losses and waste. Source: http://www.fao.org/news/story/en/item/147427/icode/. Retrieved on: July 25, 2012.

Apêndice 2 Questões

1

Português

Inglês

Os resultados da pesquisa relatada no texto 1 foram surpreendentes porque a) um fungo geneticamente modificado não atacou a cana-de-açúcar. b) o gene sugarwin não teve efeito sobre os insetos. c) os pesquisadores nunca tinham enxertado genes na cana-de-açúcar. d) as interações entre plantas, microorganismos e insetos são recentes.

The research results reported in Text 1 were surprising because a) a fungus genetically modified did not attack sugarcane crops. b) the sugarwin gene did not have any effect on the insects. c) the researchers from ESALQ had never inserted genes into sugarcane. d) interactions between plants, microorganisms and insects are new.

Localização das respostas

Texto 1 L. 17-18

144

Revista Contexturas, n. 23, p. 125 - 148, 2014. ISSN: 0104-7485

2

3

4

e) as expectativas dos assessores da FAPESP foram contrariadas. A metodologia empregada pelos pesquisadores tinha como objetivo a) testar os efeitos de proteína sobre alguns insetos. b) inocular a lagarta com um fungo. c) produzir proteína para combater um inseto. d) patentear a variedade de cana-de-açúcar estudada. e) provocar um ataque de insetos sobre a cana-deaçúcar. O pronome ‘it’ na frase “We cloned the sugarwin gene, introduced it into a fungal vector to produce a large quantity of the protein and tested its action on the insect” refere-se ao substantivo a) vector b) protein c) gene d) insect e) action Mantendo o mesmo sentido, a frase “the protein had no insecticidal effect whatsoever” pode ser reescrita como “the protein did not have

e) they contradicted FAPESP’s ad hoc referees’ findings. The methodology used by the researchers had the aim to a) test the protein effect on some insects. b) inoculate the caterpillar with a fungus. c) produce protein to fight a kind of insect. d) patent the sugarcane variety studied. e) provoke an insect’s attack on sugarcane.

IT in the sentence “We cloned the sugarwin gene, introduced it into a fungal vector to produce a large quantity of the protein and tested its action on the insect” refers to a) vector b) protein c) gene d) insect e) action Without losing its meaning, the sentence “the protein had no insecticidal effect whatsoever” can be rewritten as “the protein did not have _____

Texto 1 L. 15-17

Texto 1 L. 19

Texto 1 L. 21

145

Revista Contexturas, n. 23, p. 125 - 148, 2014. ISSN: 0104-7485

5

6

_____ insecticidal effect”. A palavra que completa o espaço em branco é: a) any b) some c) large d) sufficient e) enough De acordo com o texto, o grupo da ESALQ a) não conseguia reformular suas hipóteses. b) buscava financiamento da FAPESP. c) pertencia a um grupo de pesquisa maior. d) não conseguiu publicar os resultados da pesquisa. e) estava cansado de pesquisar cana-de-açúcar. Assinale a única alternativa que não está de acordo com o texto acima. a) A iniciativa SAVE FOOD tem como objetivo reduzir a perda e o desperdício de alimentos. b) O valor gasto em alimentos que são desperdiçados corresponde a 1.3 bilhões de dólares por ano. c) Novos parceiros, tanto do setor privado quanto de organizações sem fins lucrativos, estão sendo convidados a participar da campanha SAVE

insecticidal effect”. The word that should fill in the blank is: a) any b) some c) large d) sufficient e) enough According to the text, the ESALQ group was a) unable to reformulate their hypothesis. b) looking for funding from FAPESP. c) part of a larger research group. d) unsuccessful in publishing their results. e) tired of doing research on sugar cane. All of the alternatives below are correct, EXCEPT FOR a) The SAVE FOOD initiative aims at reducing food loss and waste. b) The food loss and waste corresponds to 1.3 billion dollars per year. c) New partners are being invited to join in the SAVE FOOD program. d) Investments in infrastructure are crucial to reduce the problem. e) FAO is leading the global initiative that was

Texto 1 L. 6-10

Texto 2 L. 6-7

146

Revista Contexturas, n. 23, p. 125 - 148, 2014. ISSN: 0104-7485

7

8

FOOD. d) Investimentos em infraestrutura e novas tecnologias estão entre os fatores críticos para a redução da perda de alimentos. De acordo com o texto, a Interpack é a) uma empresa do setor de embalagens. b) uma organização não governamental alemã. c) um setor da Food and Agriculture Organization. d) uma feira comercial para embalagens e processos. e) um fornecedor de alimentos credenciado pela FAO. A Messe Düsseldorf GmbH está colaborando com a FAO para a) conclamar novos parceiros para compor a iniciativa SAVE FOOD. b) organizar feiras para comercialização de alimentos mais baratos. c) arregimentar 50 parceiros para colaborar financeiramente com a FAO. d) criar novas tecnologias que ajudem a evitar o desperdício de alimentos. e) possibilitar a recuperação dos prejuízos de 1 trilhão de dólares.

established in 2011.

According to the text, Interpack is a) a packaging company. b) a German non-profit organization. c) a FAO sector. d) a commercial fair. e) a food supplier.

Messe Düsseldorf GmbH is helping FAO to a) recruit new partners to contribute to the SAVE FOOD initiative. b) organize commercial fairs to trade cheaper food supplies. c) call for 50 partners to contribute financially to FAO . d) create new Technologies that help avoid food waste. e) recover losses of approximately one trillion US dollars.

Texto 2 L. 9-10

Texto 2 L. 8-12

147

Revista Contexturas, n. 23, p. 125 - 148, 2014. ISSN: 0104-7485

9

10

O termo “cut down on” (1º parágrafo) pode ser substituído, sem prejuízo ao sentido da frase, por a) reduce. b) improve. c) eliminate. d) provoke. e) impact. A expressão “their expertise” (2º parágrafo) refere-se aos conhecimentos especializados a) da cadeia de fornecimento de alimentos. b) dos processos de empacotamento de comida. c) dos setores privados e não-governamentais. d) da feira comercial alemã e da FAO. e) do organizador da feira comercial e da FAO.

The word that could replace “cut down on” in the first paragraph is a) reduce. b) improve. c) eliminate. d) provoke. e) impact. The expression “their expertise” (second paragraph) means the expertise of a) the food supply chain. b) the packaging processes. c) the private and nonprofit sectors. d) the German trade fair and FAO. e) the trade fair organizer and FAO.

Texto 2 L. 3-4

Texto 2 L. 10-12

148