Produção Oral do IELTS: Um estudo de validade de face

Produção Oral do IELTS: Um estudo de validade de face1 Denilson Amade Sousa2 (UNIMEP) Abstract It has not been easy to define what it means to speak a foreign/second language within the field of second language acquisition research, let alone assess this skill. This article presents and discusses this problem as well as the opinion of forty-seven Brazilian candidates who have taken the International Language Testing System (IELTS). Candidates were asked to reflect upon their outcome in the Speaking Module of IELTS. The main objective of this article is, therefore, to collaborate to the construction of the face validity of the test’s Oral Production assessment. 0. Introdução Ao passarmos por etapas em nossas vidas, somos, em várias delas, confrontados com testes, provas, avaliações e exames3. Sejam eles o “vestibulinho” para entrar no ensino médio, o vestibular para ingressar na universidade, o Exame Nacional do Ensino Médio (Enem), o Exame Nacional de Cursos (ENC- Provão) ao sair da universidade, uma entrevista de emprego, um concurso público, um teste de nível num instituto de idiomas, entre tantos outros. Nesse sentido, então, avaliações fazem parte de nossas vidas e influenciam decisões que serão tomadas por nós mesmos ou por outras pessoas. Dessa forma, avaliações vêm ganhando cada vez mais força, prestígio e influência na sociedade brasileira. Ao mesmo tempo em que isso ocorre, já é de longo tempo sabido que possuir um bom conhecimento e desempenho em língua Inglesa tornou-se um pré-requisito quase que onipresente em diversos âmbitos sociais. Empresas exigem que seus funcionários saibam Inglês, cursos de pós-graduação requerem conhecimento da língua Inglesa, agências de fomento à pesquisa têm como um requisito a comprovação de proficiência4 em língua estrangeira (doravante, LE), outros países exigem que estudantes e imigrantes em potencial comprovem seu desempenho em LE, entre outros. Assim, a comprovação de proficiência numa LE tem feito surgir um número cada vez maior de exames utilizados por instituições brasileiras para tomar decisões acerca de indivíduos que os realizam. Uma dessas avaliações é o International Language Testing System (IELTS), elaborado pela University of Cambridge Local Examinations Syndicate (UCLES), pelo British Council (Conselho Britânico) e pela IDP: IELTS Australia. Outro exame da mesma natureza é o Test of English as a Foreign Language Internet Based (TOEFL iBT), administrado pelo Educational Testing Service (ETS). O principal objetivo do presente trabalho, como sugere o título, é especular acerca da validade de face da avaliação de Produção Oral (Speaking) do IELTS. Pretendemos colaborar para a construção da validade de face da avaliação de Produção Oral do IELTS a partir da análise das 1

Trabalho apresentado como requisito parcial para obtenção de créditos necessários à disciplina LP431A Seminário de Pesquisa em Segunda Língua, ministrada pela Profa. Dra. Matilde Scaramucci no segundo semestre de 2006. 2 Gostaria de agradecer à Profa. Dra. Matilde Scaramucci por me “iniciar” no campo de avaliação em língua estrangeira, aos colegas da turma pela ajuda nas aulas e fora delas, aos candidatos do IELTS que prontamente responderam ao questionário, ao British Council por me autorizar a ministrar o questionário e ao Centro Internacional de Idiomas St. Giles - Campinas por me fornecer os e-mails de todos os candidatos. 3 Pode haver diferenças de sentido e uso entre essas palavras. No entanto, elas serão usadas como sinônimos no decorrer do trabalho. 4 Para uma extensa discussão acerca do conceito de proficiência, ver Harley et al, 1990 e Scaramucci, 2000. 1

respostas de quarenta e sete candidatos que realizaram a prova numa cidade do interior do estado de São Paulo nos anos de 2004, 2005 e 2006. Segundo Alderson et al (1995), validade de face envolve o julgamento intuitivo sobre o conteúdo de um teste por pessoas que não são estudiosos da área de avaliação em LE. Os autores afirmam ainda que muitos elaboradores de exames consideram a validade de face como não científica e até irrelevante. Alderson et al (1995), no entanto, qualificam a validade de face como um aspecto importante de uma avaliação, pois “exames que não aparentam ser válidos para os usuários dos mesmos podem sofrer o risco de não serem levados a sério e, se os candidatos consideram um teste válido, acredita-se que seja mais provável que os mesmos se saiam melhor na prova.” (Alderson et al, 1995: 172-173). Além disso, os autores afirmam que a validade de face começou a ser mais aceita depois da elaboração de testes baseados na abordagem comunicativa porque é importante que um teste “comunicativo” se pareça com algo que os candidatos teriam de realizar linguisticamente em situações reais de comunicação. Para atingir o objetivo proposto, o presente estudo se divide em quatro partes. Na primeira, expomos questões relacionadas a avaliações de Produção Oral em LE, tentando comparar, brevemente, as características do exame em foco neste trabalho (IELTS) com aquelas do TOEFL iBT. Na segunda parte fornecemos um breve histórico e uma visão geral do IELTS atualmente. Na terceira, apresentamos a pesquisa em si, falamos sobre a metodologia utilizada, os sujeitos participantes e analisamos suas respostas. Na quarta e última parte, concluímos o trabalho fazendo nossas considerações finais. 1. Avaliação de Produção Oral em LE Nesta seção fazemos um breve apanhado das avaliações de Produção Oral em LE, tentando associar algumas definições teóricas ao teste em foco neste trabalho, a saber, o IELTS, e também compará-lo ao TOEFL iBT. Decidimos incluir uma discussão sobre TOEFL iBT nesta seção pois esse exame, amplamente conhecido e aplicado no mundo todo, tem o mesmo propósito do módulo Acadêmico do IELTS, que é avaliar o desempenho de estudantes em potencial que desejam estudar num país onde a língua oficial é o Inglês. Nosso intuito não é tentar validar as avaliação de Produção Oral do IELTS pois essa tarefa demandaria um outro trabalho. Pretendemos apenas situar o leitor na área para que o mesmo possa compreender melhor o construto teórico que subjaz a avaliação em questão. Os critérios pelos quais um bom teste de Produção Oral pode ser julgado são aqueles que podem ser aplicados a quaisquer testes de língua. Esses critérios são: confiabilidade, validade e praticidade. Entretanto, quando se trata de um teste de Produção Oral, os problemas em examinar essas qualidades são maiores devido à própria natureza da habilidade. Por exemplo, para avaliar somente a compreensão oral de um candidato podem ser usados exercícios de múltipla escolha como encontrado no IELTS e no TOEFL CBT (Test of English as a Foreign Language Computer Based Test). Eesse tipo de exercício não exige que a correção do exame dependa do julgamento de um corretor nem da existência de uma grade para correção. Entretanto, um teste de Produção Oral vai inevitavelmente precisar de um ou mais corretores ou juízes e de uma grade de correção muito bem projetada. Conseguir um número de amostras de linguagem suficientemente adequadas para avaliação consome muito tempo e é uma tarefa muito cara. Além disso, segundo Fulcher (1999), questões como measurement error, generalisability,5 interpretação e uso válido do resultado são mais críticos no teste de conversação do que em qualquer outro teste de linguagem. Como a necessidade de se avaliar a habilidade de Produção Oral é cada vez maior, temos assistido a mudanças ocorridas no novo TOEFL iBT e IELTS devido a essa crescente demanda; temos visto também a grande preocupação, desde a década de 80, de

5

Preferimos não traduzir essas expressões, pois não encontramos equivalentes em português já que a maior parte da literatura da área é em língua inglesa. 2

especialistas como Barnwell, 1989; Lantolf & Frawley, 1985, 1988 e Pinneman, Johnson & Brindley, 1988 em estudar a confiabilidade, validade e significado das grades de correção. Hughes (2003) procura elencar alguns aspectos que seriam importantes para assegurar que um teste de habilidade oral tenha um alto grau de validade de construto, assim como assegurar que a interpretação e uso do seu resultado sejam válidos. O primeiro aspecto seria assegurar que o teste tenha validade de conteúdo, ou seja, tarefas representativas daquilo que é esperado que o candidato seja capaz de realizar para que comprove sua habilidade na língua, e para que isso ocorra, é necessário especificar todo o conteúdo possível quando na elaboração do teste. Ainda segundo Hughes (2003), quanto mais detalhes na especificação do conteúdo, mais válido o teste de habilidade oral será. Uma peça chave para que esse conteúdo, especificado antes da realização do teste, seja adequadamente explorado é o entrevistador, que precisa ser muito bem treinado para que tenha total capacidade e consciência de fazer uso de uma amostra representativa das operações alistadas nas especificações. Pelo poder que as tarefas incluídas no exame têm de influenciar o desempenho do candidato, o segundo aspecto seria levantar uma amostra válida da habilidade oral do mesmo variando o máximo possível os tipos de tarefas, fazendo uso de entrevistas individuais, interação com outros candidatos e de recursos autênticos de áudio e vídeo. Por exemplo, o sistema de entrevistas individuais, embora seja o mais comum nesse tipo de teste, se mal conduzido, pode ter uma desvantagem em potencial porque ele geralmente leva o entrevistado a agir passivamente, aguardando as perguntas do entrevistador como se fosse seu superior, o que, segundo van Lier (1989), não reflete o que comumente ocorre numa conversa do dia-a-dia. Nesse tipo de tarefa várias habilidades e funções podem deixar de ser avaliadas, embora esse problema possa ser minimizado usando-se algumas estratégias como dar a liberdade para o entrevistado fazer perguntas, fazer perguntas abertas para evitar respostas que não sejam simplesmente sim ou não, fazer uso de vídeo, áudio e gravuras, como por exemplo, é usado no exame CELPE-Bras (Certificado de Proficiência em Língua Portuguesa para Estrangeiros), e simular situações em que o entrevistado tem que desempenhar um papel para o cumprimento de uma determinada tarefa. Existem dois métodos de entrevista de proficiência oral: um é o chamado Entrevista de Proficiência Oral6 (doravante EPO) e o outro é mais conhecido como Entrevista Simulada de Proficiência Oral (doravante ESPO)7. A diferença entre os dois é que o primeiro é realizado com a presença de um entrevistador e um corretor8 e o segundo não tem a presença de um entrevistador nem corretor, pois a resposta do candidato é gravada em uma fita ou em formato digital para posterior correção. O teste de proficiência IELTS utiliza o sistema EPO e o novo TOEFL iBT o sistema ESPO. Shohamy (1994) comenta que é possível prever o resultado do EPO pelo resultado do ESPO. Embora o EPO, por se tratar de um teste de desempenho, seja mais próximo de uma situação real de Produção Oral e dê mais condições ao candidato de demonstrar suas habilidades de uso da língua, o ESPO tem sido alvo de vários estudos por se tratar de um teste mais barato e cujo resultado pode prever quase com a mesma eficiência que o EPO a habilidade de conversação do candidato dependendo do uso e da interpretação do resultado do teste. O terceiro aspecto apontado por Hughes (2003) seria assegurar que a correção do exame seja válida e confiável e que a interpretação e uso do resultado do exame também tenham validade. Existem dois tipos de grades de correção: a holística e a analítica. Hughes (2003: 95-105) define uma correção holística como aquela em que é dada apenas uma nota geral baseada na impressão global do desempenho do candidato, já o sistema de correção analítico é definido pelo mesmo autor como o método de correção em que são dadas notas separadas para cada banda ou sub-habilidade de um teste. O TOEFL iBT faz uso da grade de correção holística e o IELTS da grade de correção analítica. 6

Em Inglês, Oral Proficiency Interview (OPI) Em Inglês, Simulated Oral Proficiency Interview (SOPI). 8 Existem, no entanto, avaliações de Produção Oral que não incluem a presença desse corretor. Nesse caso, o entrevistar tem de desempenhar os papéis de interlocutor e corretor simultaneamente. 7

3

Já existem vários estudos e debates muito bem documentados sobre testes de línguas entre correções de produção oral nos sistemas analítico e holístico (Bachman, 1988; Bachman & Savignon, 1986; Douglas & Smith,1997; Fulcher, 1997; Ingram & Wylie,1993; Underhill, 1987; Weir, 1990; entre outros). Os dois sistemas apresentam vantagens e desvantagens. Hughes (2003: 95-105) aponta como uma das vantagens do método de correção holístico o fato do mesmo ser muito rápido e bem mais barato. O mesmo autor menciona três vantagens do sistema de correção analítico. A primeira seria que esse sistema consegue detectar os diferentes níveis de desenvolvimento dos candidatos em cada sub-habilidade. A segunda seria que os corretores são compelidos a considerar aspectos de desempenho que eles do contrário poderiam ignorar. A terceira seria o próprio fato de o corretor ter que dar um número de notas, o que tornaria a correção mais confiável. Hughes (2003) vê como a maior desvantagem do sistema analítico o tempo que ele leva para ser corrigido e o fato de tornar o teste muito mais caro. Em relação às desvantagens do sistema holístico, Xiaoming & Mollaun (2006) asseveram o fato de que os pontos fortes e fracos de cada candidato podem ser julgados de maneiras diferentes dependendo do ponto de vista do corretor. Embora haja alguma similaridade entre o modo pelo qual diferentes corretores chegam a uma determinada pontuação, existem poucas regras explícitas que podem ser utilizadas ao fazer uma correção global. Esse problema pode ser minimizado ao se fazer uso do maior número de tarefas com o máximo de variação possível; dessa forma, o candidato pode ter a chance de demonstrar suas reais habilidades em diferentes situações. Uma outra maneira de minimizar os problemas com o sistema holístico é treinar os corretores para que possam fazer uso e julgamento da grade de correção de maneira uniforme. Uma outra desvantagem do sistema de correção holístico é quanto ao uso e interpretação do resultado do exame. Weir (1990) aponta que as descrições típicas de desempenho em cada nível de uma grade de correção holística poderão não funcionar para candidatos que demonstram um desempenho muito variado nos vários componentes. No caso do TOEFL iBT, porém, um resultado simples baseado em uma correção holística é o suficiente para determinar a admissão ou não de um candidato a um determinado programa universitário. Embora o sistema de correção baseado na grade holística possa dar um diagnóstico do nível de produção oral do candidato, ele é limitado porque coloca candidatos com perfis diferentes no mesmo nível, ou seja, as descrições de desempenho típicas de cada nível são generalizadas e não têm a capacidade de identificar com precisão os perfis individuais de cada candidato para posterior correção. Xiaoming & Mollaun (2006), contudo, reconhecem que o sistema de correção analítico também tem seus problemas, como por exemplo, a grande dificuldade que os corretores têm em dar uma nota consistente e uniforme devido aos vários aspectos que precisam ser considerados separadamente e ao mesmo tempo no momento da correção. Carroll (1961) reconheceu que para prever o quão bem candidatos sairiam em situações sociais futuras, seria necessário avaliar o desempenho da linguagem desses candidatos de maneira holística e em situações realísticas. Desse modo, avaliações de Produção Oral precisam ser integrados e não integrativos. Lewkowicz (1997a) explica que testes integrativos estão de um lado do contínuo e testes integrados no outro extremo desse mesmo contínuo, como mostra a Figura 1 abaixo.

|-------------------------------------------------------------------------------------------------| Teste Integrativo

Teste Integrado Figura  1:  Contínuo  entre  Testes  Integrativos  e  Integrados.  

Ou seja, testes integrativos são testes isolados e indiretos – sem ligação com outras partes do teste geral – em que os candidatos fazem uso de mais de uma habilidade; como por exemplo, os exercícios de cloze e ditado. Ao se mover dentro desse mesmo contínuo em direção ao teste integrado, as tarefas do teste aumentam no grau de realidade que eles tentam replicar. Testes integrados são testes diretos baseados no desempenho, que são aqueles em que todas as tarefas estão tematicamente ligadas e cujo objetivo é avaliar a proficiência do candidato em um contexto que 4

tenta se aproximar ao máxima da realidade. Um exemplo de um teste integrado seria o EAP (English for Academic Purposes) no qual os candidatos escutam e tomam notas de um extrato de uma palestra acadêmica, lêem um ou mais textos acadêmicos que procuram abordar o mesmo assunto da palestra e então usam esses dois recursos para escrever uma redação acadêmica. O IELTS não possui testes que integram duas ou mais habilidades, já o novo TOEFL iBT alega ser o único teste de larga escala a fazer uso de testes integrados onde o candidato lê um ou mais textos acadêmicos, escuta uma palestra sobre o mesmo tema e depois fala a respeito do que leu e ouviu ou faz uma redação acadêmica baseada no insumo recebido. 2. O IELTS Nesta parte do trabalho discorremos brevemente sobre a história do IELTS, mostramos o formato do teste completo atualmente e, finalmente, explicamos como a avaliação de Produção Oral do exame é realizada. 2.1 Histórico do teste Segundo o site oficial do IELTS9, de meados dos anos 60 até 1979, o Conselho Britânico utilizava uma bateria de testes de múltipla escolha chamada English Proficiency Test Battery (EPTB). Ela era usada para recrutar estudantes estrangeiros nas universidades e faculdades do Reino Unido. Em 1980, o EPTB foi substituído pelo English Language Testing Service (ELTS); teste cujo formato inovador tentava refletir as mudanças ocorridas nas teorias de ensinoaprendizagem e de avaliação em LE. Essas mudanças se deveram principalmente ao desenvolvimento do ensino comunicativo de línguas e do ensino de Inglês instrumental (English for Specific Purposes – ESP). As tarefas do teste eram baseadas em linguagem acadêmica e pretendiam refletir a linguagem utilizada no mundo real. O ELTS oferecia uma escolha de seis módulos que cobriam cinco áreas de estudo10 em nível superior no Reino Unido; um módulo acadêmico geral, não específico; e um módulo não acadêmico. Cada candidato tinha de realizar três seções em sua área específica (Habilidades de estudo, Escrita e Entrevista individual) e dois testes gerais na seção não específica (Leitura e Compreensão Oral). As seções na área específica eram tematicamente integradas11: os candidatos tinham de escrever sobre um tema ligado a um dos textos da seção Habilidades de Estudo e, na entrevista, tinham de discutir um tópico já visto nessa mesma seção. O ELTS continuou com o formato descrito acima até o início de 1989. No entanto, durante esses quase nove anos, poucas pessoas realizavam o teste (4.000 em 1981 e 10.000 em 1985) e havia muita dificuldade na administração do mesmo. Em 1987 a Universidade de Edimburgo conduziu um estudo de validação, praticidade e confiabilidade do ELTS (ver Criper and Davies, 1988; Hughes, Porter and Weir, 1988) e, em 1989, um projeto de revisão do teste foi realizado (Alderson and Clapham, 1993). Nesse projeto, chegou-se à conclusão de aumentar a participação internacional do teste e assim a International Development Program of Australian Universities and Colleges (agora conhecido como IDP Education Australia) se uniu ao Conselho Britânico e ao UCLES para formar essa parceria internacional. Com isso, um acadêmico australiano passou a fazer parte do projeto de revisão do teste. O time desse projeto recomendou que o exame fosse simplificado e reduzido, buscando assim um compromisso entre praticidade e máximo poder preditivo. Dessa forma, o número de módulos específicos foi reduzido de seis para três e o teste não acadêmico foi substituído pelo Módulo Geral (General Module). O IELTS começou então a ser aplicado em 1989, sendo que cada candidato fazia dois sub-testes para avaliar Inglês geral (Compreensão e Produção orais) e dois sub-testes específicos (Leitura e Escrita) que eram divididos 9

www.ielts.org Tais áreas eram: Ciências da vida, Estudos Sociais, Ciências Físicas, Tecnologia e Medicina. 11 Utilizei o termo “integrado” em oposição ao temos “integrativo”, pois esse tipo de tarefa, a meu ver, parece caber na definição de um teste integrado (integrated test) fornecida por Lewkowicz (1997: 121). 10

5

em módulos A, B e C e tinham a intenção de avaliar habilidades em uma área acadêmica específica escolhida pelo candidato. Com essas mudanças, em 1995 o número de candidatos prestando o IELTS subiu para 43.000 e o número de centros aplicadores do teste subiu para 210. Ainda em 1995 o IELTS sofreu outras mudanças significativas, as principais foram: a) Os módulos específicos de Escrita e Leitura foram substituídos por um módulo acadêmico de Escrita e Leitura. Além disso, a ligação temática entre as tarefas de Leitura e Escrita foi abandonada com o intuito de evitar confusões na avaliação da habilidade de Escrita com aquela da de Leitura.12 b) O tempo estabelecido, o comprimento de respostas escritas e o relatório de resultados do Módulo Geral de Leitura e Escrita foram igualados ao do Módulo Acadêmico. A única diferença entre os módulos é em termos de conteúdo, contexto e propósito do teste ao invés das escalas de habilidades. c) Medidas para coletar dados relacionados ao desempenho na prova e origem e formação dos candidatos foram introduzidas com o intuito de melhor monitorar questões relacionadas à justiça (fairness). Essas foram as principais mudanças sofridas pelo teste em 1995. Em 2001 houve outras mudanças que concerniram principalmente ao teste de Produção Oral, o que será explorado na seção 2.3. Para um relatório completo das mudanças de 1995, ver Charge & Taylor (1997). 2.2 O IELTS hoje O principal objetivo do IELTS hoje é avaliar o desempenho de falantes não nativos de Inglês que precisam estudar ou viver num ambiente onde a principal língua utilizada é o Inglês. Atualmente, o teste continua sendo dividido em dois módulos: Acadêmico e Geral. As avaliações de Compreensão Oral e de Produção Oral são as mesmas para os dois módulos. No entanto, as avaliações de Leitura e Escrita são distintas para os diferentes módulos pois seus propósitos e, conseqüentemente seus conteúdos e contextos, são outros. Abaixo, descrevemos brevemente cada avaliação das habilidades exigidas no IELTS exceto pela avaliação de Produção Oral que, por ser o foco deste trabalho, recebe uma descrição mais pormenorizada na seção 2.3. Devido ao foco do trabalho e também a restrições de espaço, apenas delineamos cada avaliação, sem fornecer maiores detalhes. A avaliação de Compreensão Oral leva aproximadamente 30 minutos e é dividida em 4 seções com 40 questões ao todo. Os candidatos ouvem o CD apenas uma vez. Eles têm, contudo, tempo para ler as questões e verificá-las posteriormente. Os candidatos também recebem 10 minutos após o término da gravação para escrever suas respostas na folha de respostas. As duas primeiras seções são relacionadas a necessidades sociais gerais; primeiro há um diálogo e depois um monólogo. As duas últimas seções são pertinentes a situações mais acadêmicas, como uma conversa entre três ou quatro universitários e seu professor, ou uma parte de uma aula numa universidade. O teste de Compreensão Oral do IELTS utiliza nas gravações diversos sotaques e dialetos do Inglês, pois o teste deve refletir o caráter e uso internacionais que possui. Além disso, os tipos de questões utilizados na prova de Compreensão Oral são vários, tais como múltipla escolha, respostas curtas, sentenças para completar, classificação de itens, associações, entre outros. A avaliação de Leitura tem a duração de uma hora, possui 40 questões e é baseada em três textos com um total de 2.000 a 2.750 palavras. Os candidatos podem escrever na folha de perguntas, mas não podem levá-la pra casa. Eles devem também transferir suas respostas para uma folha de respostas. Não é dado aos candidatos tempo extra para escreverem suas respostas na folha de respostas. Para a avaliação de Leitura Acadêmica, os textos são retirados de revistas, jornais e livros direcionados ao público não especialista. Todos os temas são de interesse geral e tratam de assuntos interessantes, apropriados e acessíveis a candidatos que pretendem estudar em cursos de nível superior. Em relação à avaliação de Leitura Geral, os textos são retirados de notícias, propagandas, documentos oficiais, jornais, manuais de instrução, panfletos, caderno de horários, 12

Para uma crítica a essa mudança ver Wallace, 1997. 6

livros e revistas. A primeira seção, “Sobrevivência Social”, inclui textos que são relevantes para uma sobrevivência lingüística básica em Inglês com tarefas que exijam e forneçam informações factuais. A segunda seção, “Sobrevivência Profissional”, concentra-se no contexto de treinamento profissional e envolve textos com uma maior complexidade lingüística. Finalmente, a terceira seção, “Leitura Geral”, requer a leitura de textos mais extensos e mais complexos, dando ênfase a gêneros mais descritivos e instrutivos em vez de argumentativos. Para realizar a avaliação de Escrita, os candidatos do IELTS têm, ao todo, uma hora. A avaliação é dividida em duas tarefas e se sugere aos candidatos que gastem 20 minutos na primeira e 40 na segunda. Na primeira tarefa os candidatos devem escrever no mínimo 150 palavras e na segunda, 250. Eles são penalizados caso não atinjam o número mínimo de palavras em cada tarefa. Os candidatos devem também passar suas respostas para a folha de respostas que recebem juntamente com a folha de tarefas. Na primeira tarefa da avaliação de Escrita Acadêmica os candidatos devem descrever informações contidas em algum tipo de insumo visual como gráficos, tabelas e diagramas. Já na primeira tarefa da avaliação de Escrita Geral, os candidatos devem reagir a um problema. Isso é feito através da escrita de uma carta na qual devem requerer informações ou explicar uma dada situação. Na segunda tarefa da avaliação de Escrita, que é a mesma para os módulos Acadêmico e Geral, os candidatos devem escrever sobre um determinado assunto (de interesse geral, segundo o Manual do Candidato – IELTS Handbook) que faz com que eles apresentem seus pontos de vista em relação a algum problema e possam assim demonstrar sua capacidade de argumentação. Para uma descrição mais detalhada sobre cada avaliação de cada habilidade requerida pelo IELTS, recomendamos a leitura do Manual do Candidato (que pode ser baixado do site oficial do teste: www.ielts.org, na seção Downloads). Assim como em outros exames de LE, o resultado do IELTS não é dado na forma “aprovado” ou “não aprovado”. Os resultados são fornecidos numa escala com bandas (bands) de 1 a 9 para cada habilidade e uma média geral (Overall Band). Cada banda corresponde ao desempenho do candidato na dada habilidade. No Anexo A se encontra uma descrição completa do significado de cada banda.  

2.3 A avaliação de Produção Oral no IELTS hoje Como o principal intuito deste trabalho é especular acerca da validade de face da avaliação de Produção Oral (Speaking) do IELTS, consideramos importante incluir uma descrição mais detalhada dessa parte da avaliação. Como dito anteriormente, a avaliação de Produção Oral do IELTS é a mesma para os candidatos que realizam qualquer um dos módulos, Acadêmico ou Geral. Na última versão do IELTS, anterior ao ano de 2001, a avaliação da Produção Oral do candidato era realizada a partir de role-plays entre o examinador e o examinando. A esse último eram apresentadas situações cotidianas que requeriam algum tipo de interação oral. Em 2001, porém, esse formato foi abandonado. Atualmente, não há mais role-plays e a avaliação da Produção Oral do IELTS é realizada em três partes. O formato dela é de entrevista face a face na qual o candidato é avaliado em relação às suas habilidades orais em responder perguntas curtas (e expandi-las), discorrer por um certo tempo sobre um tema de cunho pessoal e também interagir com o examinador. A avaliação tem duração de aproximadamente 15 minutos e é realizada em 3 partes distintas. Essas partes não são discretamente divididas, ou seja, fazem parte de um contínuo e se assemelham a uma única conversa. De acordo com o Manual do Candidato, cada parte da avaliação de Produção Oral se destina a incluir uma função específica em termos de padrões de interação, de insumo da tarefa e produção do candidato. As três partes estão descritas abaixo: •   Parte 1 – Perguntas pessoais (ice-breaker): nessa parte o candidato deve responder perguntas pessoais gerais, falando sobre seu lar, família, trabalho, estudos, hobbies, preferências, entre outros. Essa parte dura aproximadamente 5 minutos. 7

•   Parte 2 – Tópico específico: nessa parte o examinador entrega ao candidato um cartão contendo um determinado tópico e algumas perguntas que ele deve responder – todas relacionadas ao tópico, obviamente. O candidato tem então um minuto para se preparar para falar sobre esse tópico. Terminado esse tempo, o candidato tem entre um e dois minutos para discorrer sobre o tema. Depois disso, o examinador faz uma ou duas perguntas relacionadas que servem para mostrar ao candidato que ele deve terminar sua fala. A seguir se encontra um exemplo de um cartão utilizado na segunda parte da avaliação:

                                                                   Figura  2.  Cartão  utilizado  na  segunda  parte  da  avaliação  Oral  do  IELTS.                                                                                                                                                                                                                    Fonte:  Manual  do  Candidato    

•   Parte 3 – Discussão: nessa última parte da avaliação de Produção Oral do IELTS, o examinador e o candidato mantêm uma conversa sobre questões e conceitos mais abstratos. Essas questões e conceitos são relacionados ao tema da segunda parte. Por exemplo, se o tema da segunda parte foi, como visto na figura 2 acima, descrever uma carta que foi muito importante para o candidato; as questões discutidas na terceira parte possivelmente tratarão de assuntos relacionados à importância da linguagem escrita, ao envio de cartas atualmente, à propagação de outros meios de comunicação como e-mails e bate-papos e assim por diante. Essa parte leva entre 5 e 7 minutos. Segundo o Manual do Candidato do IELTS, pesquisas mostraram que as funções de fala que mais comumente aparecem na produção oral dos candidatos são: fornecer informações pessoais e não pessoais, expressar uma preferência, comparar, contrastar, expressar opiniões, resumir, fazer sugestões, justificar opiniões, especular e analisar, narrar e parafrasear. Podem surgir outras funções, mas elas não seriam necessariamente forçadas a ocorrer devido à estrutura da entrevista. Utilizando a ordem da entrevista do modo acima descrito, o IELTS diz conseguir avaliar o quão eficaz é a capacidade comunicativa do candidato na LE. Os examinadores levam em conta quesitos como: fluência e coerência, recursos lexicais, abrangência gramatical, precisão gramatical e pronúncia. No Anexo B encontram-se os descritores completos de cada banda da avaliação de Produção Oral que levam em conta os quesitos acima mencionados. 3. Opiniões de candidatos brasileiros sobre a avaliação de Produção Oral do IELTS Segundo Chapelle (1999), o termo “validade” esteve sempre presente em estudos de avaliação em LE. Inicialmente, ele era usado para se referir à qualidade ou aceitabilidade de um

8

teste e era composto por vários tipos de validades13. No entanto, nos últimos anos, seu significado/concepção e escopo sofreram mudanças consideráveis. Chapelle ainda assevera que a definição de validade é de extrema importância pois afeta todos aqueles envolvidos no processo de elaboração de um teste assim como afeta decisões acerca daquilo que constitui um bom teste de língua para uma dada situação. Atualmente, o conceito de validade se baseia nos trabalhos de Messick (1989) e Bachman (1990), segundo os quais a validade de um teste é um conceito único pertencente à interpretação e uso do mesmo. Bachman enfatiza o objeto do processo de validação como sendo as inferências e usos dos resultados dos testes (em vez dos testes em si ou do que eles medem/avaliam). Validade de construto continua sendo a mais importante e os outros tipos de validade servem para investigá-la. No decorrer da década de 90 até hoje, a validade é vista como uso e conseqüência de avaliações, incluindo aí efeito retroativo (Hughes, 1983, Scaramucci 1998/1999, 1999, 2002) e responsabilidade social (McNamara, 1998; Shohamy, 1997; HampLyons, 1997, entre outros). Assim, determinar a validade de um teste continuou e continua a ser o foco principal das pesquisas em avaliação em LE. Tendo em mente o que foi dito acima, achamos pertinente investigar a opinião de candidatos que se submeteram à entrevista do IELTS. Nesta seção, portanto, descrevemos a metodologia utilizada para a coleta de dados, fornecemos dados sobre os sujeitos da pesquisa e analisamos suas respostas sob a luz do arcabouço teórico da área de avaliação em LE. 3.1 Metodologia A metodologia utilizada para coletar dados para esta pesquisa foi qualitativa. Optamos pelo uso de um questionário com questões abertas (Apêndice A), pois eles são fáceis de construir e de aplicar, são versáteis e, além disso, quase sempre fornecem respostas interessantes que podem ser exploradas de diversos modos (Dörnyei, 2003). De acordo com Brown (2001), questionários são “quaisquer instrumentos escritos que apresentam aos respondentes uma série de questões ou afirmações aos quais eles têm que reagir ou respondendo a perguntas ou selecionando uma resposta dentre uma lista de opções.” (Brown, 2001: 6). O questionário empregado nesta pesquisa tentou abranger em suas perguntas diversas questões teóricas da área de avaliação em LE como previsões futuras e usos de um teste (Cumming, 1996; Messick, 1996; Chapelle, 1999; entre outros), preparação para o teste (testwiseness) (ver Allan, 1992), integração de habilidades (Paltrigde, 1992; Short, 1993; Lewkowicz, 1997a; entre outros) e entrevistas em pares (Iwashita, 1996; Berry, 1997; entre outros). Desse modo, acreditamos que as respostas dos candidatos a certas perguntas podem fornecer algum tipo de insight não apenas sobre o que eles pensam da prova, mas também sobre o que acham de outros tipos de tarefas comumente utilizadas em avaliações de Produção Oral. Dessa forma, ao analisar as respostas dos candidatos, acreditamos que estaremos contribuindo para um melhor entendimento acerca da credibilidade e/ou aceitabilidade do IELTS na região onde esses candidatos realizaram a prova. 3.2 Sujeitos Como já mencionado, quarenta e sete candidatos responderam a um questionário com perguntas abertas sobre a avaliação de Produção Oral do IELTS. Esse questionário inclui perguntas demográficas como idade, sexo, tempo de estudo de Inglês, módulo realizado e propósito de ter realizado o exame. A seguir se encontram alguns dados que resumem o resultado para esses quarenta e sete candidatos:

13

Não é nosso intuito discutir a fundo a evolução do conceito de validade, portanto, não entramos em detalhes em relação a esse aspecto. Para discussões e definições acerca de validade ver Bachman, 1990; Alderson et al, 1995, Bachman & Palmer, 1996; Messick, 1989, 1996; e Chapelle, 1999. 9

Idade 22-23 24-29 30-35 36 ou mais

20,8% 54,2% 20,8% 4,2%

Média de idade

28,7 anos

Estudo formal de Inglês 4 meses-2 anos 3 anos-4,5 anos 5 anos a 7 anos 8 anos a 9 anos 10 anos ou mais

18,2% 27,3% 33,3% 15,2% 6,0%

Média de estudo formal

3,7 anos

Candidatos sem estudo formal

14

                                                                                           Tabela  1:  Dados  dos  candidatos

Sexo

Feminino 25 53%

Módulo

Masculino 22 47%

Acadêmico 28 60%

Geral 19 40%

                                 Gráfico  1:  Sexo  dos  candidatos                                                                Gráfico  2:  Módulo  realizado    

                                                                                                 

Propósito Outros 11 23%

Imigração/Canadá 9 19%

Estudo/Grã-­Bretanha 16 34%

Estudo/Austrália 4 Imigração/  Austrália 9% 7 15%

Gráfico  3:  Propósito  de  realização  do  exame   10

Os questionários dos quais os dados acima foram retirados foram respondidos por quinze candidatos no dia 30 de novembro de 2006. À medida que foram saindo da entrevista do IELTS, um dos autores explicava o propósito da pesquisa e solicitava sua colaboração. Os outros trinta e dois sujeitos são candidatos que realizaram o exame nos anos de 2004, 2005 e 2006 (até a data acima mencionada). Esses candidatos responderam ao questionário enviado a eles por correio eletrônico. O questionário foi enviado no dia 1 de dezembro de 2006 e recebemos as respostas no período de 1 de dezembro de 2006 até o dia 11 de dezembro do mesmo ano. Tomamos o cuidado de não enviar o questionário aos quinze sujeitos que já haviam respondido ao mesmo. 3.3 Análise das respostas Por razões de tempo e espaço, não analisamos todas as respostas de todos os candidatos. Porém, todos os questionários respondidos tiveram suas respostas lidas e levadas em conta na análise. Concentramos nossa análise nas quatro primeiras perguntas do questionário e por fim fazemos comentários gerais que acreditamos ser relevantes. Comentários esses que são baseados em outras perguntas do questionário que porventura suscitaram respostas pertinentes e exploráveis qualitativamente. Como pode ser observado no Apêndice A, as quatro primeiras perguntas do questionário são: 1) Você acha que você se saiu bem na entrevista? ( ) Sim. Por quê? ( ) Não. Por quê? 2) Você acha que a entrevista lhe permitiu demonstrar o quão bem você se comunica em Inglês? Por quê? 3) Você acha que a examinadora pôde ter uma boa idéia daquilo que você é capaz de realizar oralmente em Inglês? Por quê? 4) Você acha que, somente a partir da entrevista, a examinadora pode fazer previsões sobre como você se sairia em diversas situações reais de uso da língua inglesa no futuro? Por quê? As respostas à primeira pergunta serviram de base para uma divisão inicial das respostas dos sujeitos entre aqueles que acharam que se saíram bem e aqueles que acharam que se saíram mal. Além disso, essa questão reflete a primeira pergunta que geralmente escutamos ao sair de um exame: “E aí, foi bem?”, ou “E então, como foi?”. Por mais trivial que essa pergunta possa parecer, acreditamos que a resposta dada a ela possa refletir a impressão geral que cada candidato teve acerca de seu desempenho na prova assim como a impressão que tiveram da dificuldade da entrevista e também do que os candidatos pensam sobre o que significa falar uma LE. No total, trinta e dois candidatos (68%)14 acharam que se saíram bem na entrevista. As principais razões atribuídas ao bom desempenho foram: 1) ter desenvolvido bem o tema das segunda e terceira partes; 2) ter respondido claramente às perguntas da examinadora; 3) ter o Inglês fluente; 4) ter compreendido todas as perguntas, respondido a elas de modo completo e conseguido demonstrar seu conhecimento da língua; 5) ter tido bastante contato com a língua antes de realizar a prova; 6) ter considerado fácil falar sobre temas pessoais; 7) ter vivido no exterior; 8) ter se preparado para a entrevista; 9) examinadora ter deixado o candidato à vontade; 10) ter tido exposição à língua oral no trabalho; 11) não ter gaguejado; 12) a examinadora ter elicitado tópicos compatíveis com a formação cultural do candidato; 13) apesar de ter cometido erros, candidato acredita ter sido compreendido. 14

Lembramos que todas as porcentagens se referem ao total geral de 47 candidatos. 11

Pode-se perceber, pelas respostas dos candidatos que muitas delas refletem um certo senso comum em relação ao que significa falar uma LE: se alguém tem conhecimento sobre a língua, então essa pessoa sabe falar essa língua; como se conhecer a língua fosse sinônimo de conseguir desempenhá-la oralmente. Se alguém morou no exterior, ele sabe falar a língua. Se alguém se prepara para uma entrevista, ele vai se sair bem; como se fosse possível se preparar para uma conversa na qual assuntos não previamente definidos sempre surgem. Se alguém gagueja, ele não fala bem a língua. Esse dado reflete a idéia de que para alguém ser fluente numa língua ela não pode gaguejar ou hesitar, o que pode até ser verdade, mas nem sempre, pois mesmo falantes nativos às vezes hesitam ao falar sua língua materna. Outras respostas, no entanto, refletem questões que sabemos ser verdade acerca de diálogos entre falantes mais competentes e menos competentes15 (Kormos, 1999; Powers et al 1999, entre outros) tanto em contextos de avaliação de desempenho quanto em situações reais de comunicação. Entre outras respostas, podemos elencar: 1) capacidade do falante “mais experiente”, nesse caso, o examinador, deixar o interlocutor à vontade (Alderson et al, 1995: 116), 2) a influência do conhecimento de mundo/schemata do candidato no sucesso da comunicação (Fox et al, 1995; Jennings et al, 1999; entre outros), e 3) a primazia do significado na comunicação; pois quando um candidato diz ter cometido erros mas ter sido compreendido, ele está querendo dizer que o que importou na interação foi o significado, não a forma; ou, dizendo de outro modo, o que importou para ele foi a fluência, e não a precisão. Ainda em relação à primeira pergunta, quinze candidatos (32%) acharam que não se saíram bem. As principais razões levantadas por eles foram16: 1) nervosismo; 2) “dificuldade em formular frases segundo as regras gramaticais”; 3) “erros” de pronúncia; 4) nível “pobre” de Inglês; 5) nervosismo por não estar numa situação “normal”; 6) falta de fluência; 7) cansaço depois de ter realizado os outros módulos do exame; 8) tempo insuficiente para se expressar; 9) falta de vocabulário; 10) confusão do tópico. Novamente, é interessante notar nas respostas dos candidatos aquilo que eles pensam ser essencial para obter um bom desempenho numa entrevista oral. Por exemplo: as falas devem ser todas gramaticalmente corretas, não pode haver erros de pronúncia nem falta de vocabulário, não se pode ter um nível “pobre” de Inglês para se comunicar eficazmente, entre outros. O que essas respostas revelam é possivelmente aquilo que a escola e a sociedade brasileiras levam os alunos a pensar sobre o que significa “falar bem” uma LE. O que parece faltar nas aulas de LE no Brasil é a conscientização de que não precisamos almejar atingir a proficiência de um falante nativo e que, além disso, existem várias outras estratégias de comunicação que não lingüísticas, como linguagem corporal, entonação, expressões faciais, etc. Avaliações de desempenho (Jones, 1985; Chalhoub-Deville, 1993; Shohamy, 1995; McNamara, 1995, 1996, 1997a, 1997b; entre outros) são tidas como diretas, isso quer dizer que tentam se aproximar ao máximo de uma situação real de comunicação com o intuito de poderem prever como o candidato se sairia nessa situação. É exatamente a possibilidade dessa previsão, na visão dos candidatos, que as perguntas 2, 3 e 4 tentam abarcar. Além disso, pesquisadores afirmam 15

Não pretendemos entrar na discussão sobre proficiência nem competência em LE, que sabemos ser bastante complexa (para tal, ver Harley et al, 1990; Scaramucci, 2000; entre outros). Aqui, “falante mais competente” quer dizer falante com desempenho oral mais próximo ao nativo, e “falante menos competente” quer dizer falante com desempenho menos próximo ao nativo, em relação ao primeiro falante. 16 As palavras e expressões entre aspas são palavras e expressões usadas pelos candidatos. 12

que o principal objetivo da utilização de avaliações em LE é tomar decisões e estabelecer a força e a credibilidade das evidências através das quais essas decisões são tomadas (Spolsky, 1981; Bachman, 2005). Por isso, essas perguntas foram elaboradas para podermos ter uma idéia daquilo que os candidatos pensam sobre as previsões futuras de seu desempenho e das decisões que serão tomadas a partir do resultado da avaliação. Em relação à segunda pergunta, independentemente daqueles que disseram ter ido bem ou mal no teste, a maioria dos candidatos (74,4%) achou que a entrevista permitiu a eles demonstrar o quão bem eles se comunicam em Inglês. Os principais motivos revelados foram: 1) a entrevista “mede a fluência de uma conversa no dia a dia”; 2) possibilidade de se “comunicar com clareza” e se “fazer entender”; 3) perguntas amplas que permitem ao candidato expandir suas respostas; 4) formato de conversa da entrevista em si; 5) examinadora deixou o candidato livre para falar. Já os candidatos que responderam negativamente à segunda pergunta (25,6%) disseram que a entrevista não lhes permitiu demonstrar sua capacidade de comunicação em Inglês devido aos seguintes motivos: 1) o teste ser uma situação artificial; 2) perguntas relacionadas a um único tema; 3) nervosismo; 4) perguntas muito dirigidas, não refletindo o que ocorre no “mundo real”; 5) entrevista muito rápida e restrita; 6) tempo de preparação e fala cronometrada não reflete uma situação real de conversa; 7) examinador não deixou candidato à vontade; 8) questões muito fáceis; 9) pouco tempo de conversa. Como pode ser observado nas respostas dos candidatos, mais uma vez, elas refletem questões que foram e ainda discutidas na literatura de avaliação em LE, como formato da entrevista oral (Douglas & Selinker, 1992; Stansfield & Kenyon, 1992; Cascallar, 1997; entre outros), dificuldade das tarefas em avaliações de Produção Oral (Iwashita et al, 2001; Elder et al, 2002; Fulcher & Reiter, 2003; entre outros), tempo de planejamento em avaliações de Produção Oral em LE (Wigglesworth, 1997), entre outros. No caso do IELTS, a maioria dos candidatos sentiu que o formato da entrevista lhes permitiu demonstrar sua habilidade oral em Inglês. No que diz respeito à terceira pergunta17, trinta e seis candidatos (76,5%), independentemente de terem achado que se saíram bem ou mal na entrevista, pensam que o examinador pôde ter uma boa idéia daquilo que são capazes de realizar oralmente em Inglês. Eles acreditam que isso foi possível devido às seguintes razões: 1) diversos temas foram abordados na conversa; 2) três candidatos não se restringiram a apenas responder às perguntas, eles também as expandiram; 3) a entrevista fluiu naturalmente; 4) perguntas abertas que dão margem para o candidato demonstrar seu desempenho; 5) “erros” não comprometeram entendimento por parte da examinadora; 6) examinadora pôde perceber como candidato se saiu em temas dentro da sua “área de conforto” (que acreditamos ser situações pessoais) e não tão bem em temas menos comuns no dia-a-dia; 7) o tempo foi suficiente para o candidato mostrar sua habilidade de fala; 8)“examinadora pode comparar e perceber o nível de conhecimento do aluno”; 9) reflete uma amostra do potencial do aluno. 17

Repetida aqui por conveniência: “Você acha que a examinadora pôde ter uma boa idéia daquilo que você é capaz de realizar oralmente em Inglês? Por quê?” 13

Mais uma vez, a maioria dos candidatos acredita que o formato e condução da entrevista permitem ao examinador ter uma idéia, mesmo que superficial, de seu desempenho oral em língua inglesa. No entanto, onze candidatos (23,5%) acreditam que não foi possível para a examinadora ter noção daquilo que são capazes de desempenhar oralmente em Inglês. Os principais motivos atribuídos à resposta negativa foram: 1) perguntas padrões impedem que o candidato demonstre seu conhecimento de “vocabulário específico”; 2) perguntas não muito “ricas” limitam as respostas; 3) nervosismo; 4) tempo insuficiente; 5) situação restrita; 6) poucas perguntas e tema das segunda e terceira partes pode ser pouco conhecido do aluno, 7) entrevista se assemelha a uma “redação oral” 8) entrevista não reflete uma situação real; Achamos bastante interessante notar como vários candidatos, mesmo que intuitivamente, levantam questões que foram e ainda são bastante discutidas na literatura sobre avaliação de Produção Oral em LE. Uma dessas questões certamente está relacionada à autenticidade18 (Widdowson, 1978; Spolsky, 1985; Seliger, 1985; Doye, 1991; Lewkowikz, 1997b; entre outros). Lewkowikz (2000) realizou um estudo sobre a opinião de candidatos sobre a autenticidade de avaliações de desempenho. Ela conclui que não são todos os candidatos que consideram autenticidade como uma vantagem de um teste. O mesmo pode ser observado em nossos resultados quando analisamos as respostas de alguns candidatos. Uns dizem que a entrevista flui naturalmente, dá possibilidade de expansão das respostas, dá tempo suficiente para o candidato demonstrar sua habilidade e aborda diversos temas do dia-a-dia, assemelhando-se, assim a uma conversa autêntica no “mundo real”; outros candidatos, contudo, dizem exatamente o contrário, ou seja, que perguntas padrões não permitem ao candidato mostrar seu desempenho, que o tempo é muito curto, e que a entrevista não se assemelha a uma conversa autêntica num contexto de não avaliação. A nosso ver, por mais contraditórias que tais respostas possam parecem, todas elas refletem características de entrevistas orais em avaliações de LE. Ou seja, não podemos deixar de lado o fato de que uma situação de teste (de desempenho ou não) realmente não é natural e nem nunca será. Ao mesmo tempo, porém, a avaliação de Produção Oral do IELTS parece tentar incluir elementos em seu formato que se assemelham a uma conversa que poderia acontecer no mundo real, como perguntais pessoais e discussão de um tema específico. E isso parece agradar à maioria dos candidatos que responderam ao questionário deste estudo. As respostas à quarta pergunta19 se assemelham bastante às da terceira, pois ambas perguntas são realmente parecidas. A única diferença entre elas é que a terceira indaga sobre o desempenho lingüístico do candidato no presente, e a quarta diz respeito a previsões futuras desse desempenho. Dessa forma, os mesmos tipos de respostas – muitas vezes contraditórias – foram fornecidos. No caso da última pergunta que estamos analisando, contudo, quase metade dos candidatos (49%) acredita que não é possível fazer previsões futuras sobre seu desempenho oral em Inglês. Os motivos são os mesmos fornecidos para a terceira pergunta, havendo um grande número de razões relacionadas ao pouco tempo da entrevista e ao fato das questões serem muito restritas. Até certo ponto concordamos com esses candidatos, pois fatores como tempo, nervosismo do candidato e perguntas muito restritas podem comprometer a capacidade preditiva da entrevista. No

18

Não é nosso intuito discutir as visões de autenticidade em avaliação de LE. Para tal, ver as referências a seguir. Repetida aqui por conveniência: “Você acha que, somente a partir da entrevista, a examinadora pode fazer previsões sobre como você se sairia em diversas situações reais de uso da língua inglesa no futuro? Por quê?” 19

14

entanto, acreditamos também que os elaboradores do IELTS levam em conta esses fatores e tomam medidas para minimizá-los durante o processo de scoring. Analisando superficialmente as respostas dos candidatos ao restante das perguntas pudemos levantar algumas questões que acreditamos ser interessantes. Dividimos essas questões entre aquelas relacionadas à entrevista e aquelas relacionadas às avaliações das outras habilidades. Em relação à avaliação de Produção Oral, colocamos abaixo alguns comentários e algumas respostas que os ilustram: Um candidato acredita que é possível treinar para a entrevista de uma avaliação como o IELTS: Suponha que você não atinja a nota que você precisa na entrevista e tenha que realizar a prova novamente. O que você faria para tentar se sair melhor? Candidato: “Escutaria fitas de treino para o teste. Mas concordo que é relativamente simples se sair bem em uma prova como o IELTS apenas estudando o que pode ser pedido e não se preocupando muito com a sua formação em Inglês.” Nós não partilhamos da opinião do candidato acima citado pois sabemos que o formato da entrevista em si não permite preparação específica para o teste. Primeiro porque os examinadores são treinados para detectar respostas pré-formuladas e/ou memorizadas e segundo porque o candidato não pode prever sobre qual tema ele terá de discorrer. Além disso, como professores de Inglês e pesquisadores na área de ensino-aprendizagem, não podemos concordar com a afirmação de que o candidato não “precisa se preocupar muito com a sua formação em Inglês”. Uma das perguntas do questionário indaga o candidato sobre aquilo que ele mudaria na entrevista. Alguns disseram que gostariam de receber temas que lhes permitissem desenvolver respostas mais longas e outros disseram que aumentariam o tempo da entrevista: O que você mudaria na entrevista? Candidato1: “Procuraria escolher um tópico para a parte 2 da entrevista que permitisse ao entrevistado desenvolver respostas mais longas, e que ele não tivesse dúvida sobre o que responder. Dou um exemplo: no meu caso me foi perguntado se no meu país os pais escolhiam os nomes dos filhos de acordo com alguma tradição. Pro Brasil, acredito eu, que a resposta seja não. Não tem como responder algo mais do que isso, o que prejudica o entrevistado.” Candidato2: “Daria mais tempo.” Outras duas perguntas são relacionadas à integração de habilidades, por exemplo, de Leitura com Produção Oral. A maioria dos candidatos que respondeu a essa pergunta diz não achar a integração uma boa idéia: Você acha que a entrevista avaliaria melhor o seu desempenho oral em Inglês se fosse relacionada a algum tema abordado na própria prova? Por exemplo, se fosse relacionada a algum tema da parte de leitura (reading) ou da parte de escrita (writing)? Por quê? Candidato1: “Não. Porque as pessoas tem nível mais avançado em diferentes pontos (leitura, escrita, etc). No meu caso por exemplo, a fala é o que eu faço de melhor. Se precisasse ler para falar, não falaria nada porque não teria conseguido ler. Se você quer avaliar "speaking", não deve relacionar aos outros pontos. Devem ser avaliados individualmente.” Candidato2: “Acho que não. Porque talvez o tema abordado na prova seja um assunto sobre o qual eu não entendo bem. É difícil conversar sobre assuntos que não se entende mesmo na minha língua nativa. Em uma língua estrangeira o problema é exacerbado.”

15

Existem alguns testes de Inglês que, durante a entrevista, o examinador lhe dá pequenos textos escritos que você tem que ler e depois falar sobre eles. Se o IELTS fosse assim também, você acha que ele poderia avaliar melhor seu desempenho oral em Inglês? Por quê? Candidato: “Acho que ajudaria sim, além do mais o examinador poderia te examinar na leitura e ainda você tem como expor sua idéia em relação ao texto, visto que no dia a dia é isso o que acontece, não é?” No que diz respeito ao exame em geral, muitos comentários foram feitos em relação ao tempo dado para se realizar a avaliação de Leitura e Escrita, vários candidatos também elogiaram o exame dizendo que o IELTS foi o teste mais completo dentre aqueles que já realizaram: Você gostaria de fazer algum outro comentário sobre a prova no geral ou sobre alguma parte dela? Candidato1: “Pouco tempo para o reading e writing.” Candidato2: “A única coisa é o tempo, achei pouco e principalmente na reading, para completar os textos.” Candidato3: “Me recordo que o tempo para a prova é algo bem 'apertado', não há tempo para se pensar em muita coisa quando se está em duvida.” Candidato4: “Talvez um tempo maior para a escrita ajudaria.” Candidato5: “Achei pouco tempo pra parte escrita.” Candidato6: “Acredito que dentre outras avaliações de Inglês que já fiz (Oxford-Arels, TOEFL, Cambridge CAE/CPE), o IELTS é o teste mais completo e mais voltado para a realidade do uso do Inglês.” Candidato7: “Sim, de uma forma comparativa eu acredito que o IELTS avalie de uma maneira mais natural o quão você realmente sabe de Inglês, diferentemente de outras provas que parecem que você tem que decorar as questões.” 4. Considerações Finais Tendo em mente a análise das respostas dos candidatos, poderíamos afirmar que a avaliação de Produção Oral do IELTS tem uma validade de face bastante alta. A maioria dos candidatos diz ter se sentido à vontade durante a entrevista e acredita que a mesma consiga avaliar bem o seu desempenho oral em Inglês, assim como fazer previsões sobre seu desempenho atual. Apesar de um número relativamente grande de candidatos (49%) não acreditar ser possível fazer previsões futuras acerca de seu desempenho oral, muitos ainda acham que isso é possível. Reconhecemos, no entanto, as limitações deste estudo pois ele dependeu unicamente da opinião dos candidatos sem que houvesse a oportunidade de realizarmos questões de follow-up para investigarmos mais profundamente algumas respostas. Em relação a pesquisas futuras, pode-se tentar relacionar, estatisticamente, as respostas à primeira pergunta (se o candidato acredita ter ido bem ou não no teste) com os resultados realmente obtidos por cada candidato na avaliação de Produção Oral. Um outro estudo poderia tentar verificar se e como a reformulação do IELTS em 2001 fez com que seu efeito retroativo (Hughes, 1983, Scaramucci 1998/1999, 1999, 2002) fosse positivo ou não. Poder-se-ia ainda realizar um outro estudo com o intuito de comparar três grandes testes de desempenho atuais: o IELTS, com o TOEFL iBT com o CELPE-Bras. O IELTS não possui tarefas integradas, o TOEFL iBT diz integrar habilidades e o CELPE-Bras é reconhecidamente uma avaliação comunicativa que utiliza integração de habilidades. Um outro estudo interessante poderia ser a análise das transcrições das entrevistas do IELTS – que são todas gravadas em fitas de áudio; desse modo, poder-se-ia estudar, qualitativamente, as interações entre entrevistador e entrevista e correlacioná-las com as opiniões dos candidatos fornecidas pelo presente estudo. Acreditamos que estaríamos assim, contribuindo não só com as pesquisas em avaliação de LE, mas também com um melhor entendimento de

16

questões caras ao campo de aquisição de LE, como interação em sala aula, gêneros discursivos, atitude e motivação, papel da gramática nas aulas e exames de LE, entre tantas outras. Referências: ALDERSON, J C and Clapham, C (eds) (1993). Examining the ELTS Test: An Account of the First Stage of the ELTS Revision Project – Research Report 2. The British Council/University of Cambridge Local Examinations Syndicate. ALDERSON, J.C., Clapham, C.M. and Wall, D. (1995). Language Test Construction and Evaluation, Cambridge University Press: Cambridge. ALLAN, A.I.C.G. (1992). Development and Validation of a Scale to Measure Test-Wiseness in EFL/ESL Reading Test Takers, Language Testing, 9,2: 101-122. BACHMAN, L.F. (1988), Problems in examining the validity of the ACTFL oral proficiency interviews. Studies in Second language Acquisition, 10(2), 149-164. BACHMAN, L.F. (1990). Fundamental Considerations in Language Testing, Oxford University Press, Oxford. BACHMAN, L. F. (2005). Building and supporting a case for test use. Language Assessment Quarterly, 2(1), 1-34. BACHMAN, L. F. & Savignon, S.J. (1986). The evaluation of communicative language proficiciency: A critique of the ACTFL Oral Interview. The Modern Language Journal, 70(4), 380-390. BARNWELL, D. (1989). Naive native speakers and judgments of oral proficiency in Spanish, Language Testing 6(2), 152-163. BERRY, V. (1997). Ethical Considerations When Assessing Oral Proficiency in Pairs, in Huhta, A., Kohonen, V., Kurki-Suonio, L. and Luoma, S. (eds.), Current Developments and Alternatives in Language Assessment, Universities of Tampere and Jyväskylä, Tampere. BROWN, J.D. (2001). Using Surveys in Language Programs. Cambridge, UK: Cambridge University Press. CARROLL, J.C. (1961). Fundamental considerations in testing for English language proficiency of foreign students, in HB, Allen (ed.). Teaching English as a Second Language, McGraw Hill, New York, 1965, 364-372. CASCALLAR, M.I. (1997). Modified Oral Proficiency Interview: Its Purpose, Development and Description, in Huhta, A., Kohonen, V., Kurki-Suonio, L. and Luoma, S. (eds.), Current Developments and Alternatives in Language Assessment, Universities of Tampere and Jyväskylä, Tampere. CHAPELLE, C. A. (1999). Validity in Language Assessment. Annual Review of Applied Linguistics, 19, 254-272: Cambridge University Press.

17

CHALHOUB-DEVILLE, M. (1993). Performance Assessment and the Components of the Oral Construct across Different Tasks and Rater Groups, ERIC Document Reproduction Service No. 360 830. CHARGE, N. and Taylor, L. (1997). Recent developments in IELTS. English Language Teaching Journal, 51/4. Oxford: Oxford University Press. CRIPER, C. and Davies, A. (1988). ELTS Validation Project Report: Research Report 1(i). The British Council/University of Cambridge Local Examinations Syndicate CUMMING, A. (1996). The concept of validation in language testing. In A. Cumming & R. Berwick (Eds.), Validation in language testing (pp. 1-14). Clevedon, Avon: Multilingual Matters. DÖRNYEI, Z. (2003). Questionnaires in second language research: Construction, administration, and processing. Mahwah, NJ: Erlbaum. DOUGLAS, D. and Selinker, L. (1992). Analysing Oral Proficiency Test Performance in General and Specific Purpose Contexts, System, 20,3: 317-328. DOUGLAS, D. & Smith, J. (1997). Theoretical underpinnings of the Test of Spoken English revision project. (TOEFL Monograph Series No. 09) Princeton NJ: ETS. DOYE, P. (1991). Authenticity in foreign language testing. In Anivan, S., editor, Current developments in language testing. Singapore: SEAMEO Regional Language Centre, 103–10. ELDER, C. Iwashita, N. McNamara, T. (2002) .Estimating the difficulty of oral proficiency tasks: what does the test-taker have to offer? Language Testing 19, 4: 347-368. FOX, J., Pychyl, T.A., & Zumbo, B.D. (1995). An Investigation of Background Knowledge in the Assessment of Language Proficiency. In A. Huta, V. Kohonen, L. Kurki-Suonio & S. Luoma (Eds.), Current Developments and Alternatives in Language Assessment. Jyväskylä: University of Jyväskylä and University of Tampere, 367-383. FULCHER, G. (1997). The test of speaking in a second language. In: Clapham, C.M. and Corson, D. (eds.), Language Testing and Assessment, Encyclopedia of Language and Education, Vol. 7, Kluwer, Dordrecht. FULCHER, G. (1999). Assessment in English for academic purposes: putting content validity in its place. Applied Linguistics, 20 (2). FULCHER, G. and Márquez Reiter, R. (2003). Task difficulty in speaking tests, Language Testing, 20 (3): 321-344. HAMP-LYONS, L. (1997). Ethics in Language Testing, in Clapham, C.M. and Corson, D. (eds.), Language Testing and Assessment, Encyclopedia of Language and Education, Vol. 7, Kluwer, Dordrecht. HARLEY, B., Allen, P., Cummins, J., & Swain, M. (Eds.). (1990). The development of second language proficiency. Cambridge: Cambridge University Press. HUGHES, A. & Porter, D. (eds) (1983). Current developments in Language Testing. London: Academic Press. 18

HUGHES, A. (2003). Testing for Language Teachers. Second Edition, Cambridge: Cambridge University Press. HUGHES, A., Porter, D. and Weir, C. (1988). ELTS Validation Project Report: Proceedings of a conference held to consider the ELTS Validation Project Report - Research Report 1(iii). The British Council/University of Cambridge Local Examinations Syndicate IELTS. History of IELTS. Acessado, em 27/12/2006, do site: http://www.ielts.org/teachersandresearchers/historyofielts/default.aspx. INGRAM, D. & Wylie, E. (1993). Assessing speaking proficiency in the international English language testing system. In D. Douglas & C. Chapelle. (Eds), A new decade of language testing research: Select papers from 1990 Language Testing Research Colloquium, Alexandria, V.A.: TESOL, Inc. IWASHITA, N. (1996). The Validity of the Paired Interview Format in Oral Performance Assessment, Melbourne Papers in Language Testing, 5,2. IWASHITA, N., T.F. Mcnamara and C. Elder (2001). Can we predict task difficulty in an oral proficiency test? Exploring the potential of an information processing approach to task design. Language Learning 51,3. JENNINGS, M., Fox, J., Graves, B. & Shohamy, E. (1999). The test takers’ choice: an investigation of the effect of topic on language test performance. Language Testing, 16(4), 426-456. JONES, R. L. (1985). Second language Performance Testing. In: P. C. Hauptman, R. LeBlanc and M. Wesche (eds) Second language performance testing. Ottawa: University of Ottawa Press. 1524. KORMOS, J. (1999). Simulating Conversations in Oral-Proficiency Assessment: a Conversation Analysis of Role-Play and Non-Scripted Interviews in Language Exams, Language Testing, 16,2: 163-188. LANTOLF, J.P. & Frawley, W. (1985). Oral proficiency testing: A critical analysis. Modern Language Journal 69(4), 337-345. LANTOLF, J.P. & Frawley, W. (1988). Proficiency: Understanding the construct. Studies in Second Language Acquisition 10(2), 181-195. LEWKOWICZ, J. (1997a). The Integrated Testing of a Second Language, in Clapham, C.M. and Corson, D. (eds.), Language Testing and Assessment, Encyclopedia of Language and Education, Vol. 7, Kluwer, Dordrecht, LEWKOWICZ, J. (1997b). Authentic for Whom? Does Authenticity Really Matter?, in Huhta, A., Kohonen, V., Kurki-Suonio, L. and Luoma, S. (eds.), Current Developments and Alternatives in Language Assessment, Universities of Tampere and Jyväskylä, Tampere. LEWKOWICZ J.A., (2000). Authenticity in language testing: Some outstanding questions, Language Testing. Arnold, , 17,1: 43-64.

19

MCNAMARA, T.F. (1995). Modelling Performance: Opening Pandora's Box, Applied Linguistics, 16,2: 159-179. MCNAMARA, T.F. (1996). Measuring Second Language Performance, Longman: London. MCNAMARA, T.F. (1997a). Interaction in Second Language Performance Assessment: Whose Performance? Applied Linguistics, 18. MCNAMARA, T.F. (1997b). Performance Testing, in Clapham, C.M. and Corson, D. (eds.), Language Testing and Assessment, Encyclopedia of Language and Education, Vol. 7, Kluwer, Dordrecht. MCNAMARA, T.F. (1998). Policy and Social Consideration in Language Assessment, Annual Reviewof Applied Linguistics, 18: 304-319. MESSICK, S. (1989). Validity. In: R. L. Linn (ed) Educational Measurement. 3rd Edition. New York: Macmillan. 13-103. MESSICK, S. (1996). Validity and Washback in Language Testing, Language Testing, 13,3: 241256. PALTRIDGE, B. (1992). EAP Placement Testing: An Integrated Approach, English for Specific Purposes, 11: 243-268. POWERS, D.E., Schedl, M.A., Wilson Leung, S., & Butler, F.A. (1999). Validating the revised Test of Spoken English against a criterion of communicative success. Language Testing, 16, 399425. SCARAMUCCI, M. V. R. (1998/1999). Avaliação: mecanismo propulsor de mudanças no ensinoaprendizagem de língua estrangeira. Contexturas – Ensino Crítico de Língua Inglesa, 4, p 75-81. SCARAMUCCI, M. V. R. (1999). Vestibular e ensino de língua estrangeira (Inglês) em uma escola pública. Trabalhos em Lingüística Aplicada, 34, p.7-29. SCARAMUCCI, Matilde V. R. (2000). Proficiência em LE: Considerações terminológicas e conceituais. Trabalhos de Lingüística Aplicada, 36:11-22. SCARAMUCCI, M. V. R. (2002). University entrance examination and TEFL: a study of washback in Brazil. Revista Brasileira de Lingüística Aplicada, 2(1), p 61-79. SELIGER, H.W. (1985). Testing authentic language: the problem of meaning, Language Testing 2, 1–15. SHOHAMY, E. (1994). The validity of direct versus semi-direct oral tests, Language Testing 11(2), 99-124. SHOHAMY, E. (1995). Performance Assessment in Language Testing, Annual Review of Applied Linguistics, 15: 188-211. SHOHAMY, E. (1997). Testing Methods, Testing Consequences: Are They Ethical? Are They Fair? Language Testing, 14,3: 340-349.

20

SHORT, D. (1993). Assessing Integrated Language and Content Instruction, TESOL Quarterly, 27,3: 627-656. SPOLSKY, B. (1981). Some ethical questions about language testing. In: Klein-Braley, C. and Stevenson, D.K. (eds) Practice and problems in language testing, pp. 5-21. Frankfurt, Germany: Peter D. Lang. SPOLSKY, B. (1985). The limits of authenticity in language testing. Language Testing 2, 31–40. STANSFIELD, C.W. and Kenyon, D.M. (1992) Research on the Comparability of the Oral Proficiency Interview and the Simulated Oral Proficiency Interview, System, 20,3: 347-364. UNDERHILL, N. (1987). Testing Spoken English. Cambridge, England: Cambridge University Press. van Lier, L. (1989). Reeling, Writhing, Drawling, Stretching, and Fainting in Coils: Oral Proficiency Interviews as Conversations. TESOL Quarterly 23: 489-508. WALLACE, C. (1997). IELTS: Global implications of curriculum and materials design. ELT Journal, 51, 370-373. Oxford: Oxford University Press. WEIR, C. J. (1990). Communicative language testing. Englewood Cliffs, NJ: Prentice Hall. WIDDOWSON, H. (1978). Teaching language as communication. Oxford: Oxford University Press. WIGGLESWORTH, G. (1997). An Investigation of Planning Time and Proficiency Level on Oral Test Discourse, Language Testing, 14,1: 85-106. XIAOMING, X. & Mollaun P. (2006). Investigating the utility of analytic scoring for the TOEFL Academic Speaking Test (TAST). TOEFL iBT Research Report, Princeton, NJ. ETS.

21

Anexo A – Descrição das bandas do IELTS. Fonte: Manual do Candidato.

22

Anexo B – Descritores das bandas na avaliação de Produção Oral do IELTS. Fonte: Manual do Candidato.

23

Continuação do Anexo B

24

Apêndice A

Questionário sobre o IELTS

Olá, meu nome é Denilson e sou professor aqui da St. Giles. Faço doutorado na Unicamp e estou fazendo uma pesquisa sobre a entrevista (speaking) do IELTS e gostaria muito que você colaborasse voluntariamente. Muito obrigado J Idade:________

Sexo: ( ) M

( )F

Estudou Inglês formalmente (sem contar preparatório para a prova)?: ( ) Sim ( ) Não Se sim, por quanto tempo?____________ Você fez o módulo: ( ) Acadêmico Por que você fez o IELTS? ( ) Imigrar para o Canadá ( ) Imigrar para Austrália ( ) Estudar no Canadá

( ) Geral ( ) Estudar na Austrália ( ) Estudar na Grã-Bretanha ( ) Estudar na Nova Zelândia

( ) Outro propósito:____ _____________________ _____________________

Você acha que você se saiu bem na entrevista? ( ) Sim. Por quê? ( ) Não. Por quê? ________________________________________________________________________________ ________________________________________________________________________________ Você acha que a entrevista lhe permitiu demonstrar a sua real capacidade de se comunicar em Inglês? Por quê? ________________________________________________________________________________ ________________________________________________________________________________ Você acha que a examinadora pôde ter uma boa idéia daquilo que você é capaz de realizar oralmente em Inglês? Por quê? ________________________________________________________________________________ ________________________________________________________________________________ Você acha que, somente a partir da entrevista, a examinadora pode fazer previsões sobre como você se sairia em diversas situações reais de uso da língua inglesa no futuro? Por quê? ________________________________________________________________________________ ________________________________________________________________________________ A entrevista é dividida em três partes: 1) perguntas pessoais 2) tópico específico e 3) discussão. Em qual/quais dessa(s) parte(s) você acha que você se saiu melhor? Por quê? ________________________________________________________________________________ ________________________________________________________________________________ O que você achou do tema que lhe foi dado? ________________________________________________________________________________ ________________________________________________________________________________ Qual tema você acha que lhe permitiria demonstrar melhor o seu desempenho oral em Inglês? ________________________________________________________________________________ ________________________________________________________________________________

25

Você se preparou para a entrevista? ( ) Sim. Como? ( ) Não. Por quê? ________________________________________________________________________________ ________________________________________________________________________________ Como você se sentiu ao realizar a entrevista? A examinadora lhe deixou à vontade? ________________________________________________________________________________ ________________________________________________________________________________ O que você mudaria na entrevista? ________________________________________________________________________________ ________________________________________________________________________________ Suponha que você não atinja a nota que você precisa na entrevista e tenha que realizar a prova novamente. O que você faria para tentar se sair melhor? ________________________________________________________________________________ ________________________________________________________________________________ Você acha que a entrevista avaliaria melhor o seu desempenho oral em Inglês se fosse relacionada a algum tema abordado na própria prova? Por exemplo, se fosse relacionada a algum tema da parte de leitura (reading) ou da parte de escrita (writing)? Por quê? ________________________________________________________________________________ ________________________________________________________________________________ Você acha que a entrevista avaliaria melhor o seu desempenho oral em Inglês se houvesse um outro candidato junto com você e vocês tivessem que conversar entre si? Por quê? ________________________________________________________________________________ ________________________________________________________________________________ Existem alguns testes de Inglês que, durante a entrevista, o examinador lhe mostra estímulos visuais como figuras e gráficos sobre os quais você tem que falar. Se o IELTS fosse assim também, você acha que ele poderia avaliar melhor seu desempenho oral em Inglês? Por quê? ________________________________________________________________________________ ________________________________________________________________________________ Existem alguns testes de Inglês que, durante a entrevista, o examinador lhe dá pequenos textos escritos que você tem que ler e depois falar sobre eles. Se o IELTS fosse assim também, você acha que ele poderia avaliar melhor seu desempenho oral em Inglês? Por quê? ________________________________________________________________________________ ________________________________________________________________________________ Você gostaria de fazer algum outro comentário sobre a prova no geral ou sobre alguma parte dela? ________________________________________________________________________________ ________________________________________________________________________________

Muito obrigado pelo tempo dispensado!!! Se quiser me contatar para esclarecer quaisquer dúvidas, meu email é [email protected]

26