O uso dos resultados da avaliacao do desempenho educacional

Public Disclosure Authorized

Public Disclosure Authorized

Public Disclosure Authorized

Public Disclosure Authorized

50171

Preencha a ficha de cadastro no final deste livro e receba gratuitamente informações sobre os lançamentos e as promoções da Elsevier. Consulte também nosso catálogo completo, últimos lançamentos e serviços exclusivos no site www.elsevier.com.br

Do original: Using the Results of a National Assessment of Educational Achievement Copyright © 2009, by The International Bank for Reconstruction and Development/The World Bank Publicado originalmente em Inglês pelo Banco Mundial. Em caso de discrepâncias, prevalecerá a versão original em inglês. Esta obra foi elaborada pela equipe do Banco Internacional para Reconstrução e Desenvolvimento/Banco Mundial. As afirmações, interpretações e conclusões aqui contidas não expressam necessariamente a opinião dos diretores executivos da instituição ou dos governos que eles representam. O Banco Mundial não garante a exatidão dos dados incluídos nesta publicação. As fronteiras, cores, denominações e outras informações mostradas em qualquer mapa neste estudo não implicam nenhuma opinião da parte do Banco Mundial em relação à situação jurídica de qualquer território, bem como o endosso ou a aceitação de suas fronteiras. This work was originally published by The World Bank in English as National Assessments of Educational Achievement Volume 5: Using the Results of a National Assessment of Educational Achievement in 2009. This Brazilian Portuguese translation was arranged by Elsevier Brazil. Elsevier Brazil is responsible for the quality of translation. In case of any discrepancies, the original language will govern. The findings, interpretations, and conclusions expressed herein are those of the author(s) and do not necessarily reflect the views of the Executive Directors of The World Bank or the governments they represent. The World Bank does not guarantee the accuracy of the data included in this work. The boundaries, colors, denominations, and other information shown on any map in this work do not imply any judgement on the part of The World Bank concerning the legal status of any territory or the endorsement or acceptance of such boundaries. Direitos e permissões O material contido nesta publicação é protegido por direito autoral. A cópia e/ou transmissão sem permissão de uma parte ou de todo o conteúdo poderão ser consideradas violação da lei aplicável. O Banco Internacional para Reconstrução e Desenvolvimento/Banco Mundial estimula a disseminação desta obra e normalmente permitirá com rapidez a reprodução de trechos deste relatório. Para obter permissão de fotocópia ou reimpressão de qualquer parte deste livro, envie um pedido contendo informações completas para Copyright Clearance Center Inc., 222 Rosewood Drive, Danvers, MA 01923, USA; telefone: 978-750-8400; fax: 978-750-4470; Internet: www.copyright.com. Todas as outras perguntas sobre direitos e licenças, inclusive direitos subsidiários, devem ser dirigidas ao Office of the Publisher, The World Bank, 1818 H Street NW, Washington, DC 20433, USA. Fax: 202-522-2422; e-mail: [email protected]. © 2011, The International Bank for Reconstruction and Development/The World Bank Todos os direitos reservados e protegidos pela Lei no 9.610, de 19/02/1998. Copidesque: Shirley Lima da Silva Braz Revisão: Edna Cavalcanti e Roberta Borges Editoração Eletrônica: Estúdio Castellani Elsevier Editora Ltda. Conhecimento sem Fronteiras Rua Sete de Setembro, 111 – 16o andar 20050-006 – Centro – Rio de Janeiro – RJ – Brasil Rua Quintana, 753 – 8o andar 04569-011 – Brooklin – São Paulo – SP – Brasil Serviço de Atendimento ao Cliente 0800-0265340 [email protected] ISBN 978-85-352-3962-1 Edição original: ISBN 978-0-8213-7966-0 CIP-Brasil. Catalogação-na-fonte Sindicato Nacional dos Editores de Livros, RJ K37u

Kellaghan, Thomas O uso dos resultados da avaliação do desempenho educacional / Thomas Kellaghan, Vincent Greaney, T. Scott Murray ; tradução Alexandre Sabine. – Rio de Janeiro : Elsevier, 2011. il. – (Pesquisas do Banco Mundial sobre avaliações de desempenho educacional ; v. 5) Tradução de: Using the results of a national assessment of educational achievement Apêndice Inclui bibliografia ISBN 978-85-352-3962-1 1. Testes e medidas educacionais. 2. Avaliação educacional. 3. Rendimento escolar. 4. Educação e Estado. I. Greaney, Vincent. II. Murray, T. Scott. III. Título. IV. Série.

10-4462.

CDD: 371.262 CDU: 37.091.26

AGRADECIMENTOS

U

ma equipe liderada por Vincent Greaney (consultor, Rede de Desenvolvimento Humano, Grupo de Educação, Banco Mundial) e Thomas Kellaghan (Centro de Pesquisas Educacionais, St. Patrick’s College, Dublin) preparou a série da qual este é o Volume 5. Outros colaboradores da série são Sylvia Acana (Uganda National Examinations Board – Comissão Nacional de Exames de Uganda), Prue Anderson (Australian Council for Educational Research – Conselho de Pesquisas Educacionais da Austrália), Fernando Cartwright (Candadian Council on Learning – Conselho de Aprendizado do Canadá), Jean Dumais (Statistics Canadá – Estatísticas do Canadá), Chris Freeman (Australian Council for Educational Research – Conselho de Pesquisas Educacionais da Austrália), Hew Gough (Statistics Canadá – Estatísticas do Canadá), Sara Howie (University of Pretoria – Universidade de Pretória), George Morgan (Australian Council for Educational Research – Conselho de Pesquisas Educacionais da Austrália), T. Scott Murray (Statistics Canadá and UNESCO Institute for Statistics – Estatísticas do Canadá e Instituto de Estatísticas da UNESCO) e Gerry Shiel (Educational Research Centre, St. Patrick’s College, Dublin – Centro de Pesquisas Educacionais, St. Patrick’s College, Dublin).

O trabalho foi realizado sob a direção inicial de Ruth Kagia, diretora de Educação, sua sucessora, Elizabeth King, e Robin Horn, gestor, Rede de Desenvolvimento Humano, Grupo de Educação do Banco Mundial. Robert Prouty iniciou o projeto e o gerenciou até agosto de 2007. Marguerite Clarke gerenciou o projeto em seus estágios finais até a revisão e publicação. Agradecemos as contribuições do revisor externo, Al Beaton (Boston College). Outros comentários relevantes foram feitos por Patricia Arregui, Luis Benveniste, Marguerite Clarke, Shobana Sosale e Emiliana Vegas. Recebemos contribuições e apoio valiosos de David Harding, Aidan Mulkeen e Myriam Waiser. Um agradecimento especial vai para Hilary Walshe, do Educational Research Centre (Centro de Pesquisas Educacionais), que digitou o manuscrito, e para Mary Rohan, que contribuiu para o trabalho. Agradecemos às seguintes pessoas e organizações pela permissão de reproduzir os materiais no texto: Sylvia Acana, Martin Ackley, Abdulghani Al-Bazzaz, Aisha Al-Roudhan, Patricia Arregui, Educational and Developement Service Centre (Katmandu), Educational Research Centre (Dublin) (Centro de Serviços Educacionais e de Desenvolvimento [Katmandu], Centro de Pesquisas Educacionais [Dublin]), Ethiopia Education Quality Assurance and Examinations Agency (Agência Educacional de Garantia da Qualidade e de Exames da Etiópia), Examinations Council of Lesotho (Conselho de Exames do Lesoto), Lucien Finette, Zewdu Gebrekidan, Laura Gregory, Cynthia Guttman, Sarah Howie, International Association for the Evaluation of Educational Achievement (Associação Internacional para Avaliação do Aproveitamento Escolar), Tirth Khaniya, Mauritius Examination Syndicate (Conselho de Exames da República de Maurício), Claudia McLauchlan, Michigan State Board of Education (Conselho Estadual de Educação de Michigan), National Center for Education Statistics of the U.S. Department of Education (Centro Nacional de Estatísticas de Educação do Departamento de Educação dos Estados Unidos), National Educational Research and Evaluation Centre (Centro Nacional de Pesquisa Educacional e Avaliação, Colombo, Sri Lanka), Bob Prouty, United Nations Educational (Organização das Nações Unidas para a Educação, a Ciência e a Cultura) (Relatório Global de Monitoramento do EFA), Matseko

C. Ramokoena, Rebecca Ross, Maureen Schafer, Bert Stoneberg, Sadia Tayyab e Hans Wagemaker. O projeto, a edição e a produção deste livro foram coordenados por Janet Sasser e Paola Scalabrin, do Escritório de Publicações do Banco Mundial. O Fundo Fiduciário Educacional da Irlanda, o Programa de Parcerias do Banco Holandês, o Centro de Pesquisas Educacionais (Dublin) e o Conselho de Pesquisas Educacionais da Austrália contribuíram generosamente para a preparação e publicação da série. A tradução desta série para o português foi possível com o generoso apoio da Russia Education Aid for Development Trust Fund.

PREFÁCIO

M

ais do que anos de escolaridade, é o aprendizado – ou a aquisição de habilidades cognitivas – que aumenta a produtividade individual e o lucro, gerando ganhos para a renda agregada na economia. Foi comprovado, por exemplo, que o aumento do desvio-padrão nas pontuações de alunos em avaliações internacionais de letramento em linguagem e competências em matemática está associado ao aumento de 2% nas taxas anuais de crescimento do PIB per capita. Mensurar os produtos do aprendizado dos alunos é cada vez mais reconhecido como uma ação necessária, não apenas para o monitoramento da eficácia do sistema escolar, mas também para o aprimoramento da qualidade educacional. As informações sobre o aproveitamento dos alunos podem ser usadas para orientar várias políticas educacionais, incluindo o projeto e implementacão de programas para aperfeiçoar o ensino e o aprendizado nas salas de aula, a identificação de alunos com ritmo mais lento para que possam receber o apoio necessário e a provisão de assistência técnica e treinamento adequado para professores e escolas com baixo desempenho. O uso dos resultados da avaliação para aprimorar o aprendizado dos alunos é um desafio crítico para os países em desenvolvimento. Poucos

países em desenvolvimento mensuram os níveis de aprendizado dos alunos de maneira regular ou sistemática, e aqueles que o fazem não costumam usar os resultados para orientar suas políticas educacionais. Porém, políticas educacionais melhores têm o potencial de promover aumentos significativos nas habilidades cognitivas. Se os países em desenvolvimento pretendem realmente oferecer educação para todos, precisam de assistência, tanto para mensurar os níveis de aprendizado de seus alunos quanto para encontrar maneiras de transformar essas informações em políticas e práticas educacionais eficazes. Este livro é um recurso valioso para tais iniciativas. Ele reúne, pela primeira vez, grande parte das pesquisas atuais sobre o que realmente é eficaz na transposição de dados das avaliações nacionais em informações que permitam ação imediata, e como reunir interessados em conversas sobre tais informações, de modo que aprimore a qualidade da educação e o aprendizado dos alunos. O livro tem por objetivo maximizar o reconhecimento do valor dos dados nacionais sobre o aprendizado dos alunos e auxiliar os países a explorar plenamente as informações coletadas por suas avaliações. Elizabeth King Diretora de Educação Rede de Desenvolvimento Humano Banco Mundial

SUMÁRIO

1.

2

FATORES QUE AFETAM A UTILIZAÇÃO E NÃO UTILIZAÇÃO DAS CONCLUSÕES DAS AVALIAÇÕES NACIONAIS

1

O contexto político de uma avaliação nacional Responsabilidade A qualidade do Instrumento de avaliação Tipo de avaliação Subutilização das conclusões da avaliação nacional Conclusão

3 5 16 19 22 27

RELATO DE UMA AVALIAÇÃO NACIONAL: O RELATÓRIO PRINCIPAL

31

Contexto da avaliação nacional Objetivos da avaliação nacional Modelo de referência para a avaliação nacional Procedimentos na aplicação da avaliação nacional Descrição do aproveitamento na avaliação nacional Correlatos do aproveitamento Mudança no aproveitamento ao longo do tempo Conclusão

34 34 34 35 35 39 46 49

3

4

RELATO DE UMA AVALIAÇÃO NACIONAL: OUTROS INSTRUMENTOS PARA COMUNICAR AS CONCLUSÕES Folha de especificações do produto Como informar a ministros e funcionários seniores a formulação de políticas Publicação de relatórios sumários Publicação de relatórios técnicos Publicação de relatórios temáticos Como assegurar a cobertura da mídia Divulgação de comunicados de imprensa Realização de entrevistas coletivas Realização de reuniões individuais Publicação de relatórios em websites Disponibilização dos dados da avaliação Outros instrumentos de divulgação Conclusão

53 55 58 59 62 63 68 68 69 70 72 73

COMO CONVERTER AS CONCLUSÕES DA AVALIAÇÃO EM POLÍTICAS E AÇÃO

75

Capacidade institucional para absorver e utilizar as informações Confiabilidade e relevância das informações fornecidas por uma avaliação Procedimentos para identificar políticas ou ações adequadas após uma avaliação Determinação de uma intervenção abrangente ou direcionada Complexidade da formação de políticas e tomada de decisão Conclusão 5

51

CONCLUSÕES DA AVALIAÇÃO NACIONAL, POLÍTICAS E GESTÃO EDUCACIONAL Descrição do aproveitamento Descrição de recursos Monitoramento do aproveitamento Revisão do sistema educacional Formulação de políticas gerais e acompanhamento na tomada de decisão Definição de padrões Fornecimento de recursos para as escolas

52

76 77 78 82 83 85

87 88 89 91 93 93 97 99

6

7

8

Apoio à revisão curricular Revisão de livros didáticos Conclusão

101 104 105

CONCLUSÕES DA AVALIAÇÃO NACIONAL E ENSINO

107

Desenvolvimento profissional dos professores Fontes de dados de uma avaliação nacional para orientar o desenvolvimento profissional dos professores Enfoque nas escolas e ensino em sala de aula Conclusão

108 108 119 134

CONCLUSÕES DA AVALIAÇÃO NACIONAL E CONSCIENTIZAÇÃO PÚBLICA

137

Exemplos do uso dos resultados da avaliação para informar o público O papel da mídia Desenvolvimento de uma estratégia de comunicação Conclusão

140 141 142 145

A BUSCA PELA OTIMIZAÇÃO DO USO E VALOR DAS AVALIAÇÕES NACIONAIS

149

Otimização do uso das conclusões da avaliação nacional Desenvolvimento de avaliações nacionais para aumentar seu valor Conclusão

151 154 162

REFERÊNCIAS

163

ÍNDICE

177

QUADROS 1.1 1.2 1.3 1.4 1.5

Questões que Podem ser Esclarecidas por Meio de uma Avaliação Nacional Avaliação do Aproveitamento a Partir de Evidências Limitadas O Efeito Negativo dos Usos da Atribuição de Responsabilidade com Consequências Significativas Atribuição de Responsabilidade pelo Aproveitamento dos Alunos Desvio da Culpa pelo Fracasso Escolar

2 9 11 14 15

1.6 1.7 3.1 3.2 3.3 3.4 3.5 3.6 5.1 5.2 6.1 6.2 6.3

6.4 6.5 6.6 6.7 6.8 6.9

7.1 7.2 7.3 7.4

Dois Usos de Dados de uma Avaliação Internacional Extensão do Uso dos Resultados da Avaliação Nacional: Honduras Relatório Sumário do Estado de Illinois, Níveis de Aproveitamento dos Alunos da 4a série no NAEP de 2007, Estados Unidos Sugestões para Aplicar a Abordagem PISA ao Ensino e Aprendizado de Matemática: Irlanda Trecho de Comunicado de Imprensa, NAEP: Estados Unidos Exemplo de Comunicado de Imprensa: Estados Unidos Website, Aproveitamento em Matemática em Escolas Primárias: Irlanda Mapa do Site, Website da NAEP: Estados Unidos Utilização dos Resultados da Avaliação para Promoção de Reformas: República Dominicana Mitos sobre a Educação nos Estados Unidos Questão para relacionar o item de valor de lugar: Paquistão Uso das Conclusões da Avaliação Nacional para Aprimorar a Formação de Professores: Minas Gerais, Brasil Principais Características de um Programa de Treinamento de Professores no Trabalho Baseado nos Resultados da Avaliação Nacional: Uruguai Trecho de Pôster Publicado após uma Avaliação Nacional: Uganda Questão de matemática Recomendações após uma Avaliação Nacional em Matemática, 5a Série: Irlanda Tópicos para Discussão: Resultados da Avaliação Nacional e Variáveis da Eficácia da Escola Tópicos para Discussão: Resultados da Avaliação Nacional e Variáveis da Eficácia do Professor Tópicos para Discussão: Resultados da Avaliação Nacional e Fatores Individuais Relacionados com o Aluno e sua Família Associados ao Aprendizado do Aluno Leis sobre a Liberdade de Informação Acordos para a Divulgação dos Resultados da Avaliação Nacional: Uruguai Procedimentos para Maximizar o Impacto das Conclusões da Avaliação Nacional Capa do Encarte da Avaliação Nacional: Etiópia

23 24 55 57 65 67 70 71 95 96 113 117

118 121 122 126 127 128

129 138 139 143 146

FIGURAS 2.1

2.2

2.3

2.4 2.5 2.6 2.7

2.8 3.1 6.1 6.2

6.3

Habilidades e Estratégias de Leitura e Pontuações de Corte, por Pontos de Referência, para a Escala Combinada de Letramento em Leitura, 4a Série, PIRLS, 2001 Percentuais de Alunos dos Gêneros Masculino e Feminino que Obtiveram Domínio na Avaliação Nacional, 4a Série, por Área Curricular: Sri Lanka Percentuais de Alunos que Assistem à Televisão por Quantidades Variáveis de Tempo, por Gênero e Pontuação Média em Leitura: Kuwait Diferenças Regionais no Aproveitamento, 4a Série: Índice Composto da Etiópia (%) Pontuações Médias de Leitura de Alunos Comparadas com o Número de Livros na Residência: 1a e 5a Séries: Irlanda Tendências nas Pontuações Médias da Escala de Leitura para Alunos de 9, 13 e 17 anos, NAEP, 1971–2004: Estados Unidos Percentual Médio de Respostas Corretas em Matemática, por Áreas de Conteúdo, na Avaliação Nacional, 5a Série, 1999 e 2004: Irlanda Percentual Médio de Respostas Corretas em Habilidades Matemáticas, na Avaliação Nacional, 5a Série, 1999 e 2004: Irlanda Pontuações Médias na Escala de Leitura por Raça ou Etnia, NAEP, 4a Série, 2005: Estados Unidos Distribuições da Pontuação em Leitura de Alunos e Professores: Vietnã Avaliação Nacional de Matemática da 5ª Série no Vietnã: Correlação entre as Pontuações Médias de Professores e Alunos da Província Fatores que Afetam o Aproveitamento: Uganda

38

40

41 43 45 46

47 48 62 113

116 135

TABELAS 1.1

2.1 2.2

Motivos para a Subutilização das Conclusões e Ações e Avaliação Nacional, a fim de Solucionar a Subutilização, e Agentes Responsáveis pela Ação Pontuações-padrão (e Erros-padrão) de Meninos e Meninas em uma Avaliação Nacional de Idioma e Matemática Pontuações-padrão (e Erros-padrão) e Pontuações em Vários Percentis em uma Avaliação Nacional de Ciências, por Província

25 32 32

2.3 2.4

2.5

2.6 2.7 2.8 2.9 3.1 5.1 5.2 5.3 5.4

6.1 6.2 6.3

Pontuações Médias de Aproveitamento (e Erros-padrão) em uma Avaliação Nacional Aplicada em Dois Momentos Correlação entre Pontuações Médias de Aproveitamento em Leitura e Fatores Escolares em uma Avaliação Nacional da 5a Série Percentuais de Alunos Pontuando nos Níveis Mínimos e Desejáveis de Conhecimento em Testes de Letramento em Linguagem, Letramento em Matemática e Habilidades de Vida: República de Maurício Níveis de Aproveitamento em Matemática na NAEP, 4a série: Estados Unidos Níveis de Habilidade em Leitura na 5a Série em Avaliação Nacional: Vietnã Pontuações Médias em Matemática, 8a Série, por Grupo Racial: África do Sul Pontuações Médias na Avaliação Nacional do Idioma Nepali, 5a Série, por Região: Nepal Relatório Técnico: Conteúdos Sugeridos Percentuais de Escolas que Possuem Materiais Escolares Básicos: Quênia Percentuais de Escolas que Possuem Materiais Escolares, 1990-2002: Malawi Países que Usaram os Resultados da Avaliação Nacional na Revisão do Sistema Educacional Classificação dos Alunos da 4a Série Avaliados como Proficientes ou Acima nas Avaliações Estaduais e Nacionais em 2005: Estados Unidos Percentuais de Alunos Cujos Professores Relataram Estar Prontos para Ensinar Matemática, Dados do TIMSS, 8a Série Percentual de Professores que Pontuam em cada Nível de Proficiência em Matemática: Moçambique Percentual de Alunos que Responderam Corretamente a Itens em uma Avaliação de Matemática: Colúmbia Britânica, Canadá

33

33

37 37 39 42 42 60 90 91 94

99 111 114 121

ABREVIAÇÕES

CONFEMEN IEA MEAP NAEP PASEC PIRLS PISA SACMEQ SIMCE TIMSS

Conferência dos Ministros da Educação dos Países de Língua Francesa Associação Internacional para a Avaliação do Aproveitamento Escolar Programa de Avaliação Educacional de Michigan Avaliação Nacional do Progresso em Educação dos Estados Unidos Programa de Análise dos Sistemas de Educação de CONFEMEN Estudo Internacional sobre o Progresso do Letramento em Leitura Programa Internacional de Avaliação de Alunos Consórcio da África Austral e Oriental para Monitoramento da Qualidade da Educação Sistema de Medição da Qualidade da Educação (Chile) Estudo das Tendências Internacionais no Estudo de Matemática e Ciências

CAPÍTULO

1

FATORES QUE AFETAM A UTILIZAÇÃO E NÃO UTILIZAÇÃO DAS CONCLUSÕES DAS AVALIAÇÕES NACIONAIS

O

s principais objetivos de uma avaliação nacional, conforme definido no Volume 1 desta série, são determinar (a) quão bem os alunos estão aprendendo no sistema educacional (com relação a expectativas gerais, objetivos do currículo e preparação para o aprendizado futuro e para a vida); (b) se há evidência de pontos fortes e pontos fracos específicos no conhecimento e habilidades dos alunos; (c) se subgrupos específicos na população apresentam desempenho ruim; (d) quais fatores estão associados ao aproveitamento dos alunos; (e) se os padrões governamentais estão sendo alcançados na disponibilização de recursos; e (f) se o aproveitamento dos alunos muda ao longo do tempo (Greaney e Kellaghan, 2008). Na busca por esses objetivos, utilizandose procedimentos definidos pelas ciências sociais, são coletados dados dos alunos e de outros agentes envolvidos com o sistema educacional. Essa coleta de dados visa tornar mais transparentes os resultados da gestão e prática educacional e tem como objetivo final oferecer aos trabalhadores do sistema informações que aprimorem sua atuação prática (Ferrer, 2006). As evidências sobre o alcance dos objetivos de uma avaliação nacional trazem implicações para a avaliação de aspectos importantes do

2 | SÉRIE P ESQUISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

funcionamento de um sistema educacional em termos de acesso, qualidade, eficiência e equidade (Braun et al., 2006) (ver Quadro 1.1). É bastante provável que a avaliação revele que as questões estão inter-relacionadas. Em muitos sistemas educacionais, escolas com baixo aproveitamento tendem a atender alunos oriundos de famílias em situação de desvantagem econômica ou de grupos minoritários; tendem também a receber o menor nível de recursos (por exemplo, os livros didáticos chegam atrasados ou não chegam); e tendem a ter dificuldade para atrair professores, por estarem em uma localidade isolada ou por questões étnicas ou linguísticas. Claramente, qualquer informação fornecida por uma avaliação nacional deve ser do interesse de um grupo amplo de interessados: políticos, gestores educacionais, professores, treinadores de professores, desenvolvedores de currículo, pais, empregadores e o público em geral. Os livros anteriores desta série descreveram como são obtidas informações em uma avaliação nacional: Como são desenhados os instrumentos para coletar informações sobre o aproveitamento dos alunos e variáveis relacionadas; como é selecionada uma amostra de alunos para representar o aproveitamento do sistema educacional como um todo

QU A D R O 1 . 1

Questões que Podem ser Esclarecidas por Meio de uma Avaliação Nacional Acesso. Obstáculos para frequentar a escola, como disponibilidade limitada de vagas ou distância entre a residência dos alunos e a escola. Qualidade. A qualidade dos insumos e produtos do ensino, como os recursos e instalações disponíveis para apoiar o aprendizado (currículos factíveis, competência do professor, livros didáticos); práticas instrucionais; interações entre aprendiz e professor; e aprendizado do aluno. Eficiência. Utilização ótima dos recursos humanos e financeiros, refletida na proporção entre alunos por professor, rendimento dos alunos e taxas de repetência de série. Equidade. Oferta de oportunidades educacionais para os alunos e obtenção de paridade de aproveitamento para os alunos, independentemente de suas características, como gênero, idioma ou pertencimento a grupo étnico e localização geográfica. Fonte: Autores, com base em Braun et al., 2006.

O USO DO S R E SU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

3

(em termos claramente definidos, como alunos da 4a série ou com 11 anos); quais procedimentos devem ser observados na coleta e limpeza de dados; e quais métodos podem ser empregados em sua análise. Este livro se vale da divulgação e uso dos dados obtidos em uma avaliação nacional, com o objetivo final de aprimorar a qualidade do aprendizado dos alunos. Ele foi escrito tendo em vista dois públicos-alvo: (a) os responsáveis pela preparação de relatórios de avaliação e pela comunicação e divulgação de conclusões e (b) os usuários de tais conclusões. Este capítulo introdutório aborda cinco temas. Primeiro, descreve aspectos do contexto político dentro do qual a avaliação nacional está sendo realizada e suas implicações no uso das conclusões da avaliação. Segundo, discute a questão da responsabilidade, que é uma preocupação de grande relevância em muitos governos e com a qual as atividades de avaliação nacional têm sido estreitamente identificadas. Terceiro, ressalta que a qualidade dos instrumentos usados em uma avaliação nacional para a obtenção de informações relacionadas com o aprendizado dos alunos (conhecimento, habilidades, atitudes e hábitos que os alunos adquiriram como resultado de sua educação) gera implicações importantes para o uso das conclusões que visam aprimorar o aprendizado. Quarto, considera como as características de uma avaliação nacional (baseada no censo, em amostra ou internacional) afetam a maneira como as conclusões podem ser utilizadas. Para concluir, enumera possíveis razões para a falta de aplicação das conclusões da avaliação nacional.

O CONTEXTO POLÍTICO DE UMA AVALIAÇÃO NACIONAL

Embora possam existir muitas semelhanças entre uma avaliação nacional e outra, há, na verdade, diferenças entre avaliações quanto às implicações de seu uso. Diferenças no projeto, implementação e aplicação emanam do fato de que a avaliação é um fenômeno político (bem como um fenômeno técnico), que reflete interesses, tensões, normas institucionais e natureza das relações de poder entre os atores políticos. Quando se identifica o contexto político no qual uma avaliação se realiza, é possível explicar diferenças entre os países quanto às suas estratégias de

4 | SÉRIE P ESQUISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

avaliação (Benveniste, 2002). Mesmo nos Estados Unidos, os sistemas de atribuição de responsabilidade variam de estado para estado, refletindo decisões administrativas e tradições que evoluíram com o passar do tempo (Linn, 2005b). O papel da avaliação no exercício do controle e poder em questões educacionais tem várias facetas. Em primeiro lugar, a avaliação tem origem num processo político, geralmente inspirado e influenciado por motivações políticas. Em segundo lugar, a forma da avaliação será o resultado de uma concorrência entre os atores sociais que buscam influenciar a determinação de normas e valores a serem privilegiados pelo Estado. Terceiro, uma avaliação pode afetar as relações sociais entre, por exemplo, o gestor educacional e professores, ou entre professores e pais. Quarto, o controle sobre a disposição e a interpretação dos resultados da avaliação implica autoridade para influenciar políticas, distribuição de recursos e percepções públicas. Por fim, uma avaliação pode abranger mecanismos para regulamentação e responsabilização, implícita ou explicitamente, de atores sociais em relação aos resultados (Benveniste, 2002). Os atores sociais, com a capacidade de influenciar a natureza de uma avaliação – e o modo como as conclusões são usadas –, são diversos. A maneira como a política de poder desenrola-se na realidade de um país depende de vários fatores, como os listados a seguir:

yO grau em que as decisões relacionadas com o fornecimento de recursos educacionais (por exemplo, financiamento, currículos) é função de uma governança centralizada ou descentralizada yA existência e a força das instituições e redes informais, e dos grupos de interesses, tanto dentro quanto fora do governo yA força dos sindicatos de professores, que podem exercer papel fundamental na implementação de políticas, se não na própria formulação de políticas yO papel de agências externas (multilaterais e bilaterais) de sensibilizar os governos para abordar questões em seu sistema educacional e de fornecer ou apoiar o desenvolvimento de sua capacidade de lidar com eles.

O USO DO S R E SU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

5

As implicações de um ponto de vista político para uma avaliação nacional podem ser ilustradas por dois exemplos (Benveniste, 2002). No Chile, enfatiza-se a responsabilidade perante o público, promovendo, portanto, a competição no mercado, que é induzida pela publicação dos resultados de uma avaliação para escolas individuais. Um ponto de vista bastante diferente é encontrado no Uruguai, onde o Estado aceita a responsabilidade pelo aproveitamento dos alunos e pelo fornecimento dos recursos necessários para apoiar o aprendizado – principalmente dos setores desprivilegiados da população. Outro aspecto importante do contexto político no qual uma avaliação nacional se realiza que tem implicações para as conclusões é o grau de abertura de um sistema educacional. Alguns sistemas são descritos como “excludentes”. Nesses sistemas, o acesso a informações importantes sobre aspectos do sistema educacional, incluindo resultados de pesquisas, fica restrito a elites formuladoras de políticas ou responsáveis seniores pela decisão, que não permitem sua divulgação ao público. No outro extremo, em sistemas mais abertos, há esforços para atrair o interesse da mídia, mobilizar forças políticas e promover um debate sobre questões educacionais (Reimers, 2003). Uma postura intermediária relevante ao uso dos dados da avaliação nacional é aquela que prevê que a circulação de informações sobre o sistema educacional, inclusive dados sobre o aproveitamento dos alunos, embora não seja totalmente restrita, é limitada. No Uruguai, por exemplo, prevê-se que os dados sobre o aproveitamento dos alunos sejam utilizados primordialmente para os fins da comunidade educacional (Benveniste, 2002).

RESPONSABILIDADE

Nas últimas décadas, as ações de responsabilidade, em resposta às pressões políticas, sociais e econômicas, adquiriram importância crescente nos governos de muitos países. Esta seção considera a responsabilidade no contexto da educação e, em particular, concentra-se nas formas como a interpretação do conceito afeta o uso dos dados da avaliação nacional. É preciso ter em mente que grande parte do discurso se baseia na expe-

6 | SÉRIE P ESQUISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

riência dos Estados Unidos e dedica-se a analisar a responsabilidade nas escolas (McDonnell, 2005). O desenvolvimento dos movimentos de responsabilidade no setor público (inclusive educação) pode ser relacionado a uma variedade de fatores que não se excluem mutuamente, incluindo-se os seguintes:

yA necessidade de gerenciar recursos finitos (e, em alguns casos, decrescentes) e de aumentar os resultados para determinado volume de contribuições. yA utilização de ideias de planejamento e gestão que foram emprestadas do universo empresarial, principalmente aquelas relacionadas com garantia de qualidade, satisfação de clientes e melhoria contínua (características do Novo Movimento de Gestão Pública e de uma abordagem de administração corporativista). Esses conceitos podem, por sua vez, envolver a definição do desempenho em termos de resultados, definir metas de desempenho, utilizar indicadores de desempenho para determinar o grau de alcance das metas, implementar um planejamento estratégico e operacional, e basear a distribuição de recursos no desempenho. yA introdução de mecanismos de mercado de distribuição e controle envolvendo programas de incentivo, concorrência, terceirização e auditoria, bem como a transferência de relações de poder para mecanismos de autocontrole como tentativa de minimizar a necessidade de supervisão externa e de fazer os indivíduos internalizarem as normas, os valores e as expectativas dos interessados, e a mentalidade necessária para se autogovernarem. yUm movimento em direção a uma prática mais baseada em evidências. Tal movimento requer que os dados apoiem as reivindicações que os indivíduos e as instituições apresentaram, desempenho profissional e eficiente, além de dados nos quais basear decisões quanto à distribuição de recursos (ver Blalock, 1999; Clegg e Clarke, 2001; Davies, 1999; Hopmann e Brinek, 2007; Kellaghan e Madaus, 2000). Uma avaliação nacional ajusta-se bem a muitos desses fatores por fornecer informações (evidências) estatísticas atualizadas relativamente

O USO DO S R E SU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

7

simples sobre o sistema educacional. Além disso, pode identificar subgrupos ou unidades na população que atendam a um padrão específico e aqueles que deixam de fazê-lo. As informações podem ser utilizadas para o planejamento e a gestão – em especial, para optar pela ação necessária a fim de aprimorar a qualidade ou eficiência. Elas também podem ser utilizadas para atribuir responsabilidade implícita ou explícita aos atores sociais, colocando sobre eles o ônus para mudanças ou ajustes. O enfoque sobre a responsabilidade varia em todo o mundo, revelando-se com velocidades e impactos diferentes (Hopmann e Brinek, 2007). Não chega a causar surpresa que os propósitos e objetivos de muitas avaliações nacionais – principalmente nos países em desenvolvimento – ou as maneiras pelas quais essas avaliações se encaixam em um sistema de responsabilidade não sejam muito claras. Nos casos em que as políticas de responsabilidade não são bem desenvolvidas, as conclusões das avaliações nacionais não tendem a causar efeitos significativos (Hopmann e Brinek, 2007). Contudo, caso se deseje utilizar os resultados das avaliações, seria necessário haver pelo menos um reconhecimento implícito da responsabilidade. Caso contrário, como devem ser tomadas as decisões sobre a ação que deve ser executada após uma avaliação e os indivíduos ou instituições que executarão tais ações? Atribuir responsabilidade aos vários interessados envolvidos em um sistema tão complexo quanto o sistema educacional não é uma questão trivial. Seis questões que auxiliam a esclarecer as questões merecem ser consideradas para essa tarefa – principalmente quando os resultados da avaliação nacional são utilizados para atribuir responsabilidade a escolas e professores.

Um Sistema de Responsabilidade Deve Concentrar-se nos Resultados? Um enfoque nos resultados da educação – em particular, no aprendizado dos alunos – pode ser atribuído ao reconhecimento formal de que muitas crianças passam um tempo considerável na escola sem adquirir conhecimento e habilidades úteis. A necessidade de assegurar que as

8 | SÉRIE P ESQUISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

crianças realmente aprendam como resultado de suas experiências educacionais foi destacada no Fórum Mundial de Educação para Todos, realizado em Jomtien, Tailândia, em 1990 (UNESCO, 1990), e novamente nas Diretrizes de Ação de Dakar (UNESCO, 2000). Utilizar dados sobre os resultados da educação como única base para a atribuição de responsabilidade, contudo, implica perder de vista o fato de que também são relevantes para a avaliação da qualidade os aspectos de fornecimento de recursos (por exemplo, instalações físicas da escola, currículos, materiais educacionais, técnicas instrucionais dos professores e atividades de preparação). Esses fatores são importantes, pois deles depende a qualidade do aprendizado dos alunos. “Não é possível esperar que os alunos se tornem proficientes a não ser que o conteúdo e o processo de instrução em sala de aula preparem-nos bem para isso” (Haertel e Herman, 2005: 21).

Um Sistema de Responsabilidade Deve Voltar-se para Resultados Cognitivos? A maioria das pessoas provavelmente concorda que a escolaridade atende a muitos propósitos – alguns pessoais (por exemplo, o desenvolvimento cognitivo, moral e social dos alunos) e outros sociais (por exemplo, promover a coesão social ou construir uma nação). A maioria das pessoas provavelmente também concordaria que os resultados cognitivos são proeminentes e, além disso, que o desenvolvimento de habilidades de letramento e habilidades numéricas mensuradas em todas as avaliações nacionais é necessário, como alicerce para o progresso educacional posterior dos alunos. Dificilmente, poderia ser considerado satisfatório, entretanto, se a total confiança nessas medidas para fins de responsabilidade resultasse na inobservância de outros resultados valorizados da escolaridade relacionados a comportamentos, valores, motivação, aspirações, autoconceito, habilidade de trabalhar em grupos, habilidade de realizar apresentações orais e socialização. Empregadores e economistas identificaram muitos desses resultados (em geral, descritos como soft skills) como extremamente importantes para a obtenção de um emprego (Cheng e Yip, 2006).

O USO DO S R E SU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

9

Um Sistema de Responsabilidade Deveria Basear-se em uma Única Métrica de Aproveitamento dos Alunos? A maior parte das avaliações nacionais utiliza um único teste (embora ele possa assumir várias formas) para avaliar a competência dos alunos em uma área de currículo (por exemplo, matemática, leitura ou ciências). Portanto, impõe-se uma pergunta: mesmo que o aproveitamento cognitivo dos alunos seja aceito como critério legítimo para a qualidade da escolaridade, é sensato basear a avaliação dessa qualidade (e uma possível atribuição de responsabilidade) a uma única métrica do desempenho dos alunos em uma ou duas séries? A resposta parece ser não. Um teste pode fornecer apenas uma quantidade limitada de informações sobre o aproveitamento dos alunos (ver Quadro 1.2). Um painel preciso do aprendizado dos alunos, independentemente de o aprendizado estar sendo avaliado em nível nacional ou em nível da escola individual, exige métricas múltiplas de aproveitamento (Guilfoyle, 2006). Se um teste ficar limitado a itens de múltipla escolha, problemas adicionais tendem a surgir, até porque é extremamente difícil, com o emprego de tal formato, mensurar habilidades cognitivas de alto nível. QUADRO 1.2

Avaliação do Aproveitamento a Partir de Evidências Limitadas “Um sistema que condiciona a avaliação de uma escola inteira a uma média de pontuação de teste de um grupo de alunos em determinada série não pode ter a pretensão de avaliar adequadamente a escola em questão.” Fonte: Guilfoyle 2006: 13.

Sanções Devem Ser Vinculadas ao Desempenho em uma Avaliação Nacional? Uma decisão importante que se coloca quanto à utilização das conclusões das avaliações nacionais é se devem ser vinculadas sanções ao desempenho dos alunos. Embora a atribuição de algum grau de responsabilidade, mesmo que não seja reconhecido explicitamente, possa ser

10 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

esperado após uma avaliação, não é possível concluir que sanções devam ser aplicadas. Em algumas avaliações nacionais, contudo, são aplicadas sanções, geralmente a escolas, professores e, em alguns casos, a alunos. Exemplos de tais ocorrências podem ser encontrados na avaliação do currículo nacional na Inglaterra, que foi introduzida inicialmente como uma ferramenta para atribuir responsabilidades, e em várias avaliações em nível estadual nos Estados Unidos. Nesses casos, uma avaliação torna-se uma operação de alto risco para as escolas, com uma variedade de recompensas ou punições atreladas ao desempenho dos alunos. É possível que as escolas ou os professores recebam recompensas na forma de bônus financeiros, que os professores sejam demitidos e que os alunos sejam impedidos de passar de ano ou se formar. Vários argumentos apoiam a vinculação de consequências significativas ao desempenho dos alunos em um teste. Primeiro, essas consequências estimulam os indivíduos (em especial, os professores) a internalizar as normas, os valores e as expectativas dos interessados (especificamente, daqueles no Ministério da Educação) e a aceitar a responsabilidade por se adequar a eles. Segundo, apoiam a operação de mecanismos de mercado no sistema educacional, incluindo concorrência, terceirização e auditorias. Terceiro, atuam para direcionar as iniciativas de professores e alunos aos objetivos da instrução e a fornecer padrões de aproveitamento esperado que os alunos e professores possam almejar, criando, dessa forma, um sistema de instrução orientado para a medição. Nessa situação, é possível esperar que o desempenho dos alunos melhore se a instrução tiver sido alinhada a um instrumento de avaliação. A melhora no desempenho, contudo, pode não ser evidente quando o aproveitamento dos alunos for avaliado por outros instrumentos. Quando se comparam os ganhos no aproveitamento ao longo do tempo na Avaliação Nacional do Progresso em Educação norte-americana de alunos em estados que têm consequências significativas vinculadas às avaliações em nível estadual com os ganhos dos alunos em estados que não têm testes com essas consequências significativas, as conclusões são ambíguas (Amrein e Berliner, 2002; Braun, 2004). Os argumentos contrários à vinculação de consequências significativas ao desempenho de alunos em testes se baseiam, em sua maioria, em observação e pesquisas com exames públicos (e não com avaliações na-

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

11

cionais) num período prolongado (Kellaghan e Greaney, 1992; Madaus e Kellaghan, 1992; Madaus, Russell e Higgins, 2009). Conclusões semelhantes estão surgindo quanto aos efeitos de testes associados à lei No Child Left Behind, nos Estados Unidos (Guilfoyle, 2006). As evidências disponíveis indicam que ocorrem consequências negativas quando sanções são associadas ao desempenho dos alunos:

yOs professores tendem a reagir alinhando o que ensinam com o conhecimento e as habilidades avaliados no teste (“ensinar para fazer a prova”), negligenciando, portanto, áreas do currículo (por exemplo, artes, estudos sociais, educação física) que não são avaliadas. yO ensino tenderá a enfatizar a memorização mecânica, a repetição frequente e a acumulação de conhecimentos factuais, resultando numa abordagem passiva de aprendizagem, em vez de uma abordagem que enfatize habilidades de alto nível de raciocínio geral e resolução de problemas. yOs professores tendem a empregar um tempo considerável desenvolvendo as estratégias de resolução de testes dos alunos (como a maneira de responder a perguntas de múltipla escolha) e podem até usar o formato de múltipla escolha quando ensinam (ver Quadro 1.3). QUADRO 1.3

O Efeito Negativo dos Usos da Atribuição de Responsabilidade com Consequências Significativas “Os sistemas de avaliação que são monitores úteis perdem muito de sua confiabilidade e credibilidade para este fim quando a eles são vinculadas consequências significativas. Os efeitos negativos não previstos dos usos da atribuição de responsabilidade com consequências significativas com frequência superam os efeitos positivos pretendidos.” Fonte: Linn 2000: 14.

Tabelas de Classificação Devem ser Publicadas após a Realização de uma Avaliação Nacional? Um exemplo específico do uso de consequências significativas em uma avaliação nacional é a publicação dos resultados no formato de tabelas

12 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

de classificação em que as escolas são classificadas em ordem de desempenho. A expectativa dessa abordagem é que ela induza à concorrência entre as escolas e, por sua vez, aumente o aproveitamento dos alunos (Reimers, 2003). As informações podem ser usadas para manter pais e comunidades informados e, em algumas situações, os pais podem usar as informações para realizar escolhas sobre escolas para seus filhos. Mesmo quando não for possível escolher a escola ou quando os pais não utilizam os resultados da avaliação para realizar essa escolha (Vegas e Petrow, 2008), a mera publicação das informações sobre o desempenho das escolas pode pressioná-las a melhorar o desempenho. Além dos impactos adversos no ensino e aprendizado que já foram elencados em relação aos procedimentos de avaliações com consequências significativas, é possível prever vários outros problemas quando são calculados e publicados os resultados individuais das escolas (Clotfelter e Ladd, 1996; Kane e Staiger, 2002; Kellaghan e Greaney, 2001; Linn, 2000). Primeiro, o desempenho das escolas (e, portanto, sua posição em uma tabela de classificação) varia de acordo com o resultado avaliado (por exemplo, aproveitamento em leitura ou matemática). Segundo, mesmo as classificações que se baseiam na mesma métrica podem apresentar variação, dependendo do critério de “sucesso” que for adotado (por exemplo, pontuação média ou a proporção de alunos que obtêm pontuações “altas”). Terceiro, a falta de precisão nos procedimentos de avaliação significa que diferenças pequenas entre escolas (que podem causar grande impacto em sua classificação) serão creditadas ao acaso. Quarto, as pontuações de aproveitamento podem variar de um ano para o outro, devido a fatores que estão fora do controle da escola (por exemplo, diferenças em cortes de alunos). Escolas pequenas são particularmente vulneráveis a esse problema. Quinto, o aproveitamento dos alunos em uma escola representa mais do que os esforços dos professores, como é ilustrado pelo fato de as classificações da escola baseadas em aproveitamento e dados socieconômicos serem quase idênticas (Vegas e Petrow, 2008). Sexto, para compreender os fatores sobre os quais a escola não tem controle (por exemplo, habilidade dos alunos, ambiente doméstico), a média de ganhos nas pontuações dos testes dos alunos durante o ano pode ser usada como índice para o desempenho da escola.

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

13

Entretanto, essa medição tende a mostrar pouquíssima variância entre escolas e foi, portanto, considerada insatisfatória. Além disso, não leva em consideração o fato de que a taxa de crescimento dos alunos está relacionada com seu aproveitamento inicial. Abordagens estatísticas mais sofisticadas, que levam em conta uma diversidade de fatores sobre os quais as escolas não têm controle, podem ser adotadas para calcular as pontuações de ganhos da escola (modelos de valor agregado). Os problemas que surgem com essas abordagens são a complexidade dos procedimentos administrativos necessários para coletar os dados, o nível de conhecimento estatístico exigido para a análise, as dificuldades na escolha de variáveis a serem incluídas nos modelos estatísticos e o fato de que o ajuste para o aproveitamento anterior pode resultar em expectativas reduzidas para alunos com desempenho abaixo do esperado. Por fim, as tabelas de classificação estimulam práticas corruptas, como assegurar que os alunos de desempenho mais baixo não participem da avaliação ou concentrar-se no desempenho de alunos limítrofes para inflar a pontuação média de uma escola. Informações falsas sobre as condições nas escolas podem ser fornecidas (como ocorreu no Chile) para manipular a categorização socioeconômica da escola se uma categoria baixa atrair benefícios.

Quem Deve Ser Considerado Responsável? Um dos principais argumentos contra a vinculação de consequências significativas para escolas e professores com o desempenho dos alunos em uma avaliação nacional é que uma avaliação não identifica os aspectos do aproveitamento que podem ser atribuídos a escolas ou professores. Mesmo uma reflexão breve sobre a ampla diversidade de fatores que interagem para afetar o desempenho dos alunos deveria levar os responsáveis a refletirem antes de atribuir responsabilidade. Os fatores podem ser identificados como (a) características dos alunos, incluindo seu aproveitamento anterior; (b) condições de vida dos alunos, incluindo recursos da família e da comunidade e apoio recebido; (c) políticas educacionais e recursos e apoio, incluindo currículos e preparação de professores,

14 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

que são fornecidos pelas autoridades públicas relevantes; (d) condições e recursos da escola, incluindo governança e gestão; e (e) competência dos professores (Kellaghan e Greaney, 2001). Parece razoável esperar que os indivíduos ou instituições associadas a esses fatores tenham responsabilidade apenas pelas questões sobre as quais tenham controle. Logo, a responsabilidade é compartilhada por (a) alunos; (b) professores; (c) escolas; (d) formuladores de políticas, administradores e gerentes do sistema escolar (em níveis nacional, estadual, regional, ou municipal, dependendo da maneira como o sistema educacional está organizado); (e) provedores de serviços de apoio (desenvolvedores de currículo, treinadores de professores e editores de livros didáticos); (f) pais; e (g) outros (incluindo políticos, contribuintes e a sociedade como um todo). De fato, é extremamente difícil distribuir a responsabilidade entre tamanha variedade de interessados (ver Quadro 1.4). O não reconhecimento do problema, contudo, pode levar a uma atribuição equivocada, que, por sua vez, pode resultar em ação inadequada (ver Quadro 1.5). QUADRO 1.4

Atribuição de Responsabilidade pelo Aproveitamento dos Alunos Não é fácil atribuir responsabilidade pelo aproveitamento dos alunos: y

Embora os professores sejam responsáveis em certo grau pelo aproveitamento de seus alunos, isso significa que deveriam ser os únicos responsáveis se a escola na qual ensinam não dispõe dos recursos básicos? Se eles receberam treinamento inadequado? Se os alunos estão ausentes por longos períodos? Se o currículo que devem ensinar é inadequado a seus alunos?

y

Deve-se atribuir aos alunos a responsabilidade caso suas famílias não valorizem a educação ou ofereçam condições ou oportunidades para estudar? Se o currículo é inadequado? Se suas experiências educacionais anteriores foram prejudicadas por um ensino incompetente?

y

Deve-se atribuir aos pais a responsabilidade por não enviarem seus filhos à escola regularmente porque não podem arcar com os custos envolvidos ou porque precisam que seus filhos trabalhem?

y

Deve-se atribuir aos gestores educacionais a responsabilidade se eles não oferecem recursos financeiros suficientes para atender às necessidades das escolas?

y

Deve-se atribuir aos políticos a responsabilidade caso os recursos financeiros disponíveis ao governo sejam inadequados para atender às demandas do sistema educacional?

Fonte: Os autores.

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

15

QUADRO 1.5

Desvio da Culpa pelo Fracasso Escolar “Os testes com atribuição de responsabilidade podem sutilmente desviar a culpa pelo fracasso escolar dos recursos escolares inadequados, formação ruim de professores ou fatores extraescola e colocá-la nos professores e alunos que ‘não estão fazendo esforços suficientes’ e, com isso, desviar a atenção de reformas mais onerosas e necessárias.” Fonte: Haertel e Herman, 2005: 3.

Muitas avaliações nacionais, pelo menos implicitamente, reconhecem o papel dos fatores externos à escola na determinação do aproveitamento dos alunos. Mesmo em avaliações com consequências significativas, os resultados dos testes costumam ser apresentados separadamente para escolas, dependendo da situação socioeconômica dos alunos que atendem. As pontuações dos alunos também podem ser ajustadas para que se compreendam suas características, como aproveitamento anterior ou situação socioeconômica de suas famílias. Além disso, mesmo quando estão associadas consequências significativas, são fornecidos recursos adicionais para as escolas que enfrentam dificuldades. Essa ação compreende que os professores que não apresentam bom desempenho podem necessitar de assistência e desenvolvimento profissional sustentado (Linn, 2000). Uma consideração sobre a variedade de interessados que podem afetar o aprendizado dos alunos respalda a conclusão de que a avaliação da responsabilidade é uma questão complexa e não deve basear-se nas estatísticas limitadas fornecidas por uma avaliação nacional. No caso dos professores, a avaliação da responsabilidade exige um julgamento clínico que leve em conta uma variedade de fatores, incluindo as circunstâncias em que ensinam. Esses julgamentos são feitos de maneira mais adequada por um profissional (diretor, inspetor ou supervisor). A decisão sobre a responsabilidade de outros interessados é igualmente complexa. Em um sistema democrático, os políticos respondem ao seu eleitorado, mas não é igualmente claro qual é a prioridade que os cidadãos dão à educação, muito menos ao aproveitamento dos alunos, quando votam nas eleições. Os gestores educacionais são responsáveis perante seus superiores e agentes políticos pelo desempenho

16 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

de suas funções, mas, novamente, não está claro se o aproveitamento escolar deveria ser levado em conta. A distância dos gestores educacionais do trabalho concreto na escola, em contraste com a posição dos professores, provavelmente asseguraria que o aproveitamento dos alunos não tem papel relevante na avaliação de seu desempenho. Um grau maior de clareza e transparência sobre a responsabilidade de todos os indivíduos e instituições que contribuem para os resultados do sistema educacional (incluindo o aprendizado dos alunos) deveria atuar para eliminar muitas das ambiguidades presentes nos atuais sistemas de atribuição de responsabilidade. Além disso, a adoção de um sistema de atribuição de responsabilidade que inclua indivíduos, instituições e agências que exercem controle sobre os recursos e as atividades das escolas deveria atuar para concentrar a energia de todos os envolvidos na realização das tarefas pelas quais são responsáveis (Clegg e Clarke, 2001).

A QUALIDADE DO INSTRUMENTO DE AVALIAÇÃO

O termo qualidade aplica-se a uma variedade de aspectos das experiências educacionais dos alunos, incluindo ambientes de aprendizado seguros e com recursos adequados, currículos que atendem às necessidades dos alunos, práticas instrucionais, professores competentes engajados em pedagogias ativas e aprendizado dos alunos (ver, por exemplo, Schubert, 2005; UNESCO, 2000; UNICEF, 2000). Em estudos sobre avaliação nacional, contudo, como observamos, o principal foco quando se considera a qualidade está nos resultados cognitivos do processo educacional – ou seja, o que os alunos aprenderam –, com o intuito de desenvolver estratégias para aprimorar esses resultados. Tal ênfase está de acordo com a meta 6 das Diretrizes de Ação de Dakar, que destaca a melhoria da qualidade da educação, “para que resultados reconhecidos e mensuráveis do aprendizado sejam alcançados por todos, principalmente no letramento em linguagem, letramento em matemática e habilidades básicas para a vida” (UNESCO 2000: 8). Em reconhecimento ao papel central atribuído ao aprendizado do aluno em uma avaliação nacional, esta seção descreve quatro condições

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

17

que devem ser atendidas para assegurar (a) que o teste utilizado represente fielmente o aproveitamento que as escolas se empenham em desenvolver e (b) que as informações obtidas atendam às necessidades dos usuários (Beaton e Johnson, 1992). Primeiro, como um teste pode mensurar apenas parte do conhecimento e das habilidades específicas em um construto (por exemplo, leitura), é importante assegurar que forneça uma representação adequada desse conhecimento e das habilidades (ver Haertel e Herman, 2005; Linn e Baker, 1996; Messick, 1989). Além disso, os itens do teste devem exibir importância curricular, complexidade cognitiva, adequação linguística e sentido para os alunos. Portanto, um teste não deve limitar-se a mensurar componentes de habilidades isolados ou itens de conhecimento que exijam dos alunos a recapitulação de fatos ou informações (uma característica de muitas avaliações nacionais) se o objetivo do sistema educacional é desenvolver habilidades cognitivas de alto nível (que envolvem raciocínio, habilidade de identificar e solucionar problemas e habilidade de realizar tarefas não rotineiras). Recomenda-se que os desenvolvedores de testes tenham em mente que é desejável criar um instrumento que forneça uma base para política e decisões que tenham a probabilidade de induzir a mudanças curriculares e instrucionais que, por sua vez, promovam o desenvolvimento de conhecimento e habilidades valorizadas (ver Frederiksen e Collins, 1989). Um teste deve conter um número adequado de itens, de modo a assegurar a representação adequada de um domínio ou construto – ou dos objetivos ou subdomínios (por exemplo, áreas de conteúdo ou habilidades matemáticas). O número reduzido de itens em algumas avaliações nacionais deve suscitar questionamento quanto à sua adequação a esse quesito. Por exemplo, o número de itens nos testes das avaliações na América Latina (20-40, com exceção do Brasil) significa que a cobertura do conteúdo tem sido deficiente. Além do mais, é difícil justificar um ponto de vista em que o domínio de um objetivo específico possa ser determinado por meio de apenas três ou quatro itens (González, 2002). Essa inadequação não está de maneira alguma limitada às avaliações nacionais na América Latina.

18 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

Segundo, um teste deve avaliar conhecimentos e habilidades em nível adequado aos alunos que deverão responder a ele. Haverá problemas caso um teste se baseie exclusivamente em documentos curriculares se o currículo contiver expectativas irreais sobre o aproveitamento dos alunos. Em tal situação, que é relativamente comum em países em desenvolvimento, o teste será extremamente difícil para alunos com rendimento abaixo da média e fracassará no intento de registrar seu aproveitamento. A solução está em levar em consideração, no momento de desenvolver os testes, não apenas os padrões do currículo pretendido, mas também o que se conhece sobre o aproveitamento real dos alunos nas escolas. Em termos práticos, proporções muito pequenas de alunos devem acertar todos os itens ou errar todos eles. Esse resultado pode ser obtido com o envolvimento dos professores atuantes no desenvolvimento e na seleção de itens de testes e com a cuidadosa experimentação em campo dos itens antes da avaliação principal em uma amostra de alunos que abranja a variação encontrada nas escolas da população-alvo. Uma terceira condição para que exista confiança em que um teste forneça informações válidas sobre o conhecimento e as habilidades dos alunos em um domínio curricular específico é que o desempenho dos alunos não deve ser determinado por sua competência em outros domínios que não aqueles que o teste se propôs a avaliar (Messick, 1989). Por exemplo, um teste elaborado para avaliar o aproveitamento dos alunos em ciências ou matemática não deve exigir processamento excessivo de linguagem a ponto de o desempenho no teste depender da habilidade diferencial dos alunos de ler, e não de sua habilidade em ciências ou matemática. Esse problema ocorre quando não é possível supor que todos os alunos que farão o teste tenham o mesmo nível de habilidade em leitura, o que provavelmente ocorreria quando a linguagem do teste fosse diferente da linguagem que alguns alunos normalmente utilizam. Por último, se os resultados da avaliação serão utilizados para monitorar mudanças ao longo do tempo, os instrumentos de avaliação devem ser comparáveis entre si. Para alcançar esse resultado, pode-se utilizar o mesmo texto, que deve ser armazenado com segurança de uma apli-

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

19

cação para a outra. Caso sejam utilizados testes diferentes, a criação de escalas utilizando a Teoria de Resposta ao Item possibilita que os resultados sejam apresentados nas mesmas escalas de proficiência (ver o Volume 4). A melhor prática pressupõe transferir um subgrupo de itens de um teste para o outro, de modo a se verificar um meio robusto para relacionar os testes. Também é essencial que as amostras dos alunos e os procedimentos seguidos na aplicação sejam equivalentes. Se os critérios de exclusão (por exemplo, para alunos com dificuldades de aprendizado) variarem de uma avaliação para a outra, ou se as condições sobre as quais os aplicadores não tiverem controle (por exemplo, taxas de resposta) diferirem, esses fatores devem ser levados em consideração quando se fizerem comparações entre o aproveitamento dos alunos em momentos distintos.

TIPO DE AVALIAÇÃO

O potencial de uso das informações derivadas de uma avaliação depende das características da avaliação. O uso que pode ser feito dos resultados da avaliação varia para (a) avaliações baseadas no censo, das quais todas (ou a maioria das) as escolas e os alunos na população-alvo participam (como, por exemplo, no Brasil, Chile e Inglaterra); (b) avaliações baseadas em amostras, das quais participam uma amostra de alunos ou escolas selecionadas para representar a população total (como ocorre na maioria dos países); e (c) avaliações internacionais, em que um número de países segue procedimentos similares para obter informações sobre o aprendizado dos alunos.

Avaliação Baseada no Censo Uma avaliação nacional da qual participam todas (ou quase todas) as escolas e alunos, geralmente em séries ou faixas etárias específicas, é chamada de avaliação baseada no censo ou baseada na população. Ela tem o potencial de fornecer informações sobre o aproveitamento dos

20 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

alunos para (a) o sistema educacional em geral, (b) setores do sistema, (c) escolas, (d) professores ou turmas, (e) alunos individuais e (f) fatores associados ao aproveitamento. Como são disponibilizadas informações sobre todas as escolas, é possível identificar aquelas que apresentam o pior desempenho, e tomar decisões sobre possíveis medidas corretivas, como a oferta de cursos de desenvolvimento profissional para professores, serviços suplementares ou recursos adicionais. A avaliação torna-se uma avaliação de consequências significativas se forem vinculadas sanções ao desempenho escolar ou se forem publicadas informações sobre o desempenho de escolas individuais.

Avaliação Baseada em Amostra Pelo fato de a população como um todo não participar de uma avaliação baseada em amostra, ela pode, ao contrário da avaliação baseada no censo, fornecer informações apenas sobre o aproveitamento dos alunos para (a) o sistema educacional em geral, (b) setores do sistema e (c) fatores associados ao aproveitamento. Apesar de esse enfoque limitar o uso que pode ser feito das conclusões da avaliação, apresenta várias vantagens. Primeiro, aplicar uma avaliação baseada em amostra é consideravelmente menos oneroso do que aplicar uma avaliação baseada no censo. Segundo, não é necessário avaliar todos os alunos a fim de atender ao objetivo básico de uma avaliação nacional, que é oferecer informações válidas, confiáveis e oportunas sobre o funcionamento do sistema educacional e, em particular, da qualidade do aprendizado dos alunos. Terceiro, como as escolas participantes não são identificadas, uma avaliação baseada em amostra não tem o impacto negativo de uma avaliação baseada no censo nas escolas e no aprendizado se forem vinculadas sanções a escolas, professores, ou a ambos, por causa do desempenho. Por fim, avaliações baseadas em amostra podem ser aplicadas com mais frequência, possibilitando que avaliações sucessivas sejam direcionadas a questões emergentes. Algumas avaliações nacionais são aplicadas em base contínua para amostras móveis de alunos, dando, assim, acesso contínuo de dados da avaliação aos educadores.

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

21

Avaliação Internacional Outra distinção relevante ao se considerar o uso de dados da avaliação é se a avaliação é uma operação independente ou se é realizada no contexto de um estudo internacional. Estudos internacionais têm o potencial de fornecer informações que não podem ser obtidas em uma avaliação nacional. Eles podem (a) ajudar a definir o que será alcançado (quanto os alunos podem aprender e em que idade) por meio da observação do desempenho em vários sistemas educacionais; (b) permitir aos pesquisadores observarem e caracterizarem as consequências de práticas e políticas distintas; (c) trazer à tona conceitos para compreender a educação que possam ter sido ignorados em um país; e (d) ajudar a identificar e questionar crenças e suposições que possam ter sido assimiladas como corretas (Chabbott e Elliott, 2003). Além disso, estudos internacionais tendem a alcançar padrões técnicos muito mais elevados do que avaliações nacionais, e possibilitam que os participantes compartilhem custos de desenvolvimento e implementação que, de outra forma, tornariam esses métodos proibitivos em muitos sistemas. Os resultados de avaliações internacionais tendem a atrair atenção considerável da mídia e têm sido usados para estimular o debate sobre a adequação de provisionamento educacional e aproveitamento dos alunos, bem como para propor mudanças nos currículos (principalmente em matemática e ciências) (Robitaille, Beaton e Plomp, 2000). Embora as avaliações internacionais possam – pelo menos em nível superficial – oferecer dados comparativos sobre o aproveitamento dos alunos que não estão disponíveis em uma avaliação nacional, é necessário cautela quando da utilização das conclusões para orientar a política doméstica. Entre as principais armadilhas encontradas na utilização de dados internacionais para esse fim, apontamos que, quando um teste precisa ser administrado em vários países, seu conteúdo talvez não represente adequadamente o currículo de um país participante específico. Também é um fato geralmente reconhecido que estudos internacionais não prestam atenção suficiente aos contextos nos quais os sistemas educacionais funcionam. De fato, é improvável que a tecnologia por eles empregada possa representar as sutilezas dos sistemas educacionais ou

22 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

fornecer uma compreensão fundamental do aprendizado e como ele é influenciado por fatores culturais e contextuais locais (Porter e Gamoran, 2002; Watson, 1999). Em caso afirmativo, não é possível supor que abordagens identificadas em estudos internacionais que parecem funcionar bem em alguns sistemas educacionais serão igualmente eficazes em outros. A adoção e a implementação de políticas baseadas nesse pressuposto podem não apenas ser ineficazes, como também trazer prejuízos (Robertson, 2005). Além de fornecer comparações entre as condições de um sistema educacional e as condições de outros sistemas, os dados obtidos numa avaliação internacional podem ser usados por um país individual para examinar aspectos mais profundos de seu próprio sistema (com base em análises feitas sobre o país) naquilo que se torna, de fato, uma avaliação nacional (Ministério da Educação do Kuwait, 2008; Postlethwaite e Kellaghan, 2008) (ver Quadro 1.6). Na verdade, um dos objetivos do Estudo de Letramento em Leitura, realizado pela Associação Internacional para Avaliação do Aproveitamento Escolar em 1990/91, foi fornecer dados de linha de base nacionais sobre o letramento em leitura de alunos entre 9 e 14 anos, visando o monitoramento das mudanças ao longo do tempo (Elley, 1992).

SUBUTILIZAÇÃO DAS CONCLUSÕES DA AVALIAÇÃO NACIONAL

Ao considerar a utilização (e não utilização) das conclusões da avaliação nacional, deve-se reconhecer, desde o início, que não há muitas informações disponíveis sobre o assunto. Além disso, menos informações ainda estão disponíveis sobre a utilização ótima das conclusões ou sobre os efeitos de se basearem as decisões das formulações de políticas nas conclusões. Essa falta de conclusões talvez não seja um reflexo verdadeiro do uso atual, é claro, porque as informações reservadas para uso do governo podem não estar documentadas para o público. As evidências que estão disponíveis revelam que o uso das conclusões da avaliação nacional não está disseminado, não obstante o potencial que as informações derivadas de uma avaliação tenham para iniciar uma

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

23

QUADRO 1.6

Dois Usos de Dados de uma Avaliação Internacional A distinção entre a utilização dos dados coletados em uma avaliação internacional para fins de comparações entre países e de dados coletados para análise nacional pode ser ilustrada por meio de uma comparação entre o uso de dados coletados em estudos realizados pela Associação Internacional para a Avaliação do Aproveitamento Escolar (IEA – International Association for the Evaluation of Educational Achievement) na Hungria e na Finlândia. Na Hungria, o enfoque foi a comparação entre seu sistema de educação e os sistemas de outros países. A comparação indicou que (a) aproveitamentos em matemática e ciências foram satisfatórios, (b) aproveitamentos na compreensão em leitura foram geralmente inferiores àqueles registrados em outros países, (c) as escolas na Hungria foram mais diversificadas em seus aproveitamentos do que as escolas em outros países, e (d) o ambiente doméstico teve maior influência no aproveitamento em leitura dos alunos do que em outros países (Báthory, 1992). Em contrapartida, na Finlândia, dados internacionais obtidos em estudos realizados pela IEA foram utilizados para analisar a qualidade do ensino de matemática e ciências no país. Os dados, que constituíram a única evidência empírica disponível à época sobre o aproveitamento dos alunos, foram usados em análises que contemplaram necessidades específicas e transmitidos aos responsáveis pelo planejamento, pela formulação de políticas e pelos grupos de trabalho ad hoc nacionais. Fonte: Howie e Plomp, 2005; Leimu, 1992.

reforma e apesar das despesas realizadas para obter as informações. Essa observação foi feita, por exemplo, no contexto da determinação de políticas e decisões específicas (ver Arregui e McLauchlan, 2005; Himmel, 1996; Olivares, 1996; Rojas e Esquivel, 1998) e sugere que o uso de dados da avaliação nacional é muito semelhante ao uso das conclusões de outras pesquisas relacionadas com políticas (ver Capítulo 4). A descrição da experiência hondurenha provavelmente é semelhante a outras experiências (Quadro 1.7). Contudo, embora a identificação de um uso específico de dados da avaliação talvez não tenha sido possível naquele caso, o fato de os dados influenciarem a opinião pública e aumentarem a conscientização é, em si, um componente significativo. Uma variedade de motivos pode ser apresentada para a subutilização de conclusões da avaliação nacional (Tabela 1.1). Primeiro, as conclusões tendem a ser subutilizadas quando a avaliação nacional é considerada uma atividade independente, isolada de outra atividade educacional

24 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

e com pouca conexão com ela. Essa situação tende a ocorrer quando a atividade de avaliação nacional é nova ou é realizada por agentes externos ou a pedido de doadores. Rust (1999), por exemplo, apontou que, na África Subsaariana, os documentos de políticas costumam ser percebidos pelos burocratas locais como pertencentes à agência doadora, dissociados da formulação local de políticas. QUADRO 1.7

Extensão do Uso dos Resultados da Avaliação Nacional: Honduras “Estes projetos geraram uma grande quantidade de dados e informações que descrevem o aproveitamento escolar dos alunos; são iniciativas de pesquisas que tiveram impacto significativo sobre a opinião pública, porém... não contribuíram para tornar o sistema educacional mais eficiente ou eficaz. Os resultados não chegam a ser usados; eles não foram um mecanismo real para controle e responsabilidade; e, até o momento, as informações geradas não parecem ter tido consequências significativas além de informar, sensibilizar e aumentar a conscientização.” Fonte: Moncada et al., 2003: 73, como foi informado em Arregui e McLauchlan, 2005: 6.

Segundo, a subutilização de conclusões da avaliação nacional tende a ocorrer quando os formuladores de políticas, gestores educacionais e outros interessados que estão em posição de fazer algo com as conclusões têm envolvimento limitado ou nenhum envolvimento no desenho e na implementação de uma avaliação. Terceiro, chega a surpreender, por conta de as avaliações comunicarem informações importantes, que o primeiro estágio de uso – comunicação das informações a atores relevantes, como formuladores de políticas, provedores de treinamento de professores e doadores – nem sempre é realizado de maneira satisfatória, limitando claramente o potencial de uso. Esse problema pode ser creditado a uma falha na preparação de orçamento para a disseminação das conclusões. Em uma situação na qual a maior parte do tempo e dos recursos disponíveis para um projeto é necessária para o desenvolvimento e o gerenciamento dos instrumentos e análise de dados, talvez não tenha sobrado qualquer recurso para a produção e a disseminação de produtos e serviços de informações.

Agência de avaliação nacional; Ministério da Educação; escolas e professores; treinadores de professores; autoridades curriculares; fornecedores de livros didáticos

Fazer provisões no orçamento para disseminar, planejar atividades e preparar vários relatórios personalizados para as necessidades dos usuários. Assegurar que a equipe de avaliação tenha a competência técnica necessária e que os interessados relevantes sejam envolvidos desde o início. Aumentar a probabilidade de divulgar as conclusões publicamente, por meio da realização de discussões regulares com os interessados. Integrar a atividade de avaliação nacional às atividades de elaboração de políticas e de gerenciamento, e revisar as conclusões para determinar implicações e estratégias. Garantir a comunicação adequada de conclusões para as escolas, analisar as conclusões e elaborar estratégias para aprimorar o aproveitamento dos alunos, bem como fornecer apoio contínuo para a implementação.

3. Falha em comunicar as conclusões a todos que estão em posição de agir

4. Falta de confiança nas conclusões de uma avaliação nacional

5. Sensibilidade política para divulgar as conclusões publicamente

6. Falha em elaborar ações adequadas após uma avaliação em nível de políticas gerais

7. Falha em elaborar uma ação apropriada após uma avaliação nacional em nível de escola

Fonte: Compilação dos autores.

Ministério da Educação

Envolver todos os interessados relevantes no projeto e implementação de uma avaliação.

2. Envolvimento inadequado dos interessados no projeto e implementação de uma avaliação

Ministério da Educação

Ministério da Educação

Agência de Avaliação Nacional

Agência de avaliação nacional; Ministério da Educação

Ministério da Educação

Integrar a atividade de avaliação em estruturas, políticas e processos de tomada de decisão existentes.

1. Atividade de avaliação nacional considerada uma atividade independente, com pouca relação com outras atividades educacionais

Agente

Ação

Motivo

Motivos para a Subutilização das Conclusões e Ações e Avaliação Nacional, a fim de Solucionar a Subutilização, e Agentes Responsáveis pela Ação

TABELA 1.1

26 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

Quarto, as deficiências de muitas avaliações em termos de instrumentação, amostragem e análise podem suscitar questionamentos sobre a validade dos dados que fornecem, levando usuários em potencial a esperar antes de tomar providências em relação às conclusões ou antes de desconsiderá-las completamente. Quinto, se uma avaliação nacional identifica desigualdades socioeconômicas e educacionais associadas ao pertencimento a grupos étnicos, raciais ou religiosos, o resultado pode ser fonte de constrangimento para políticos, conduzindo a tentativas de não divulgar as conclusões ao grande público. Sexto, é pouco provável que decisões adequadas sobre políticas e gerenciamento resultem de uma avaliação nacional se os procedimentos e mecanismos não estiverem em vigor (a) para considerar as conclusões no contexto de outras atividades de políticas e gerenciamento e (b) para determinar ações com base nas conclusões da avaliação. Por fim, as conclusões da avaliação nacional tenderão a permanecer subutilizadas a não ser que todos os interessados que estejam em posição de tomar providências a partir das conclusões (a) estejam devidamente informados sobre as conclusões, (b) avaliem as implicações das conclusões da avaliação para seu trabalho e (c) elaborem estratégias projetadas para aprimorar o aprendizado dos alunos. Por exemplo, no caso de escolas e professores, a não ser que sejam adotadas providências para formular as conclusões da avaliação nacional de maneira que se relacionem com as preocupações dos professores – e a não ser que sejam direcionados recursos financeiros para criar mecanismos pelos quais os professores possam usar as informações obtidas de uma avaliação para orientar a reforma –, o caminho de menor resistência para os funcionários da escola talvez seja, na melhor das hipóteses, ignorar a avaliação nacional e na pior, sabotá-la. Essas observações servem como um pedido para se terem expectativas irreais quanto a mudanças de políticas que sobrevenham a uma avaliação. Não obstante, este livro procura mostrar que os dados da avaliação podem oferecer orientações para os formuladores de políticas e responsáveis pela decisão, por meio do aprofundamento de informações sobre as ações elaboradas para lidar com a subutilização listada na

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

27

Tabela 1.1. Sempre que possível, são citados alguns exemplos da utilização atual, coletados em vários países, para estimular o interesse público e as iniciativas de formuladores de políticas e gestores. Há menos evidências disponíveis sobre a área crítica e mais complexa da utilização das conclusões da avaliação nacional em salas de aula para aprimorar o aprendizado dos alunos.

CONCLUSÃO

O uso das conclusões de uma avaliação nacional depende de vários fatores. O contexto político no qual a avaliação é realizada terá forte influência. O reconhecimento de que a avaliação em si pode ser considerada um ato político que reflete o poder, as ideologias e os interesses de atores sociais pode servir para tornar a avaliação – e as decisões que se basearem nela – mais transparente. Como o instrumento usado para mensurar o aproveitamento dos alunos é a pedra fundamental de uma avaliação nacional, sua qualidade afetará o uso que será feito das conclusões. Os instrumentos de teste devem fornecer informações sobre aproveitamento escolar (a) que sejam corretas e abrangentes, (b) que mensurem um leque de aproveitamentos, (c) que forneçam orientação para ações corretivas, e (d) que sejam suscetíveis a mudanças instrucionais. Os testes utilizados em muitas avaliações nacionais não atendem a essas condições. Talvez se limitem a mensurar níveis mais baixos de conhecimento e habilidades, não contenham um número suficiente de itens e talvez sejam excessivamente difíceis, o que leva os usuários em potencial a não terem uma base confiável para a elaboração de suas políticas e decisões. O valor de uma avaliação nacional para usuários em potencial será acentuado se os dados antecedentes sobre a experiência dos alunos que forem coletados – e os procedimentos usados para analisar esses dados – apontarem para fatores que afetem o aprendizado e sejam suscetíveis à manipulação de políticas. Uma decisão crucial para os formuladores de políticas e gestores educacionais que contempla uma avaliação nacional, com implicação para a utilização que pode ser feita das conclusões, é se a avaliação deve basear-

28 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

se em amostra ou no censo. Uma avaliação baseada em amostra fornece informações e uma base para ação no nível de sistema, enquanto uma avaliação baseada no censo fornecerá, além disso, informações individuais sobre – e uma base de ação nas – as escolas. A escolha entre uma avaliação baseada em amostra e uma avaliação baseada no censo deve ser orientada pela consideração tanto das necessidades de informação dos formuladores de políticas e gestores quanto dos custos envolvidos. Uma avaliação baseada no censo traz a oportunidade de atribuir responsabilidade às escolas pelo aprendizado dos alunos. Antes de decidir usar as conclusões da avaliação para esse fim, os formuladores de políticas devem analisar seriamente (a) as informações limitadas que uma avaliação nacional pode fornecer sobre a qualidade de ensino oferecida por uma escola; (b) a diversidade de indivíduos, instituições e condições que afetam o aprendizado dos alunos; e (c) as consequências negativas (se involuntárias) de vincular as consequências significativas ao desempenho dos alunos. Embora uma avaliação usada dessa forma como mecanismo de poder possa ser corretiva no curto prazo, no longo prazo o dever burocrático associado a ela pode corromper o sistema que ela tinha por missão corrigir ou aprimorar (Madaus e Kellaghan, 1992). Quando não houver consequências significativas diretas vinculadas aos resultados – o que acontece com a maior parte das avaliações nacionais –, a avaliação é considerada como desprovida de consequências significativas, e as conclusões serão usadas, em primeiro lugar, como ferramenta de planejamento e gestão (McDonnell, 2005). As informações obtidas são consideradas incentivo suficiente para políticos, formuladores de políticas, educadores, pais e o público agirem, e, embora o Estado talvez não assuma a responsabilidade pelo aproveitamento real dos alunos, aceita a responsabilidade pela realização de provisionamento adequado para a educação pública e pela redução de disparidades na qualidade de ensino oferecida a – e alcançada pelas – crianças de origens étnicas ou classes sociais diferentes (Reimers, 2003). Quando um estado assume tal posicionamento, é necessário realizar uma análise detalhada dos resultados dos testes, a fim de descrever os aproveitamentos dos alunos e identificar práticas das escolas e dos professores que reforcem esses aproveitamentos. Em seguida, as conclusões devem ser

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

29

amplamente divulgadas, devem ser fornecidos recursos e assistência técnica para ajudar as escolas a identificar os problemas que estejam enfrentando e deve ser prestado apoio contínuo ao processo de melhoria escolar. Esta série foi escrita principalmente para atender às necessidades dos indivíduos que realizam uma avaliação nacional baseada em amostra. Contudo, o conteúdo dos outros volumes, com exceção do módulo que aborda a amostragem e parte do módulo sobre análise estatística, também é relevante para a implementação de uma avaliação baseada no censo. Grande parte deste volume também é relevante, embora várias questões não sejam (por exemplo, identificar escolas que necessitem de assistência após a realização de uma avaliação baseada em amostra). Os pré-requisitos para a utilização eficaz das conclusões de uma avaliação nacional são relevantes tanto para avaliações baseadas em amostra quanto para avaliações baseadas no censo, e incluem os seguintes itens:

yEnvolvimento dos formuladores de políticas e responsáveis pela decisão no projeto da avaliação para lidar com as questões que identificaram como de interesse premente yComunicação dos resultados em um período razoável e de forma inteligível aos principais usuários yIncorporação das informações da avaliação em estruturas burocráticas existentes e tradução das informações em políticas, estratégias e instrumentos de política (por exemplo, mandatos, estratégias de construção de capacidade, incentivos e políticas para motivar a ação) yGarantia de que as conclusões da avaliação influenciarão a prática dos professores em sala de aula, com o objetivo de aprimorar o aprendizado yFornecimento de apoio contínuo para utilizar as conclusões, a fim de promover mudanças e desenvolver mecanismos que apoiem sua aplicação na reforma em nível de sala de aula. Ao longo deste volume, conforme são descritas muitas atividades que uma avaliação nacional abrange, faz-se referência a estudos baseados no censo e em estudos internacionais quando oferecem conhecimentos a serem usados ou quando descrevem práticas relevantes para uma avaliação baseada em amostra.

30 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

Os Capítulos 2 e 3 descrevem os tipos de relatórios necessários para informar aos usuários as conclusões de uma avaliação. O Capítulo 4 apresenta assuntos gerais que merecem ser considerados quando se traduzem as conclusões da avaliação em políticas e ações. Este capítulo é seguido por uma descrição de usos específicos dos dados da avaliação nacional para gestão educacional e de políticas (Capítulo 5), para o ensino (Capítulo 6) e para promover conscientização pública (Capítulo 7). O capítulo final (Capítulo 8) identifica as condições que tendem a otimizar o uso das conclusões de uma avaliação nacional. E também sugere várias maneiras como as atividades de avaliação nacional podem ser modificadas e intensificadas, visando o aumento de seu valor perante os usuários.

CAPÍTULO

2

RELATO DE UMA AVALIAÇÃO NACIONAL: O RELATÓRIO PRINCIPAL

E

ste capítulo apresenta os componentes do instrumento principal e essencial para comunicar as conclusões de uma avaliação nacional. Esses componentes devem incluir não apenas as conclusões da avaliação, mas também os procedimentos seguidos ao longo dela, para que os leitores possam avaliar sua adequação e relevância. O relatório compõe ainda a base de meios auxiliares para comunicar as conclusões (por exemplo, notas informativas, notas de imprensa, um relatório para escolas – consulte o Capítulo 3). O relatório principal de uma avaliação nacional deve conter uma descrição dos seguintes componentes: (a) contexto da avaliação, (b) objetivos da avaliação, (c) o modelo que orientou o projeto da avaliação, (d) os procedimentos que foram seguidos, (e) descrições do aproveitamento na avaliação nacional, (f) correlações de aproveitamento e (g) mudanças em termos de aproveitamento ao longo do tempo (se houver dados adequados de várias avaliações). A quantidade de detalhes apresentados no relatório principal vai depender da preparação ou não de um relatório técnico em separado. A maior parte dos leitores tem conhecimento técnico limitado e se interessa apenas pelo que o relatório significa para seu trabalho. Grande parte dos detalhes técnicos pode ser direcionada para os Apêndices do relatório principal.

32 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

No início, os participantes da equipe de avaliação nacional e principais interessados precisam chegar a um acordo sobre como projetar o relatório principal, coletar os dados e comunicar os resultados. Pode-se facilitar um consenso sobre a comunicação dos resultados se um responsável elaborar uma série de tabelas em branco e se os participantes discutirem as variáveis e os dados exatos a serem associados a cada tabela. A Tabela 2.1 é uma tabela em branco utilizada para ilustrar como dados nacionais dos níveis de alunos podem ser apresentados por área de currículo e gênero. A Tabela 2.2 sugere como os resultados em

TABELA 2.1

Pontuações-padrão (e Erros-padrão) de Meninos e Meninas em uma Avaliação Nacional de Idioma e Matemática Idioma Meninos

Matemática Meninas

Meninos

Meninas

Média Erro-padrão Fonte: Representação dos autores.

TABELA 2.2

Pontuações-padrão (e Erros-padrão) e Pontuações em Vários Percentis em uma Avaliação Nacional de Ciências, por Província

Província

Média

Erropadrão

Pontuação percentil 5o

25o

75o

95o

1 2 3 4 5 6 Nacional Fonte: Representação dos autores. Observação: Esses dados podem ser utilizados para a preparação de diagramas de caixa e de bigodes.

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

33

nível de província podem ser apresentados de modo a possibilitar que os formuladores de políticas comparem níveis de aproveitamento entre alunos de menor aproveitamento (aqueles no 5o percentil) e alunos de maior aproveitamento (aqueles no 95o percentil) em cada província. A Tabela 2.3 compara o nível de aproveitamento dos alunos em dois momentos distintos. A Tabela 2.4 foi elaborada para identificar as relações entre aproveitamento dos alunos e um número de variáveis de interesse para a política.

TABELA 2.3

Pontuações Médias de Aproveitamento (e Erros-padrão) em uma Avaliação Nacional Aplicada em Dois Momentos Primeira aplicação Média

Segunda aplicação

Erro-padrão

Média

Erro-padrão

Estatisticamente significativas?

Fonte: Representação dos autores. Observação: deve-se levar em consideração que ambas as médias se baseiam no cálculo da significância da diferença entre elas.

TABELA 2.4

Correlação entre Pontuações Médias de Aproveitamento em Leitura e Fatores Escolares em uma Avaliação Nacional da 5a Série Variáveis

r

Tamanho médio da turma, 5 série a

Número médio de livros didáticos por aluno, 5a série Percentual de alunos que podem ser acomodados durante as aulas de redação, 5a série Número de professores de sala de aula na escola Número de alunos matriculados na escola Número de anos de experiência como professor (professores da 5a série) Nível de qualificação profissional do professor (professores da 5a série) Número de recursos de sala de aula Fonte: Representação dos autores.

34 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

CONTEXTO DA AVALIAÇÃO NACIONAL

Ao descrever o contexto, afirma-se a importância de obter informações sobre o aprendizado dos alunos como base para a tomada de decisões gerenciais e a elaboração de políticas. Será relevante considerar as evidências de estudos anteriores sobre o aproveitamento dos alunos (caso estejam disponíveis).

OBJETIVOS DA AVALIAÇÃO NACIONAL

O objetivo principal deve ser mencionado: por exemplo, oferecer evidências sobre o aprendizado dos alunos no sistema educacional. Objetivos mais específicos também podem ser mencionados: por exemplo, estabelecer os padrões atuais de leitura de alunos da 4a série; para comparar os aproveitamentos dos alunos em escolas particulares e públicas; para monitorar tendências no aprendizado dos alunos ao longo do tempo; para descrever recursos da escola; para examinar fatores do ambiente escolar, doméstico e do aluno que possam estar relacionados com o aproveitamento em leitura; e fornecer uma base para avaliações futuras.

MODELO DE REFERÊNCIA PARA A AVALIAÇÃO NACIONAL

Um modelo de referência é um plano ou descrição geral que narra o que está sendo avaliado em termos de conhecimento, habilidades e outros atributos, e como essa avaliação está sendo realizada. O modelo de referência orienta o desenvolvimento da avaliação e torna-a transparente, primeiramente para aqueles que desenvolvem os instrumentos de avaliação, mas também para um público mais amplo que lerá o relatório da avaliação. O Capítulo 2 do Volume 2 desta série descreve como desenvolver um contexto de avaliação (Anderson e Morgan, 2008). O Estudo Internacional sobre o Progresso do Letramento em Leitura (PIRLS – Progress in International Reading Literacy Study) apresenta o exemplo de uma descrição do construto avaliado em seu estudo sobre o aproveitamento em leitura de alunos de 9 anos (Mullis et al., 2006; ver

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

35

também o Volume 1 desta série, Greaney e Kellaghan, 2008: Apêndice B2). A leitura é descrita em função de dois propósitos (ler como experiência literária e ler para adquirir e usar informações) e quatro processos (enfocar e armazenar informações mencionadas explicitamente, fazer inferências objetivas, interpretar e integrar ideias e informações, bem como examinar e avaliar conteúdo). Um contexto também descreve os instrumentos utilizados para avaliar o aproveitamento. É útil incluir exemplos dos tipos de itens utilizados na avaliação para oferecer aos leitores uma ideia da natureza das tarefas envolvidas. É claro que, entre esses itens, não devem estar aqueles planejados para ser usados em avaliações futuras.

PROCEDIMENTOS NA APLICAÇÃO DA AVALIAÇÃO NACIONAL

A maneira e o período em que os dados foram coletados devem ser descritos. A descrição compreende a identificação da população na qual a avaliação se baseou, a seleção de escolas ou alunos participantes e os dados sobre exclusões e não participação.

DESCRIÇÃO DO APROVEITAMENTO NA AVALIAÇÃO NACIONAL

Ao se decidir como apresentar as conclusões de uma avaliação nacional, é importante ter em mente que as informações fornecidas devem ser relevantes para as necessidades dos formuladores de políticas e responsáveis pela decisão e devem apoiá-los construtivamente na resolução de problemas de políticas. A escolha de um índice único de aproveitamento dos alunos (por exemplo, uma pontuação total em matemática) ou índices múltiplos (por exemplo, pontuações separadas para cálculo e resolução de problemas) pode ser relevante. Embora os formuladores de políticas geralmente prefiram estatísticas resumidas, a comunicação de um único índice de aproveitamento tem grande probabilidade de não mencionar informações importantes, limitando, assim, a base para ação posterior à avaliação (Kupermintz et al., 1995).

36 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

Cada vez mais, utiliza-se uma descrição de desempenho em função de níveis de proficiência para apresentar os resultados de uma avaliação nacional. O procedimento compreende a ancoragem da escala, que conta com dois componentes: (a) um componente estatístico que identifica itens que discriminam entre pontos sucessivos na escala de proficiência, usando características específicas (por exemplo, as proporções de respostas corretas aos itens em níveis de pontuação diferentes), e (b) um componente de consenso no qual os itens identificados são usados por especialistas em currículo para fornecer uma interpretação do que grupos de alunos nos pontos relacionados, ou próximos deles, sabem e podem fazer (Beaton e Allen, 1992). Os níveis podem ser rotulados (por exemplo, satisfatório/insatisfatório; mínimo/desejado; básico/proficiente/avançado) e é possível identificar a proporção de alunos com aproveitamento em cada nível. A Tabela 2.5 apresenta dados de uma avaliação nacional realizada na República de Maurício. A Tabela 2.6, que descreve níveis de aproveitamento em matemática na Avaliação Nacional do Progresso em Educação (NAEP) nos Estados Unidos, vai além do tipo de dados apresentados na Tabela 2.5 ao fornecer definições de desempenho no intervalo de níveis de proficiência. O percentual de alunos (em escolas públicas) em cada nível variou de 44% no nível básico para 30% no nível proficiente, chegando a 5% no nível avançado. Portanto, 79% dos alunos tiveram desempenho dentro do nível básico ou acima dele (Perie, Grigg, e Dion, 2005). A abordagem para estabelecimento dos níveis de proficiência é diferente no Estudo Internacional sobre o Progresso do Letramento em Leitura (PIRLS) de 2001. Os pontos de corte foram determinados primeiramente com a especificação do percentual de alunos em cada categoria de referência e, em seguida, com a análise das habilidades e estratégias de leitura associadas com cada nível (Figura 2.1). Os formuladores de políticas vietnamitas, trabalhando em conjunto com outras partes interessadas, como desenvolvedores de currículo, identificaram seis níveis de aproveitamento dos alunos em leitura para alunos da 5a série usando informações estatísticas e o julgamento de especialistas (Tabela 2.7). Os formuladores de políticas utilizaram os dados para realizar comparações em base de país, de província e outras bases.

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

37

TABELA 2.5

Percentuais de Alunos Pontuando nos Níveis Mínimos e Desejáveis de Conhecimento em Testes de Letramento em Linguagem, Letramento em Matemática e Habilidades de Vida: República de Maurício Percentual de alunos Matéria

Nível mínimo ou acima

Nível desejado ou acima

Letramento em Linguagem

77,6

35,4

Letramento em Matemática

70,3

26,4

Habilidades de Vida

71,6

32,4

Fonte: Câmara de Exames da República de Maurício, 2003. Reproduzido mediante autorização.

TABELA 2.6

Níveis de Aproveitamento em Matemática na NAEP, 4a série: Estados Unidos Nível

Aproveitamento esperado na 4a série

Básico

Os alunos exibem alguma evidência de compreensão de conceitos e procedimentos matemáticos nas cinco áreas de conteúdo do NAEP. Eles devem ser capazes de estimar e utilizar fatos básicos para realizar cálculos simples com números inteiros, exibir algum grau de compreensão de frações e decimais, e solucionar alguns problemas simples do mundo real em todas as áreas de conteúdo da NAEP. Eles devem ser capazes de utilizar, embora nem sempre corretamente, calculadoras de quatro funções, réguas e formas geométricas. Suas respostas por escrito serão geralmente mínimas e apresentadas sem informações suplementares.

Proficiente

Os alunos devem aplicar com consistência conhecimentos integrados de procedimentos e entendimento conceitual de resolução de problemas nas cinco áreas de conteúdo da NAEP. Devem ser capazes de usar números inteiros para estimar, calcular e determinar se os resultados são razoáveis. Devem ter um entendimento conceitual de frações e decimais; ser capazes de resolver problemas reais em todas as áreas de conteúdo da NAEP; e usar calculadoras de quatro funções, réguas e formas geométricas adequadamente. Eles devem empregar estratégias de resolução de problemas, identificar e utilizar informações adequadas. Suas soluções por escrito devem ser organizadas e apresentadas com informações suplementares e explicações de como chegaram a elas.

Avançado

Os alunos devem aplicar conhecimentos integrados de procedimentos e entendimento conceitual de resolução de problemas complexos e não rotineiros do mundo real nas cinco áreas de conteúdo da NAEP. Devem ser capazes de solucionar problemas complexos e não rotineiros do mundo real em todas as áreas de conteúdo da NAEP. Devem demonstrar domínio no uso de calculadoras de quatro funções, réguas e formas geométricas. Espera-se que tirem conclusões lógicas e justifiquem respostas e processos de resolução explicando por que e como as soluções foram alcançadas. Devem ir além do óbvio em suas interpretações e ser capazes de comunicar seus pensamentos com clareza e concisão.

Fonte: Centro Nacional de Estatísticas de Educação dos Estados Unidos, 2006a.

38 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

FIGURA 2.1

Habilidades e Estratégias de Leitura e Pontuações de Corte, por Pontos de Referência, para a Escala Combinada de Letramento em Leitura, 4a Série, PIRLS, 2001

Referência

Pontuações de corte

10% superior

615 e acima

Habilidades e estratégias de leitura • • • •

Quartil superior

570 e acima

Média

510 e acima

Quartil inferior

435 e acima

•

Demonstra capacidade de integrar ideias e informações. Apresenta interpretações sobre os sentimentos e comportamentos dos personagens, com o apoio de informações do texto. Integra ideias contidas no texto para explicar o significado ou tema mais amplo da história. Demonstra compreensão sobre materiais informativos, integrando informações contidas em vários tipos de materiais e aplicando-as com eficácia a situações reais.

•

Demonstra capacidade de fazer inferências e de reconhecer alguns elementos textuais em textos literários. Faz inferências para descrever e contrastar ações dos personagens.

• • •

Faz interpretações básicas. Localiza partes específicas do texto para recuperar informações. Faz observações sobre textos inteiros.

•

Recupera detalhes mencionados explicitamente em vários textos literários e informativos.

Fonte: Ogle e outros 2003: Figura 5.

Em muitas avaliações nacionais, particiona-se a variância no aproveitamento dos alunos em componentes entre escolas e dentro da escola. O processo compreende o cálculo do coeficiente de correlação intraclasse (rho), que é uma medida da homogeneidade do aproveitamento dos alunos nas escolas. Ele informa quanto da variação no aproveitamento encontra-se entre alunos nas escolas (dentro de clusters) e quanto se encontra entre as escolas (entre clusters). Um coeficiente intraclasse baixo significa que o desempenho das escolas está em um nível comparável, enquanto valores crescentes do coeficiente indicam variação crescente entre escolas no aproveitamento dos alunos (Postlethwaite, 1995). As conclusões de estudos internacionais (por exemplo, do PIRLS ou do Programa Internacional de Avaliação de Alunos, conhecido como PISA) indicam a existência de diferenças consideráveis entre sistemas educacionais no valor da correlação intraclasse. Além disso, sistemas em que o nível nacional de aproveitamento seja baixo tendem a exibir diferenças maiores entre escolas em seus níveis de aproveitamento.

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

39

TABELA 2.7

Níveis de Habilidade em Leitura na 5a Série em Avaliação Nacional: Vietnã Nível de habilidade

Aproveitamento

Percentual de alunos

Erropadrão

4,6

0,17

1

Aluno associa texto em nível de palavra ou sentença, auxiliado por figuras. Habilidade restrita a uma amplitude limitada de vocabulário relacionado com figuras.

2

Aluno localiza texto expresso em sentenças curtas e repetitivas e pode trabalhar com o texto sem o auxílio de figuras. O tipo de texto fica restrito a sentenças e frases com padrões repetitivos.

14,4

0,28

3

Aluno lê e compreende passagens mais longas. Aluno busca informações no texto usando anáfora e catáfora, e compreende paráfrase. Vocabulário em expansão possibilita a compreensão de sentenças com alguma complexidade estrutural.

23,1

0,34

4

Aluno relaciona informações de partes diferentes do texto. Aluno seleciona texto e estabelece relações para extrair e inferir significados possíveis distintos.

20,2

0,27

5

Aluno correlaciona inferências e identifica intenção do autor a partir de informações expostas de maneiras diversas, em tipos de textos distintos, e em documentos nos quais a mensagem não está explícita.

24,5

0,39

6

Aluno combina texto com conhecimento externo para inferir vários significados, inclusive significados ocultos. Aluno identifica objetivos, atitude, valores, crenças, motivações, suposições não declaradas e argumentos do autor.

13,1

0,41

Fonte: Banco Mundial 2004, Vol. II: Tabela 2.1.

CORRELATOS DO APROVEITAMENTO

Uma avaliação nacional geralmente coleta informações sobre fatores demográficos e outros fatores ambientais, de forma a possibilitar a realização de comparações entre os aproveitamentos de subgrupos na população. Essas informações, quando relacionadas em análises estatísticas com o aproveitamento dos alunos, podem responder a perguntas essenciais ao papel de uma avaliação nacional, como por exemplo:

40 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

yO sistema está deixando de atender a algum grupo específico? yExistem lacunas de desempenho entre os grupos, grandes o suficiente para exigir ação corretiva? yQuais fatores estão associados com o baixo aproveitamento? Dessa maneira, por relacionar produtos aos insumos fornecidos e processos utilizados, uma avaliação nacional mostra “o que é”. Entretanto, também pode mostrar “o que poderia ser”, revelando que alguns setores no sistema estão alcançando produtos mais desejáveis (alto aproveitamento) e tentando identificar os fatores associados com o sucesso relativo. Se os tamanhos da amostra em uma avaliação nacional forem grandes o suficiente, as evidências sobre aproveitamento podem ser fornecidas por gênero; região (por exemplo, província); localidade (urbana ou rural); pertencimento a grupos étnicos ou linguísticos; e tipo de instituição frequentada (pública ou particular). Estimulados parcialmente pela atual ênfase em equidade de gênero nos programas Education for All e Fast Track Initiative, as avaliações nacionais geralmente examinam as diferenças de aproveitamento entre meninos e meninas. A Figura 2.2 apresenta um FIGURA 2.2

Percentuais de Alunos dos Gêneros Masculino e Feminino que Obtiveram Domínio na Avaliação Nacional, 4a Série, por Área Curricular: Sri Lanka 100

percentual

80 60 40

39,2 33,7

36,8 39,0

20 8,0

11,1

0 primeira língua matemática inglês área de avaliação nacional masculino

feminino

Fonte: Centro Nacional de Avaliação e Pesquisas Educacionais do Sri Lanka, 2004: Figura 4.44. Reproduzido mediante permissão.

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

41

resumo dos resultados da avaliação nacional do Sri Lanka para os percentuais de alunos dos gêneros masculino e feminino que obtiveram domínio em seu idioma materno, matemática e inglês. Uma avaliação nacional no Kuwait também identificou diferenças de gênero nos aproveitamentos em leitura (Figura 2.3). Nesse caso, as diferenças de gênero foram associadas com a quantidade de tempo que o aluno assiste à televisão. Talvez não seja surpresa que longos períodos na frente da televisão estejam associados a pontuações menores de aproveitamento em leitura. A Tabela 2.8 apresenta informações sobre o aproveitamento em matemática obtido por grupos raciais na África do Sul, com base em dados coletados para o Estudo de Tendências Internacionais no Estudo de Matemática e Ciências (TIMSS – Trends in International Mathematics and Science Study). A Tabela 2.9 traz informações sobre diferenças regionais encontradas em uma avaliação nacional no Nepal.

FIGURA 2.3

Percentuais de Alunos que Assistem à Televisão por Quantidades Variáveis de Tempo, por Gênero e Pontuação Média em Leitura: Kuwait

354

40

284

359 303

372 306

388 365 325

311

percentual

29

250 25

22

20

20

200

20 21

17

150 100

8

10 0

350 300

33 30

400

5

5 horas ou mais

3-5 horas

1-3 horas

até 1 hora

não assistem

50

pontuação média em leitura

50

0

tempo gasto assistindo à televisão meninas (%)

meninos (%)

meninas (pontuação)

meninos (pontuação)

Fonte: Ministério da Educação do Kuwait 2008. Reproduzido mediante permissão.

42 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

TABELA 2.8

Pontuações Médias em Matemática, 8a Série, por Grupo Racial: África do Sul

Grupo racial Africano Asiático

Número de alunos

Pontuação média

Erropadrão

Mínimo

5.412

254

1,2

5

647

Máximo

76

269

13,8

7

589

1.172

339

2,9

34

608

Indiano

199

341

8,6

12

612

Branco

831

373

4,9

18

699

8.147

275

6,89

487

0,7

Negro

Total ou média gerala Média internacional

Fonte: Howie 2002. Reproduzido mediante permissão. a. Com base no conjunto de dados nacionais sul-africanos para o Terceiro Estudo Internacional de Matemática e Ciências.

TABELA 2.9

Pontuações Médias na Avaliação Nacional do Idioma Nepali, 5a Série, por Região: Nepal Região

Número

Pontuações médias

Desvio-padrão

Oriental

802

51,32

16,7

Central

932

50,91

19,5

Ocidental

1.018

52,89

13,2

Meio-Oeste

465

50,78

12,7

Ocidente distante

293

49,71

13,2

Fonte: Centro de Serviços de Educação e Desenvolvimento do Nepal, 1999. Reproduzido mediante permissão.

A avaliação nacional da Etiópia também fornece informações sobre a distribuição do aproveitamento por região (Figura 2.4). As conclusões da avaliação sugerem pelo menos duas opções de políticas. Elas indicam, por um lado, que o apoio pode ser direcionado às regiões com o maior contingente de alunos com pontuações baixas (Oromiya, Somali, Dire Dawa) em uma medida composta (baseada em pontuações nos testes de leitura, matemática, ciência ambiental e inglês). Por outro lado, a decisão de direcionar apoio poderia basear-se nas menores pontuações médias de desempenho (Tigray, Benishangul-Gumuz).

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

43

FIGURA 2.4

Diferenças Regionais no Aproveitamento, 4a Série: Índice Composto da Etiópia (%) 100

composto (%)

80

60

40

20

an m a gu s, l-G li N a u c e Po ion mu z vo ali s da do de Su s l Ad Har ar di i s Ab ab a D ire D aw a

iya

ra ro

So

m

ha

õe aç

N

Be

ni

sh

O

Af ar

Am

Ti

gr ay

0

região Fonte: Gebrekidan 2006. Reproduzido mediante permissão da Agência da Garantia de Qualidade e Exames da Etiópia. Observação: A média é representada pela linha escura grossa; o quadro vai do desvio-padrão (SD) −1 até +1 SD, e as linhas finais de −1,96 SD até +1,96 SD. As marcações fora das linhas finais representam discrepâncias ou valores extremos.

Muitas (porém não todas) avaliações nacionais coletam informações por meio de questionários sobre aspectos das experiências educacionais dos alunos e das circunstâncias de seus lares e comunidade, para terem pistas sobre fatores escolares e extraescolares que influenciam o progresso escolar dos alunos. Na avaliação nacional do Vietnã, por exemplo, um local exclusivo para estudo na residência do aluno foi associado ao aproveitamento mais alto, mesmo quando se levaram em conta avaliações mais globais de fatores contextuais domésticos. Escolas e alunos de alto e baixo desempenho também puderam ser diferenciados com base

44 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

na regularidade das refeições e número de dias de ausência da escola (Banco Mundial, 2004). É preciso cautela ao interpretar as conclusões das análises nas quais o aproveitamento dos alunos esteja relacionado com outras variáveis. A conclusão de que fatores relacionados com o aproveitamento dos alunos possam ser considerados fatores que influenciam ou “causam” aproveitamento não pode ser comprovada por várias razões, incluindo as seguintes:

yInterpretações causais de relações identificadas em dados transversais podem ser sustentadas apenas se forem respaldadas por outra evidência. yO número de escolas ou alunos em algumas categorias pode ser pequeno demais para permitir inferências confiáveis. yOs métodos de análise estatística podem ser inadequados. Análises que exploram relações entre duas variáveis (por exemplo, entre tamanho da turma e aproveitamento) e que deixam de levar em consideração as complexas interações nos dados (por exemplo, entre qualificações dos professores e localização da escola) podem levar a interpretações equivocadas. ySão necessárias análises complexas para dar conta da influência nos resultados educacionais de fatores de interação atuando nos níveis de aluno, escola e sala de aula. Por causa dessa situação, é necessário empregar técnicas estatísticas multinível e multivariadas. Essas técnicas isolam os efeitos de uma variável que são líquidos dos efeitos de outras variáveis por removerem ou fazerem ajustes sistemáticos para o efeito de clusters de variáveis, de forma a mostrar a existência ou não de diferenças significativas entre alunos e escolas após o ajuste. Por exemplo, a conclusão de que escolas particulares são superiores a escolas públicas, com base na conclusão de que os alunos que frequentam escolas particulares apresentam níveis mais altos de aproveitamento do que os de escolas públicas não pode ser respaldada quando as pontuações dos alunos são ajustadas para levar em conta o contexto socioeconômico. A apreciação das complexidades envolvidas na identificação de causas do aproveitamento será fortalecida se for percebido que, com fre-

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

45

quência, as variáveis dos fatores contextuais para os quais os dados são coletados em uma avaliação nacional talvez sejam apenas substitutos de fatores que afetam o aprendizado em um nível mais profundo e de forma mais difusa. Nesse caso, é preciso considerar outros dados de pesquisa e, portanto, as análises estatísticas sofisticadas talvez não sejam adequadas. Por exemplo, embora a análise possa revelar correlação positiva entre aprendizado do aluno e número de livros na residência do aluno (ver a Figura 2.5), não é possível concluir – mesmo quando outras variáveis são levadas em conta – que o número de livros tem relação causal com o aproveitamento do aluno. Embora o acesso a livros possa ser importante, o aprendizado tende a ser afetado não diretamente pela disponibilidade de livros, mas pelas características de um ambiente que os valorize, como naquele em que os pais expressem grande valor ao aproveitamento escolar, ofereçam orientação e apoio aos filhos, estimulem-nos a explorar e discutir ideias e eventos e estabeleçam altos padrões e expectativas para o aproveitamento escolar (ver Kellaghan et al., 1993).

FIGURA 2.5

Pontuações Médias de Leitura de Alunos Comparadas com o Número de Livros na Residência, 1a e 5a Séries: Irlanda 300

pontuação média

280 260 240 220 200

número de livros 1ª série

Fonte: Eivers et al., 2005a: Figura 4.2.

5ª série

50 1+

0 25

1– 50

50 10 1– 2

00 51 –1

11 –5 0

0 1– 1

ne nh um

180

46 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

MUDANÇA NO APROVEITAMENTO AO LONGO DO TEMPO

As avaliações nacionais fornecem evidências de mudança no aproveitamento dos alunos ao longo do tempo se os instrumentos de avaliação estiverem adequadamente relacionados. Quando essas informações estão disponíveis, as conclusões podem ser apresentadas como foi feito na Avaliação Nacional dos Estados Unidos (NAEP) para os anos de 1971 a 2004 (Figura 2.6). O gráfico das pontuações médias na escala de leitura indica que, para os alunos de 9 anos, a pontuação média em leitura foi maior em 2004 do que no ano anterior. Para alunos com 13 anos, a pontuação média em 2004 foi maior do que a pontuação média em 1971 e 1975, mas não foi diferente da pontuação média nos outros anos. A pontuação média em 2004 para alunos de 17 anos apontou uma queda em relação a 1992. O Volume 1 desta série (Greaney e Kellaghan, 2008: FIGURA 2.6

Tendências nas Pontuações Médias da Escala de Leitura para Alunos de 9, 13 e 17 anos, NAEP, 1971–2004: Estados Unidos 500

320 310

pontuação da escala

300 290

285

286

285

255*

256*

258

289*

290* 290* 290* 288 288

288

285

259

259

280 270 260

257

257 257 260

258 258

211*

212* 209* 211* 211* 212* 212*

250 240 230 220

208*

210*

215*

219

210 200

04 20

99 19

96

94

92

19

19

90

19

88

19

19

84 19

80 19

75 19

19

71

0

ano 17 anos

13 anos

9 anos

Fonte: Centro Nacional de Estatísticas Educacionais dos Estados Unidos 2005. Observação: *indica que uma pontuação difere significativamente da pontuação registrada em 2004.

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

47

134) relatou mudanças nas pontuações de letramento ao longo do tempo em vários países africanos. Se os instrumentos de avaliação permitem (isto é, se oferecem representação adequada dos subdomínios curriculares), as avaliações nacionais podem fornecer evidências de mudança não apenas em métricas brutas do aproveitamento dos alunos, mas também nos subdomínios de uma área de currículo. Por exemplo, os testes usados nas avaliações nacionais de 5a série na Irlanda permitiram que o desempenho dos alunos fosse estimado para várias áreas e habilidades de conteúdo em matemática. Os resultados das avaliações em cinco áreas de conteúdo, aplicadas em 1999 e 2004, são exibidos na Figura 2.7. As diferenças entre as faixas etárias são estatisticamente significativas apenas para “forma e espaço” e “análise de dados e probabilidade”. Em ambos os casos, registrou-se melhora entre 1999 e 2004. Os dados para a mesma avaliação nacional estão relatados para cinco áreas de habilidades matemáticas na Figura 2.8. Nesse caso, foi significativo apenas o aumento para “raciocínio” entre 1999 e 2004.

FIGURA 2.7

75 70 65 60 55 50 45

área de conteúdo 1999 Fonte: Surgenor et al.: Figura 3.1.

2004

ta l to

ed id an as á e lise pr ob de ab da ilid do ad s e

m

ál g

er nú m

fo r es mas pa e ço

eb ra

40

o

percentual de respostas corretas

Percentual Médio de Respostas Corretas em Matemática, por Áreas de Conteúdo, na Avaliação Nacional, 5a Série, 1999 e 2004: Irlanda

48 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

FIGURA 2.8

Percentual Médio de Respostas Corretas em Habilidades Matemáticas, na Avaliação Nacional, 5a Série, 1999 e 2004: Irlanda ão percentual de respostas corretas de e r pr eso ob lu le çã m o as in te gr co açã ne o xã e o

70 65 60 55 50 45

ap

lic

l ta to

co

em pl

m

en

ta çã o pr e re e co ns rd ão aç e ão

o ni cí io ra c im

aç

40

habilidade 1999

2004

Fonte: Surgenor et al., 2006: Figura 3.2.

Em muitos países, a necessidade de monitorar o progresso em relação ao alcance dos Objetivos de Desenvolvimento do Milênio de educação universal primária até 2015 reforça o interesse pela avaliação do aproveitamento ao longo do tempo. Os esforços para aprimorar a qualidade da educação, contudo, talvez tenham de prosseguir em face dos problemas gerados pelo aumento do número de matrículas e queda nos orçamentos. No Malawi, por exemplo, o desempenho deteriorou-se acentuadamente após uma campanha para fornecer escolaridade a todos sem dispor dos recursos necessários para lidar com a extinção das mensalidades e os números em crescimento (Altinok, 2008).

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

49

CONCLUSÃO

Um relatório principal de avaliação nacional deve descrever o estudo em um grau de detalhamento suficiente para servir como fonte primária de informações para a avaliação. Ao mesmo tempo, não deve sobrecarregar os leitores com excessiva quantidade de informações técnicas. Alguns relatórios pecam nesse sentido; outros erram na direção oposta, ao oferecerem informações inadequadas sobre aspectos técnicos do estudo, conteúdo dos testes de aproveitamento, métodos utilizados ou erro e viés nas estimativas. Outro erro consiste em fornecer dados apenas em formato tabular. Pelo fato de poucos usuários em potencial terem as habilidades necessárias para fazer inferências a partir de tabelas estatísticas, um método mais eficaz é o de ilustrar as conclusões principais em gráficos ou figuras. Além disso, um relatório que dependa excessivamente de apresentação em formato tabular pode deixar de focar a atenção nas conclusões de pesquisa que ajudem a explicar relações reveladas pela avaliação, como por que uma variável (como ambiente doméstico) é importante e o que se conhece sobre sua influência no aproveitamento dos alunos. Essas informações, contudo, são críticas quando se espera que os usuários apreciem o significado das conclusões e estejam em posição de julgar quais ações serão necessárias para sanar as deficiências eventualmente identificadas. As opiniões e práticas diferem quanto à inclusão de recomendações em um relatório de avaliação nacional. Alguns relatórios nacionais (e internacionais) contêm recomendações, enquanto outros não. Cabe às equipes de avaliação nacional esclarecer, no início do projeto, se o Ministério da Educação espera que o relatório contenha recomendações. Além disso, caso se esperem recomendações, as equipes de avaliação nacional devem determinar se devem ser incluídas apenas se surgirem diretamente do estudo sobre a avaliação nacional ou se conclusões mais amplas e relevantes de pesquisas podem ser levadas em consideração.

CAPÍTULO

3

RELATO DE UMA AVALIAÇÃO NACIONAL: OUTROS INSTRUMENTOS PARA COMUNICAR AS CONCLUSÕES

E

m muitos casos, o único relatório divulgado após uma avaliação nacional é do tipo descrito no Capítulo 2. Como os usuários em potencial de dados da avaliação são numerosos e os públicos diferentes apresentam requisitos diferentes, este capítulo descreve maneiras adicionais de comunicar conclusões que são preparadas exclusivamente para atender a várias necessidades. Entre esses métodos, temos a publicação de longos relatórios detalhados e de pequenas notas de imprensa, bem como a condução de reuniões individuais que resumem as principais conclusões de uma avaliação. Embora os desenvolvedores de currículo e autores de livros didáticos exijam informações detalhadas sobre o aprendizado (mais detalhadas talvez do que as apresentadas em um relatório principal), deve-se apresentar um resumo das conclusões ou pontos principais aos cidadãos, que talvez tenham conhecimentos estatísticos limitados. Pérez (2006) identificou os seguintes princípios gerais relativos à comunicação de conclusões de pesquisa que podem ser considerados aplicáveis às conclusões de avaliações nacionais:

52 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

yUsar linguagem simples, preferencialmente em produtos atrativos de mídia, como vídeos. yIdentificar com clareza os interessados e adaptar os eventos e produtos às suas necessidades. yConsiderar o recrutamento de líderes públicos e de confiança como defensores da causa. yDivulgar as informações para a mídia de massa. Os eventos devem ser amplamente anunciados. yUsar slogans e mensagens simples, que possam ser prontamente compreendidos. Por exemplo, uma frase como “uma criança de 8 anos deve ser capaz de ler uma história com 60 palavras em um minuto e responder a três perguntas sobre seu conteúdo” ilustra o que um padrão significa. yReforçar todos os materiais de disseminação por canais de mídia ou para grandes públicos (inclusive apresentações de PowerPoint) com informações técnicas de apoio. Os procedimentos e instrumentos que uma equipe de avaliação nacional pode utilizar para suplementar o relatório principal são descritos neste capítulo e incluem o seguinte: dar informações aos funcionários do Ministério e funcionários seniores encarregados das políticas; preparar notas informativas; publicar relatórios sumários, relatórios técnicos e relatórios temáticos; assegurar a cobertura da mídia; divulgar comunicados de imprensa; realizar coletivas de imprensa; realizar reuniões individuais; publicar relatórios em website; e disponibilizar dados da avaliação.

FOLHA DE ESPECIFICAÇÕES DO PRODUTO

O gestor de uma avaliação nacional constatará que é útil preparar uma folha de especificações do produto quando estiver planejando preparar relatórios. A folha inclui os seguintes elementos relativos ao produto:

yNome (por exemplo, relatório principal) yDescrição resumida

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

53

yUsuários a que se destina yPrioridade yDescrição detalhada yPrincipais atividades de produção, responsabilidades e cronograma yCustos de produção yData projetada para a divulgação (e local, se for adequado) yPreço yDependência de outros produtos ou insumos. Como o número potencial de produtos e serviços inevitavelmente superará os recursos técnicos e financeiros disponíveis para a equipe de avaliação nacional, os produtos devem ser priorizados de modo que aqueles com o maior potencial de promover uma reforma sejam viabilizados. Entretanto, cabe à equipe de avaliação nacional planejar e calcular o custo de todo o espectro de produtos e serviços, a fim de permitir uma ação rápida se recursos adicionais forem disponibilizados.

COMO INFORMAR A MINISTROS E FUNCIONÁRIOS SENIORES A FORMULAÇÃO DE POLÍTICAS

As equipes de avaliação nacional devem preparar comunicações (preferencialmente, em formato escrito) para o ministro e os agentes de nível sênior no Ministério da Educação. Eles desejam ter informações que apresentem as principais conclusões de uma avaliação de maneira concisa e as eventuais implicações dessas conclusões (Beaton e Johnson, 1992). Os ministros costumam receber inúmeros documentos para ler diariamente, e por isso uma nota informativa precisa ser objetiva e concisa. Ministros e seus altos funcionários raramente se interessam em ler os relatórios completos, porém precisam estar cientes das principais conclusões e ser alertados sobre questões que a mídia, o Congresso ou os interessados no sistema educacional (por exemplo, sindicato dos professores) possam levantar quando o relatório da avaliação for publicado. Eles precisam das informações, mesmo que as notícias sejam “ruins”.

54 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

Para alguns públicos, “boas” notícias nem sempre são bem-vindas, porque isso implica que recursos adicionais não são necessários. É preciso prestar atenção especial à maneira como resultados diferenciais para subpopulações são comunicados e interpretados. Se alguns grupos apresentarem desempenho ruim, a notícia pode ser politicamente constrangedora para os políticos, porque os resultados podem ser interpretados como evidência de negligência em relação a esse segmento da população. Isso pode até mesmo ser uma razão para não se conduzir uma avaliação nacional ou, caso seja realizada, que os resultados não sejam publicados. Muitos ministérios de governos têm formatos-padrão para os comunicados ministeriais. Esses formatos devem ser adotados, exceto se forem considerados inadequados para a tarefa. Notas de imprensa eficazes sobre uma avaliação nacional podem conter os seguintes elementos:

yPropósito para a condução da avaliação definido com concisão yUma ou duas sentenças que expliquem por que é importante que o ministro tome ciência dos resultados yBreve descrição do contexto para a avaliação (como quem participou dele e qual foi a população-alvo avaliada) yPrincipais resultados, principalmente aqueles que possam ter implicações políticas (como níveis de aproveitamento dos alunos, diferenças regionais e de gênero, alocação de recursos para as escolas) yPróximos passos possíveis que venham a apresentar opções, como discutir se o ministro deveria fazer uma declaração pública sobre parte dos resultados, recomendar que uma autoridade curricular ou instituições de treinamento de professores estudem os resultados ou ainda sugerir uma avaliação nacional subsequente em uma área de currículo diferente. yRecomendações para aconselhar o ministro sobre a resposta a ser dada quanto às opções listadas yInformações sobre anexos que estejam inclusos, como um comunicado de imprensa, um resumo da avaliação nacional ou o relatório completo yNome da pessoa da equipe da avaliação nacional a ser contatada caso o ministro deseje mais informações

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

55

PUBLICAÇÃO DE RELATÓRIOS SUMÁRIOS

O relatório sumário para leitores com formação não técnica geralmente é publicado com o relatório principal. O relatório sumário é bastante conciso, como acontece com os relatórios em nível estadual ou as sínteses fornecidas pela Avaliação Nacional do Progresso em Educação dos Estados Unidos (NAEP) em seu website. O Quadro 3.1 apresenta o QUADRO 3.1

Relatório Sumário do Estado de Illinois, Níveis de Aproveitamento dos Alunos da 4a série no NAEP de 2007, Estados Unidos Illinois 4ª Série Escolas públicas

Relatório Estadual Sucinto

A Avaliação Nacional do Progresso em Educação (NAEP) avalia a leitura em duas áreas de conteúdo na 4ª série: leitura para a experiência literária e para obter informações. A escala de leitura da NAEP varia de O a 500. Resultados gerais em leitura para o Illinois Percentual de níveis de aproveitamento na NAEP e pontuação média Illinois (público) • Em 2007, a pontuação média para os alunos da 4ª série no Illinois Pontuação média 216 2003 39 8 30 23 era 219. O número não diferia muito da pontuação média de 2005 7 216 2005 38 33 23 (216), tampouco da pontuação média em 2003 (216). 219 2007 35 33 8 24 • A pontuação média de Illinois (219) em 2007 não diferiu muito da Nação (público) pontuação de outras escolas públicas do país (220). 220 7 2007 34 34 24 • Dos 52 estados e outras jurisdições que participaram da avaliação Percentual abaixo do básico Percentual no Básico, Proficiente e Avançado. da 4ª série de 2007, a pontuação média dos alunos em Illinois foi superior à pontuação de outras 12 jurisdições, não diferiu muito da Abaixo do Básico Básico Proficiente Avançado pontuação em outras 14 jurisdições e ficou abaixo da pontuação em outras 25 jurisdições. OBSERVAÇÃO: Os níveis de aproveitamento em leitura da 4ª série na NAEP correspondem aos seguintes intervalos da escala: Abaixo do Básico, 207 ou abaixo; • O percentual de alunos do Illinois que tiveram desempenho igual ou Básico, 208-237; Proficiente, 238-267; Avançado, 268 ou acima. superior ao nível de proficiência da NAEP foi de 32% em 2007. Esse percentual não diferiu muito do registrado em 2005 (29%) e não diferiu significativamente do registrado em 2003 (31%). • O percentual de alunos no Illinois que tiveram desempenho igual ou acima do nível básico da NAEP foi de 65% em 2007. Esse percentual não foi muito diferente do registrado em 2005 (62%) e não diferiu muito do registrado em 2003 (61%). Desempenho dos grupos participantes da NAEP no Illinois: 2007 Percentual Pontuação Percentual Percentual de alunos no nível ou acima dele Grupos participantes de alunos média abaixo do básico Básico Proficiente 37 30 Homens 51 217 63 33 35 Mulheres 49 222 67 23 42 Brancos 55 230 77 56 14 44 Negros 20 201 50 20 205 50 18 Hispânicos 13 87 54 3 Asiáticos/ Habitantes de ilhas do Pacífico 240 ‡ ‡ ‡ ‡ Índio Americano/Nativo do Alasca # Com direito ao Programa Nacional de Almoço na Escola 44 204 ↑ 52 ↓ 48 ↑ 16 45 Sem direito ao Programa Nacional de Almoço na Escola 56 232 21 79 Diferenças Médias de Pontuação entre Grupos Selecionados

Pontuações de leitura em percentis selecionados

• Em 2007, os alunos do gênero masculino no Illinois tinham uma pontuação média 5 pontos inferior à das alunas do gênero feminino. Em 2003, a pontuação média dos alunos do gênero masculino foi 5 pontos inferior à das alunas do gênero feminino. • Em 2007, os alunos negros tinham pontuação média 29 pontos inferior à dos alunos brancos. Em 2003, a pontuação média dos alunos negros foi 34 pontos menor do que a dos alunos brancos • Em 2007, os alunos hispânicos tiveram pontuação média 24 pontos inferior à dos alunos brancos. Em 2003, a pontuação média dos alunos hispânicos foi 31 pontos inferior à dos alunos brancos. • Em 2007, os alunos que tinham direito a almoço gratuito ou a preços subsidiados, auxílio contra a pobreza, tiveram pontuação média 28 pontos inferior à dos alunos que não tinham direito ao almoço grátis/ subsidiado. Essa diferença de desempenho foi menor do que a registrada em 2003 (35 pontos). • Em 2007, a diferença de pontuação entre os alunos no 75º percentil e alunos do 25º percentil foi de 49 pontos. Em 2003, a diferença de pontuação entre alunos no 75º percentil e alunos no 25º percentil foi de 53 pontos.

Pontuação 500

Percentis

250 240

Percentual Avançado 7 9 12 2 3 16 ‡ 2 12

244

242

245

219

220

222

191*

193

195

’03

’05

’07

75º

230 220 210 200 190

50º

25º

0 OBSERVAÇÃO: As pontuações em percentis selecionados na escala de leitura da NAEP indica como foi o desempenho dos alunos nos níveis mais baixos, intermediários, e mais altos.

Fonte: Centro Nacional de Estatísticas de Educação dos EUA, 2007.

56 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

relatório sumário de desempenho de alunos da 4a série em Illinois, na avaliação de leitura realizada em 2007. Alguns relatórios sumários são mais extensos. Por exemplo, após uma avaliação nacional de geografia na 4a, 8a e 12a series, o Centro Nacional de Estatísticas de Educação elaborou um resumo dos resultados na série de fatos do NAEP (com aproximadamente seis páginas), intitulado “Geografia: O que os alunos sabem e o que eles conseguem fazer?”. O relatório descreveu o que o 25o, o 50o e o 90o percentis em cada série haviam aprendido (Vanneman, 1996). Outros relatórios são mais extensos e podem incluir uma breve descrição de todos os componentes do relatório principal. Estão disponíveis os relatórios principais e sumários para a avaliação nacional de leitura em inglês na Irlanda (Eivers et al., 2005a, 2005b). As duas publicações podem ser acessadas no website do Educational Research Centre (http://www.erc.ie). O relatório principal do NAEP nos Estados Unidos para história (4a, 8a e 12a séries) e um relatório sumário podem ser obtidos no endereço http://nces.ed.gov/nationsreportcard/ushistory/. Os professores de sala de aula, em geral, são a audiência primária para os relatórios sumários. Nesse caso, os relatórios sumários provavelmente incluem recomendações para a atividade docente que provêm do relatório (ver Capítulo 6). Por exemplo, foi publicado um guia para o aproveitamento em matemática de alunos irlandeses de 15 anos após a aplicação da prova do Programa Internacional de Avaliação de Alunos (PISA) na Irlanda, em 2003 (Shiel et al., 2007). O relatório contém exemplos de itens da prova, bem como informações sobre o desempenho dos alunos e sobre até que ponto os professores irlandeses ensinam matemática do tipo encontrado no PISA. O Quadro 3.2 contém três das várias recomendações para professores que constam do relatório. Os relatórios sumários podem contemplar outros grupos de interesse, como veremos a seguir:

yOs sindicatos de professores representam os interesses coletivos dos professores e podem ser agentes poderosos a favor – ou contra – a mudança. Eles têm interesses próprios no uso das informações para defender suas posições.

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

57

QUADRO 3.2

Sugestões para Aplicar a Abordagem PISA ao Ensino e Aprendizado de Matemática: Irlanda As recomendações a seguir foram extraídas de um guia preparado pelo Centro de Pesquisas Educacionais que foi publicado pelo Departamento de Educação e Ciências da Irlanda após a realização de uma avaliação nacional: Enfatizar uma abordagem mais interativa para o ensino de matemática, em que os alunos se envolvam na discussão de problemas, antes e depois de serem solucionados. A discussão deve voltar-se para a identificação das habilidades matemáticas necessárias à solução de um problema, e para expor o raciocínio dos alunos após o problema ser resolvido. Enfatizar a gama completa de competências (processos) cognitivos ao ensinar. A ênfase exagerada na reprodução de conteúdos nas salas de aula e exames implica que muitos alunos talvez não tenham a oportunidade de colocar em prática competências de nível mais alto, como Conexão e Reflexão. É provável que, ao aplicarem essas competências em todos os níveis de habilidade, os alunos tenham entendimento conceitual mais profundo e mais independência na resolução de problemas. Implementar um equilíbrio mais saudável entre questões descontextualizadas e questões inseridas em contextos reais. Muitas perguntas em livros didáticos e exames atuais estão descontextualizadas. Embora tais itens desempenhem papel importante no desenvolvimento de habilidades matemáticas básicas, também é importante oferecer aos alunos oportunidades de se engajarem com problemas do mundo real. Tal engajamento serve para tornar a matemática mais relevante e oferece oportunidade para o desenvolvimento de uma variedade maior de competências matemáticas. Fonte: Shiel et al., 2007: 48.

yLíderes comunitários, incluindo políticos locais, precisam de informações para determinar se o sistema educacional está produzindo o que a comunidade precisa para alcançar seus objetivos sociais, culturais e econômicos. yEmpregadores e líderes empresariais precisam de informações objetivas sobre o aproveitamento escolar como indicador da qualidade de preparação de empregados futuros.

58 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

yOs cidadãos podem usar as informações de uma avaliação nacional para julgar se o sistema educacional está cumprindo seus objetivos em relação a acesso, qualidade, eficiência e equidade, o que pode conduzir a pressões para melhorar o fornecimento de educação. yAgências doadoras buscam informações objetivas para avaliar a eficácia dos programas ou justificar a assistência ao setor educacional ou para uma região geográfica ou subgrupo específico da população.

PUBLICAÇÃO DE RELATÓRIOS TÉCNICOS

Os relatórios técnicos são elemento fundamental para uma avaliação nacional, porque fornecem informações detalhadas sobre a avaliação aos membros das comunidades de pesquisa e científicas, permitindo que eles a avaliem de maneira crítica. Os relatórios técnicos também atuam como um registro das atividades abrangidas pela avaliação, registro esse necessário para implementar ciclos futuros de uma avaliação. Algumas avaliações nacionais publicam apenas um relatório, que serve tanto como relatório técnico quanto relatório geral. Um bom exemplo é o relatório australiano sobre aproveitamento dos alunos nas tecnologias de informação e comunicação nos anos 6 a 10; ele contém detalhes técnicos sobre os níveis de proficiência e procedimentos amostrais (Ainley, Fraillon e Freeman, 2007). Outros relatórios contemplam aspectos mais técnicos da amostragem, análise de itens, técnicas e critérios de cálculo de pontuação, construção de escalas, análises estatísticas e controle de qualidade. Bons exemplos podem ser encontrados em The Trends in International Mathematics and Science Study 2003: Technical Report (Martin, Mullis e Chrostowski, 2004) e em Reading Literacy in the United States: Technical Report of the U.S. Component of the IEA Reading Literacy Study (Binkley e Rust, 1994). A Tabela 3.1 lista as atividades que devem ser abrangidas por um relatório técnico. É importante prestar atenção especial ao desenvolvimento do instrumento, à descrição da população ou à amostra que foi avaliada, à construção de escalas dos itens e à análise estatística.

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

59

PUBLICAÇÃO DE RELATÓRIOS TEMÁTICOS

Os relatórios temáticos aprofundam aspectos das conclusões de uma avaliação relacionados com um tema específico que não foi abordado em detalhes no relatório principal. Um relatório temático pode analisar padrões de erros nas respostas dos alunos para aspectos específicos do currículo ou para conjuntos de itens em um teste de aproveitamento. Essas análises podem ajudar a identificar onde um currículo precisa ser reformulado ou a instrução ser fortalecida. Por exemplo, uma análise dos padrões de erros nos itens de ciências do PISA, em 2006, foi conduzida para os alunos do Qatar (DataAngel Policy Research, 2007). Apesar de seu potencial para aprimorar a prática, pouquíssima análise desse tipo é conduzida. Um relatório temático pode concentrar-se em uma subpopulação de interesse para um público específico ou estar relacionado a uma política determinada (por exemplo, meninos e meninas, grupos raciais ou étnicos, alunos em contextos em desvantagem, alunos da área rural). A Figura 3.1 apresenta um exemplo que compara as pontuações de aproveitamento em leitura de alunos que foram classificados por raça ou etnia a partir de dados da avaliação nacional nos Estados Unidos. Exemplos de relatórios temáticos que incorporam métodos estatísticos avançados e apresentam resultados de forma acessível e com relevância para a formulação de políticas podem ser encontrados em estudos que utilizam dados do Consórcio da África Austral e Oriental para Monitoramento da Qualidade da Educação, ou SACMEQ, e do Programme d’Analyse des Systèmes Educatifs de la CONFEMEN (Conférence des Ministres de l’Education des Pays Ayant le Français en Partage), ou PASEC, na eficácia de custos dos insumos educacionais (Michaelowa e Wechtler, 2006) e diferenças de letramento entre populações urbanas e rurais (Zhang, 2006) e estudos usando dados do PISA sobre o “engajamento em leitura” de alunos de 15 anos (Kirsch et al., 2002).

Algumas atividades Descrever o contexto e os principais objetivos da avaliação nacional Definir a matéria que será avaliada. Listar aspectos da matéria que será avaliada (como vocabulário, compreensão, comportamento). Descrever as áreas de conteúdo e níveis cognitivos a serem avaliados para cada matéria e série. Incluir detalhes sobre os itens. Fornecer detalhes sobre a construção de testes-piloto, questionários e manual administrativo, incluindo revisões. No caso de amostra, indicar o tamanho e os critérios para exclusão de alunos, agrupamento e substituição das escolas.

Descrever a seleção de administradores e as medidas de controle de qualidade.

Seção

Propósito

Definição da matéria

Detalhes do que está sendo mensurado

Desenvolvimento do instrumento

População ou amostra avaliada

Operações

Relatório Técnico: Conteúdos Sugeridos

TABELA 3.1

Exemplos ou comentários

Descrever os procedimentos para assegurar a entrega, o armazenamento e a devolução com segurança de todos os instrumentos de avaliação.

Fazer um relatório sobre a população desejada, definida e excluída (por exemplo, idade ou série, pública e particular); taxas de participação, estratificação simples; tipo da amostra (por exemplo, cluster, número de estágios); método para determinar o tamanho da amostra; e método para calcular o erro.

Incluir um resumo da autoridade curricular e análises dos professores sobre a adequação dos itens da prova. Caso as provas ou questionários tenham sido traduzidos, descrever como a fidelidade da tradução foi comprovada.

Incluir um esquema ou tabela com especificações. Indicar o número de itens de múltipla escolha, itens de resposta fechada e itens de respostas por extenso.

Letramento em leitura é definido como “a capacidade de compreender e usar as formas da linguagem escrita exigidas pela sociedade e/ou valorizadas pelo indivíduo” (Campbell et al., 2001: 3).

Monitorar mudanças nos níveis de aproveitamento desde a realização da última avaliação nacional, comunicar diferenças regionais no Aproveitamento dos alunos, ou ambos.

Descrever procedimentos e medidas de controle de qualidade. Fazer um resumo da dificuldade dos itens e níveis de discriminação. Se for adotada a teoria de resposta ao item, explicar como é feito o cálculo das pontuações das escalas e dos níveis de proficiência. Apresentar resultados estatísticos resumidos, incluindo os erros-padrão. Comparar resultados com os da avaliação nacional anterior, se for possível. Analisar os dados sobre as questões sugeridas pela comissão de coordenação.

Apresentar um resumo das conclusões principais. Aconselhar quanto à limitação dos resultados.

Entrada e limpeza de dados

Análise de itens

Construção das escalas dos itens

Análise dos dados da avaliação

Conclusões

Fonte: Compilação dos autores.

Descrever os procedimentos de cálculo de pontuações e medidas de controle de qualidade.

Cálculo das pontuações

Apresentar recomendações justificáveis com base nos resultados se isso tiver sido solicitado no início.

Listar os procedimentos estatísticos exatos; identificar o software usado; descrever o método de cálculo dos erros-padrão, níveis de significância estatística, e maneiras de lidar com os dados que faltaram. Explicar como os índices (por exemplo, recursos da escola, interesse dos pais pela educação), caso tenham sido usados, foram calculados. Comparar as diferenças regionais no aproveitamento. Estabelecer a relação entre aproveitamento e características do aluno (idade, gênero, atitudes em relação à matéria); professor (qualificações do professor, recursos da escola); ou contexto do ambiente familiar (tamanho da família, escolaridade dos pais).

Descrever o papel dos especialistas em conteúdo para determinar o nível de proficiência.

Indicar se os itens se mostraram tecnicamente adequados em várias regiões e grupos linguísticos, se for o caso. Apresentar as razões para qualquer eliminação de itens.

Explicar como erros específicos nos registros dos alunos foram identificados e alterados.

Indicar percentual de tipos diferentes de itens de teste que foram submetidos a novo cálculo feito por agente independente.

62 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

FIGURA 3.1

Pontuações Médias na Escala de Leitura por Raça ou Etnia, NAEP, 4a Série, 2005: Estados Unidos

pontuação na escala

500 300 290 280 270 260 250 240 230 220 210 200 190 180

229* 204

229* 203

200*

gr o

hi

sp

ne

co br an

ân ic da ha o Ás bit a ia nt ou e Pa de cí ilha fic o

ín

di o na am tiv e o ric do an Al o o as u ca

0

grupo racial ou étnico

Fonte: Centro Nacional de Estatísticas de Educação dos EUA, 2006b: Figura 2.17. Observação: Os resultados se baseiam na amostra nacional da NAEP. Negro inclui afro-americanos. Hispânico inclui latinos, e Habitante de ilha da Ásia ou Pacífico inclui nativos do Havaí. As categorias de raça excluem a origem hispânica. * indica que a pontuação é significativamente diferente daquela dos alunos índios americanos e nativos do Alasca.

COMO ASSEGURAR A COBERTURA DA MÍDIA

É caro produzir relatórios em papel. Além disso, esse tipo de publicação pode não ser adequado para muitos indivíduos interessados nas conclusões de uma avaliação nacional. Em contraste, a mídia – impressa, no rádio, televisão ou em vídeo – oferece um meio acessível para disseminar as mensagens-chave de uma avaliação nacional a indivíduos que, de outra maneira, não teriam acesso a elas. Por um lado, a falta de obtenção de cobertura de mídia pode significar que uma avaliação passe despercebida. Por outro lado, quando a mídia critica uma avaliação – ou promove mensagens sensacionalistas ou incorretas –, o sistema de avaliação nacional pode ser ameaçado.

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

63

O rádio atinge um grande número de indivíduos e é especialmente adequado para indivíduos com pouca habilidade em letramento. A televisão também atinge grande contingente de pessoas e tem o papel importante de despertar o interesse do público. Entretanto, as apresentações no rádio e na televisão são geralmente superficiais e curtas demais para possibilitar um entendimento real das conclusões de um estudo de pesquisa ou de suas implicações. Uma experiência mais profunda do uso da televisão para informar o público sobre os resultados de uma avaliação foi realizada na América Latina. Após a divulgação dos resultados de uma avaliação internacional realizada pelo Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación (ver o Volume 1 desta série, Apêndice C – Greaney e Kellaghan, 2008), os detalhes foram publicados em um vídeo exibido em todo o continente (Ferrer e Arregui, 2003). O argumento favorável ao uso de vídeos e televisão para comunicar as conclusões de uma avaliação nacional ou internacional é reforçado pelo que foi observado no Peru, onde os vídeos se mostraram mais eficazes que as palestras ou apresentações em PowerPoint durante o diálogo com os interessados em política educacional (Pérez, 2006).

DIVULGAÇÃO DE COMUNICADOS DE IMPRENSA

Um comunicado de imprensa é uma declaração curta e por escrito divulgada para a mídia. O formato e o conteúdo variam, dependendo de quem os divulga. Um comunicado de imprensa emitido pelo Ministério da Educação tende a enfatizar os aspectos positivos das conclusões, enquanto outro escrito por uma instituição de pesquisa tende a adotar uma postura mais neutra. No início, a pessoa responsável por redigir o comunicado de imprensa deve esclarecer a qual público ele se destina. O público pode ser a sociedade em geral, funcionários do governo ou especialistas. Conhecer o público-alvo ajuda a determinar a quantidade de informações técnicas a ser incluída e o tom do comunicado à imprensa. A preparação de um comunicado de imprensa ajuda a reduzir, porém não elimina, a tendência de os jornalistas simplificarem em excesso

64 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

as conclusões da avaliação. Alguns jornalistas talvez procurem destacar uma conclusão que traga prejuízos políticos, em vez de apresentar um quadro mais neutro e equilibrado. Um comunicado de imprensa deve iniciar com a data da divulgação e o nome e endereço do órgão (Ministério da Educação, instituto de pesquisa ou outro órgão) responsável pela divulgação. Se for possível, o logotipo do órgão deve aparecer no cabeçalho, que, por sua vez, deve ser curto e interssante, e apresentado em negrito. Talvez ele seja a única chance de atrair a atenção do leitor. “Divulgado Relatório de Avaliação Nacional” é conciso, mas “Novo Relatório Enfatiza Sucessos no Setor Educacional” é conciso e também interessante. Em seguida, escreve-se uma frase inicial ou de destaque para despertar o interesse do leitor, seguida por uma ou duas frases que agregam informações à frase inicial. A seção principal de um comunicado de imprensa deve basear-se em fatos e conter respostas curtas às seguintes perguntas:

yQuem realizou a avaliação nacional? yPor que ela foi realizada? yQuando foi realizada? yComo foi realizada? yQuais foram as conclusões principais? yPor que elas são importantes? Os redatores de um comunicado de imprensa devem fazer o seguinte:

yTer uma ideia clara do que esperam que os leitores concluam sobre o comunicado de imprensa yAter-se aos fatos e não florear as conclusões yEvitar frases longas, termos técnicos e jargão de estatística yUsar verbos na voz ativa yRedigir o texto como gostariam que fosse publicado no jornal yLimitar o comunicado a uma página ou, no máximo, duas, com espaço duplo yVerificar se os fatos e a gramática do texto estão corretos e se não há erros de escrita

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

65

yIncluir um número de telefone para contato, além de endereço postal e eletrônico yUsar ### abaixo da última linha do texto para sinalizar o fim do comunicado de imprensa. Se houver diagramas, devem ser de fácil compreensão, ter um propósito claro e não tentar apresentar um excesso de detalhes ou ter notas de rodapé. Gráficos no formato de barras, em vez de linhas, são considerados mais eficazes (Hambleton e Slater, 1997). O Quadro 3.3 apresenta um trecho extraído de comunicado de imprensa de duas páginas da avaliação nacional de 2007, nos Estados Unidos. Outro exemplo de comunicado de imprensa pode ser consultado no Quadro 3.4.

QUADRO 3.3

Trecho de Comunicado de Imprensa, NAEP: Estados Unidos

COMUNICADO DE IMPRENSA Embargado, Aguardar até a divulgação na terça-feira, 25 de setembro, 10:00. EDT CONTATO: Matt Maurer, (202) 955-9450 ramal 322, [email protected] Alunos Norte-Americanos Exibem Progresso em Matemática e Leitura, de acordo com o Nation’s Report Card™ de 2007. Alunos dos Grupos Minoritários Exibem Alguns dos Maiores Ganhos WASHINGTON (25 de setembro de 2007) – No quadro geral, o aproveitamento dos alunos em matemática e leitura nos Estados Unidos está melhorando, de acordo com os resultados apurados pelo Nation’s Report Card™ de 2007. Parte desse aumento foi registrada entre os alunos pertencentes aos grupos minoritários do país. (continua)

66 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

QUADRO 3.3

Dois relatórios que foram divulgados hoje, The Nation’s Report Card™: Mathematics 2007 e The Nation’s Report Card™: Reading 2007, mostram detalhes sobre o aproveitamento dos alunos das 4a e 8a series na Avaliação Nacional do Progresso em Educação (NAEP), aplicada pelo Departamento de Educação dos Estados Unidos há alguns meses, neste ano. Os relatórios comparam dados nacionais e estaduais em 2007 com cada ano anterior, quando os testes foram aplicados, iniciando, em 1990, para matemática e, em 1992, para leitura. De acordo com as médias nacionais, as pontuações de matemática para os alunos da 4a e 8a séries apresentam tendência ascendente desde 1990. Além disso, a proporção de alunos com desempenho dentro ou acima dos níveis de aproveitamento Básico e Proficiente aumentou consideravelmente nos últimos 17 anos. Os ganhos registrados desde 2003 são estatisticamente significativos, embora não sejam tão marcantes quanto aqueles obtidos em períodos anteriores. Ao mesmo tempo, a pontuação média em leitura para os alunos da 4a série foi a maior registrada em 15 anos e vem aumentando desde 2003, embora os ganhos gerais desde 1992 tenham sido mais modestos do que os observados em matemática. A pontuação média em leitura na 8a série vem aumentando discretamente desde 2005, mas permanece abaixo do nível de aproveitamento exibido em 2002 e é praticamente semelhante à média registrada em 1998. …

Exemplares do The Nation’s Report Card™: Mathematics 2007 e The Nation’s Report Card™: Reading 2007, além de mais informações sobre as avaliações da NAEP de 2007 de matemática e leitura, estarão disponíveis na internet, no endereço http:// nationsreportcard.gov às 10:00 EDT em 25 de setembro.

### O Nation’s Report Card é a única avaliação continuada e com representatividade nacional sobre a situação educacional nos Estados Unidos e cumpre a função de métrica nacional do aproveitamento dos alunos desde 1969. Por meio da Avaliação Nacional do Progresso em Educação(NAEP), o Nation’s Report Card informa ao público o que os alunos dos Estados Unidos sabem e são capazes de fazer em várias áreas de estudo, e compara os dados do aproveitamento entre estados e vários grupos demográficos de alunos. Fonte: http://www.nationsreportcard.gov/math_2007/media/pdf/newsrelease.pdf.

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

QUADRO 3.4

Exemplo de Comunicado de Imprensa: Estados Unidos Este modelo de Comunicado de imprensa foi publicado pelo Conselho Estadual de Educação do Michigan em “Pencils Down: A Guide for Using and Reporting Test Results”: PARA DISTRIBUIÇÃO IMEDIATA: DATA: CONTATO: Relações Públicas Mary Green 555-1313 Escolas de Mathville Citam o Ensino Tardio como Eventual Causa para o Pequeno Ganho nas Pontuações de Testes Os alunos da 4a, 7a e 10a séries de Mathville apresentaram apenas melhoria discreta em algumas áreas testadas na prova do Programa de Avaliação Educacional do Michigan (MEAP – Michigan Educational Assessment Program), realizado no final de setembro. No relatório enviado ao Conselho de Educação de Mathville, o superintendente Phred Smart afirmou que, “embora estejamos satisfeitos em constatar melhorias, é preciso trabalhar muito ainda, principalmente em matemática”. Embora os alunos de Mathville tenham obtido resultados acima da média estadual em algumas áreas, Smart afirmou: “Estamos revisando nosso programa de matemática levando em conta que muitos dos conceitos avaliados não são ensinados aos alunos antes do dia da prova.” ___% dos alunos da 4a série em Mathville, ___% dos alunos da 7a série e ___% dos alunos da 10a série alcançaram três quartos dos objetivos em cada nível. Smart afirmou que a disciplina de matemática da 7a série será estudada por um comitê distrital de matemática. O comitê de matemática é composto por professores da 1a à 9a séries, pelo consultor distrital de matemática da escola e pelo diretor da escola. ___% dos alunos da 4a série de Mathville alcançaram três quartos dos objetivos de leitura, comparados com ___% daqueles em nível estadual. Os alunos da 7a série pontuaram acima da média estadual em ___ dos 25 objetivos de leitura testados e ___% dos alunos alcançaram pelo menos três quartos dos objetivos quando comparados com ___ dos alunos em base estadual. ___% dos alunos da 10a série alcançaram três quartos dos objetivos de leitura, comparados com ___% dos alunos em base estadual. O MEAP é aplicado a todos os alunos de 4a, 7a e 10a séries nas escolas públicas do Michigan, no outono. Pelas leis do estado de Michigan, essa prova é obrigatória desde 1969. A prova é utilizada pelos professores para formular programas que atendam às necessidades especiais de aprendizado dos alunos. O MEAP ajudou a determinar se os alunos aprenderam habilidades específicas em leitura e matemática. As perguntas do teste são extraídas de um banco de questões que refletem as habilidades básicas tidas como essenciais pelos educadores do estado de Michigan. Os exemplares dos resultados da avaliação distrital estão à disposição do público nos escritórios administrativos do distrito, 242 13th Street. Fonte: Gucwa e Mastie, 1989. Reproduzido mediante permissão do Conselho de Educação do Estado do Michigan.

67

68 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

REALIZAÇÃO DE ENTREVISTAS COLETIVAS

Caso o objetivo seja alcançar uma ampla variedade de canais de mídia, geralmente é necessário realizar uma coletiva de imprensa com a mídia impressa, emissoras de rádio e de televisão. As conclusões devem ser apresentadas pelos principais integrantes da comissão nacional de coordenação (se possível) e o coordenador nacional da pesquisa. As apresentações devem durar aproximadamente 20 minutos, e outros 10 minutos devem ser destinados a perguntas. A experiência mostra que é difícil evitar que os palestrantes desviem-se das mensagens combinadas e, por isso, recomenda-se que pratiquem a apresentação com antecedência, bem como suas respostas para as possíveis perguntas. Os participantes devem receber uma cópia do comunicado de imprensa, um relatório sumário dos resultados da avaliação nacional, notas biográficas sucintas sobre os palestrantes e uma nota explicativa sobre a agência que realizou a avaliação (caso ela não tenha sido realizada pelo Ministério da Educação). Entrevistas coletivas para promover a divulgação dos resultados da avaliação nacional podem apresentar riscos. Alguns jornalistas e grupos de interesse talvez tenham interesse em fazer sensacionalismo com os resultados e interpretar equivocadamente as mensagens principais. As perguntas feitas pela mídia costumam destacar os resultados negativos. A mídia popular em muitos países tendem a oferecer explicações simplistas para questões complexas (como as razões para queda ou aumento nos índices de aproveitamento escolar). É importante que as coletivas de imprensa sejam usadas para corrigir conclusões sem fundamentos, como atribuir a culpa por resultados ruins a um único motivo ou grupo (por exemplo, professores, Ministério da Educação, ou livros didáticos).

REALIZAÇÃO DE REUNIÕES INDIVIDUAIS

Em geral, a divulgação da mensagem central de uma avaliação nacional é realizada com maior eficácia em reuniões individuais com os interessa-

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

69

dos, e não em entrevistas coletivas. Eventos individuais de mídia podem auxiliar o porta-voz da avaliação nacional a estabelecer uma relação com um jornalista ou com um repórter de rádio ou televisão. Esses eventos também proporcionam tempo para esclarecer possíveis equívocos de interpretação.

PUBLICAÇÃO DE RELATÓRIOS EM WEBSITES

No futuro, o acesso crescente à internet ajudará a assegurar que mais pessoas tenham acesso aos resultados da avaliação nacional. O Chile publica resultados detalhados da avaliação em seu website de avaliação nacional (http://www.simce.cl). O Departamento de Educação e Ciências da Irlanda apresenta os resumos das conclusões das avaliações nacionais em seu website oficial (http://www. education.ie/servlet/blobservlet/des_cos_preface.htm). A página de abertura do site que trata de aproveitamento em matemática lista apenas os títulos dos capítulos do relatório, que podem ser obtidos com um clique (Quadro 3.5). O website do NAEP norte-americano vai além e possibilita que os educadores e cidadãos interessados busquem respostas a perguntas específicas fazendo sua própria análise comparativa dos dados (Quadro 3.6). Os indivíduos que se conectam ao website (http://nces.ed.gov/nationsreportcard), mesmo que tenham pouco ou nenhum conhecimento estatístico, podem obter respostas a questões relacionadas com o desempenho em seu próprio estado, tais como:

yOs padrões aumentaram ou diminuíram desde o último NAEP? yExistem diferenças de gênero no aproveitamento em leitura? yComo os estudantes de grupos minoritários se comparam com a média geral do estado em leitura? yComo as pontuações do estado se comparam com as de estados vizinhos ou com a média nacional em ciências?

70 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

QUADRO 3.5

Website, Aproveitamento em Matemática em Escolas Primárias: Irlanda O site do Departamento de Educação da Irlanda lista os conteúdos do relatório da avaliação nacional para aproveitamento em matemática. Os usuários clicam nos títulos a seguir para consultar o relatório: Prefácio Capítulo 1 – Contexto da Avaliação Capítulo 2 – Instrumentos e Procedimentos de Avaliação Capítulo 3 – Aproveitamento em Matemática dos Alunos na 4a Série Capítulo 4 – Características dos Alunos e Aproveitamento em Matemática Capítulo 5 – Ambiente Familiar e Aproveitamento em Matemática Capítulo 6 – Ambiente de Sala de Aula e Aproveitamento em Matemática Capítulo 7 – Características da Escola e Aproveitamento em Matemática Capítulo 8 – Apoio ao Aprendizado de Matemática Capítulo 9 – Opiniões dos Inspetores sobre o Ensino e Aprendizado de Matemática Capítulo 10 – Recomendações Apêndices Glossário Fonte: http://www.education.ie/servlet/blobservlet/des_cos_preface.htm.

DISPONIBILIZAÇÃO DOS DADOS DA AVALIAÇÃO

Embora os dados da avaliação em si sejam um ativo negligenciado, um grande grupo de agências ou indivíduos pode ter interesse em realizar análises secundárias dos dados. Entre eles, estão funcionários graduados de ministérios que não sejam os do Ministério da Educação (por exemplo, saúde, infraestrutura ou finanças); pesquisadores; professores de instituições educacionais; e agências doadoras em busca de justificativa objetiva para apoiar projetos nacionais ou direcionados. Alguns obstáculos à utilização das informações por indivíduos ou agências que não sejam a equipe de avaliação nacional, embora amplamente técnicos, abrangem questões de privacidade e confidencialidade. O método tradicional de satisfazer as necessidades de usuários secundários tem sido produzir e publicar enormes volumes de tabelas estatísticas. Essas publicações, contudo, são difíceis de usar, e as tabelas nelas

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

71

QUADRO 3.6

Mapa do Site, Website da NAEP: Estados Unidos

Faça uma busca no NEAP AMOSTRA DE PERGUNTAS

ANÁLISE DE DADOS

PERFIL DOS ESTADOS

PUBLICAÇÕES

BOLETIM DE APROVEITAMENTO DO PAÍS Avaliação Nacional do Progresso em Educação (início)

Mapa do site Sobre o NAEP

Matérias do NAEP

Visão geral FAQs Atividades do NAEP Informações para escolas selecionadas Informações para os pais Inclusão de alunos com deficiência e aprendizes do idioma NAEP nacional NAEP estadual NAEP distrital (TUDA) Tendências de longo prazo no NAEP Estudo de notas do ensino médio Estudo nacional de educação indígena Estudos especiais Parceiros do NAEP Conselho Nacional de Avaliação

Artes Educação Cívica Economia Língua estrangeira Geografia Matemática Leitura Ciências História dos Estados Unidos Redação História Mundial

Ferramentas especiais Ferramentas de Pesquisa do NAEP Data Explorer do NAEP Comparações entre estados Perfis dos estados Outros recursos Contato Publicações Glossário de termos Cronograma de avaliação Serviço newsflash No Child Left Behind Documentação técnica Centro de pesquisas online Questionários de informações sobre antecedentes Livretos com amostras de perguntas StatChat (arquivo)

Fonte: Centro Nacional de Estatísticas de Educação dos EUA, 2008.

contidas geralmente não atendem às necessidades específicas do usuário. Produtos comerciais como o iVision permitem que grandes volumes de tabelas pré-planejadas sejam acessados com rapidez. Muitos organizadores de avaliações nacionais escolhem produzir para os usuários um arquivo em microfilme e documentação técnica suplementar que foram monitorados para proteger a confidencialidade de alunos, professores e escolas. Caso os usuários requisitem acesso aos dados dos alunos, as equipes nacionais podem configurar um serviço remoto ao qual os usuários externos enviam um código de análise que roda

72 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

na base de dados confidencial. Na sequência, os resultados estão sujeitos à confidencialidade. Embora seja trabalhoso, esse método permite que as equipes de avaliação nacional protejam a confidencialidade – uma consideração importante, já que a participação depende da garantia de que os resultados de escolas, professores ou alunos individuais não serão divulgados publicamente. As equipes nacionais de estudos precisam convencer os políticos e autoridades do ministério de que disponibilizar os dados da avaliação nacional trará benefícios no longo prazo, mesmo que cause algum tipo de desconforto de curto prazo ao colocar dados nas mãos de possíveis críticos.

OUTROS INSTRUMENTOS DE DIVULGAÇÃO

Entre os instrumentos adotados para disseminar as conclusões de uma avaliação nacional, estão conferências, workshops, seminários, newsletters e encartes dedicados a grupos específicos de interessados (por exemplo, autoridades do ministério ou professores). Conferências, workshops e seminários oferecem mecanismos para comunicar a disponibilização dos resultados da avaliação aos principais interessados de várias formas. Eles geram a oportunidade de obter consenso sobre o significado das conclusões principais e sobre os passos que precisam ser tomados para sanar problemas eventualmente identificados. Esses métodos são bastante apropriados para informar os seguintes grupos:

yOs desenvolvedores de currículo, que podem encontrar informações em uma avaliação nacional que identifique pontos fracos no aproveitamento dos alunos com implicações para a revisão curricular yOs escritores de livros didáticos, como é o caso dos desenvolvedores de currículo, talvez precisem revisar os livros didáticos e materiais de apoio (por exemplo, manuais do professor) em face de evidências sobre o aproveitamento dos alunos reveladas na avaliação nacional.

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

73

yOs treinadores de professores (em cursos de qualificação e cursos durante o trabalho), que podem usar as conclusões da avaliação nacional para identificar pontos fracos na preparação de professores ou nas práticas pedagógicas dos professores.

CONCLUSÃO

Vários países adotam uma variedade de abordagens para disseminar as conclusões de uma avaliação nacional. Na Colômbia, por exemplo, os resultados foram divulgados através da mídia de massa e foi organizado um programa de workshops locais e nacionais para discutir os resultados e suas implicações. Em um seminário nacional, foram discutidas estratégias para aprimorar a qualidade educacional e os administradores locais e professores receberam informações sobre os resultados nacionais e regionais, publicadas em newsletters e encartes. Na Irlanda, a ampla cobertura de uma avaliação foi realizada por meio de um relatório geral, um relatório sumário (direcionado primordialmente aos professores) e um comunicado de imprensa. Os resultados também foram divulgados no rádio, na televisão e nos jornais, e o Ministério da Educação e o órgão responsável pela implementação da avaliação nacional organizaram, em conjunto, um seminário nacional (Centro de Pesquisas Educacionais) do qual participaram administradores, professores e acadêmicos. Muitas autoridades da avaliação nacional não comunicam adequadamente as conclusões da avaliação à variedade de indivíduos e entidades que têm interesse em saber mais sobre o aprendizado dos alunos nas escolas. Essa deficiência impõe sérias limitações à utilização das conclusões. Há várias razões que explicam essa situação, como a falta de interesse por parte dos funcionários seniores do ministério, a falta de desenvolvimento de uma infraestrutura que envolva as atividades de avaliação nacional, a falta de valorização do papel que uma variedade de interessados pode desempenhar em resposta às conclusões de uma avaliação nacional e a falta de recursos para produzir relatórios e explorar canais de informação direcionados para as necessidades dos usuários em potencial.

74 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

À medida que os sistemas de avaliação nacional amadurecem, serão feitas várias exigências sobre os recursos limitados disponíveis para uma avaliação. Essas exigências estarão relacionadas com a frequência da avaliação, a melhoria da qualidade técnica das avaliações, o aperfeiçoamento das habilidades dos encarregados pela realização das avaliações e o aprimoramento da capacidade dos formuladores de políticas e gestores educacionais de absorver e usar as informações obtidas em uma avaliação. Numa situação desse tipo, é preciso fazer escolhas difíceis sobre a alocação ótima de recursos. Ao se fazerem essas escolhas, recomenda-se não negligenciar a importância dos procedimentos para otimizar o uso mediante a comunicação das conclusões de maneira adequada para os interessados.

CAPÍTULO

4

COMO CONVERTER AS CONCLUSÕES DA AVALIAÇÃO EM POLÍTICAS E AÇÃO

E

mbora o principal objetivo de um sistema de avaliação nacional seja descrever o aprendizado dos alunos, seu papel não fica restrito à formulação de tal descrição. A fim de justificar o esforço e as despesas envolvidos, as informações fornecidas por uma avaliação sobre o aproveitamento dos alunos, seus pontos fortes e fracos e como eles estão distribuídos na população (por exemplo, por gênero ou localização) são úteis para a formulação de políticas e a tomada de decisões (relacionadas, por exemplo, com a distribuição de recursos). Uma avaliação nacional também é concebida para fornecer informações aos desenvolvedores de currículo, escritores de livros didáticos, treinadores de professores e o público em geral. Sob tal ponto de vista, uma avaliação deve fornecer mais do que informações; após a comunicação de seus resultados, ela deve tornar-se uma alavanca para a promoção de reformas. Este capítulo apresenta cinco temas relevantes ao se considerar como as informações fornecidas pela avaliação podem ser convertidas em política e ação: (a) capacidade institucional de absorver as informações e utilizá-las, (b) confiabilidade e relevância das informações fornecidas pela avaliação, (c) procedimentos para identificar políticas ou ações apropriadas após uma avaliação, (d) determinação de uma intervenção que

76 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

abranja todo o sistema, ou seja direcionada a um ponto específico e (e) complexidade da formação de políticas e tomada de decisões. O enfoque recai primordialmente em arranjos institucionais no sistema educacional. Capítulos posteriores abordam usos mais específicos da avaliação nacional para a gestão educacional e de políticas (Capítulo 5) e para o ensino (Capítulo 6).

CAPACIDADE INSTITUCIONAL PARA ABSORVER E UTILIZAR AS INFORMAÇÕES

Várias condições relacionadas com a capacidade institucional devem ser atendidas caso se pretenda que as conclusões de uma avaliação nacional sejam utilizadas da modo mais eficaz (Kellaghan e Greaney, 2004; Postlethwaite, 1987; Vegas e Petrow, 2008). Em primeiro lugar, é de especial importância que os formuladores de políticas tenham vontade política, estejam abertos para receber novas informações e dispostos a considerar mudanças ou reformas. Segundo, os formuladores de políticas e responsáveis pela decisão no Ministério da Educação devem ter a capacidade (conhecimento e habilidades) para interpretar e usar as informações fornecidas por uma avaliação nacional. É necessário um investimento considerável para desenvolver tal capacidade, principalmente em países em que a prática da avaliação nacional é nova. Terceiro, uma avaliação nacional não deve ser vista como uma atividade isolada. Ao contrário, deve ser integrada a estruturas, processos de formulação de políticas e tomada de decisões, além de canais de distribuição de recursos já existentes. Quarto, cabe à equipe de avaliação nacional assegurar que os sistemas e as estratégias estejam organizados para comunicar as conclusões a instituições e agentes com o papel de implementar políticas (por exemplo, estruturas de administração local, supervisores, inspetores e orientadores; autoridades de desenvolvimento curricular; escolas e professores). Quinto, após as capacidades terem sido desenvolvidas, deve-se assegurar que os funcionários continuem a organizar e realizar avaliações, bem como interpretar conclusões. A rotatividade de funcionários e especia-

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

77

listas técnicos – comum em muitos países em desenvolvimento – terá impacto negativo na capacidade. Para concluir, é necessário contar com o apoio e o comprometimento de todos os interessados. Logo, o propósito, as conclusões e as implicações da avaliação nacional devem ser comunicados com clareza e deve-se tentar solucionar as preocupações dos interessados que, eventualmente, se sintam ameaçados pelas políticas ou decisões.

CONFIABILIDADE E RELEVÂNCIA DAS INFORMAÇÕES FORNECIDAS POR UMA AVALIAÇÃO

Antes de considerar quais decisões podem basear-se nas conclusões de uma avaliação nacional, os responsáveis devem assegurar-se de que as informações fornecidas sejam confiáveis e realistas. Essa conclusão será verificada (a) se a equipe da avaliação nacional for tecnicamente competente, (b) se o conhecimento e as habilidades dos alunos estão adequadamente representados no instrumento de avaliação, (c) se os procedimentos adequados foram seguidos na coleta e análise de dados e (d) se o aprendizado dos alunos foi descrito com detalhamento suficiente e levando em conta as necessidades e o conhecimento técnico dos usuários (Capítulo 1; ver também Postlethwaite, 2004a: Capítulo 5). Os formuladores de políticas e gestores necessitam de informações que vão ao encontro das questões relevantes para eles e que funcionem como plataforma para formação, planejamento e tomada de decisão sobre políticas. Há vários exemplos de avaliações nacionais que não atenderam a esse requisito. Por exemplo, se o teste utilizado em uma avaliação é excessivamente difícil e não faz distinções nos níveis mais baixos de aproveitamento, a avaliação não fornecerá as informações necessárias para um funcionário sênior do Ministério tomar decisões relacionadas com a distribuição de recursos para alunos com baixo aproveitamento. Resultados de avaliação que apresentem apenas pontuações médias ou uma classificação das regiões geográficas com base nessas pontuações, sem realizar uma análise do aproveitamento que as pontuações representam, não fornecerão informações em detalhes suficientes para os de-

78 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

senvolvedores de currículo e treinadores de professores. Para concluir, relatórios de avaliação que levam de três a quatro anos para ser completados têm poucas chances de atrair grande interesse dos formuladores de políticas, porque as conclusões podem não ser mais relevantes para os problemas ou funcionários que solicitaram a avaliação.

PROCEDIMENTOS PARA IDENTIFICAR POLÍTICAS OU AÇÕES ADEQUADAS APÓS UMA AVALIAÇÃO

Em alguns casos, as conclusões de uma avaliação nacional apontarão diretamente para as ações necessárias, a fim de solucionar um problema que tenha sido identificado. Com frequência, porém, a ação necessária não será óbvia. A avaliação identifica problemas, mas as informações por ela fornecidas não gerarão uma solução nem selecionarão possíveis providências a serem tomadas. Por exemplo, a avaliação pode fornecer evidências de que os alunos têm um desempenho insuficiente em algumas áreas de aproveitamento, ou identificar relações entre aproveitamento e fatores contextuais, indicando que o aproveitamento das meninas é inferior ao aproveitamento dos meninos, ou que os alunos em pequenas escolas da área rural não têm desempenho tão bom quanto aqueles que estão em escolas situadas em áreas urbanas. Todavia, a identificação de fatores relacionados com o aproveitamento dos alunos não explica, com clareza, por que os gêneros ou alunos em localidades diferentes deveriam apresentar aproveitamentos diferentes. Muitas avaliações nacionais abordam essa questão em certo grau quando coletam dados adicionais sobre as condições em que o aprendizado ocorre. Os resultados das análises guardam relação com o aproveitamento dos alunos e, embora não identifiquem caminhos específicos para a ação, podem levar a uma maior compreensão dos fatores que afetam os resultados e contribuem para a formação de políticas e decisões (Blalock, 1999). Além de reconhecer a complexidade de se chegar a decisões após uma avaliação, os formuladores de políticas e responsáveis pelas decisões precisam estar cientes da viabilidade e da relação custo-benefício de ini-

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

79

ciativas ou reformas subsequentes. Certamente, deve-se dar prioridade à identificação de insumos que tendem a fazer diferença no aprendizado. Portanto, embora alguns insumos (por exemplo, instalações físicas de alto nível para a escola) possam ser altamente atrativos, talvez não sejam mais eficazes do que os insumos modestos. O impacto do custo de uma intervenção no orçamento educacional também é uma consideração relevante. Apesar de os alunos talvez aprenderem melhor em turmas de tamanho reduzido, o custo de implementação de uma estratégia de turmas pequenas em países em desenvolvimento pode ser alto demais para a opção ser considerada viável (Lockheed e Verspoor, 1991). Este capítulo identifica quatro procedimentos (que não são mutuamente excludentes) segundo os quais as conclusões da avaliação podem desempenhar papel relevante ao sugerir políticas ou ações adequadas após a realização de uma avaliação.

Discussão das Conclusões A atividade mais importante que se segue a uma avaliação nacional é o envolvimento dos interessados na discussão e na interpretação das conclusões, com o objetivo de desmembrar suas implicações, sugerir reações causais e propor abordagens para solucionar os problemas identificados. Uma variedade de fontes de informação e conhecimento especializado e vários dos agentes interessados têm um papel a desempenhar na interpretação das conclusões e na busca por soluções. A contribuição dos indivíduos em contato próximo com as operações cotidianas das escolas (professores, inspetores, supervisores ou conselheiros) será de importância especial. Muitos países organizam seminários e workshops após a realização de uma avaliação nacional para possibilitar que vários pontos de vista possam ser ouvidos. Outras abordagens mais formais para analisar conclusões (por exemplo, nas deliberações de uma comissão nacional ou na elaboração de estratégia nacional do setor) também são empregadas (ver o Capítulo 5).

80 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

Como Permitir que as Conclusões “Esclareçam” o Processo de Elaboração de Políticas A aplicação das conclusões de outras pesquisas educacionais orientadas para políticas sugere que o impacto das conclusões da avaliação nacional seria conceitual, e não instrumental. Portanto, as conclusões entrariam na arena da elaboração de políticas não por meio da aplicação direta dos resultados, mas na forma de generalizações, orientações e sugestões gerais que “esclarecem” o processo de elaboração de políticas, moldando a forma como as pessoas pensam sobre as questões e agregando conhecimento ao debate e discussão como um todo (Husén, 1984; Weiss, 1979). Sob esse ponto de vista, a utilização de pesquisas é um processo gradual e difuso, que fornece conceitos e perspectivas teóricas que permeiam o processo de elaboração de políticas, afetando a compreensão de questões educacionais e sugerindo soluções apropriadas para os problemas. O “esclarecimento” não deve ficar restrito aos formuladores de políticas e responsáveis pela decisão. A divulgação dos resultados de uma avaliação nacional pode aumentar a conscientização não apenas entre os formuladores de políticas e gestores, mas também entre os cidadãos em geral. O aumento da conscientização da população, por sua vez, pode atuar para destacar o papel essencial da educação no atendimento de objetivos nacionais e mobilizar a opinião pública para apoiar os efeitos do fortalecimento das provisões. Embora as vantagens da iluminação sejam óbvias, a utilização das conclusões da pesquisa dessa maneira pode trazer desvantagens. Primeiro, o processo está aberto a simplificações exageradas e distorções. Segundo, pesquisas malfeitas podem atrair tanta atenção quanto uma boa pesquisa. Terceiro, algumas conclusões importantes da pesquisa podem nunca atingir os formuladores de políticas ou responsáveis pela decisão. Embora o uso das conclusões da avaliação nacional para esclarecer os interessados (incluindo o público) em relação às condições do sistema educacional deva ser encorajado, é necessário fazer mais. O Ministério da Educação e outros interessados relevantes devem estudar com cuidado as conclusões de uma avaliação nacional, a fim de elaborar políticas e ações específicas para lidar com as deficiências identificadas.

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

81

Resposta aos Problemas Específicos Identificados em uma Avaliação Nacional Em algumas avaliações nacionais, a ação necessária para solucionar problemas específicos será óbvia. Por exemplo, caso se constate que as escolas não dispõem de recursos especificados nas regulamentações do ministério (por exemplo, livros didáticos), será necessário tomar providências para que os recursos sejam fornecidos. Caso o conhecimento dos professores sobre as matérias seja insuficiente, cursos durante o trabalho direcionados para os pontos fracos identificados parecem ser a forma mais óbvia de sanar a situação.

Referências a Outras Conclusões de Pesquisas Levar em conta outras conclusões na pesquisa pode ajudar a fortalecer a base para a extração de conclusões lógicas sobre as relações causais que uma avaliação nacional pode sugerir, fornecendo uma base mais segura para a formação de políticas. Essas conclusões podem surgir de uma infinidade de estudos, incluindo estudos sobre a eficácia da escola e do professor; estudos sobre a influência relativa dos fatores escolares e domésticos sobre o aprendizado dos alunos; e estudos sobre os processos de sala de aula, tamanho da turma e efeitos da repetição de série. Quando sugere como as conclusões da avaliação nacional podem ser usadas para aprimorar o ensino e o aprendizado na sala de aula, o Capítulo 6 recorre à literatura sobre pesquisas – em especial, os estudos sobre a eficácia da escola e do professor – para obter orientações. Recomenda-se cautela na utilização das conclusões da pesquisa para apoiar as inferências derivadas dos dados da avaliação nacional. Os estudos podem não ser adequados do ponto de vista técnico ou as conclusões podem não ser relevantes no contexto no qual se realizou a avaliação nacional. Os problemas em potencial serão ampliados caso a pesquisa tenha sido realizada em outros países. Em especial, se os países em questão forem economicamente desenvolvidos, as conclusões podem não ser relevantes para um país em desenvolvimento. Por exemplo, a conclusão

82 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

de que turmas pequenas se associam a maior aproveitamento dos alunos tende a basear-se em estudos americanos em que uma turma tinha 20 alunos ou menos (ver, por exemplo, Finn e Achilles, 1990). Turmas com esse número de alunos são raras em países em desenvolvimento.

DETERMINAÇÃO DE UMA INTERVENÇÃO ABRANGENTE OU DIRECIONADA

Uma distinção importante para se definir a ação a ser tomada é se envolverá todo o sistema ou se será direcionada a subpopulações ou setores específicos do sistema educacional. A ação que abrange todo o sistema tem por objetivo aprimorar o desempenho de todos os alunos e abrange técnicas aperfeiçoadas, reforma curricular e reforma dos livros didáticos. O treinamento de professores pode ser uma iniciativa que abranja todo o sistema ou apenas direcionada. Outras intervenções direcionadas incluem uma variedade de provisões. Primeiro, uma intervenção pode oferecer recursos adicionais aos alunos com necessidades especiais de aprendizado (por exemplo, programas prévios de prevenção ou programas de reforço em leitura). Segundo, uma intervenção pode envolver várias ações e políticas, como a remoção ou o alívio de obstáculos pedagógicos ao desempenho (por exemplo, falta de materiais de ensino ou professores com desempenho ruim) e entraves econômicos (por exemplo, mensalidades escolares ou mão de obra perdida quando as crianças são matriculadas na escola). Essas ações podem ser projetadas para afetar diretamente o desempenho de alunos em subgrupos da população, como alunos de origem socioeconômica mais baixa, crianças desalojadas por conta de tumultos civis, órfãos, minorias linguísticas, alunos em pequenas escolas da área rural ou meninas (em algumas sociedades). Terceiro, uma intervenção pode ser projetada para afetar indiretamente o desempenho cognitivo dos alunos (por exemplo, programas de envolvimento dos pais ou programas nutricionais e de refeições na escola) (ver Willms, 2006; Banco Mundial, 2004). As intervenções direcionadas requerem que as escolas desenvolvam e apresentem um plano que descreva como elas se propõem a usar os recursos adicionais no aprimoramento do aprendizado dos alunos.

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

83

COMPLEXIDADE DA FORMAÇÃO DE POLÍTICAS E TOMADA DE DECISÃO

O Capítulo 1 expôs que uma série de fatores políticos pode desempenhar papel relevante na determinação do formato de uma avaliação nacional. Este capítulo aborda a complexidade da elaboração de políticas e tomada de decisão que se seguem a uma avaliação observada no ambiente político delineado no Capítulo 1. A elaboração de políticas não é um processo linear simples por meio do qual se identifica um problema, consideram-se soluções possíveis e criam-se estratégias de implementação. Em vez disso, ela envolve atividades políticas complexas, incluindo negociação, acordos e respostas a pressões e lobbies de uma variedade de fontes que devem encaixar-se nos padrões de crenças e sistemas de valores preexistentes (ver Blalock, 1999). Ao chegar a uma decisão, um formulador de políticas pode considerar que os resultados de uma avaliação têm valor, mas também precisa levar em conta vários elementos de ordem política e de outros tipos nos níveis nacional e local. Entre essas considerações, temos opiniões políticas (posicionamentos ideológicos ou preocupação com a resposta dos eleitores e elegibilidade), disponibilidade de recursos financeiros, opiniões e interesses de pessoas e grupos, visões tradicionais e tendências atuais. A relação entre avaliação nacional e fatores políticos tem aspectos positivos. Por exemplo, forças políticas podem às vezes ser mobilizadas para apoiar a utilização das conclusões da avaliação. Destaca-se que o apoio para a elaboração de políticas e a tomada de decisões com base nas conclusões de uma avaliação será fortalecido se os principais interessados tiverem mantido seu envolvimento na avaliação desde o estágio inicial do projeto. Certamente, em todos os estágios, os interessados devem manter-se informados sobre os aspectos relevantes da formulação de políticas e da tomada de decisão para garantir que compreendam a necessidade e as razões fundamentais para a reforma. A representação dos interesses de agentes relevantes em uma comissão de coordenação encarregada de supervisionar a implementação da avaliação nacional pode alcançar tal objetivo (ver Greaney e Kellaghan, 2008, Volume 1

84 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

desta série). Os formuladores de políticas, ao buscarem convocar apoio para promover reformas, também precisam invocar os princípios amplamente aceitos em toda a comunidade, como a oferta de oportunidades iguais para todos os alunos, a importância de assegurar que a qualidade do aprendizado dos alunos justifique os gastos envolvidos e a necessidade de construir uma plataforma sólida para o desenvolvimento tanto dos alunos quanto da economia nacional. A conexão próxima entre uma avaliação nacional e a arena política, embora invoque a perspectiva de aprimorar a formulação de políticas e tomada de decisões, não deixa de oferecer riscos. Se uma avaliação torna-se emaranhada no conflito político, é pouco provável que desempenhe papel de destaque no aprimoramento do aprendizado dos alunos. Na Argentina, refletindo tensões entre as autoridades centrais e das províncias quanto às suas esferas de influência, as informações provenientes das avaliações foram usadas primordialmente para legitimar as políticas e reformas nacionais e regulamentar as autoridades das províncias, em vez de, por exemplo, elaborar políticas compensatórias (Benveniste, 2002; Gvirtz e Larripa, 2004). Uma situação semelhante surgiu na República Árabe do Egito, onde os diretores de educação locais se recusaram a cooperar em uma avaliação projetada nacionalmente porque perceberam que ela refletia interesses ocultos para aumentar o controle por parte do governo central (Carroll, 1996). A situação no Uruguai foi diferente, mas também envolveu um conflito entre interessados poderosos. Receosos de que os resultados da avaliação nacional fossem usados para atribuir responsabilidade aos professores, os sindicatos de professores se recusaram a cooperar até que fosse firmado um acordo no qual os relatórios sobre o desempenho da escola não seriam publicados, que a influência do contexto de origem do aluno sobre o aproveitamento receberia o devido reconhecimento e que os professores não seriam responsabilizados diretamente pelo desempenho dos alunos (Benveniste, 2002; Ravela, 2005). Esse conflito foi resolvido por meio de negociação. Os resultados não foram usados para atribuir responsabilidade aos professores, e o Uruguai apresenta um dos exemplos mais interessantes de utilização das conclusões da avaliação nacional para aprimorar o aprendizado escolar (ver Capítulo 6).

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

85

CONCLUSÃO

A descrição contida neste capítulo sobre a conversão das conclusões em políticas e ações após a realização de uma avaliação nacional identificou duas questões principais. A primeira relaciona-se com a complexidade da formulação de políticas e tomada de decisão, a capacidade institucional de absorver e aplicar as informações e a necessidade de compreender uma infinidade de interesses individuais no processo. A segunda questão importante relaciona-se com as evidências usadas para interpretar as conclusões de uma avaliação e chegar a um consenso sobre as maneiras mais apropriadas de agir em relação à elaboração de políticas ou intervenções que visem solucionar os problemas identificados na avaliação, com o intuito de melhorar o aprendizado escolar. É possível argumentar que a base para a tomada de decisão seria fortalecida se as estratégias para melhorar o aprendizado escolar sugeridas pelas conclusões de uma avaliação nacional fossem avaliadas em um estudo experimental ou quase experimental (ver Capítulo 8). Por vários motivos, entretanto, incluindo restrições de tempo, custo e disponibilidade de pessoas com as habilidades técnicas necessárias, esse curso de ação é improvável. Na maioria dos casos, os formuladores de políticas e responsáveis pela decisão irão, na melhor das hipóteses, confiar na disseminação de conclusões para promover conceitualização e maior entendimento de assuntos, discussão de conclusões por interessados e consideração de pesquisas relevantes, embora as pesquisas talvez não tenham se originado no país no qual a avaliação foi realizada.

CAPÍTULO

5

CONCLUSÕES DA AVALIAÇÃO NACIONAL, POLÍTICAS E GESTÃO EDUCACIONAL

O

s formuladores de políticas, uma categoria que inclui políticos, administradores educacionais e gestores como altos funcionários do Ministério da Educação, são o público principal dos resultados da avaliação nacional. Mesmo quando os resultados têm implicação no trabalho de outros interessados (por exemplo, desenvolvedores de currículo, treinadores de professores ou professores de sala de aula), as autoridades do Ministério provavelmente terão um papel a desempenhar na formulação de políticas, na emissão de informações ou diretivas ou no fornecimento de recursos. Este capítulo apresenta aos formuladores de política e responsáveis pela decisão uma variedade de usos possíveis e atuais das conclusões nas deliberações sobre política e gestão educacional. Quatro desses usos relacionam-se com o fornecimento de informações sobre a situação da educação e, em especial, sobre o aproveitamento dos alunos: (a) descrição do aproveitamento, (b) descrição dos recursos, (c) monitoramento do aproveitamento e (d) revisão do sistema educacional. Outros cinco usos relacionam-se com o emprego das informações para sanar deficiências identificadas na avaliação: (e) formulação de políticas gerais e contribuição para a tomada de decisão em conjunto

88 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

com outras informações, (f) definição de padrões, (g) fornecimento de recursos adicionais para escolas (que abranjam todo o sistema ou sejam direcionados), (h) apoio para a revisão curricular e (i) revisão de livros didáticos.

DESCRIÇÃO DO APROVEITAMENTO

O objetivo básico de uma avaliação nacional é fornecer informações sobre o aproveitamento dos alunos – principalmente em termos de suas deficiências –, o que consiste em pré-requisito para uma intervenção (Aguerrondo, 1992). Além disso, essas informações tendem a ser exclusivas porque não estarão disponíveis em outras fontes. Embora os ministérios da Educação coletem, com frequência, informações sobre os insumos do sistema educacional (por exemplo, números de alunos, instalações físicas, materiais curriculares, proporção de professores para alunos), uma avaliação nacional fornece informações sobre os produtos do investimento educacional representado pelos insumos. Os formuladores de políticas que leram o relatório das conclusões de uma avaliação nacional, como a que foi citada no Capítulo 2, terão um panorama do aprendizado dos alunos que, mesmo que não esteja relacionado, de maneira explícita, com as expectativas, convidará ao julgamento sobre a adequação do aproveitamento desses alunos. Eles também provavelmente obtêm informações sobre áreas específicas de aproveitamento com as quais os alunos têm dificuldades, além de dados sobre o aproveitamento de subgrupos da população. Um relatório de avaliação nacional costuma conter informações sobre aproveitamento na forma de pontuações médias. As pontuações médias em si, entretanto, oferecem apenas informações limitadas para a tomada de decisão. Descrições mais significativas do aproveitamento, na forma de níveis de proficiência (o que os alunos sabem e conseguem fazer), como as apresentadas no Capítulo 2, constituem uma base bem fundamentada para a tomada de decisões e ação.

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

89

Também é possível obter informações úteis quando a variância no aproveitamento é particionada nos componentes entre escolas e dentro da escola (ver Capítulo 2). Grandes diferenças entre escolas às vezes são interpretadas como um indicador de disparidade nas oportunidades de aprendizado no sistema educacional. No entanto, os formuladores de políticas devem tratar essa interpretação com certa cautela, porque ela não leva em conta as diferenças entre as escolas nos fatores sobre os quais a instituição acadêmica tenha pouco controle (as características dos alunos quando se matriculam e os efeitos continuados dessas características no trabalho da instituição). As diferenças entre escolas em termos de aproveitamento podem ainda merecer a atenção dos formuladores de políticas porque podem oferecer orientações sobre a intervenção. Quando as diferenças entre escolas em uma região são relativamente reduzidas, e se os recursos financeiros são limitados, a intervenção em algumas e não em outras provavelmente não seria justificada. Em vez disso, direcionar a atenção para escolas de baixo desempenho talvez seja uma ação justificada em regiões que apresentam diferença significativa entre as instituições acadêmicas.

DESCRIÇÃO DE RECURSOS

Uma avaliação nacional com frequência coleta informações sobre os recursos disponíveis nas escolas. Por exemplo, a avaliação nacional da Índia, em 2000, revelou que mais de 90% das escolas tinham uma campainha escolar, um quadro-negro, giz e um apagador; quase três quartos tinham água potável, mas menos de 40% tinham banheiros exclusivos para as meninas (Singh et al., n.d.). Várias avaliações nacionais na África fornecem evidências de falta de recursos. No Quênia, por exemplo, muitas escolas tinham um número inadequado de carteiras escolares e livros didáticos (Nzomo, Kariuki e Guantai, 2001). Além disso, os programas de rádio para as escolas não atingiam o mínimo de um terço dos alunos, que não tinham acesso a

90 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

TABELA 5.1

Percentuais de Escolas que Possuem Materiais Escolares Básicos: Quênia Equipamento

Percentual

Erro-padrão

Computador

1,2

0,77

Mimeógrafo

19,9

3,11

Aparelho de fax

0,5

0,35

Projetor de filmes

0,4

0,27

Retroprojetor

0,3

0,30

Fotocopiadora

1,1

0,70

Rádio

66,4

4,31

Gravador

10,9

2,38

Televisão

3,2

1,74

27,5

3,70

1,3

0,77

Máquina de escrever Aparelho de videocassete

Fonte: Baseado no trabalho de Nzomo, Kariuki e Guantai, 2001: Tabela 3.1.4.

rádios (Tabela 5.1). Em Zanzibar, uma avaliação destacou séria escassez de móveis de sala de aula (por exemplo, carteiras e quadros de giz) e suprimentos (por exemplo, livros didáticos e lápis) (Nassor e Mohammed, 1998). Na Nigéria, poucas escolas tinham mapas (13%), gráficos ou cartazes impressos (15%) ou equipamentos esportivos (5%). As respostas dos professores aos itens do questionário também apontaram para a presença de altos índices de apreensão quanto à falta de materiais de ensino, bem como pouca consideração com os professores, condições precárias de atendimento e pagamento irregular dos salários (Ministério da Educação da Nigéria, 2000). No Malawi, o acompanhamento das mudanças no fornecimento de recursos de sala de aula entre 1998 e 2002 revelou que houve progresso em relação a todos os materiais (Tabela 5.2). No Zimbábue, uma análise realizada em 1990 mostrou que as escolas em Matabeleland Sul tinham menos recursos do que aquelas situadas em outras regiões do país. Um estudo posterior, realizado em 1995, constatou que não houve melhora (Postlethwaite, 2004b).

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

91

TABELA 5.2

Percentuais de Escolas que Possuem Materiais Escolares, 1990-2002: Malawi Equipamento

SACMEQ I

SACMEQ II

Giz

95,2

96,4

Biblioteca em sala de aula

13,3

20,4

Armário

17,8

51,2

Uma ou mais prateleiras

14,7

17,6

Cadeira do professor

42,3

50,5

Mesa do professor

40,7

47,7

Quadro para escrever em condições de uso

84,8

94,5

Cartaz de parede

56,6

58,2

Fonte: Postlethwaite 2004b. Reproduzido mediante permissão, EFA Global Monitoring, UNESCO. Observação: O Consórcio da África Austral e Oriental para Monitoramento da Qualidade da Educação (SACMEQ) é uma organização internacional sem fins lucrativos que compreende 15 ministérios da educação na África Austral e Oriental. Eles trabalham em cooperação para compartilhar experiências e conhecimento no desenvolvimento das competências dos responsáveis pelo planejamento educacional, a fim de aplicar métodos científicos para monitorar e avaliar as condições de ensino e qualidade da educação. O SACMEQ realizou dois grandes projetos de pesquisa em política educacional (SACMEQ I e SACMEQ II).

MONITORAMENTO DO APROVEITAMENTO

Se houver dados disponíveis das avaliações realizadas em épocas diferentes, é possível identificar as tendências no aproveitamento (se ele melhora, permanece o mesmo ou se deteriora) (ver Capítulo 2). Essas informações têm sido usadas em algumas ocasiões para monitorar os efeitos das mudanças no sistema educacional sobre o aproveitamento dos alunos (por exemplo, mudanças no idioma de instrução ou aumento do tamanho da turma). Nos Estados Unidos, os dados da avaliação nacional (a Avaliação Nacional do Progresso em Educação, ou NAEP) têm sido usados para monitorar o grande projeto de reforma educacional, conhecido como “No Child Left Behind”. Além do monitoramento da NAEP, exige-se que cada estado monitore o progresso de todos os alunos da 3a à 8a séries, por intermédio de seus próprios testes de leitura, matemática e ciências. Muitos estados relataram melhorias significativas ao longo dos anos; contudo, os resultados da NAEP não refletiram essa melhoria. O avanço registrado de 2003 a 2005, principalmente na 8a sé-

92 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

rie, foi muito maior nas provas estaduais do que na prova da NAEP. Em Maryland, por exemplo, os alunos da 8a série que exibiram melhoria de 12 pontos percentuais em matemática na prova estadual não apresentaram melhora na prova do NAEP (de Vise, 2005). A diferença pareceu decorrer da importância atribuída às provas estaduais, que tinham sanções vinculadas a elas. Consequentemente, os professores direcionavam seu ensino para o conteúdo da prova estadual, gerando aumento subsequente nas pontuações das provas sem uma melhoria concomitante nas habilidades em que o teste originalmente fora desenhado para mensurar (ver Madaus e Kellaghan, 1992). No Uruguai, foram registradas melhorias consideráveis no desempenho de alunos da 6a série entre 1996 e 2002 na avaliação nacional. Além disso, a melhoria foi bastante clara entre alunos em escolas “em grande desvantagem”, em que o percentual que chegou a um nível “aceitável” na prova aumentou de 37,1 para 54,8. Esse aumento é maior que aquele verificado no mesmo período nas escolas, nos contextos sociais descritos como “muito favoráveis”, que foi de 57,1 para 66,5% (Ravela, 2006). Em alguns sistemas educacionais, realiza-se anualmente uma avaliação nacional na mesma área de currículo e com a mesma população. Se o objetivo é apenas monitorar os padrões, esse procedimento seria desnecessário, além de muito caro. A maioria dos países industrializados que monitoram os níveis de aproveitamento o faz com frequência menor. Nos Estados Unidos, por exemplo, onde os recursos financeiros e técnicos têm menor probabilidade de representar um problema do que nos países em desenvolvimento, a NAEP de matemática e leitura é realizada a cada dois anos. Uma consulta aos resultados das avaliações nacionais que vêm sendo realizadas há várias décadas indica que grandes mudanças nos aproveitamentos dos alunos em um sistema educacional não ocorrem em um curto período, mesmo quando foram feitos esforços para solucionar os problemas identificados em uma avaliação. Dada essa situação, um intervalo de quatro a cinco anos parece sensato. De fato, se as avaliações nacionais aplicadas durante um intervalo de tempo curto relatassem grandes mudanças, a equivalência das provas e dos procedimentos adotados nas avaliações estaria sujeita a questionamento. Além disso, em muitos

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

93

países, a principal fonte de mudança no desempenho ao longo do tempo são as mudanças em quem está frequentando a escola. Taxas crescentes de participação criam problemas de comparabilidade que exigem análise criteriosa. Este e outros problemas ao se mensurar a mudança no desempenho ao longo do tempo podem surgir devido a mudanças no currículo, no idioma e nas expectativas, bem como em questões técnicas, como quando os pressupostos dos modelos de métricas (principalmente, a modelagem na teoria de resposta ao item) não são atendidos ou quando as pontuações dos alunos regridem para a média (Goldstein, 1983).

REVISÃO DO SISTEMA EDUCACIONAL

Em muitos países, as conclusões de uma avaliação nacional (ou regional) têm sido mencionadas em revisões de política e provisão educacional ou têm sido usadas para apoiar iniciativas importantes de reforma (ver Tabela 5.3). A República Dominicana oferece um bom exemplo da utilização dos resultados da avaliação nacional em uma revisão abrangente do sistema educacional, que foi seguida por uma série de estratégias ambiciosas para melhorar a qualidade da educação (Quadro 5.1). A revisão forneceu a principal contribuição para as reuniões das equipes regionais de autoridades e membros das comunidades e redes de escolas que esmiuçavam as razões para o desempenho inexpressivo e propuseram estratégias para solucioná-las.

FORMULAÇÃO DE POLÍTICAS GERAIS E ACOMPANHAMENTO NA TOMADA DE DECISÃO

Evidências objetivas válidas sobre a condição da educação, que podem ser fornecidas por uma avaliação nacional projetada e implementada com eficácia, devem servir para introduzir um componente objetivo nas decisões e ajudar a assegurar a conscientização sobre as evidências empíricas, juntamente com predisposições pessoais, interesses individuais, evidências não científicas e outras formas de “sabedoria acumulada”

94 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

TABELA 5.3

Países que Usaram os Resultados da Avaliação Nacional na Revisão do Sistema Educacional País

Exemplos de alguns usos

Argentina

Instituiu um programa de inspeção escolar

Bolívia

Correlacionou os dados da avaliação com um programa de nutrição infantil

Burkina Faso

Forneceu informações para análise do país

Cuba

Fortaleceu os programas de apoio à pré-escola e primeira infância

Quênia

Conduziu as referências para o fornecimento de instalações físicas

Kuwait

Forneceu apoio para a política de introdução de bibliotecas nas salas de aula

Malawi

Forneceu informações para o programa de reformas

República de Maurício

Utilizou os dados para apoiar um estudo nacional do setor

Namíbia

Utilizado pela comunidade nacional

Nepal

Apoiou o principal programa de reforma do governo

Nigéria

Forneceu informações para análise nacional

Sri Lanka

Forneceu informações para a estratégia nacional de educação

Uganda

Utilizado para preparar um programa de reforma educacional

Uruguai

Usado para apoiar uma política de expansão do programa de equidade para escolas em tempo integral

Vietnã

Usado para estabelecer referenciais para o fornecimento de recursos (carteiras por aluno, livros por aluno)

Zanzibar (Tanzânia)

Usado na revisão de políticas, padrões e referências educacionais

Zimbábue

Usado na revisão feita pela comissão

Fontes: Compilação dos autores baseada em Arregui e McLauchlan, 2005; Bernard e Michaelowa, 2006; Ferrer, 2006; Ministério da Educação do Kuwait, 2008; Murimba, 2005; Nzomo e Makuwa, 2006; Ravela, 2002.

(ver Quadro 5.2). Além disso, as evidências concretas e convincentes de uma avaliação podem ajudar a destacar problemas no sistema educacional relacionados com acesso, qualidade, eficiência ou equidade que, de outra forma, não seriam percebidos – ou, de outra forma, não seriam atendidos. Apesar disso, as informações derivadas de uma avaliação nacional não identificarão políticas ou caminhos prontos para o formulador de política ou outro usuário em potencial. Um motivo, como já

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

95

apontado, é que uma avaliação nacional fornece apenas informações a serem consideradas no contexto de uma variedade de outros fatores, incluindo a disponibilidade de recursos (humanos e materiais) e os interesses pessoais dos interessados.

QUADRO 5.1

Utilização dos Resultados da Avaliação para Promoção de Reformas: República Dominicana Em março de 2005, autoridades da República Dominicana de cada uma das 17 regiões do país se reuniram para discutir os resultados dos alunos de sua área obtidos nas provas nacionais mais recentes realizadas no final do nível básico (8a série) e do nível secundário ou bachillerato (12a série), além dos resultados obtidos pelos alunos na conclusão da 4a série. As autoridades examinaram as médias nacionais nas várias disciplinas curriculares e temas ou áreas de estudo, além da diferença entre os resultados de sua região e de outras regiões, e de ambas com a média nacional. Elas analisaram as diferenças entre escolas particulares, públicas e financiadas pelo governo e administradas pela iniciativa privada. Embora não houvesse padrões para comparar o desempenho, algumas definições sobre quais competências ou habilidades ou que conteúdos foram avaliados foram oferecidas aos administradores regionais e diretores de escola. Essa foi uma das principais contribuições de um processo recém-iniciado de planejamento estratégico do sistema, no qual 17 equipes regionais e 101 equipes distritais, formadas por autoridades e membros de destaque da comunidade, revisaram, em conjunto, seus principais pontos fortes e pontos fracos visando gerenciar um processo de mudança voltado para melhoria da qualidade. Agora, as equipes estão elaborando planos de desenvolvimento educacional em nível distrital e regional, tendo por principal objetivo a melhoria no aprendizado. Alguns distritos se mobilizaram em um curto período de tempo para estabelecer redes de escolas, cujos colaboradores reúnem-se periodicamente para analisar os resultados das provas nacionais de sua região e para refletir sobre as possíveis causas do desempenho insatisfatório. Embora não existam evidências irrefutáveis sobre o impacto de vários fatores determinantes, algumas decisões foram tomadas rapidamente em nível distrital, a partir do melhor conhecimento disponível baseado em experiência. Um desses exemplos é a decisão de compartilhar os poucos professores qualificados de ciências disponíveis entre várias escolas da rede. Outro é o estabelecimento de redes de professores para discutir desafios encontrados nos esforços para melhorar a capacidade de compreensão do aprendizado. Embora seja cedo para afirmar se esses planos de melhoria regionais e distritais baseados em informações geradas pelas avaliações terão impacto duradouro, está claro para as autoridades que a organização dessas reuniões gerou uma mobilização muito maior do que a estratégia anterior de enviar relatórios às escolas e aos alunos em todo o país. Fonte: Arregui e McLauchlan 2005: 32–33. Reproduzido mediante permissão.

96 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

QUADRO 5.2

Mitos sobre a Educação nos Estados Unidos Uma avaliação nacional pode ajudar a desfazer mitos como os seguintes: 1.

O aproveitamento em leitura nos Estados Unidos caiu nos últimos 25 anos.

2.

Quarenta por cento das crianças americanas não conseguem ler em nível básico.

3.

Vinte por cento das crianças americanas são disléxicas.

4.

Crianças da geração pós-Segunda Guerra liam melhor do que os alunos de hoje.

5.

Os alunos nos Estados Unidos estão entre os piores leitores do mundo.

6.

O número de bons leitores vem caindo.

7.

As pontuações de provas da Califórnia tiveram uma queda drástica por causa do método de ensino da linguagem total.

Fonte: McQuillan 1998.

Existe uma variação considerável nos relatórios de avaliação nacional quanto ao grau em que eles extraem implicações a partir dos dados da avaliação e fazem recomendações para ação ou deixam essas atividades a cargo dos usuários. Alguns relatórios vão muito além do que parece ser justificado pelas conclusões da avaliação em suas recomendações (por exemplo, ao especificar os detalhes de uma intervenção para alunos em escolas da área rural ou ao sugerir abordagens para o ensino de leitura ou matemática). Se essas recomendações fossem feitas, deveriam contar com o apoio de outras evidências fornecidas pela pesquisa. É possível que os formuladores de políticas e altos funcionários do Ministério da Educação precisem de auxílio para interpretar as conclusões de uma avaliação nacional. Um dos principais objetivos do Consórcio da África Austral e Oriental para Monitoramento da Qualidade da Educação foi, na verdade, promover o desenvolvimento de competências ao ensinar aos responsáveis pelo planejamento educacional dos países-membros a habilidade técnica de monitorar e avaliar o ensino e a qualidade da educação. Um aspecto específico dessa abordagem foi o treinamento do “aprender fazendo”, dado aos responsáveis pelo plane-

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

97

jamento, que o consórcio tentou envolver diretamente na condução dos estudos (SACMEQ, 2007). O Instituto do Banco Mundial implementou um programa semelhante de desenvolvimento de competências na África e Sul da Ásia. Embora várias evidências indiquem que as avaliações nacionais contribuíram para deliberações sobre a política e a reforma educacionais, as evidências objetivas independentes que revelam os resultados da avaliação afetaram a política na prática são limitadas. Uma exceção foi encontrada no Chile, onde os resultados da avaliação nacional foram fundamentais em 1997 para convencer o Congresso Nacional, diante da constatação de que 40% dos alunos não compreendiam o que liam, que eram necessárias mudanças profundas na educação (Schiefelbein e Schiefelbein, 2000). Posteriormente, as conclusões da avaliação nacional desempenharam papel relevante em várias decisões sobre políticas, incluindo as seguintes (Meckes e Carrasco, 2006):

yDirecionar apoio técnico e econômico do governo nacional para as populações em maior situação de desvantagem (conforme foram definidas em função dos resultados do aprendizado), a fim de fornecer um programa de nutrição na escola e outros tipos de assistência aos alunos pobres (um programa que corresponde a 5% do orçamento geral de educação pública) yDefinir os critérios para intervenções direcionadas, realizadas pelo Ministério da Educação yDesenvolver programas para melhorar a qualidade e a equidade educacional yDefinir incentivos e objetivos de melhoria yAvaliar políticas e programas específicos yFornecer dados para fins de pesquisa educacional.

DEFINIÇÃO DE PADRÕES

Em anos recentes, os formuladores de políticas educacionais e as autoridades curriculares em muitos países têm enfatizado cada vez mais a

98 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

definição de padrões e a especificação do que os alunos devem ser capazes de fazer ao concluírem o número de estágios de sua escolaridade formal. Os resultados da avaliação nacional podem auxiliar na tarefa ao operacionalizarem padrões ou metas de aproveitamento nas principais áreas de conteúdo e ao fornecerem indicadores de base para monitorar o progresso ao longo do tempo. O governo da Romênia, por exemplo, estimulado, em parte, pelas conclusões insatisfatórias de sua avaliação nacional da 4a série, usou os resultados a fim de fornecer informações básicas para o monitoramento de níveis futuros de aproveitamento (Bethell e Mihail, 2005). Também utilizou os resultados insatisfatórios dos alunos da área rural como justificativa para o desenvolvimento de seu Projeto de Educação Rural apoiado pelo Banco Mundial. Os formuladores de políticas, agências doadoras e outros agentes devem abordar o estabelecimento de padrões com certa cautela e, em especial, definir metas realistas para as taxas desejadas de melhoria. No Peru, alguns formuladores de políticas sugeriram uma melhoria de 100% nas pontuações médias em um período de nove meses (Arregui e McLauchlan, 2005). É impossível alcançar esse objetivo, principalmente se estiver baseado em pontuações distribuídas em uma escala, que não costumam ter um ponto zero absoluto. A cidade de Bogotá, na Colômbia, definiu um ponto de corte para o desempenho “aceitável” que menos de 2% das escolas estavam alcançando na época (Arregui e McLauchlan, 2005). A meta do programa americano “No Child Left Behind”, que definia 100% de “proficiência” nos testes estaduais até 2014, parece pertencer à categoria das metas não realistas. Em 2003, nenhum estado ou distrito de grande porte tinha algo próximo a 100% dos alunos obtendo resultados em torno do nível básico, muito menos ainda o nível de proficiência, fosse na 4a ou na 8a série em leitura ou matemática (Linn, 2005a). A variação na definição dos termos como proficiência em leitura e proficiência em matemática acarretou problemas na formulação de inferências sobre o que as avaliações informam quanto ao aproveitamento dos alunos. Evidências dos Estados Unidos, por exemplo, revelam que o significado de proficiência na NAEP é diferente do significado em avaliações estaduais. Por exemplo, nos estados vizinhos de Maryland e Virginia, o

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

99

percentual de alunos avaliados como proficientes em leitura e matemática nas provas da NAEP diferiu do percentual nas provas estaduais (de Vise, 2005). Os dados apresentados na Tabela 5.4 mostram que 85% dos alunos em Delaware foram considerados proficientes na prova estadual, mas apenas 34 foram assim considerados na prova da NAEP.

TABELA 5.4

Classificação dos Alunos da 4a Série Avaliados como Proficientes ou Acima nas Avaliações Estaduais e Nacionais em 2005: Estados Unidos Estado (%Proficiente) (1)

NAEP(% proficiente) a(2)

Diferença (1)−(2)

Delaware

85

34 (1,2)

51

Idaho

87

33 (1,4)

54

Carolina do Norte

83

29 (1,4)

54

Oregon

81

29 (1,5)

52

Dakota do Sul

87

33 (1,3)

54

Estado

Fonte: Adaptado de Stoneberg (2007), mediante permissão. a. Os erros-padrão da NAEP estão entre parênteses.

FORNECIMENTO DE RECURSOS PARA AS ESCOLAS

Uma reação possível às conclusões de uma avaliação nacional é aumentar os recursos nas escolas. O fornecimento de recursos pode ocorrer no nível do sistema, ou ser direcionado a escolas ou populações específicas. O fornecimento em nível de sistema foi o caminho escolhido por vários países após a realização de uma avaliação nacional. No Quênia, onde se constatou que muitas escolas careciam de recursos básicos (por exemplo, carteiras escolares e livros didáticos), o governo decidiu introduzir critérios de referência para os recursos em sala de aula, o que gerou o comprometimento de assegurar que todas as escolas receberiam os recursos (Nzomo e Makuwa, 2006). No Zimbábue, foram direcionados fundos especiais para os recursos de sala de aula e gestão das bibliotecas escolares, e foram iniciados programas de treinamento (Madamombe, 1995). Na República Dominicana, como está indicado no Quadro 5.1,

100 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

os poucos professores de ciências disponíveis foram realocados entre as escolas (Arregui e McLauchlan, 2005). A intervenção direcionada é implementada quando as conclusões de uma avaliação revelam uma relação entre os recursos da escola e o aproveitamento dos alunos. Portanto, se for constatado que o aproveitamento dos alunos em escolas pequenas da área rural é menor que a média nacional, é possível tomar a decisão de conceder recursos adicionais às escolas. Em Queensland, na Austrália, por exemplo, as escolas que tinham alunos com desempenho insatisfatório (15% inferior) em uma avaliação de letramento em linguagem e letramento em matemática receberam fundos adicionais (Forster, 2001). No Kuwait, as conclusões que mostraram que os alunos em salas de aula com bibliotecas ou “cantos de leitura” obtiveram pontuações mais altas em uma prova de letramento em linguagem (a prova do Estudo Internacional sobre o Progresso do Letramento em Leitura) do que os alunos em outras salas de aula foram usadas como evidência para respaldar a política do Ministério da Educação no sentido de equipar as salas de aula com bibliotecas (Ministério da Educação do Kuwait, 2008). Embora uma avaliação baseada em amostra não forneça dados sobre todas as escolas, pode fornecer informações sobre categorias de escolas (por exemplo, escolas em localidades diferentes, escolas de tipos diferentes, escolas que atendem a populações de diversos níveis socioeconômicos), fornecendo, assim, uma base para a intervenção direcionada a categorias de escolas. A intervenção de acordo com esse critério seria justificada, mas, obviamente, é necessário ter cuidado com a identificação das escolas beneficiárias. Na maioria dos sistemas, a prioridade seria para as escolas que atendem a alunos que provêm de um contexto em desvantagem (por exemplo, escolas em que o nível de educação dos pais é baixo). Em alguns países, o tipo ou a localização da escola pode ser um bom indicador de quem devem ser os beneficiários. Os dados do censo nacional, dados do sistema de informações sobre a gestão educacional e informações dos inspetores, supervisores e conselheiros escolares também podem contribuir para a identificação da escola. Embora o sistema de avaliação nacional no Chile se baseie no censo, a provisão feita para o baixo aproveitamento pode ser relevante após

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

101

uma avaliação baseada em amostra se vigorar um sistema adequado de identificação das escolas. Recursos adicionais, incluindo livros didáticos, bibliotecas na sala de aula e materiais pedagógicos, foram alocados para as escolas chilenas em áreas com alta proporção de alunos provenientes de contextos sociais em desvantagem que haviam tido desempenho insatisfatório na avaliação (González, Mizala e Romaguera, 2002; Wolff, 1998). Foram organizadas atividades após o horário das aulas, foram desenvolvidas relações entre a escola e a comunidade, e as escolas foram supervisionadas entre 8 e 16 vezes por ano por agentes da província e do governo central (Arregui e McLauchlan, 2005). Quando os formuladores de políticas consideram fornecer recursos adicionais para as escolas após a realização de uma avaliação nacional, cabe a eles decidir se a alocação será em base permanente ou por tempo limitado. Uma alocação por tempo limitado pode ser preferível por várias razões. Primeiro, considerando-se que os recursos gerais são limitados, definir um limite para a provisão de recursos para as escolas selecionadas pode ser mais palatável para outras escolas e interesses, que percebem o direcionamento de recursos adicionais como uma remoção de recursos que, de outra forma, estariam disponíveis para elas. Segundo, a provisão em base temporária tende a resultar em uma intervenção mais intensiva, o que pode incluir, por exemplo, assistência no uso dos recursos. Terceiro, a assistência internacional dos doadores tem, tradicionalmente, favorecido as iniciativas que são claramente definidas e limitadas no horizonte de tempo (Chapman e Snyder, 2000).

APOIO À REVISÃO CURRICULAR

A revisão curricular está mais frequentemente associada às avaliações internacionais do que às avaliações nacionais, provavelmente porque uma avaliação internacional pode fornecer informações sobre como os alunos em um sistema educacional se saem em um teste de aproveitamento em comparação com aqueles em outras localidades (o currículo alcançado). A avaliação também pode oferecer informações comparativas derivadas dos documentos curriculares (o currículo pretendido que opera no nível

102 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

do sistema educacional) e na quantidade de tempo ou ênfase dedicada às áreas de aproveitamento (o currículo implementado que opera no nível de sala de aula). Uma avaliação nacional também pode fornecer informações relevantes para a implementação ou a reforma do currículo – em um exemplo mais específico, quando os aproveitamentos reais dos alunos são comparados com os resultados pretendidos, de acordo com o que foi especificado ou sugerido nos documentos curriculares, e são identificadas discrepâncias. Tal comparação pode esclarecer como o currículo está sendo ensinado, quais fatores estão associados à implementação eficaz e se as expectativas curriculares para o aproveitamento dos alunos são adequadas. As conclusões de avaliações nacionais e algumas conclusões de avaliações estaduais têm sido associadas a mudanças curriculares em vários países. No Brasil, as conclusões da avaliação estadual do Paraná sobre o desempenho dos alunos nas principais áreas curriculares e as dificuldades exibidas pelos alunos foram utilizadas para oferecer orientações aos professores em suas estratégias de ensino (Ferrer, 2006). Na Tailândia, o desempenho insatisfatório dos alunos nas áreas de matemática e ciências levou à maior ênfase curricular no ensino de habilidades processuais e aplicação do conhecimento (Pravalpruk, 1996). Na Guiné, os resultados da avaliação nacional deram início ao desenvolvimento de um projeto nacional de leitura para promover a instrução nas séries iniciais (R. Prouty, comunicação pessoal, Washington, D.C., 15 de maio de 2005). O Panamá apresenta um exemplo um pouco diferente de utilização das conclusões da avaliação no contexto da reforma curricular. Naquele país, um dos principais propósitos da avaliação nacional foi verificar o impacto de um novo currículo (Ferrer, 2006). Um problema com a maioria das avaliações nacionais é que se pressupõe a adequação do currículo pretendido, e as tarefas da avaliação são nele baseadas. A análise fica então restrita ao grau em que os alunos adquiriram o conhecimento e as habilidades especificados no currículo e, talvez, ao quão eficaz foi o ensino do currículo. Contudo, construir tal suposição significa ignorar o fato de que, em muitos países em desenvolvimento, a provisão da educação é orientada para as elites, re-

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

103

sultando em descompasso entre o currículo e o aluno médio (Glewwe e Kremer, 2006). Em vários países, a adequação do currículo foi questionada após as conclusões de uma avaliação nacional. Em um relatório no Butão, preparado após a avaliação nacional da 6a série de 2003, identificou-se que havia uma sobrecarga no currículo e recomendou-se uma revisão estratégica do plano de estudos de matemática, “a fim de colocar menos (ou nenhuma) ênfase em álgebra e geometria, ou pelo menos não no nível de sofisticação esperado atualmente dos alunos” (Câmara de Exames do Butão, 2004: viii; ver também Powdyel 2005). As opiniões dos interessados ao interpretar os resultados da avaliação podem apontar para a necessidade de reforma curricular. Na Etiópia, por exemplo, os comentários de professores, alunos e pais foram usados, em conjunto com a análise do desempenho dos alunos nas provas da avaliação nacional, para chegar a decisões sobre mudança curricular (Z. Gebrekidan, comunicação pessoal, Addis Ababa, 30 de junho de 2008). A equipe de avaliação nacional no Uruguai, em consulta aos professores, foi além do que estava oficialmente descrito nos currículos em suas provas, o que fez surgir um debate sobre a validade e a relevância do que era ensinado nas escolas. Com o tempo, o modelo conceitual da prova (juntamente com os livros didáticos dos alunos e os guias dos professores) tornou-se uma referência alternativa ao currículo nacional oficial para os professores (Ferrer, 2006). O valor de uma avaliação nacional para análise e revisão curricular tende a ser enriquecido se os responsáveis pela elaboração do currículo estiverem envolvidos na identificação das habilidades exatas a serem avaliadas. Eles podem, por exemplo, contribuir para o processo de desenvolvimento das provas esclarecendo o significado de termos como leitura, que pode ser definido de várias maneiras, desde a habilidade de pronunciar palavras simples, passando pela habilidade de ler e compreender sentenças e parágrafos simples, até a habilidade de construir significado a partir de formatos diferentes de texto, inclusive trechos literários mais extensos e textos informativos (como cardápios e tabelas de horários). O uso das conclusões da avaliação nacional para revisão curricular também será facilitado se os responsáveis pela elaboração do currículo

104 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

estiverem envolvidos na definição dos níveis de proficiência e na especificação do tipo de análise de dados que facilitaria sua tarefa (como no caso do letramento em matemática, qual é o grau de desempenho dos alunos em conjuntos de itens que avaliam cálculos simples com números inteiros ou compreensão conceitual de frações e decimais). Para concluir, a equipe de avaliação nacional deve redigir um relatório sucinto sobre as implicações das conclusões da avaliação para a reforma curricular e discuti-lo com a autoridade curricular.

REVISÃO DE LIVROS DIDÁTICOS

De forma ideal, os livros didáticos devem refletir com exatidão os conteúdos presentes no currículo. Um estudo realizado pela Associação Americana para o Progresso da Ciência, contudo, constatou que o conteúdo dos livros didáticos mais populares de matemática e ciências para o ensino fundamental e ensino médio não estava alinhado com uma série de referenciais presentes na maioria dos padrões estaduais (Kulm, Roseman e Treistman, 1999), que também são utilizados para definir os padrões de avaliação. Os resultados das avaliações nacionais (e internacionais) abordam a questão ao identificar aspectos do currículo que talvez mereçam maior cobertura ou atenção nas novas edições ou edições revisadas de livros didáticos dos alunos e manuais do professor. Poucas evidências revelam que as avaliações nacionais levaram diretamente à revisão de livros didáticos, o que, em geral, ocorre após mudanças profundas terem sido introduzidas no currículo oficial. Existem vários casos na América Latina, contudo, em que as mudanças nos livros didáticos ocorreram paralelamente à atividade de avaliação. No Uruguai, por exemplo, as equipes técnicas encarregadas da avaliação nacional e revisão de livros didáticos trabalharam a partir de perspectivas conceituais e pedagógicas similares, porém não idênticas (P. Arregui, comunicação pessoal, Lima, 22 de setembro de 2008). Na área de linguagem, novas teorias de instrução, que requerem a exposição a um amplo espectro de gêneros literários, estiveram refletidas no conteúdo das

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

105

provas da avaliação nacional e estimularam a produção de uma grande variedade de materiais de leitura. Uma proposta interessante quanto à provisão de livros didáticos aconteceu após uma avaliação nacional no Vietnã (Banco Mundial, 2004). À luz da conclusão de que menos da metade dos alunos tinha o número determinado de livros didáticos recomendados e livros suplementares, a equipe de avaliação nacional propôs que um número menor e mais realista de livros fosse identificado pela autoridade curricular e, depois disso, todo o possível deveria ser feito para assegurar que todos os alunos recebessem todos os livros. O uso das conclusões da avaliação nacional para a reforma de livros didáticos tende a aumentar nos seguintes contextos:

ySe a avaliação envolve a participação ativa da autoridade curricular nacional no desenvolvimento das provas ySe a unidade de avaliação nacional fornece resultados para a autoridade curricular em um formato adequado para revisar a qualidade da cobertura curricular nos livros didáticos ySe entre os desenvolvedores dos padrões ou níveis de desempenho estão indivíduos com especialização no desenvolvimento de currículos, bem como responsáveis por mensuração ou avaliação educacional.

CONCLUSÃO

O uso que pode ser feito das conclusões de uma avaliação nacional depende, em primeiro lugar, das informações fornecidas pela avaliação. Portanto, os responsáveis pela política e gestão devem especificar as informações de que necessitam no estágio de planejamento da avaliação. Todas as avaliações nacionais fornecem uma descrição do aproveitamento dos alunos. Entretanto, os usos que podem ser feitos sobre as informações na decisão sobre uma intervenção, por exemplo, dependem, em certo grau, do nível de detalhes em que o aproveitamento é descrito (por exemplo, para áreas separadas ou áreas de conteúdo de matemática) e nas pistas fornecidas pela avaliação sobre as razões para o baixo

106 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

aproveitamento. O fato de os dados obtidos em uma avaliação identificarem questões que podem ser solucionadas na revisão curricular ou de livros didáticos também será uma função do nível de detalhamento nas provas de aproveitamento. Nem todas as avaliações nacionais coletam informações sobre recursos. Essas informações tendem a ser incluídas quando há preocupação com as provisões no sistema. Os resultados da avaliação podem desempenhar papel relevante na definição de padrões para o aproveitamento dos alunos no sistema educacional. É claro que o monitoramento das tendências só será possível se houver dados comparáveis disponíveis em intervalos diversos de tempo. Em tese, os resultados da avaliação podem ser usados para a formulação de políticas, a revisão do sistema educacional e a tomada de decisões sobre o fornecimento de recursos adicionais para as escolas. O grau em que serão usados para esses propósitos, entretanto, dependerá de vários fatores. Os fatores incluem a disponibilidade de relatórios de tamanho apropriado em linguagem apropriada direcionados aos interesses e necessidades dos formuladores de políticas e responsáveis pela decisão; da disponibilidade e do uso de canais adequados de comunicação; da disponibilidade de recursos orçamentários; e do interesse, da habilidade e da disposição dos responsáveis pela decisão de absorver, interpretar e aplicar as conclusões da avaliação.

CAPÍTULO

6

CONCLUSÕES DA AVALIAÇÃO NACIONAL E ENSINO

E

mbora o objetivo principal de uma avaliação nacional seja fornecer informações aos formuladores de políticas e gestores educacionais, o aprendizado escolar tem poucas chances de melhorar, a não ser que as conclusões da avaliação nacional sejam aplicadas para desenvolver políticas e estratégias destinadas a mudar as práticas da escola e da sala de aula. Após a realização de uma avaliação, uma abordagem consiste em apresentar intervenções nas escolas ou categorias de escolas que, sem sombra de dúvida, demandam apoio (por exemplo, o fornecimento de recursos físicos adicionais ou apoio para que os professores aprimorem seu conhecimento ou habilidades). Nesse caso, a autoridade central especificará com clareza os termos da intervenção. Entretanto, intervenções específicas normalmente não ocorrem após uma avaliação nacional. Com mais frequência, os resultados são publicados e cabe aos principais interessados, como professores, inspetores, conselheiros e supervisores, a tarefa de decidir – e adotar – as mudanças em sua prática que tendem a influenciar o aproveitamento dos alunos. A questão abordada por este capítulo é como as informações obtidas em uma avaliação nacional baseada em amostra podem ser transformadas em práticas eficazes para sanar deficiências em escolas e salas de aula.

108 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

Este capítulo considera duas abordagens para esta tarefa. A primeira examina o aprimoramento do desenvolvimento profissional dos professores mediante cursos de qualificação antes de iniciarem sua atividade docente e cursos durante o trabalho. Na segunda abordagem, as escolas decidem qual é a relevância das conclusões da avaliação nacional para sua situação específica. Se as conclusões forem consideradas relevantes, cabe às escolas elaborar estratégias para lidar com os problemas identificados. As duas abordagens nem sempre podem ser distinguidas imediatamente. Os cursos durante o trabalho (para aprimorar o conhecimento e as habilidades dos professores) podem ser realizados na escola, e alguma forma de treinamento ou workshops durante o trabalho auxiliaria, em tese, a resposta das escolas a uma avaliação nacional.

DESENVOLVIMENTO PROFISSIONAL DOS PROFESSORES

As conclusões da avaliação nacional representam uma fonte de dados valiosa para os ministérios da educação, entidades regionais e fornecedores de educação qualificadora antes e durante o trabalho dos professores. Esta seção descreve inicialmente quatro fontes desse tipo de dados, que podem ser usadas para orientar as atividades de desenvolvimento profissional dos professores. Em seguida, são fornecidos exemplos de procedimentos em outros países.

FONTES DE DADOS DE UMA AVALIAÇÃO NACIONAL PARA ORIENTAR O DESENVOLVIMENTO PROFISSIONAL DOS PROFESSORES

Existem quatro tipos de fontes de dados para orientar o desenvolvimento profissional: (a) o modelo da avaliação e amostras de perguntas, (b) o desempenho dos alunos na avaliação, (c) as respostas ao questionário e (d) o desempenho dos professores em um teste de aproveitamento (forma que algumas avaliações nacionais usam para obter informações).

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

109

Modelo da avaliação nacional e amostras de perguntas. A análise de uma área de currículo ou construto contido em um modelo de avaliação nacional, sem qualquer consideração das conclusões, pode, por si só, ser fonte relevante de novas perspectivas e conhecimento para os professores. Por exemplo, os professores que participam de cursos durante o trabalho podem ser convidados a reavaliar suas práticas à luz da análise do aproveitamento em matemática contido no modelo. Eles devem perguntar: “Quando ensino, concentro-me excessivamente no conhecimento de procedimentos (como multiplicação de numerais), com prejuízo da resolução de problemas em altos níveis cognitivos, ou presto atenção insuficiente a alguns aspectos do currículo, como o ensino de formas e noções espaciais?” Os cursos durante o trabalho também trazem aos professores a oportunidade de estudar amostras de perguntas, que, em geral, são divulgadas após uma avaliação nacional e podem servir como modelos para sua avaliação em sala de aula (Departamento de Educação da Geórgia, n.d.). Desempenho dos alunos na avaliação. Os cursos de desenvolvimento profissional podem ser direcionados a aspectos do currículo e do desenvolvimento escolar dos alunos que uma avaliação nacional considere problemáticos. Um exame mais atento dos resultados pode fornecer informações sobre áreas específicas de leitura (por exemplo, detectar o significado não revelado em um texto) ou matemática (por exemplo, resolução de problemas) em que os alunos – e, por inferência, os professores – precisam de apoio (ver Capítulo 2). Respostas ao questionário. Uma avaliação nacional fornece informações que podem ser usadas para projetar um curso não limitado às informações obtidas em testes sobre o aproveitamento dos alunos. As informações obtidas em questionários também são relevantes. Elas podem esclarecer uma variedade de fatores relevantes ao ensino: as condições sociais e econômicas em que as escolas funcionam; os problemas que os professores encontram ao ensinar; a avaliação dos professores sobre disponibilidade, qualidade e utilidade dos recursos (incluindo os livros didáticos e manuais de professores); atitudes dos pais e alunos em relação à educação; e motivação dos alunos para aprender (ver Griffith e Medrich, 1992). Na avaliação nacio-

110 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

nal dos Estados Unidos, as informações obtidas dos alunos e dos professores nos questionários – que análises posteriores revelaram ser correlatos importantes do aproveitamento dos alunos – estimularam a reflexão por parte dos professores. As informações no questionário dos alunos estavam relacionadas com o nível de educação dos pais e recursos educacionais no domicílio do aluno; o questionário dos professores continha informações detalhadas sobre como os professores ensinavam matemática (por exemplo, como lidavam com problemas específicos e rotineiros, usavam livros didáticos e folhas de exercícios, faziam os alunos resolverem problemas reais e trabalharem com colegas) (ver Wenglinksy, 2002). Um exemplo das Tendências no Estudo Internacional da Ciência e da Matemática (TIMSS) de 2003 mostra como uma pergunta sobre a prontidão dos professores para ensinar aspectos diferentes do currículo de matemática contribuiu para identificar deficiências no conhecimento dos professores que poderiam ser sanadas com algum treinamento durante o trabalho. Em um relatório sobre o estudo, foram apresentados dados sobre o percentual de alunos cujos professores achavam que eram competentes para ensinar assuntos específicos (Mullis et al., 2004). A Tabela 6.1 apresenta um trecho do relatório para duas das cinco áreas de conteúdos em matemática (numerais e álgebra). Os dados sugerem que os cursos durante o trabalho (além de cursos normais de qualificação) na maioria dos países seriam eficazes se direcionassem a atenção para o ensino de habilidades específicas, como os atributos de um gráfico. Questões similares poderiam ser incluídas em uma avaliação nacional para ajudar a identificar áreas que precisam de atenção em cursos de formação de professores. Um questionário direcionado aos professores também pode fornecer informações sobre a experiência dos professores com cursos durante o trabalho e as necessidades que eles acreditam que o treinamento durante o trabalho possa atender. Na Índia e no Butão, os dados dos questionários revelaram que muitos professores tinham pouca ou nenhuma experiência com cursos durante o trabalho (Câmara de Exames do Butão, 2004; Powdyel, 2005; Singh et al., n.d.). A necessidade de cursos que abordassem como ensinar a escrever foi revelada no Lesoto (M. C. Ramokoena, comunicação pessoal, Maseru, 6 de abril de 2009).

96 100 98 98 91 99

Países selecionados

Arábia Saudita

Bulgária

Líbano

Irã, República Islâmica do

Sérvia

Tunísia

Fonte: Extraído de Mullis et al., 2004: 256.

Representar decimais e frações, usando palavras, números e linhas numéricas

98

90

98

100

100

100

Números inteiros, incluindo palavras, números, linhas numéricas, ordenar números inteiros e operações (+, −, × e ÷) com números inteiros

Numerais

87

93

90

93

99

86

Padrões numéricos, algébricos e geométricos de sequências

71

90

98

96

100

95

Equações lineares simples e desigualdades e equações simultâneas (com duas variáveis)

74

90

94

95

100

94

Representações equivalentes de funções como pares ordenados, tabelas, gráficos, palavras, ou equações

Álgebra

71

90

87

95

100

80

Atributos de um gráfico, como interseção nos eixos e intervalos

Percentual de alunos cujos professores relatam sentir-se prontos para ensinar tópicos de matemática

Percentuais de Alunos Cujos Professores Relataram Estar Prontos para Ensinar Matemática, Dados do TIMSS, 8a Série

TABELA 6.1

112 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

Embora esse tipo de informação possa oferecer orientações para os programas durante o trabalho, é preciso habilidade considerável para obtê-la a partir de um questionário. É preciso evitar, por exemplo, problemas como os que foram encontrados na avaliação nacional escocesa (Programa de Avaliação do Aproveitamento), em que os dados obtidos dos questionários não foram suficientemente específicos para estabelecer relação entre o aproveitamento dos alunos e as práticas escolares (Robertson 2005). Desempenho dos professores em um teste de aproveitamento. Embora os cursos projetados para aprimorar as habilidades pedagógicas dos professores sejam mais comuns do que aqueles voltados para o conhecimento sobre o assunto que ensinam, a necessidade de abordar o segundo pode ser mais urgente do que se costuma reconhecer. As poucas avaliações nacionais que coletaram informações sobre o conhecimento dos professores sobre o assunto identificaram deficiências profundas. Após a realização da avaliação nacional da 5ª série no Vietnã, na qual os mesmos itens da prova foram aplicados a professores e alunos, exibiu-se a distribuição das pontuações de compreensão de leitura para os alunos (a distribuição menos acentuada na Figura 6.1) e para os professores (a distribuição mais acentuada à direita). Os dados mostram que os 12% superiores dos alunos tiveram melhor desempenho do que os 30% inferiores dos professores. No Sistema Nacional de Avaliação Educacional do Paquistão, os itens aplicados aos alunos da 4ª série também foram aplicados aos professores. Como ocorreu no Vietnã, houve sobreposição na distribuição das pontuações. Aproximadamente 3% dos professores tiveram pontuação abaixo da média dos alunos. Pouquíssimos itens foram respondidos corretamente por 90% dos professores (A. Tayyab, comunicação pessoal, Oxford, Reino Unido, 24 de julho de 2008). Um exame mais atento dos dados dos professores revela que tiveram um desempenho insatisfatório nos itens que avaliaram geometria, valor de lugar e medidas. Por exemplo, apenas 42% responderam corretamente a um item similar ao apresentado no Quadro 6.1, que pedia que fosse estabelecida a correspondência entre um número de quatro dígitos e seu equivalente em palavras.

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

113

FIGURA 6.1

Distribuições da Pontuação em Leitura de Alunos e Professores: Vietnã

nível de proficiência em leitura

6 5 4 3 2 1 0 percentual de alunos e professores Fonte: Banco Mundial 2004, Vol. I: Figura 2. Observação: As pontuações de leitura dos alunos são representadas pela curva menos acentuada, enquanto as pontuações dos professores, pela curva mais acentuada.

QUADRO 6.1

Questão para relacionar o item de valor de lugar: Paquistão Qual alternativa representa o mesmo que 4.256? A) Quatro mil, duzentos e cinquenta e seis B) Quatro mil, quinhentos e vinte e seis C) Quatro mil, duzentos e cinquenta D) Quatrocentos e vinte e cinco mil e seis Fonte: A. Tayyab, comunicação pessoal, Oxford, Reino Unido, 24 de julho de 2008.

As avaliações nacionais na África têm demonstrado conclusões semelhantes (Duthilleul e Allen, 2005). A Tabela 6.2 documenta o percentual de professores em uma avaliação nacional em Moçambique que foram classificados dentro de oito níveis de proficiência em uma prova de matemática elaborada para alunos da 6ª série. A descrição dos níveis de proficiência identifica as habilidades e o conhecimento que os professores em cada nível haviam adquirido e, por consequência,

Descrição Percentual y Realiza operações de adição ou subtração de um passo. Reconhece formas simples. 0,0 y Estabelece a correspondência entre números e figuras. y Conta em números inteiros. y Realiza operações de adição ou subtração de dois passos, envolvendo transporte, verificação (através de 0,0 estimativas básicas), ou conversão de figuras para números. y Estima o comprimento de objetos familiares. y Reconhece formas bidimensionais comuns. y Transforma as informações verbais apresentadas em uma sentença, gráfico simples ou tabela usando uma 0,3 operação aritmética em vários passos repetidos. y Transforma informações gráficas em frações. y Interpreta o valor de lugar de números inteiros até o milhar. y Interpreta unidades de medidas simples e comuns do cotidiano. y Transforma informações verbais ou gráficas em problemas aritméticos simples. 2,9 y Usa múltiplas operações aritméticas diferentes (na ordem correta) para números inteiros, frações e decimais. y Transforma informações verbais, gráficas ou tabulares em forma aritmética para solucionar determinado 4,6 problema. y Soluciona problemas com múltiplas operações (usando a ordem correta das operações aritméticas) envolvendo as unidades diárias de medida e números inteiros e mistos. y Converte unidades básicas de medidas de um nível para o outro (por exemplo, metros para centímetros). y Soluciona problemas com múltiplas operações (usando a ordem correta das operações aritméticas) 16,3 envolvendo frações, razões e decimais. y Transforma informações em representação verbal e gráfica em forma simbólica, algébrica e de equação para solucionar determinado problema matemático. y Verifica e estima as respostas usando conhecimento externo (que não foi fornecido dentro do problema). y Extrai e converte (por exemplo, no que tange a unidades de medidas) informações de tabelas, gráficos e 44,3 apresentações visuais e simbólicas para identificar e solucionar problemas com vários passos. 31,7 y Identifica a natureza de um problema matemático não enunciado dentro de informações verbais ou gráficas e, então, transforma-o em forma simbólica, algébrica ou de equação para solucionar o problema.

Fonte: Bonnet, 2007. Reproduzido mediante permissão.

Nível 7: Resolução de problemas concretos Nível 8: Resolução de problemas abstratos

Nível 6: Proficiente em matemática

Nível 5: Letramento competente em matemática

Nível 4: Letramento iniciante em matemática

Nível 3: Letramento básico em matemática

Nível 2: Letramento emergente em matemática

Nível Nível 1: Pré-letramento em matemática

Percentual de Professores que Pontuam em cada Nível de Proficiência em Matemática: Moçambique

TABELA 6.2

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

115

aqueles que não possuíam. Por exemplo, todos os professores alcançaram os níveis de proficiência 1 e 2, mas praticamente um em cada quatro professores não respondeu corretamente aos itens de resolução de problemas (níveis 7 e 8). Outros dados do Vietnã (Figura 6.2) mostram o grau de relacionamento entre o conhecimento sobre o assunto que o professor tem e o desempenho dos alunos em matemática. À medida que a pontuação média de aproveitamento dos professores (baseada na média para uma província) aumenta, a média para os alunos (também baseada na média para a província) também aumenta (Banco Mundial, 2004). As conclusões geraram a recomendação de que os professores com domínio insatisfatório sobre o assunto fossem encorajados a participar de cursos durante o trabalho para aprimorar seu conhecimento, como forma de reduzir o número de alunos com baixo desempenho.

Exemplos de Atividades para Aprimorar o Desempenho Profissional dos Professores após uma Avaliação Nacional Há relativamente poucas evidências de que os formuladores de políticas ou responsáveis pelo planejamento educacional tenham utilizado as conclusões da avaliação nacional para determinar os tópicos a serem abordados nos programas de formação de professores, com exceção de alguns países latino-americanos (Argentina, Brasil, Chile, Cuba, República Dominicana, Equador, Guatemala, Honduras, Uruguai e República Bolivariana da Venezuela) (Ferrer, 2006). Alguns países têm adotado os resultados como fundamento para eventos de treinamento de professores em massa na rede de televisão nacional (Cuba) e em revisões da avaliação nacional feitas por educadores, incluindo treinadores de professores (República Dominicana). O estado brasileiro de Minas Gerais oferece um bom exemplo de utilização dos dados da avaliação para aprimorar a formação dos professores (Quadro 6.2). Contudo, há poucas informações disponíveis sobre o efeito desses esforços na competência dos professores (Arregui e McLauchlan, 2005).

116 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

FIGURA 6.2

Avaliação Nacional de Matemática da 5ª Série no Vietnã: Correlação entre as Pontuações Médias de Professores e Alunos da Província

pontuações médias dos professores da província

590 540 490 440 390 340 400 420 440 460 480 500 520 540 560 580 600 pontuações médias dos alunos da província Fonte: Banco Mundial 2004, Vol. I: Figura 5.

No Uruguai, onde as escolas são o principal público interessado nos resultados das provas, o foco primordial após uma avaliação está no investimento feito na melhoria do conhecimento e habilidade para ensinar dos professores, com ênfase especial para o ensino de leitura e matemática nas escolas que atendem a alunos provenientes de contextos sociais vulneráveis. A abordagem parece ter tido resultados bastante positivos, que se refletiram em melhoria ao longo do tempo no desempenho dos alunos nas avaliações (ver Capítulo 5). Entre algumas características significativas da abordagem, estão (Ravela, 2006):

yAnálise de item e de erro do desempenho dos alunos yAusência de atribuição de responsabilidade com consequências significativas yFeedback dado às escolas com base nos resultados dos testes yEncontros de desenvolvimento profissional para promover a troca de ideias entre os professores yIdentificação das escolas em termos de pobreza, e não de aproveitamento.

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

117

O programa em grande escala de treinamento no trabalho atraiu aproximadamente 3 mil professores de 300 a 500 escolas pobres da área urbana a cada ano (Quadro 6.3). Ele apresentou alguns dos atributos dos programas de desenvolvimento profissional geralmente considerados programas que conduzem ao aprimoramento do conhecimento e das habilidades dos professores, incluindo o enfoque em conhecimento sobre conteúdos, amplas oportunidades para aprendizado ativo, coerência com outras atividades, participação coletiva dos professores da mesma escola e tempo suficiente no programa para gerar impacto (ver Garet e outros, 2001). Problemas de comunicação e problemas políticos podem afetar os esforços para influenciar o treinamento de professores, como ocorreu na Argentina, onde se registrou a falta de comunicação entre as agências responsáveis pelo treinamento e avaliação de professores (Ferrer, 2006). Os problemas no Chile foram atribuídos ao fato de as instituições

QUADRO 6.2

Uso das Conclusões da Avaliação Nacional para Aprimorar a Formação de Professores: Minas Gerais, Brasil O estado brasileiro de Minas Gerais adotou os seguintes passos no desenho e utilização das conclusões da avaliação nacional para aprimorar a formação de professores: y

A avaliação se propôs a fornecer informações úteis para as instituições de formação de professores.

y

Houve a colaboração formal entre as 29 instituições educacionais de ensino superior no desenho e na aplicação das provas, processamento dos resultados e entrega dos mesmos para as escolas.

y

Uma universidade assumiu a direção do projeto e contou com o apoio das outras.

y

Os dados foram examinados para identificar os problemas de leitura dos alunos revelados pela avaliação.

y

Os participantes de cursos de qualificação deveriam estudar os resultados da avaliação para se familiarizar com as questões educacionais.

y

Os resultados foram usados para desenvolver programas de treinamento de professores.

Fonte: Ferrer, 2006.

118 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

QUADRO 6.3

Principais Características de um Programa de Treinamento de Professores no Trabalho Baseado nos Resultados da Avaliação Nacional: Uruguai No Uruguai, um programa de treinamento no trabalho de grande escala teve as seguintes características: y

Os cursos eram realizados aos sábados.

y

Os professores eram remunerados pela participação (cerca de 25% do salário inicial dos professores).

y

A participação era voluntária.

y

A participação era baseada por escola – os professores podiam participar do programa de treinamento sob a condição de que pelo menos metade deles (incluindo o diretor) da escola concordasse em participar.

y

As sessões incluíam grupos de aproximadamente 60 professores. Equipes de 5 a 10 escolas se reuniam, o que proporcionava a oportunidade de compartilhar experiências dentro das escolas e com outras escolas.

y

Os programas eram voltados para escolas em contextos vulneráveis, mas o aproveitamento dos alunos não era levado em consideração, de forma que tanto as escolas de bom desempenho quanto as de desempenho insatisfatório pudessem compartilhar experiências.

y

Um grupo de supervisores e professores das instituições de treinamento de professores, selecionados e treinados para o programa, conduziu as sessões.

y

O programa foi dedicado às abordagens de ensino para matemática, linguagem e ciências naturais e sociais.

Fonte: Ravela, 2005.

para treinamento de professores serem, em geral, contrárias à avaliação nacional (Sistema de Medição da Qualidade da Educação, ou SIMCE) (Meckes e Carrasco, 2006). Os cursos e programas durante o trabalho são geralmente oferecidos aos diretores em reconhecimento ao papel fundamental por eles desempenhado na vida da escola. No Uruguai, por exemplo, além dos workshops para professores e supervisores, após uma avaliação nacional, foram organizados workshops especificamente para abordar as questões enfrentadas pelos diretores (Benveniste, 2002). Espera-se que o treinamento durante o trabalho para diretores cubra uma ampla variedade de

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

119

assuntos escolhidos para fornecer conhecimentos e desenvolver habilidades que tendam a contribuir para a criação de um ambiente que apoie o aprendizado dos alunos. Os questionários aplicados em uma avaliação nacional podem ajudar a informar o conteúdo desse tipo de treinamento durante o trabalho, encorajando as autoridades educacionais a organizar cursos para abordar um ou mais dos itens a seguir (Murphy, Yff e Shipman, 2000):

yHabilidades dos diretores em gerenciar os recursos da escola para proporcionar um ambiente de aprendizado seguro, eficiente e eficaz ySuas habilidades de liderança para sustentar uma cultura escolar e um programa de instrução que apoie o aprendizado do aluno ySua habilidade de orientar os professores no desenvolvimento de conhecimento e habilidades dos professores ySua habilidade de analisar e lidar com problemas de disciplina, comparecimento na escola e motivação dos funcionários ySua habilidade de desenvolver estratégias para colaborar com as famílias e comunidades no trabalho da escola (principalmente se a comunidade tem percepções negativas da escola) ySua habilidade de compreender, reagir e influenciar o contexto político, social, econômico, jurídico e cultural mais amplo.

ENFOQUE NAS ESCOLAS E ENSINO EM SALA DE AULA

É uma tarefa complexa e desafiadora assegurar que as conclusões da avaliação nacional influenciem a prática dos professores de sala de aula visando aprimorar o aprendizado dos alunos. Pouco se conhece sobre as estratégias mais eficazes a serem usadas, que tendem a variar de um sistema educacional para outro e de escola para escola. Esta seção aborda a situação na qual as conclusões de uma avaliação nacional são disseminadas. Cabe às escolas interpretar a relevância das conclusões e desenvolver estratégias para solucionar os problemas que porventura sejam identificados. São descritos três passos que parecem essenciais caso se pretenda que as conclusões da avaliação nacional sejam

120 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

usadas com eficácia: (a) comunicação das conclusões para os professores, (b) interpretação das conclusões pelos professores e avaliação de sua relevância para a escola e (c) aplicação das conclusões a estratégias elaboradas para aprimorar o aprendizado dos alunos. Após esses passos serem considerados, são identificadas as decisões que devem ser feitas no planejamento de uma intervenção.

Comunicação das Conclusões Após uma avaliação nacional baseada em amostra, é possível utilizar uma variedade de sistemas para informar os professores em todo o sistema educacional sobre as conclusões: materiais e relatórios impressos, seminários e workshops e visitas de inspetores, supervisores e orientadores. Em alguns países, os professores têm acesso aos relatórios da avaliação nacional na internet. Um relatório pode conter comentários de natureza geral e aconselhamento ou informações detalhadas com base na análise do desempenho dos alunos. Uganda, onde os resultados de sua avaliação nacional se limitaram a mensagens de teor geral enviadas em formato de pôster aos professores em todas as escolas para serem exibidas na sala de aula, constitui um exemplo do primeiro caso (Quadro 6.4). Outros países preparam relatórios mais detalhados – em primeiro lugar, para os professores – que descrevem o aproveitamento dos alunos em termos das áreas curriculares que revelaram pontos fortes e pontos fracos específicos. A inclusão de sugestões práticas que possam ser adotadas por escolas e professores para enriquecer o aproveitamento dos alunos certamente aumenta o valor desses relatórios. Um relatório destinado aos professores na Colúmbia Britânica, Canadá, apresenta o exemplo de uma descrição detalhada do desempenho dos alunos em uma avaliação. O relatório continha uma série de tabelas que indicavam o percentual de alunos em nível distrital que responderam corretamente a cada item na prova, bem como o percentual daqueles que selecionaram alternativas incorretas. O relatório também apresentou uma interpretação do que os alunos estavam fazendo quando selecionavam respostas incorretas. A Tabela 6.3 apresenta um exemplo para

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

121

QUADRO 6.4

Trecho de Pôster Publicado após uma Avaliação Nacional: Uganda Em Uganda, um pôster com o texto a seguir foi distribuído aos professores para ser exibido nas salas de aula: Conseguimos fazer o seguinte: y y y y

Ouvir instruções em inglês e reagir adequadamente Ler um texto escrito curto em inglês Fazer adição, subtração e multiplicação de números Escrever algumas palavras e frases em inglês

Ajude-nos a aprender a: y y y y y

Desenvolver um vocabulário mais extenso Ler com rapidez e fluência Escrever com clareza e organização Fazer operações de divisão de números corretamente Usar o conhecimento já aprendido em novas situações da vida diária

Fonte: Comissão Nacional de Exames de Uganda, n.d.

TABELA 6.3

Percentual de Alunos que Responderam Corretamente a Itens em uma Avaliação de Matemática: Colúmbia Britânica, Canadá Número do item

Percentual correto

2

53

Um problema escrito envolvendo divisão e encontrar o resto (dividir um número de objetos em conjuntos de determinado tamanho e encontrar quantos sobram)

Mais de um quarto (28%) subtraiu ao invés de dividir; 13% dividiram corretamente, mas encontraram um resto incorreto.

21

55

Um problema escrito envolvendo multiplicação, subtração, divisão (encontrar o maior número de um item que pode ser comprado com o troco de uma compra anterior)

Os erros comuns foram cálculo incorreto (19%), ignorar parte das informações (10%), usar apenas parte das informações nos cálculos (10%).

Descrição do item

Comentários ou respostas incorretas

Fonte: Extraído do Ministério da Educação da Colúmbia Britânica, 1999.

122 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

a prova de matemática (padrões e relações). De maneira semelhante, o Quadro 6.5 apresenta o exemplo de um item que pode ser utilizado em uma discussão em grupo para ajudar os professores a identificar os erros comuns dos alunos quando recebem um item simples de cálculo matemático envolvendo mais de um passo e um número elevado ao quadrado. QUADRO 6.5

Questão de matemática 5² − 3(4 − 1) = A) −4 (13%) B) 10 (22%) C) 14 (27%) D) 16 (38%) Fonte: Compilação dos autores.

Os números entre parênteses após cada alternativa representam o percentual de alunos que selecionou a alternativa. A discussão dos professores deve levar às seguintes conclusões:

yA maioria de alunos respondeu de forma incorreta e não selecionou a alternativa D.

yAqueles que selecionaram a alternativa A talvez não soubessem o significado do expoente 2. yOs alunos que selecionaram a alternativa B talvez tenham mudado o sinal dentro dos parênteses por causa do sinal de menos fora dos parênteses. yAqueles que selecionaram a opção C talvez tenham multiplicado o número 3 pelo 4 e, em seguida, subtraído 1, em vez de subtrair 1 de 4. Embora os relatórios enviados para as escolas forneçam informações potencialmente valiosas para os professores, a mera distribuição dos materiais para as escolas não costuma ser eficaz pelas seguintes razões:

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

123

yOs professores, por receberem uma enorme variedade de documentos curriculares, talvez não vejam os relatórios da avaliação nacional como algo que mereça sua atenção prioritária. Uma pesquisa realizada em uma cidade da Nova Zelândia constatou que os professores, em sua maioria, não tinham ciência dos relatórios da avaliação nacional ou de seu potencial para aprimorar a qualidade do trabalho dos professores. Embora exemplares dos relatórios tenham chegado às escolas, pouquíssimos professores tiveram conhecimento de sua existência ou os haviam lido (Lovett, 1999). yOs relatórios, mesmo quando preparados especificamente para as escolas e os professores, talvez não sejam autoexplicativos o suficiente (Arregui e McLauchlan, 2005; OCDE, 2004). yOs professores podem precisar de orientação para desenvolver entendimento sobre uma proposta de reforma e sua relevância para as condições nas quais ensinam. yOs professores provavelmente precisarão de orientação se tiverem de mudar seu jeito de ensinar para alcançar os objetivos sugeridos em uma reforma (por exemplo, mudar o enfoque da memorização e repetição em grupo para procedimentos que desenvolvam maior engajamento dos alunos e envolvimento mais ativo no aprendizado) (Chapman e Snyder, 2000; Grant, Peterson e Shojgreen-Downer, 1996; Ravela, 2005; Snyder et al., 1997).

Interpretação das Conclusões e Avaliação de sua Relevância Mesmo sem uma avaliação nacional, as escolas – principalmente se atendem a alunos de um contexto em desvantagem econômica – geralmente ficarão cientes se um número significativo de seus alunos está enfrentando dificuldades. Nessa situação, as conclusões da avaliação nacional talvez não sejam mais do que um impulso para a reflexão e a ação. As conclusões da avaliação, porém, além de reforçar as percepções dos professores (se, por exemplo, categorias específicas de escolas forem identificadas como problemáticas), podem oferecer indicadores da natureza das dificuldades dos alunos e pistas sobre os fatores que inibem

124 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

ou estimulam o aprendizado do aluno. Contudo, as escolas precisam conscientizar-se das condições atuais nas quais atuam, que podem variar consideravelmente de uma localidade para a outra. Com relação a isso, vários fatores merecem ser considerados. As escolas diferem quanto aos níveis de aproveitamento dos alunos e nas causas do baixo aproveitamento. Os professores diferem no grau de conhecimento sobre o assunto que devem ensinar e em suas habilidades e atitudes pedagógicas. As escolas diferem nos recursos disponíveis, no modo como usam tais recursos, nas restrições sob as quais funcionam (como, por exemplo, turmas muito numerosas) e em sua capacidade de mudar. Elas também diferem nas circunstâncias sociais e econômicas dentro das quais funcionam, na disposição que os alunos têm para aprender quando chegam à escola e no apoio que recebem de seus lares e comunidades. Os professores precisam refletir sobre esses temas, graduando a relevância das conclusões da avaliação de acordo com sua situação. Em especial, precisam determinar o conhecimento ou as habilidades que representam as maiores necessidades instrucionais e o tipo de mudança que teria maior possibilidade de sucesso. Como uma avaliação baseada em amostra não fornece informações sobre os padrões de aproveitamento em escolas individuais, as escolas precisam encontrar uma maneira de determinar como comparar o aproveitamento de seus alunos com o de outros alunos em outras escolas se a intenção é que as conclusões da avaliação nacional sejam relevantes. O Uruguai abordou essa questão ao tornar o instrumento de avaliação disponível às escolas que não participaram da avaliação nacional. Embora esse método permita que todas as escolas comparem o aproveitamento de seus alunos com as normas nacionais, a desvantagem é que a capacidade de monitorar o aproveitamento no sistema educacional ao longo do tempo é comprometida porque itens que foram amplamente utilizados, em tese, não podem ser reutilizados. Um método alternativo seria desenvolver e disponibilizar para todas as escolas um conjunto de provas padronizadas de aproveitamento que os professores pudessem aplicar a seus próprios alunos, a fim de determinar sua classificação em relação às normas nacionais fornecidas pelas provas. O valor das provas padronizadas seria enri-

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

125

quecido significativamente se elas também fornecessem informações sobre o aproveitamento dos alunos, o que representaria uma plataforma para a ação corretiva.

Aplicação das Conclusões Quando se estabelece a relevância das conclusões da avaliação nacional para uma escola específica, a escola deve analisar cuidadosamente o aproveitamento de seus alunos (identificando lacunas e pontos fracos no aprendizado) e as circunstâncias que possam estar contribuindo para a situação. Em seguida, deve elaborar estratégias para solucionar os problemas identificados. Muitos professores consideram essa tarefa dificílima e que exige apoio considerável. O apoio pode assumir o formato de orientações e exemplos de boas práticas provenientes do Ministério da Educação, workshops ministrados por diretores e especialistas no assunto, ou apoio de inspetores ou supervisores na própria escola. Todos esses formatos podem contribuir para deliberação nas reuniões com os funcionários. Os professores podem precisar de orientação específica para (a) identificar os aspectos de sua prática que precisam mudar, (b) descrever as práticas desejadas, (c) descrever as diferenças entre as práticas existentes e as desejadas e (d) especificar estágios nas práticas que indiquem movimento em direção às práticas desejadas. Percorrer esses estágios será um processo incremental no qual se espera que os professores adaptem as práticas existentes para ir em direção a práticas que tenham maior probabilidade de gerar efeito positivo no aprendizado dos alunos. Alguns relatórios de avaliação nacional incluem recomendações específicas para ação (ver Quadro 6.6). As recomendações são direcionadas a um país e currículo específico, e talvez não sejam relevantes em outros contextos. O argumento, entretanto, é que, quando uma avaliação nacional traz recomendações, pode atuar como um estímulo ou lista de verificação para orientar uma série de discussões com os funcionários na medida em que o diretor e os professores analisam a prática em sua escola e como ela se alinha com – ou diverge da – a prática recomendada no relatório da avaliação nacional.

126 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

QUADRO 6.6

Recomendações após uma Avaliação Nacional em Matemática, 5a Série: Irlanda As recomendações a seguir provêm de um guia publicado pelo Departamento de Educação e Ciência da Irlanda em resposta a uma avaliação nacional: y

Os professores devem apoiar o desenvolvimento dos alunos na área de conteúdo “Forma e Espaço”, envolvendo-os em tarefas que demandem raciocínio sobre forma e espaço.

y

Os professores devem estender o trabalho relacionado com coleta de dados, análise de dados e construção e interpretação de gráficos para disciplinas como geografia e ciências. Devem-se buscar oportunidades de aplicar conhecimento sobre as áreas “Número”, “Medidas” e “Forma e Espaço” em outras áreas e em contextos reais.

y

Os professores devem conceder mais ênfase à área de “Medidas” ao oferecer oportunidades para os alunos transferirem o conhecimento e as habilidades adquiridos em atividades práticas para solucionar problemas não rotineiros.

y

Os professores devem enfatizar mais o ensino de habilidades matemáticas de alto nível, incluindo “Aplicação” e “Resolução de Problemas”.

y

As escolas e os professores devem dar apoio aos pais no desenvolvimento da proficiência de seu filho em matemática, fornecendo informações sobre mudanças no currículo e métodos de ensino, orientações sobre como envolver as crianças em atividades relacionadas com a matemática em casa e orientação para usar o dever de casa (incluindo a quantidade de tempo a ser determinada para o dever de casa), a fim de favorecer o aprendizado.

y

As escolas e os professores devem estender o uso de calculadoras e tecnologias de informação e comunicação para ensinar matemática. Calculadoras e tecnologias de informação e comunicação devem ser usadas não apenas para desenvolver habilidades como a de realizar cálculos básicos, mas também enriquecer o raciocínio matemático e as habilidades de resolução de problemas.

Fonte: Adaptado de Surgenor et al., 2006; também disponível em http://www.erc.ie.

Com frequência, o relatório de avaliação nacional não traz recomendações específicas. Nesse caso, os professores devem confiar mais nos próprios recursos para elaborar estratégias que tratem das áreas de pontos fracos no aproveitamento dos alunos identificados em sua avaliação. Em Uganda, após a análise das conclusões da avaliação (por exemplo, desempenho insatisfatório na leitura de texto contínuo, na escrita e em

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

127

geometria), um grupo de diretores de várias escolas identificou maneiras específicas pelas quais acreditavam que podiam aprimorar o ambiente de aprendizado em suas escolas. Entre os métodos, estavam o aprimoramento do ritmo da instrução em resposta ao progresso dos alunos (ou falta dele), a verificação dos planos de trabalho e planejamento de aulas dos professores, o envolvimento dos alunos na confecção de materiais para o ensino e a realização de competições com tarefas de leitura e letramento em matemática entre os alunos (Acana, 2008). A consideração das conclusões da pesquisa educacional pode contribuir para as discussões dos professores em reuniões de equipe e em outras ocasiões, como formas de lidar com os problemas identificados em uma avaliação nacional. Como é provável que os professores não estejam familiarizados com as conclusões da pesquisa, as páginas a seguir trazem um resumo das principais conclusões que podem contribuir para as discussões. As áreas relevantes para essas discussões são (a) pesquisas sobre a eficácia da escola (Quadro 6.7), (b) pesquisas sobre a eficácia dos professores (Quadro 6.8) e (c) pesquisas sobre o relacionamento entre o aprendizado dos alunos e fatores individuais relacionados com o aluno e sua família (Quadro 6.9).

QUADRO 6.7

Tópicos para Discussão: Resultados da Avaliação Nacional e Variáveis da Eficácia da Escola Em suas discussões, as escolas devem levar em conta os fatores a seguir, que foram qualificados pelas pesquisas como relacionados com a eficácia da escola: y y y y y y y y y

Ambiente escolar organizado Alta qualidade da liderança instrucional do diretor “Cultura” ou “clima” escolar positivo (unidade de propósito, com enfoque no aprendizado do aluno) Altas expectativas para o aproveitamento e comportamento dos alunos Ambiente disciplinar forte Motivação alta da equipe Oportunidades para o desenvolvimento dos funcionários Envolvimento dos pais Coordenação e consistência da instrução entre as séries.

Fontes: Lockheed e Verspoor, 1991; Reynolds e Teddlie, 2000.

128 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

QUADRO 6.8

Tópicos para Discussão: Resultados da Avaliação Nacional e Variáveis da Eficácia do Professor Em suas discussões, as escolas devem levar em conta os fatores a seguir, que foram classificados por pesquisas como relacionados com a eficácia do professor: y y y

y y y y y y

y y y y

Conhecimento do assunto Gestão e organização das salas de aula (por exemplo, para assegurar o mínimo de interrupções) Práticas instrucionais (clareza do enfoque acadêmico, adequação do ritmo de instrução ao nível do aluno, oportunidades para os alunos praticarem e aplicarem o que foi aprendido, cobertura adequada do currículo e oportunidades de aprendizado para os alunos) Capacidade de ensinar habilidades cognitivas de alto nível Individualização da instrução Aprendizado colaborativo que facilita o trabalho em grupo dos alunos Altas expectativas de aproveitamento e comportamento comunicadas aos alunos Disponibilidade e adequação dos recursos (livros didáticos e outros materiais instrucionais) Monitoramento e avaliação do progresso dos alunos (uso e frequência de reforço específico, perguntas que tenham nível de dificuldade adequado e que façam os alunos refletirem, organizarem e aplicarem o conhecimento, em vez de apenas recordar informações) Frequência e acompanhamento do dever de casa Comparecimento Tempo gasto na preparação da aula Crenças, percepções e pressupostos (incluindo expectativas quanto ao aproveitamento dos alunos).

Fontes: Brophy e Good, 1986; Fuller, 1987; Teddlie e Reynolds, 2000; Wang, Haertel e Walberg, 1993; Wenglinsky, 2002.

Os professores devem ter vários fatores em mente quando analisam a pesquisa. Primeiro, as conclusões são, em sua maioria, baseadas nos resultados de estudos realizados em países industrializados. O número menor de estudos realizados em países em desenvolvimento replica esses resultados em vários aspectos, com a exceção de que foi constatada uma correlação mais intensa entre o aproveitamento dos alunos e a qualidade dos professores e a disponibilidade de recursos (por exemplo, livros didáticos) (Reynolds, 2000). Segundo, os professores talvez sejam mais eficazes em algumas áreas do currículo do que em outras. Por exemplo, as habilidades

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

129

QUADRO 6.9

Tópicos para Discussão: Resultados da Avaliação Nacional e Fatores Individuais Relacionados com o Aluno e sua Família Associados ao Aprendizado do Aluno Pesquisas indicam que características como as seguintes têm efeito significativo sobre o aproveitamento dos alunos: y y y y

y

Características dos alunos (motivação, engajamento com o aprendizado, condições de nutrição e doenças) Comparecimento Nível educacional ou de renda dos pais Apoio da família (ter altas expectativas para o aproveitamento escolar, envolver-se no trabalho escolar, auxiliar no dever de casa, ler para as crianças ou pedir que elas leiam para membros da família e interagir com o professor) Exigências feitas ao aluno fora da escola (trabalho ou responsabilidade de cuidar de outras crianças).

Fonte: Compilação dos autores.

exigidas para ministrar aulas de arte ou ciências em laboratório podem ser diferentes das exigidas para ensinar linguagem e matemática (as áreas curriculares investigadas na maioria dos estudos de eficácia da escola). Terceiro, os professores talvez sejam mais eficazes com algumas categorias de alunos do que com outras (Campbell et al., 2004). Eficácia da escola. Os fatores geralmente associados à eficácia no nível da escola (Quadro 6.7) destacam a importância do papel do diretor, além da importância de desenvolver uma cultura escolar que enfatize o aprendizado do aluno. Condições complementares, como a disciplina escolar e a condição psicológica, também figuram entre esses fatores. As discussões da equipe devem voltar-se para a relação entre as conclusões da avaliação nacional e os fatores da eficácia da escola que são mais relevantes para a situação da escola. Eficácia do professor. Evidências empíricas disponíveis há mais de um século que citam o papel crucial que o contexto familiar dos alunos desempenha em sua habilidade para aprender podem, algumas vezes, ter levado pessoas a subestimar os efeitos das características da escola e, em particular, das práticas dos professores em sala de aula. Uma pesquisa

130 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

recente baseada em dados coletados na Avaliação Nacional do Progresso em Educação dos Estados Unidos usando análise estatística sofisticada questiona essa visão. As conclusões da pesquisa revelam que as práticas de sala de aula (por exemplo, o enfoque no ensino de habilidades cognitivas de alto nível, a aplicação de técnicas de resolução de problemas para problemas distintos e a individualização da instrução) afetaram o aproveitamento dos alunos em matemática na 8ª série pelo menos tão seriamente quanto o contexto de origem dos alunos (Wenglinsky, 2002). Os fatores identificados como tendo relação com a eficácia dos professores em suas salas de aula (Quadro 6.8) identificam o conhecimento dos professores sobre o assunto e suas habilidades pedagógicas. As condições instrucionais de importância especial incluem oportunidade para aprender, tempo gasto na execução da tarefa, ensino estruturado, avaliação e informações sobre o desempenho dos alunos, disponibilidade de recursos adequados e emprego de vários caminhos para a solução de problemas, a fim de acomodar a variação encontrada em qualquer sala de aula quanto ao conhecimento e à experiência dos alunos (Scheerens, 1998; Wenglinsky, 2002). A especificação de altas expectativas quanto ao aproveitamento dos alunos na sala de aula reforça a necessidade de altas expectativas no nível da escola (Quadro 6.7). A relação entre eficácia da escola e eficácia do professor também se expressa na necessidade de coordenar a instrução entre as séries. Portanto, as discussões da equipe escolar sobre a avaliação nacional devem considerar as implicações das conclusões para o ensino em todas as séries, em especial das séries abaixo daquela em que a avaliação foi realizada. De maneira ideal, o mecanismo para alcançar mudanças nas práticas dos professores envolve revisões feitas pela equipe da escola para examinar e interpretar os dados do desempenho dos alunos e para desenvolver estratégias elaboradas que visam o aumento do aproveitamento dos alunos. O apoio dos inspetores, supervisores ou conselheiros será importante na medida em que os professores se esforcem para aplicar o que aprenderam em sala de aula. A mudança em sala de aula tem maior probabilidade de ocorrer e de ser mantida quando as seguintes condições específicas são atendidas (Elmore e Burney, 1999; Fullan, 2001; Reezigt e Creemers, 2005):

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

131

yA natureza dos problemas (por exemplo, desempenho insatisfatório na divisão de decimais) e suas causas possíveis são esclarecidas. yAs necessidades de melhoria são identificadas e os objetivos específicos são determinados (relacionados, por exemplo, ao aproveitamento em áreas específicas, atitudes, papel dos alunos no processo de aprendizado, comparecimento às aulas). yUm plano (com passos específicos) com áreas prioritárias para instrução é desenvolvido para solucionar as deficiências identificadas. ySão definidas expectativas para o aproveitamento dos alunos. ySão desenvolvidas estratégias com base nas discrepâncias identificadas entre a prática atual e a desejada. yO progresso dos alunos é monitorado com regularidade. yO enfoque está na aplicação concreta de ideias gerais. yOs professores são expostos à prática real desejada, e não às descrições da prática. ySão fornecidas oportunidades para que os professores interajam entre si e com os inspetores ou supervisores em uma cultura de trabalho colaborativa. yFazem-se uma avaliação e uma reflexão sobre o progresso na implementação do plano (por exemplo, para determinar se os objetivos foram alcançados). É preciso observar os aspectos menos tangíveis de alguns dos itens especificados para a eficácia dos professores no Quadro 6.8. Se, como se afirmou, os sistemas de crenças subjacentes ao valor e propósito de um currículo e das expectativas e aspirações que os professores têm para seus alunos são mais importantes do que alterar detalhes de um currículo ou estratégias de ensino (Anderson, 2002; Robertson, 2005), então as estratégias para melhorar o aprendizado dos alunos precisam responder a um universo mais amplo de circunstâncias do que normalmente é praticado. Fatores do aluno, família e comunidade. Em suas discussões sobre as conclusões da avaliação nacional, os diretores e professores devem considerar as pesquisas sobre os fatores do aluno, da família e da comunidade

132 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

que afetam o aprendizado do aluno (ver Quadro 6.9). Se forem identificados problemas relacionados com esses fatores, é possível indicar procedimentos elaborados para causar impacto indireto no desenvolvimento cognitivo dos alunos em outras áreas além do nível escolar ou de sala de aula. Entre as opções no nível do aluno, há o fornecimento de refeições na escola ou suplementos para as deficiências nutricionais. Entretanto, tal provisão normalmente exigiria uma decisão em nível superior ou o envolvimento dos pais, porque uma escola sozinha provavelmente não tem a possibilidade de arcar com os custos envolvidos. Uma escola também não teria condições de fazer muito sobre os níveis de educação formal dos pais, porém pode aconselhar os pais sobre as características de um ambiente familiar que promova o aprendizado das crianças. Por exemplo, as conclusões da avaliação nacional do Vietnã (ver o Capítulo 2) sugeriram que os pais fossem aconselhados sobre a utilidade de providenciar um espaço reservado em casa para os alunos estudarem, bem como a necessidade de minimizar a ausência das crianças da escola (Banco Mundial, 2004). Em sua análise das conclusões da avaliação nacional, os funcionários da escola também podem fazer uma reflexão sobre as maneiras de fortalecer a ligação entre a escola e a vida doméstica dos alunos. Escolas em muitos países têm laços formais com as famílias, embora, em alguns casos, eles existam apenas no nome. Os laços talvez precisem ser revigorados e desenvolvidos para desempenhar papel ativo no aumento do envolvimento das famílias em atividades que estimulem e promovam o aprendizado dos alunos. Há diversas estratégias existentes para esse fim. Entre elas, estão (a) o envolvimento dos pais na governança e apoio em nome da escola (por exemplo, em uma associação de pais e alunos ou no conselho de administração da escola); (b) a assistência dos pais nas atividades não instrucionais na escola; (c) a realização de workshops e palestras para discutir políticas escolares ou condições domésticas que promovam o aprendizado; e (d) a utilização de programas para envolver os pais (ou outros adultos) nas atividades de aprendizado em casa, incluindo aquelas direcionadas ao desenvolvimento de habilidades de resolução de problemas, pensamento crítico, conversação e supervisão de dever de casa (Kellaghan et al., 1993).

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

133

Fatores contextuais mais amplos, como as circunstâncias sociais e econômicas da comunidade atendida pela escola, também podem afetar o aprendizado dos alunos. Entretanto, esses fatores estão, em grande parte, fora do controle das escolas. Mesmo assim, é importante obter o apoio das figuras administrativas e políticas locais para o trabalho da escola, mesmo em comunidades com poucas condições econômicas. As comunidades talvez ajudem a cuidar das instalações da escola e a fornecer recursos. É extremamente importante transmitir para a comunidade a mensagem de que as escolas oferecem oportunidade para o desenvolvimento e o avanço das crianças. As escolas devem refletir explicitamente essa crença nas atividades realizadas.

Planejamento de uma Intervenção Quando o diretor e os professores chegam a um acordo sobre o caminho a ser seguido após uma discussão sobre as conclusões da avaliação nacional, devem elaborar um plano para implementar várias estratégias destinadas a aprimorar o aprendizado dos alunos. O plano deve especificar o papel dos envolvidos e ser verificado com regularidade, para que seja feito o acompanhamento de sua implementação. O plano pode especificar, por exemplo, que o professor que tenha mais conhecimento sobre o ensino de redação compartilhe suas ideias com os colegas durante a reunião de equipe. O plano deve ser realista, levando em conta o tamanho da escola, a disponibilidade de recursos, as habilidades dos professores e a probabilidade de obter apoio das autoridades educacionais e membros da comunidade local. Em condições ideais, o plano deve especificar o seguinte (Reezigt e Creemers, 2005):

yO tempo necessário para as atividades yAs prioridades e ordem das atividades yAs estratégias (por exemplo, workshops, coaching) yO envolvimento dos agentes externos e seus papéis e tarefas, se forem aplicáveis yOs participantes da equipe que serão envolvidos e suas tarefas

134 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

yO papel e a autoridade dos membros da equipe que terão participação ativa (para evitar mal-entendidos posteriores) yO papel idealizado para os alunos, pais e comunidade.

CONCLUSÃO

O número e a complexidade dos fatores que afetam o aproveitamento dos alunos, representados em um gráfico preparado pela Comissão Nacional de Exames de Uganda após uma série de avaliações nacionais (ver a Figura 6.3), destacam os desafios enfrentados por escolas e professores. Os cursos de desenvolvimento profissional certamente têm um papel a desempenhar na solução das deficiências que possam ser identificadas no conhecimento do assunto ou habilidades pedagógicas dos professores. Entretanto, é provável que seja necessário adotar outras iniciativas nas escolas caso se espere que elas assimilem as conclusões de uma avaliação nacional e tomem providências com base nas conclusões. No caso das avaliações baseadas em amostra, o primeiro desafio é decidir qual é a relevância das conclusões da avaliação para cada escola. A seguir, caso se julgue que as conclusões são relevantes, ou se a escola foi identificada em uma avaliação baseada no censo, a escola tem a tarefa de elaborar estratégias que aprimorem o aproveitamento dos alunos – tarefa que, em geral, tem de ser realizada com recursos limitados. Este capítulo abordou as implicações das conclusões da avaliação nacional para o ensino. Caso a avaliação nacional não identifique ações específicas a serem tomadas, a escola deve receber orientações para desenvolver estratégias mediante evidências fornecidas por pesquisas sobre eficácia da escola, eficácia do professor e papel das residências e comunidades no apoio ao aprendizado dos alunos. Algumas conclusões da avaliação nacional podem apontar para mudanças de abordagem que estão sob o controle das escolas e professores (por exemplo, mais tempo dedicado a assuntos específicos do currículo, mais atenção à análise do dever de casa dos alunos e maior ênfase nos comentários sobre o desempenho). Outras mudanças estão sob o controle dos pais (por exemplo, incentivar maior comparecimento à escola ou

Meninos e meninas interagem em um ambiente acolhedor aos gêneros sem estereótipos

Alunos entram para a 1ª série com cerca de 6 anos

O professor aplica provas programadas, corrige-as e faz comentários sobre o desempenho dos alunos em seguida

Há certa especialização de matérias em nível escolar para que um professor não lecione mais do que duas matérias

Fonte: Acana 2006. Reproduzido mediante permissão.

Prática de avaliação

Carga horária

Professor permite que alunos participem ativamente das atividades em sala de aula

O aluno leva alimentos sólidos, além de mingau ou uma bebida para o almoço nos dias de aula

Almoço

Métodos de ensino

Após ensinar por cerca de cinco anos, o professor participa de cursos de atualização com regularidade

Experiência do professor

O professor tem pelo menos diploma de grau iii ou grau v ou licenciatura ou tem diploma em educação

Qualificação do professor

Gênero dos alunos

Idade dos alunos

Fatores que Afetam o Aproveitamento: Uganda

FIGURA 6.3

O professor mora na escola ou perto dela, em uma casa com pelo menos dois cômodos

Condições de moradia do professor

Os alunos leem livros didáticos e outros livros complementares

Habilidades de leitura e escrita

Acompanhamento e supervisão Inspetores e agência de padrões de educação monitoram o aprendizado nas escolas

Diretor enfatiza a gestão adequada do tempo por parte dos professores e alunos

Uso de materiais de ensino Diretor disponibiliza materiais e assegura que sejam utilizados com eficácia

Os pais e o Ministério da Educação e dos Esportes adquirem materiais de ensino em quantidade suficiente

Materiais de ensino

Os pais visitam a escola e acompanham o comparecimento nas aulas e o trabalho em sala

Participação dos pais

Gestão do tempo

Os pais proporcionam espaço e tempo suficientes à criança para o dever de casa

Ambiente doméstico

136 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

assegurar que o dever de casa seja feito). As autoridades do Ministério da Educação talvez precisem fornecer recursos humanos e financeiros (a) para determinar as implicações das conclusões de uma avaliação para a formação de professores e prática de sala de aula, (b) para comunicar as conclusões da avaliação para as escolas, (c) para auxiliar as escolas na interpretação das conclusões e sua relevância, (d) para orientar as escolas na implementação de estratégias, a fim de lidar com o aproveitamento insatisfatório dos alunos e (e) assegurar que apoio contínuo esteja à disposição das escolas na implementação das estratégias. O resumo de atividades a seguir, se for implementado, pode servir para aumentar a influência de uma avaliação nacional na formação de professores e práticas de sala de aula:

yEnvolver os treinadores de professoras no desenho e implementação de uma avaliação nacional. yColetar informações relevantes sobre práticas de sala de aula nos questionários aplicados na avaliação nacional. yIdentificar e relatar as implicações das conclusões da avaliação nacional para os cursos normais de qualificação de professores e cursos durante o trabalho. yEstimular o uso dos resultados pelos treinadores de professores e alunos dos cursos de qualificação. yPreparar relatórios não técnicos e fáceis de ler para os professores sobre os resultados da avaliação. yEncorajar as escolas a analisarem a avaliação nacional e considerar suas implicações. yOrientar os professores para considerarem os fatores relacionados com a escola e externos a ela como passíveis de influenciar o desempenho dos alunos. yEncorajar as escolas a aumentarem o envolvimento dos pais na educação de seus filhos. yEncorajar as escolas e os professores a assumirem um número limitado de mudanças factíveis na organização da instituição e em suas abordagens de ensino. yMonitorar e avaliar os efeitos das mudanças que forem realizadas.

CAPÍTULO

7

CONCLUSÕES DA AVALIAÇÃO NACIONAL E CONSCIENTIZAÇÃO PÚBLICA

D

escrever o desempenho do sistema educacional pode ajudar a direcionar a atenção pública para as questões educacionais e estimular o debate nacional. Certamente, o público ficaria surpreso em saber, por exemplo, que o aproveitamento em leitura de uma grande proporção de alunos da 5a série é avaliado como inferior ao nível “proficiente”. Embora os políticos possam às vezes acreditar que é de seu interesse controlar o fluxo desse tipo de informação, as vantagens de longo prazo de um sistema aberto de informações tendem a superar as desvantagens de curto prazo. Na melhor das hipóteses, as informações sobre o aproveitamento dos alunos pode contribuir para o debate sobre educação, que, por sua vez, pode contribuir para um maior apoio público em relação às iniciativas de aperfeiçoar o sistema (Greaney e Kellaghan, 1996; Vegas e Petrow, 2008). Na verdade, a publicação dos resultados de uma avaliação nacional – mesmo de uma avaliação baseada em amostra – faz a operação ter consequências significativas, uma vez que atrai a atenção do público para informações sobre a qualidade das escolas, levantando, dessa forma, questões sobre a atribuição de responsabilidade (Chapman e Snyder, 2000).

138 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

A decisão de divulgar abertamente as conclusões da pesquisa (incluindo as avaliações nacionais) será determinada pelas considerações políticas e pelas práticas institucionais e cultura das elites responsáveis pela formulação de políticas (ver o Capítulo 1). Em algumas situações, as autoridades fornecem informações em níveis agregados nacionais (e regionais) de aproveitamento, mas não em nível de aproveitamento por escola ou aluno. Em outros casos, fornecem acesso aos dois tipos de informações. Entretanto, em outros casos ainda, as autoridades relutam em fornecer acesso a qualquer tipo de informação. Em alguns países, o acesso pode ser obtido mediante os procedimentos de liberdade de informação (ver Quadro 7.1). Na ausência de legislação sobre liberdade de informação, os governos talvez não considerem que o público tem o direito de conhecer os resultados das avaliações nacionais ou internacionais. O governo Fujimori, do Peru, optou por não divulgar publicamente os resultados de sua primeira avaliação nacional por questões políticas (Arregui e McLauchlan, 2005). Outros países que se recusaram a publicar ou atrasaram a publicação dos resultados em nível nacional de avaliações internacionais incluem o México (Ferrer e Arregui, 2003) e a Romênia (Gilmore, 2005). Várias razões foram apresentadas para justificar a não divulgação das informações, incluindo o receio de que as conclusões possam ser usadas para comparações entre as escolas no caso de avaliações baseadas no censo, que os pais não seriam capazes de compreender as informações da avaliação e que os resultados não seriam adequados do ponto de vista técnico (Ferrer, 2006). A tradição e os acordos anteriores feitos com grupos, como sindicatos de professores, podem limitar o grau em que os resultados são divulgados publicamente. No Uruguai, por exemplo, os sindicatos de professo-

QUADRO 7.1

Leis sobre a Liberdade de Informação Nem todos os países têm legislação que concede ao público o direito de acessar informações mantidas pelo governo. Apenas 68 de aproximadamente 195 países tinham leis de liberdade de informações em 2006. Fonte: Banisar, 2006.

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

139

res, que, no início, se opunham ferrenhamente ao conceito de avaliação nacional, concordaram, após deliberações com o Ministério da Educação, em implementar uma série de ações após uma avaliação baseada no censo (Quadro 7.2) que não promoveram ampla conscientização da população, mas que foram eficazes ao fornecer informações para o treinamento de professores durante o trabalho. Esforços especiais podem ser necessários para atrair a atenção pública no caso de uma avaliação nacional baseada em amostra. É claro que esse tipo de avaliação não atrai a mesma atenção da mídia do que um estudo internacional que comenta o desempenho de um país em relação ao desempenho de outros países, embutidos em manchetes como “Suécia tem Nível de Países em Desenvolvimento” (Husén, 1987) e “Alunos da África do Sul em Último lugar em Matemática e Ciências” (Monare, 2006). As avaliações nacionais baseadas no censo também tendem a atrair mais atenção da mídia do que as avaliações baseadas em amostra quando são publicadas informações (o que, em geral, acontece) sobre o desempenho de escolas individuais. QUADRO 7.2

Acordos para a Divulgação dos Resultados da Avaliação Nacional: Uruguai No Uruguai, os sindicatos de professores concordaram com os passos a seguir para permitir a divulgação dos resultados da avaliação nacional: y y y y y y y y

Os resultados da avaliação nacional serão divulgados em um workshop para inspetores da escola primária. A mídia tem permissão para participar do workshop e pode receber os resultados em nível nacional. Os resultados individuais das escolas não serão divulgados e estarão disponíveis apenas para os inspetores e diretores. Os pais de alunos podem solicitar os resultados da escola ao diretor. Não será permitida a publicação de tabelas de classificação das escolas. Os resultados serão devolvidos imediatamente às autoridades escolares (o padrão é 40 dias após sua aplicação). Os professores de sala de aula não devem ser responsabilizados pelo aproveitamento de seus alunos. As pontuações devem ser interpretadas levando-se em conta os fatores socioculturais pertinentes.

Fontes: Benveniste, 2000; Ravela, 2005.

140 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

EXEMPLOS DO USO DOS RESULTADOS DA AVALIAÇÃO PARA INFORMAR O PÚBLICO

Os Ministérios da Educação reconhecem cada vez mais a importância da divulgação dos resultados das avaliações nacionais. Reconhecem que as conclusões de uma avaliação podem ter a função de “esclarecimento”, não apenas para os formuladores de políticas e responsáveis pela decisão (ver o Capítulo 5), mas também para o público, possibilitando a identificação e a reflexão dos problemas na educação. Na América Latina, informar o público sobre os níveis de aproveitamento dos alunos passou a ser considerado uma consequência importante da avaliação nacional (Arregui e McLauchlan, 2005). Na Argentina, ao usar os resultados do aproveitamento dos alunos, o governo nacional empenhou-se em fornecer ao público evidências de que o sistema educacional estava em crise – uma crise que exigia reformas abrangentes contidas na lei federal (Benveniste, 2002). No Chile, onde os resultados da avaliação nacional são usados para criar redes de apoio na sociedade civil, a publicação anual dos resultados tem contribuído para fazer da educação uma questão relevante nos interesses públicos (Benveniste, 2002). Ainda no Chile, a publicidade sobre a relação entre a situação socioeconômica dos alunos e seu aproveitamento aumentou a exigência da sociedade por equidade. Em termos mais concretos, a ação compôs a base para políticas voltadas para abordar as inequidades no sistema educacional (Meckes e Carrasco, 2006). Em outras partes do mundo, as equipes de avaliação nacional fazem esforços consideráveis para informar o público sobre a avaliação, às vezes com muitos detalhes. Tanto na Inglaterra quanto nos Estados Unidos, por exemplo, embora existam diferenças radicais nas estratégias de avaliação, há websites abrangentes sobre os programas de avaliação. Os governos dos dois países usam os sites para suplementar suas políticas de avaliação e para informar o público sobre a qualidade da educação. O site baseado em amostra para a Avaliação Nacional do Progresso em Educação dos Estados Unidos (http://nces. ed.gov/nationsreportcard) traz informações sobre as avaliações nacionais atuais e passadas, uma

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

141

seção destinada aos pais, detalhes sobre as matérias avaliadas, incluindo os modelos estruturais das matérias, o cronograma de avaliação e as amostras dos itens (ver Quadro 3.6). O guia para os pais traz informações sobre como os alunos são selecionados para a avaliação e quanto tempo o teste leva, além de noticiar quais dados individuais sobre alunos e escolas não são divulgados. O site para a avaliação baseada no censo na Inglaterra (http://www.direct.gov.uk/en/Parents/School slearninganddevelopment/ExamsTestsAndTheCurriculum/) descreve as provas e as avaliações dos professores. A implementação consistente das avaliações nacionais, em conjunto com a publicação regular dos resultados, tende a aumentar a conscientização da população (Meckes e Carrasco, 2006). Os comentários de figuras relevantes sobre as conclusões da avaliação também tendem a elevar a conscientização da população. Nos Estados Unidos, após a divulgação dos resultados das Tendências Internacionais no Estudo de Matemática e Ciências da 8a série, o secretário de Educação dos Estados Unidos comentou: “Não podemos esperar sermos os líderes mundiais em matemática e ciências se quem ensina os alunos de geometria são os professores de história e se quem ensina os alunos de química são os professores de educação física (Riley, 2000). Embora os comentários tenham sido feitos após uma avaliação internacional, têm fundamento em observações sobre o cenário nacional e podem facilmente ter sido encorajados pela avaliação nacional.

O PAPEL DA MÍDIA

A mídia é uma fonte expressiva de informações sobre as avaliações nacionais para o público. Na Alemanha, os jornais tiveram um papel de destaque ao chamar a atenção pública e em nível de formulação de políticas após a análise do desempenho do país no Programa Internacional de Avaliação de Alunos (PISA). Transcorrido um mês da divulgação dos resultados do PISA de 2000, os jornais alemães haviam dedicado cerca de 687 páginas ao tema, um número muito mais elevado do que o registrado em outros países (OCDE e Projeto INES, Network A, 2004). Apesar

142 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

de o estudo ter enfoque internacional, as conclusões foram usadas para identificar as principais diferenças inesperadas em aproveitamento entre os 16 estados (Länder) do país, encorajando o debate sobre o papel da educação fornecida nas escolas alemãs. Interpretou-se também que os resultados forneciam evidências de desigualdade social. A reação pública e política provocou reformas que incluíram a introdução de padrões e medidas comuns entre os 16 estados, a preparação de um relatório anual comum sobre educação no país e o aumento do número de horas de instrução escolar (Rubner, 2006). Apesar de a mídia ter papel fundamental na divulgação das conclusões, é possível prever os problemas na maneira como a mídia as divulga. Alguns repórteres responsáveis pela cobertura das avaliações nacionais (e internacionais) parecem mais interessados em conclusões que venham a denegrir o sistema educacional do que naquelas que tenham reflexo positivo. Outros procuram causar sensacionalismo ou distorcer elementos das conclusões. Outro problema possível de ocorrer com a mídia é que estudos de qualidade medíocre podem atrair tanta atenção quanto estudos de boa qualidade. Logo, os estudos realizados por um número reduzido de escolas (ou mesmo em uma escola) podem ser tratados com a mesma seriedade daqueles baseados em amostras representativas de alunos. Em alguns aspectos, a cobertura de tópicos da avaliação nacional na mídia foi sofisticando-se com o tempo. Em vez de pontuações percentuais, os resultados tendem a ser comunicados em função dos níveis de proficiência dos alunos (por exemplo, “adequado”, “proficiente”, “superior”). As tendências de aproveitamento são comunicadas quando é apropriado e os resultados podem ser categorizados por região, gênero e situação socioeconômica.

DESENVOLVIMENTO DE UMA ESTRATÉGIA DE COMUNICAÇÃO

Um procedimento para assegurar que as conclusões da avaliação nacional tenham o máximo de influência exige uma estratégia de comunicação que compreende vários passos (ver o Quadro 7.3).

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

143

QUADRO 7.3

Procedimentos para Maximizar o Impacto das Conclusões da Avaliação Nacional Seguir uma estratégia de comunicação, como a apresentada a seguir, pode ajudar a maximizar o impacto de uma avaliação nacional: y y y y

y

Chegar a um consenso sobre um número definido de mensagens-chave que serão divulgadas com consistência por porta-vozes oficiais. Prever perguntas e redigir respostas-padrão. Prever como os jornalistas e grupos de interesse podem tentar distorcer as mensagens-chave e elaborar estratégias para lidar com o problema. Desenvolver mecanismos para monitorar a cobertura pública e particular dos resultados do estudo, a fim de ajustar a mensagem pretendida onde for adequado e reagir ao seu uso equivocado quando ocorrer. Desenvolver estratégias para lidar com as interpretações distorcidas das conclusões.

Fonte: Compilação dos autores.

Como os sistemas de avaliação nacional geram milhares de conclusões individuais, o primeiro passo para o desenvolvimento de uma estratégia de comunicação pode às vezes ser irregular: concentrar todas as conclusões em algumas mensagens-chave que possam ser comunicadas com consistência a todos os porta-vozes e que serão incluídas em todos os documentos resumidos, como comunicados de imprensa. Se for concebida e executada adequadamente, a estratégia de divulgação alertará o público-alvo para a disponibilidade das informações sobre a avaliação nacional e os encorajará a buscar mais detalhes. O objetivo da estratégia é a gestão criteriosa das primeiras impressões sobre os resultados da avaliação nacional. Partindo-se da premissa de que o interesse foi despertado, o passo seguinte é assegurar que os públicos-alvo recebam respostas simples, e não técnicas para qualquer pergunta feita sobre o significado das conclusões principais e para as perguntas-padrão feitas pelos jornalistas: quem, o que, quando, onde, por que, como e quanto? As respostas devem ser preparadas, analisadas quanto à exatidão das informações técnicas, revisadas por pessoas sem formação técnica para verificar se estão claras e ensaiadas por todos os porta-vozes oficiais antes de sua divulgação.

144 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

As equipes nacionais de estudo também precisam prever como os jornalistas e grupos de interesse tentarão distorcer as mensagens-chave para servir aos seus interesses pessoais. Os jornalistas podem tentar induzir os porta-vozes a tirar conclusões não fundamentadas ou a fazer julgamentos de valor sobre as conclusões. A fim de se preparar para esta possibilidade, os porta-vozes oficiais devem passar por um treinamento para lidar com a mídia, se for praticável, e participar de simulações de entrevista com um colega que faça as vezes de jornalista “hostil”. As mensagens-chave devem ser elaboradas de maneira que impeça os grupos de interesse e jornalistas de fazer afirmações que não possam ser respaldadas pelas conclusões. Caso uma equipe nacional de estudos seja solicitada a comentar as declarações feitas por terceiros, em uma tentativa de criar uma situação de conflito, a ação mais segura é evitar fazer comentários sobre a interpretação das conclusões por terceiros e aproveitar a oportunidade para reforçar as mensagens-chave. A única exceção é quando terceiros, sejam eles jornalistas ou grupos de interesse, cometem erros factuais. Nestes casos, a equipe nacional de estudos deve reagir o mais rápido possível. A reação a interpretações incorretas pressupõe que há um mecanismo vigente por meio do qual é possível relacionar as respostas ao estudo. As equipes nacionais de estudos precisam organizar dois sistemas paralelos: um para monitorar a cobertura pública do estudo e o outro para monitorar a cobertura privada. A cobertura pública pode ser monitorada de várias maneiras. Em muitos países, é possível adquirir os serviços de uma agência de clipping que rastreia os principais canais de mídia em busca de menções e apresenta um relatório detalhado. Uma alternativa de menor custo é pedir aos integrantes da equipe que monitorem os canais de mídia. O monitoramento da cobertura particular é mais difícil, porém, com frequência, mais importante. Ele é realizado com mais eficácia por meio da comunicação pessoal com alguns usuários relevantes, por telefone ou pessoalmente, com o objetivo de coletar respostas sinceras. É útil fazer uma lista dos problemas que surgem. Estas listas devem ser verificadas e discutidas em intervalos regulares – com frequência, no período imediatamente posterior à divulgação dos principais produtos e com menor

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

145

frequência depois. O objetivo da revisão é decidir como as mensagenschave precisam ser ajustadas e lidar com erros factuais com iniciativa e rapidez. Os gestores da avaliação nacional devem indicar um responsável para gerenciar esta atividade.

CONCLUSÃO

As conclusões da avaliação nacional são geralmente reconhecidas como tendo o potencial de informar a opinião pública, elevar o nível de conscientização sobre os temas educacionais e fortalecer o apoio para os esforços de melhoria do sistema educacional. Contudo, por várias razões, ainda há variações entre os países quanto à extensão de seus esforços para divulgar os resultados da avaliação ao público. Primeiro, a tradição de um país talvez favoreça uma abordagem fechada, ao invés de aberta, para a divulgação de informações obtidas por uma agência governamental. Segundo, uma avaliação talvez seja projetada com o objetivo principal de fornecer informações para gestores educacionais e professores, e não para o público. E terceiro, a falta de divulgação pode refletir nada mais do que a falta de interesse, a falta de um plano de implementação ou a falha inicial de não ter sido feito um orçamento para divulgação. Mesmo quando as conclusões da avaliação são divulgadas, elas podem não alcançar o propósito de informar a opinião pública porque os relatórios têm teor excessivamente técnico, apresentam resultados estatísticos demais, ou não são compreendidos pelo público. Quando as conclusões da avaliação nacional são divulgadas para a mídia, os jornalistas e editores têm o papel relevante de determinar as questões e o conteúdo que serão publicados, e como o público e os formuladores de políticas interpretarão essas conclusões (Stack, 2006). Uma análise da cobertura jornalística da Avaliação Nacional do Progresso em Educação dos Estados Unidos, entre o período de 1990 a 1998, sugere que os jornais tendem a (a) confiar profundamente nas informações contidas no comunicado de imprensa, (b) concentrar-se profundamente em alguns pontos, em vez de apresentar uma cobertura mais generalizada, (c) apresentar as classificações estaduais, (d) usar gráficos e tabelas, (e) demonstrar pouco interesse nas questões de validade da prova e (f) ter problemas para

146 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

compreender e comunicar os conceitos relacionados com os níveis de leitura e alguns termos estatísticos (por exemplo, significância estatística, percentis) (Hambleton e Meara, 2000). QUADRO 7.4

Capa do Encarte da Avaliação Nacional: Etiópia Destaque na Terceira Avaliação Nacional de Aprendizado da Etiópia A Terceira Avaliação Nacional de Aprendizado da Etiópia foi realizada no ano acadêmico de 1999 pelo calendário etíope (2006/2007) e abrangeu alunos das 4ª e 8ª séries em todas as regiões do país. Mais de 500 escolas e cerca de 23 mil alunos e seus professores participaram do estudo. Este é um relato em perspectiva sobre o projeto, relacionado com seu propósito, desenho e principais conclusões.

O estudo atual usou procedimentos e instrumentos relativamente semelhantes aos da Segunda Avaliação Nacional de Aprendizado da Etiópia. Na 4ª série, uma amostra total de 11.373 alunos de 305 escolas em todas as regiões participou do estudo. Na 8ª série, uma amostra de 10.806 alunos de 280 escolas em todas as regiões foi envolvida no estudo. Com o objetivo de gerar dados sobre os fatores que determinam o aproveitamento escolar, foram incluídos 832 professores e 305 diretores de escola na 4ª série. Já na 8ª série, foram envolvidos 1.242 professores e 280 diretores de escola. No estudo qualitativo, 312 alunos, 311 professores e 286 pais de alunos participaram das discussões do grupo de foco. PROPÓSITO DO ESTUDO

1. Determinar o aproveitamento escolar dos alunos da 4ª série em inglês, matemática, ciências ambientais e leitura na lingual materna; 2. Determinar o aproveitamento escolar dos alunos da 8ª série em inglês, matemática, biologia, química e física; VISÃO GERAL

O objetivo principal dos dois estudos foi fornecer informações sobre os aproveitamentos no aprendizado de alunos da 4ª e da 8ª séries e identificar os principais fatores que influenciam o aproveitamento acadêmico. As abordagens quantitativa e qualitativa de pesquisa foram empregadas para alcançar o objetivo.

3. Avaliar a atitude dos alunos em relação a alguns dos fatores afetivos do sistema educacional; e 4. Oferecer aos formuladores de políticas e demais interessados as conclusões e recomendações sobre os aproveitamentos escolares dos alunos da 4ª e da 8ª series nas disciplinas avaliadas.

Fonte: Agência Educacional de Garantia da Qualidade e de Exames da Etiópia, 2007. Reproduzido mediante permissão.

Já que é importante fazer com que os responsáveis pela disseminação das conclusões da avaliação nacional prevejam os problemas com a mídia, devem ser preparados comunicados de imprensa direcionados; além disso, pessoas especializadas em avaliação devem estar disponíveis para conceder entrevistas. A fim de ajudar a evitar interpretações simplis-

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

147

tas, como as que atribuem o aproveitamento a uma única variável (por exemplo, tamanho da turma, frequentar uma escola particular, tempo gasto vendo televisão), a equipe de avaliação nacional deve destacar as limitações dos dados. No futuro, o acesso público aos resultados da avaliação nacional tende a ser aprimorado por meio de notas informatizadas para a mídia, a utilização de outras formas de apresentações públicas e a produção de vídeos e websites exclusivos com esse fim. Há uma grande variedade de canais de mídia disponíveis para esse fim, incluindo os jornais de circulação nacional e local, debates parlamentares, artigos de revistas, encartes, programas de rádio e programas de televisão (ver, por exemplo, o Quadro 7.4). As publicações direcionadas aos professores, seminários e reuniões, além de newsletters, encartes, periódicos especializados e conferências podem atender aos interesses de grupos de interesses especializados, como os professores.

CAPÍTULO

8

A BUSCA PELA OTIMIZAÇÃO DO USO E VALOR DAS AVALIAÇÕES NACIONAIS

A

revisão feita por este livro sobre os usos das conclusões de uma avaliação nacional mostra que as avaliações em muitos países têm oferecido evidências empíricas sobre o grau de sucesso dos sistemas educacionais naquilo em que foram concebidos para fazer: promover o desenvolvimento de todos os alunos e proporcionar o conhecimento e as habilidades básicas que necessitarão em suas carreiras educacionais futuras e posteriormente. Ao descrever como o aproveitamento está distribuído no sistema educacional, as avaliações nacionais também levantam questões sobre o grau em que os princípios fundamentais relacionados com acesso, qualidade, eficiência e equidade governam o funcionamento do sistema. Chegou-se a esse questionamento por meio do fornecimento de evidências sobre o grau em que os níveis gerais de aproveitamento ficam abaixo das expectativas, sobre o insucesso de muitos alunos em adquirir competências básicas após vários anos de escolaridade e sobre as diferenças em termos de aproveitamento associadas ao gênero, local de residência e circunstâncias domésticas dos alunos. Além disso, a mudança do enfoque de insumos para produtos quando se trata da qualidade da educação serve para chamar a atenção não apenas da comunidade educacional, mas também dos políticos e do público sobre a importância

150 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

de assegurar que os alunos aprendam como resultado de sua experiência educacional. Após a consulta aos relatórios das avaliações nacionais em todo o mundo, é sensato concluir que o nível de aproveitamento revelado pelas avaliações não é considerado satisfatório. Apesar disso, alguns países não realizam ações corretivas após a avaliação. Algumas ações foram executadas em outros países, incluindo a provisão de recursos e oportunidades de desenvolvimento profissional para os professores. Em um número reduzido de países, sanções foram vinculadas ao desempenho dos alunos, apesar das prováveis consequências indesejáveis e talvez não propositais associadas à prática. A elaboração de uma resposta adequada às conclusões da avaliação nacional ainda é um grande desafio para os formuladores de políticas e gestores educacionais em todo o mundo. Dada a complexidade dos procedimentos (políticos e técnicos) exigidos, não causa surpresa a dificuldade de responder adequadamente às conclusões de uma avaliação nacional. É possível indicar ações em vários níveis do sistema educacional: formuladores de políticas governamentais, administrações centrais (regionais e locais), escolas e professores em sala de aula. É possível também identificar desafios mais específicos. Existem questões remanescentes em muitos países sobre a qualidade dos dados da avaliação nacional e, portanto, do nível de confiança que pode ser depositado nas conclusões. Talvez falte a capacidade ou a vontade política – ou ambos – para usar as conclusões da avaliação. As conclusões da avaliação talvez não sejam comunicadas aos interessados, e mesmo quando o são, talvez não influenciem a política e a tomada de decisão em nível macro ou na prática de sala de aula em nível micro. Alguns desses problemas, se não todos, podem ser corretamente atribuídos ao não envolvimento dos principais formuladores de políticas no desenho da avaliação, à novidade das avaliações nacionais, à falta de habilidades técnicas necessárias para realizar uma avaliação (habilidades escassas em muitos países) e à falta de capacidade das escolas de responderem aos desafios apresentados pelas conclusões da avaliação nacional. Este capítulo apresenta uma lista de tarefas (que podem ser usadas como uma lista de verificação) que podem ser realizadas em uma ava-

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

151

liação nacional para otimizar o uso das conclusões. Aborda ainda nove maneiras de modificar ou expandir as atividades da avaliação nacional para descrever o aproveitamento dos alunos, que, por sua vez, devem proporcionar uma base mais segura para a formulação de políticas e a tomada de decisão.

OTIMIZAÇÃO DO USO DAS CONCLUSÕES DA AVALIAÇÃO NACIONAL

A revisão deste livro para as experiências da avaliação nacional sugere que, para otimizar as conclusões, os formuladores de políticas e gestores do Ministério da Educação prestem atenção às seguintes tarefas:

Missão

yEsclarecer, desde o início, qual é o propósito de uma avaliação nacional – que é obter informações sobre os produtos do sistema educacional representados pelo aproveitamento dos alunos visando: − Apresentar informações sobre as políticas e a prática. − Aprimorar a qualidade do aprendizado dos alunos com enfoque no desenvolvimento de habilidades cognitivas de alto nível (que envolvem raciocínio, capacidade de identificar e resolver problemas e capacidade de realizar tarefas não rotineiras), compreendendo as necessidades de uma economia global competitiva baseada em informações. − Identificar os problemas no atual sistema de educação e as maneiras de solucioná-los.

Contexto para Uso

yDesenvolver capacidade institucional para assimilar e utilizar as informações fornecidas por uma avaliação nacional.

152 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

yIntegrar as avaliações nacionais em estruturas, políticas e processos de tomada de decisão existentes e canais de distribuição de recursos. yPromover a conscientização de que as avaliações nacionais trazem informações que podem ser usadas para aprimorar a qualidade do aprendizado dos alunos.

Realização de uma Avaliação Nacional

yEnvolver os formuladores de políticas e responsáveis pela decisão e outros interessados na elaboração de uma avaliação nacional, a fim de assegurar que ela contemple seus interesses. yAssegurar que os responsáveis pelos aspectos técnicos de uma avaliação nacional tenham as competências necessárias relacionadas ao desenvolvimento de instrumento, amostragem, análise e elaboração do relatório. yAssegurar que os responsáveis pela administração de uma avaliação nacional nas escolas sigam os procedimentos corretos.

Descrição das Conclusões

yDescrever o aproveitamento dos alunos em grau de detalhamento suficiente para atender às necessidades dos usuários em potencial, visando o diagnóstico de problemas no sistema educacional. yIdentificar os fatores associados ao aproveitamento alto ou baixo.

Comunicação das Conclusões

yFornecer informações sobre o aproveitamento dos alunos aos políticos, formuladores de políticas e gestores educacionais em tempo hábil e em formato inteligível, e motivá-los a incorporar as evidências obtidas na avaliação em sua formulação de políticas e tomada de decisão.

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

153

yFornecer relatórios específicos da avaliação nacional direcionados para as necessidades dos usuários em potencial (autoridades de desenvolvimento curricular, supervisores, inspetores e orientadores, treinadores de professores, autores de livros didáticos, escolas e professores). yFornecer informações sobre as conclusões de uma avaliação nacional para a mídia e o público.

Formulação de Política e Programas ou Intervenções

yEnvolver os interessados no estudo das conclusões da avaliação, na definição de prioridades para a formulação de políticas e de programas direcionados para o aprendizado dos alunos, e na elaboração de estratégias que reflitam as políticas, levando em conta outras evidências relevantes (por exemplo, as conclusões de pesquisas educacionais e as opiniões de inspetores, orientadores e supervisores escolares). yNa formulação de políticas, levar em conta valores, pressões e restrições impostas por interesses particulares e utilizar as estruturas existentes no sistema educacional (por exemplo, um mecanismo para os gestores negociarem com os sindicatos), de forma a obter consenso ou um acordo na identificação de ações a serem empreendidas.

Implementação de Políticas e Programas ou Intervenções

yDesenvolver critérios a partir das conclusões da avaliação nacional para a seleção de escolas ou grupos populacionais que receberão apoio especial e trabalhar junto com as escolas e comunidades envolvidas no desenvolvimento de programas e estratégias para aprimorar o aprendizado. yCompreender o conceito de “melhor prática” na elaboração de intervenções (por exemplo, melhor prática para oferecer treinamento durante o trabalho para professores).

154 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

yIdentificar agentes para implementar programas ou intervenções que forem elaboradas após uma avaliação nacional e descrever suas tarefas (por exemplo, inspetores, orientadores de cursos durante o trabalho, diretores de escola). yFornecer apoio contínuo para os envolvidos no desenvolvimento e na implementação de estratégias que visem solucionar os problemas identificados na avaliação.

Monitoramento dos Efeitos

yMonitorar as mudanças nas políticas e intervenções, a fim de determinar se afetaram o aprendizado dos alunos.

DESENVOLVIMENTO DE AVALIAÇÕES NACIONAIS PARA AUMENTAR SEU VALOR

Esta seção descreve nove maneiras de modificar ou aprimorar as atividades de avaliação nacional para aumentar seu valor perante os usuários.

Informações Detalhadas sobre o Aproveitamento Como já mencionado no Capítulo 1, um dos objetivos da avaliação nacional é fornecer evidências de pontos fortes e pontos fracos no conhecimento e habilidades dos alunos. Entretanto, o número de itens incluídos nas provas de muitas avaliações nacionais é reduzido demais para permitir a estimativa de desempenho ou áreas específicas de aproveitamento. A fim de aumentar o número de itens para os quais uma avaliação pode obter dados sem sobrecarregar os alunos, muitas avaliações nacionais (e internacionais) fazem uma alternância de projeto de livreto (Beaton, 1994). Há vários projetos disponíveis, mas suas características essenciais são (a) de que a prova feita pelos alunos inclua apenas uma parcela de todos os itens contidos na avaliação e (b) de que a inclusão de itens em

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

155

comum em vários livretos possibilite que o desempenho dos alunos em cada teste possa ser relacionado a uma escala comum. Os administradores de avaliação nacional, principalmente nos primeiros anos de operação de uma avaliação, talvez prefiram que os alunos respondam ao mesmo livreto de provas e se mostrem relutantes em adotar uma alternância de projeto de livreto, por conta da complexidade envolvida na preparação e aplicação de instrumentos de avaliação e realização de análises. Entretanto, com o objetivo de fornecer informações mais detalhadas sobre o aproveitamento, recomenda-se que eles procurem realizar essa alternância à medida que adquirem experiência.

Informações sobre as Características dos Alunos Relacionadas com o Aproveitamento Algumas avaliações nacionais (e internacionais) têm coletado informações sobre as características dos alunos associadas com o aproveitamento em áreas curriculares. Como exemplo, na avaliação nacional do Chile foram coletados dados sobre o autoconceito dos alunos, atitudes em relação à escola e ao aprendizado e relações com os colegas e em sociedade. Entretanto, os dados não foram considerados de grande utilidade e a prática foi interrompida (Himmel, 1996). O Capítulo 1 abordou a dificuldade de se obterem estimativas confiáveis sobre essas variáveis, bem como problemas no estabelecimento do sentido de casualidade entre eles e as métricas de aproveitamento escolar. Mesmo assim, estudos recentes têm tido sucesso em identificar as variáveis que avaliam as estratégias de aprendizado dos alunos (por exemplo, autorregulação, autoconfiança, engajamento e motivação) (ver Artelt et al., 2003; Postlethwaite, 2004a), que foram identificadas como relacionadas significativamente com o aproveitamento dos alunos nas áreas de ensino. Essas variáveis merecem maior consideração nas avaliações nacionais que buscam identificar correlatos importantes do aprendizado.

156 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

Informações sobre as Condições de Aprendizado nas Salas de Aula A maioria das avaliações nacionais coleta dados sobre antecedentes e contextos sobre as experiências dentro e fora da escola dos alunos. Em alguns casos, são coletados dados de relevância questionável. Em outros, a análise não os explora completamente. Na maioria dos casos, não é possível identificar os aspectos mais significativos da experiência dos alunos sobre seu aprendizado escolar. O efeito de uma avaliação nacional seria enriquecido se houvesse maior cuidado na elaboração de questionários sobre antecedentes e contextos: por exemplo, se as necessidades de informações dos usuários potenciais foram identificadas e, em especial, se houve mais atenção à obtenção de informações sobre a prática em sala de aula (ver Anderson e Morgan, 2008, Volume 2 desta série). Até o momento, por exemplo, medidas de cobertura do conteúdo no ensino (oportunidade para aprender), que contribuíram para explicar o aproveitamento dos alunos em estudos internacionais, não receberam muita atenção em avaliações nacionais.

Identificação de Escolas que Devem Passar por Intervenção após uma Avaliação Nacional O problema de identificar escolas de desempenho insatisfatório a partir de uma avaliação nacional baseada em amostra levou formuladores de políticas em alguns países a cogitar a mudança para uma avaliação baseada no censo. A questão tem relevância especial em países nos quais a avaliação nacional foi introduzida para fornecer informações sobre o aprendizado após a extinção de um exame público ao término do ensino primário. A expansão de uma avaliação nacional para incluir todas as escolas e alunos (ou a maioria) acabaria por atribuir à avaliação algumas das funções de um exame público. Antes de enveredar por esse caminho, as autoridades do ministério devem analisar criteriosamente a complexidade e os custos adicionais envolvidos em uma avaliação baseada

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

157

no censo e, em especial, os efeitos que podem ser previstos se forem vinculadas sanções ao desempenho da escola, dos professores ou dos alunos. As autoridades também devem considerar alternativas, incluindo o desenvolvimento das competências dos profissionais ligados à educação (principalmente inspetores, orientadores ou supervisores), para identificar as escolas que necessitam de assistência. É possível que procedimentos mais formais do que aqueles adotados em muitos países sejam necessários, envolvendo, por exemplo, a aplicação de testes aos alunos (usando provas padronizadas se houver a possibilidade) pelos professores e o uso de escalas padronizadas de pontuação pelos supervisores.

Análises Secundárias Haverá pouco tempo para preparar os relatórios iniciais de uma avaliação nacional. Além disso, para serem inteligíveis aos clientes, é possível que os modelos e métodos de análise sejam menos complexos do que os usados em pesquisas mais básicas. Por algum motivo, a riqueza de dados fornecida por uma avaliação nacional provavelmente não será explorada em sua totalidade. Nessa situação, fica claro que a disponibilização de dados para análises posteriores traz várias vantagens (ver o Capítulo 3). De forma ideal, as análises secundárias devem estar previstas no desenho de uma avaliação.

Uso de um Desenho de Coleta de Dados Longitudinais em uma Avaliação Nacional Em muitas avaliações nacionais, os dados sobre antecedentes e contextos (por exemplo, sobre os alunos, suas escolas, residências e comunidades) são coletados ao mesmo tempo em que os dados sobre o aproveitamento dos alunos. Esse método apresenta duas desvantagens. Primeiro, é difícil fazer inferências sobre relações causais a partir de análises em que os dados sobre aproveitamento estão relacionados com os dados sobre antecedentes e contextos. Segundo, o impacto “líquido” das experiên-

158 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

cias educacionais dos alunos, que representa os produtos que podem ser diretamente atribuídos a essas experiências, não pode ser distinguido do impacto “bruto”, que reflete, além do impacto líquido, outras influências sobre o aproveitamento dos alunos (por exemplo, sua herança genética, o aproveitamento ao entrar na escola e o apoio e a assistência recebidos em casa e na comunidade). Esses problemas podem ser abordados (pelo menos até certo grau) se forem coletados dados sobre os alunos em mais de um momento (dados longitudinais). As características de cada aluno que foi avaliado em um momento anterior, incluindo seus aproveitamentos anteriores e dados sobre seu contexto de origem, são levadas em conta para estimar o aproveitamento em um ponto futuro e determinar o “valor” que as experiências específicas dos alunos na escola “agregaram” ao seu progresso (Linn, 2005b). Nas avaliações nacionais da África francofônica (Programa de Análise dos Sistemas de Educação de CONFEMEN, ou PASEC – Programme d'analyse des Systemes Éducatifs de la Confemen), os alunos foram avaliados no início e no final do ano acadêmico, para que fosse obtida uma estimativa do aumento de seu aproveitamento. Em seguida, o aumento foi relacionado aos fatores que atuavam na escola (treinamento de professores, tamanho da turma, disponibilidade de livros didáticos) e fora dela (educação dos pais, distância que a criança tinha de percorrer até a escola, idioma falado em casa) (Kulpoo e Coustère, 1999; Michaelowa, 2001; ver também Greaney e Kellaghan, 2008: Apêndice C.2). Outra característica dos estudos do PASEC foi a identificação dos temas de interesse nacional (por exemplo, políticas de emprego dos professores) e uma tentativa de avaliar o efeito de arranjos alternativos, também utilizando dados longitudinais. Foram identificados alguns problemas com o uso de estudos de “valor agregado”, como dados incompletos sobre os alunos provenientes da desistência dos estudos, transferência para outras escolas, absenteísmo, regressão até a média em análise estatística e não confiabilidade das medições quando o número de alunos em uma escola é pequeno.

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

159

Estudos de Caso Posteriores Alguns estudos posteriores examinaram os fatores associados ao aproveitamento alto (ou baixo), em um esforço para fortalecer a base de formulação de inferências causais a partir dos dados da avaliação nacional. Nos Estados Unidos, por exemplo, o Painel Nacional de Objetivos Educacionais realizou uma análise com um dos estados com pontuação mais alta (Connecticut), a fim de identificar políticas e práticas educacionais que possam ter contribuído para as pontuações altas em leitura. Três políticas foram creditadas ao desempenho do Estado: (a) fornecimento de informações detalhadas sobre o desempenho dos alunos a uma variedade de interessados (distritos, escolas, professores, pais); (b) monitoramento do aproveitamento dos alunos ao longo do tempo; e (c) fornecimento de recursos adicionais para os distritos mais necessitados (por exemplo, desenvolvimento profissional para os professores; apoio e avaliação dos professores iniciantes) (Baron, 1999). Foram obtidas mais informações após uma avaliação nacional em matemática (que incluiu itens do Segundo Estudo Internacional de Matemática da Associação Internacional para Avaliação do Aproveitamento Escolar) de alunos de 13 e 17 anos, na República Dominicana, após grande preocupação com o baixo desempenho dos alunos. Nesse caso, realizou-se um estudo envolvendo observações em sala de aula e entrevistas com professores no ensino de matemática em uma amostra de turmas de 8a série, que teve por objetivo identificar os procedimentos instrucionais e de aprendizado. Os problemas identificados foram resolvidos mediante (a) a criação de um centro de desenvolvimento curricular para preparar materiais para suplementar o ensino de matemática e (b) o oferecimento de programas de treinamento durante o trabalho para os professores (Luna, 1992). Recomenda-se cautela na interpretação do desempenho de unidades com altos níveis de aproveitamento dos alunos, principalmente quando a unidade é uma escola com um número pequeno de alunos. Como qualquer grupo pequeno tende a exibir grande oscilação nas pontuações de testes de um ano para o outro quanto à distribuição de diferenças entre escolas, qualquer “motivo” proposto por uma escola para justificar o desempenho superior pode muito bem ser ilegítimo (Kane e Staiger, 2002).

160 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

Estudo Experimental ou Quase-experimental de Acompanhamento Os experimentos que envolvem manipulação e controle das variáveis fornecem a base mais sólida para a construção de inferências sobre relações de causa e efeito. Seu uso compreende o projeto de um estudo para testar hipóteses sobre o aprimoramento dos alunos mediante a implementação de uma estratégia motivada pelas conclusões de uma avaliação nacional – por exemplo, fornecimento de recursos adicionais para as escolas – em várias escolas ou áreas (o grupo de tratamento). Após um período determinado, o efeito da estratégia é avaliado por meio da comparação do desempenho do grupo de tratamento em uma métrica de aproveitamento com o desempenho do grupo de controle (ou seja, um grupo de escolas ou áreas que não recebem recursos adicionais, mas que, de outra maneira, seriam semelhantes às escolas ou áreas no grupo de tratamento). A melhor forma de assegurar a comparabilidade entre um grupo de tratamento e um grupo de controle é atribuir participantes aleatoriamente aos grupos. Em razão das dificuldades de fazer isso na vida real, entretanto, costuma-se usar um projeto quase-experimental que não envolve atribuição aleatória. Nesse caso, escolhe-se um grupo de comparação que seja o mais semelhante possível ao grupo de tratamento (é preciso empreender esforços para reduzir a possibilidade de viés na seleção). As informações sobre as variáveis de interesse são obtidas antes e depois do tratamento; podem ser utilizadas análise de covariância ou análise de regressão para ajustar as métricas pós-tratamento, desde que as diferenças iniciais não sejam grandes. Alguns estudos randomizados foram realizados em países em desenvolvimento (Índia, Quênia, Nicarágua), porém não no contexto de uma avaliação nacional. Nesses estudos, implementou-se um tratamento (por exemplo, fornecimento de livros de exercício e instrução por rádio, livros didáticos ou um programa de reforço escolar) em escolas selecionadas aleatoriamente, e seus efeitos foram estimados na base de comparação dos aproveitamentos dos alunos nessas escolas com os aproveitamentos de alunos em escolas similares que não receberam o tratamento (Glewwe e Kremer, 2006).

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

161

Até onde os autores têm conhecimento, experimentos ou quase-experimentos não têm sido adotados no contexto de uma avaliação nacional. Sua ausência pode ser justificada, pelo menos em parte, pela dificuldade de implementação e acompanhamento. Um problema mais sério do ponto de vista do formulador de políticas ou responsável pela decisão pode ser o custo e o tempo necessários para realizar um estudo. Podese argumentar, contudo, que os custos dos experimentos são pequenos quando comparados com os custos de políticas que não funcionam ou que poderiam ter se mostrado mais eficazes se as informações derivadas de um experimento ou quase-experimento estivessem disponíveis (ver Postlethwaite, 1975). Entretanto, o planejamento, a implementação e a análise exigidos de estudos experimentais ou quase-experimentais podem estar além da capacidade de muitas agências que executam a avaliação nacional. Neste caso, é melhor atribuir esses estudos a uma agência de pesquisa mais especializada.

Avaliação de Crianças Fora do Sistema Educacional Como as avaliações nacionais se limitam às crianças no sistema educacional, não apresentam informações sobre as necessidades quantitativas não atendidas para acesso ao sistema, a não ser de maneira limitada (por exemplo, ao fornecer informações sobre a distância entre a escola e a residência dos alunos). Em muitos países em desenvolvimento, contudo, uma grande parcela de crianças em idade escolar não frequenta a escola, ou o faz por um curto período. Levando-se em conta o comprometimento desses países com a educação básica universal, seria importante saber mais sobre o aproveitamento dessas crianças, sobre as barreiras de acesso que enfrentam, a adoção de recursos alternativos (por exemplo, a educação não formal) e suas necessidades não atendidas. A obtenção de informações exigiria, é claro, métodos de amostragem e avaliação distintos dos já empregados pelas avaliações nacionais baseadas em escolas. A Índia apresenta um exemplo de estudo no qual alunos de 6 a 16 anos são avaliados (em leitura, matemática e inglês) em suas casas (http://www. asercentre.org). Outros modelos que fornecem dados sobre crianças que

162 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

não frequentam a escola existem em estudos ad hoc (ver, por exemplo, Greaney, Khandker e Alam, 1999) e no contexto de sondagens sobre domicílios.

CONCLUSÃO

À medida que a atividade de avaliação nacional estabelece-se com mais solidez nos sistemas educacionais, espera-se que o uso das conclusões seja expandido. Identificam-se dois conjuntos de condições que, se atendidos, podem ajudar a promover a expansão. Primeiro, (a) o desenvolvimento de habilidades técnicas e estratégias de comunicação para os responsáveis pelas avaliações nacionais, (b) o fortalecimento da capacidade dos formuladores de políticas e responsáveis pela decisão de interpretar as conclusões da avaliação e de elaborar estratégias para lidar com as deficiências que forem identificadas e (c) o envolvimento de vários interessados são estratégias que tendem a contribuir para o estabelecimento de um ambiente mais receptivo para a utilização das conclusões. Segundo, é preciso considerar se os tipos de informações fornecidas atualmente pelas avaliações nacionais atendem às necessidades dos usuários, se os procedimentos precisam ser modificados, ou se são necessários estudos suplementares para fornecer orientações aos formuladores de políticas e responsáveis pela decisão. O atendimento dessas condições pode exigir mais recursos financeiros e comprometimento. Entretanto, as despesas adicionais não seriam grandes no contexto do custo da realização de uma avaliação nacional e teriam a probabilidade de agregar valor considerável à iniciativa.

REFERÊNCIAS

Acana, S. 2006. “Reporting Results of National Assessment: Uganda Experience”. Texto apresentado na 32a Conferência Anual da Associação Internacional para Avaliação Educacional, Cingapura, 22 a 26 de maio. ———. 2008. “Using Assessment Results to Improve Learning: A Message to Headteachers”. Texto apresentado na 34a Conferência Anual da Associação Internacional para Avaliação Educacional, Cambridge, Reino Unido, 7 a 12 de setembro. Aguerrondo, I. 1992. “Educational Reform in Latin America: A Survey of Four Decades”. Prospects 22 (3): 353–65. Ainley, J., J. Fraillon, and C. Freeman. 2007. National Assessment Program: ICT Literacy Years 6 and 10 Report, 2005. Carlton South, Victoria, Australia: Ministerial Council on Education, Employment, Training and Youth Affairs. http:// www.mceetya.edu.au/verve/_resources/NAP_ICTL_2005 _Years_6_and_10_Report.pdf. Altinok, N. 2008. “An International Perspective on Trends in the Quality of Learning Achievement (1965–2007)”. Artigo introdutório preparado para Overcoming Inequality: Why Governance Matters – EFA Global Monitoring Report 2009, United Nations Educational, Scientific, and Cultural Organization, Paris. http:// unesdoc.unesco.org/images/0017/001780/178009e.pdf. Amrein, A. L., and D. C. Berliner. 2002. “High-Stakes Testing, Uncertainty, and Student Learning”. Education Policy Analysis Archives 10 (18). http://epaa.asu. edu/epaa/v10n18/.

164 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

Anderson, P., and G. Morgan. 2008. Developing Tests and Questionnaires for a National Assessment of Achievement. Washington, DC: Banco Mundial. Anderson, S. E. 2002. “The Double Mirrors of School Improvement: The Aga Khan Foundation in East Africa”. In Improving Schools through Teacher Development: Case Studies of the Aga Khan Foundation Projects in East Africa, S. E. Anderson (org.), 1–20. Lisse, Netherlands: Swets & Zetlinger. Arregui, P., and C. McLauchlan. 2005. “Utilization of Large-Scale Assessment Results in Latin America”. Relatório preparado para o Partnership for Educational Revitalization in the Americas e o Instituto do Banco Mundial, Washington, DC. Artelt, C., J. Baumert, N. Julius-McElvany, and J. Peschar. 2003. Learners for Life: Student Approaches to Learning – Results from PISA 2000. Paris: Organização de Cooperação e de Desenvolvimento Econômicos. Banisar, D. 2006. Freedom of Information around the World 2006: A Global Survey of Access to Government Records Laws. London: Privacy International. http://www. freedominfo.org/documents/global_survey2006.pdf. Baron, J. B. 1999. “Exploring High and Improving Achievement in Connecticut”. Documento 1233, National Educational Goals Panel, Washington, DC. http:// govinfo.library.unt.edu/negp/issues/publication/othpress/body.pdf. Báthory, Z. 1992. “Hungarian Experiences in International Student Achievement Surveys”. Prospects 22 (4): 434–40. Beaton, A. E. 1994. “Item Sampling in Testing.” In The International Encyclopedia of Education, 2nd ed., T. Husén and T. N. Postlethwaite (orgs.), 3055–61. Oxford, U.K.: Pergamon. Beaton, A. E., and N. L. Allen. 1992. “Interpreting Scales through Scale Anchoring”. Journal of Educational Statistics 17 (2): 191–204. Beaton, A. E., and E. G. Johnson. 1992. “Overview of the Scaling Methodology Used in the National Assessment”. Journal of Educational Measurement 29 (2): 163–75. Benveniste, L. 2000. “Student Assessment as a Political Construction: The Case of Uruguay”. Education Policy Analysis Archives 8 (32). http://epaa.asu.edu/epaa/ v8n32.html. ———. 2002. “The Political Structuration of Assessment: Negotiating State Power and Legitimacy”. Comparative Education Review 46 (1): 89–118. Bernard, J. M., and K. Michaelowa. 2006. “How Can Countries Use Cross-National Research Results to Address ‘the Big Policy Issues’?” Em Cross-National Studies of the Quality of Education: Planning Their Design and Managing Their Impact, ed. K. N. Ross and I. J. Genevois, 229–40. Paris: International Institute for Educational Planning. Bethell, G., and R. Mihail. 2005. “Assessment and Examinations in Romania”. Assessment in Education 12 (1): 77–96.

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

165

Câmara de Exames do Butão. 2004. National Educational Assessment in Bhutan: A Benchmark of Student Achievement in Literacy at Class 5, 2003. Thinphu: Ministério da Educação. Binkley, M., and K. Rust (orgs.). 1994. Reading Literacy in the United States: Technical Report of the U.S. Component of the IEA Reading Literacy Study. Washington, DC: Escritório de Pesquisa e Aprimoramento Educacional, Departamento de Educação dos Estados Unidos. Blalock, A. B. 1999. “Evaluation Research and the Performance Management Movement.” Avaliação 5 (2): 117–49. Bonnet, G. 2007. “What Do Recent Evaluations Tell Us about the State of Teachers in Sub-Saharan Africa”. Texto para Education for All: Will We Make It – EFA Global Monitoring Report 2008, Organização das Nações Unidas para a Educação, a Ciência e a Cultura, Paris. http://unesdoc.unesco.org/ images/0015/001555/155511e.pdf. Braun, H. 2004. “Reconsidering the Impact of High-Stakes Testing”. Education Policy Analysis Archives 12 (1). http://epaa.asu.edu/epaa/v2n1/. Braun, H., A. Kanjee, E. Bettinger, and M. Kremer. 2006. Improving Education through Assessment, Innovation, and Evaluation. Cambridge, MA: American Academy of Arts and Sciences. British Columbia Ministério da Educação. 1999. Interpreting Your District’s Assessment Results, 1999. Victoria: Province of British Columbia. Brophy, J. E., and T. L. Good. 1986. “Teacher Behavior and Student Achievement”. In Third Handbook of Research on Teaching, ed. M. Wittrock, 328–75. New York: Macmillan. Campbell, J., D. L. Kelly, I. V. S. Mullis, M. O. Martin, and M. Sainsbury. 2001. Framework and Specifications for PIRLS Assessment 2001. 2nd ed. Chestnut Hill, MA: Boston College. Campbell, J., L. Kyriakides, D. Muijs, and W. Robinson. 2004. Assessing Teacher Effectiveness: Developing a Differentiated Model. London: Routledge Falmer. Carroll, D. 1996. “The Grade 3 and 5 Assessment in Egypt”. In National Assessments: Testing the System, P. Murphy, V. Greaney, M. E. Lockheed, and C. Rojas (orgs.), 157–65. Washington, DC: Banco Mundial. Chabbott, C., and E. J. Elliott (orgs.) 2003. Understanding Others, Educating Ourselves: Getting More from International Comparative Studies in Education. Washington, DC: National Academies Press. Chapman, D. W., and C. W. Snyder. 2000. “Can High Stakes National Testing Improve Instruction? Reexamining Conventional Wisdom”. International Journal of Educational Development 20 (6): 457–74.

166 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

Cheng, K., and H. Yip. 2006. Facing the Knowledge Society: Reforming Secondary Education in Hong Kong and Shanghai. Washington, DC: Banco Mundial. Clegg, S. R., and T. F. Clarke. 2001. “Intelligence: Organizational”. In International Encyclopedia of the Social and Behavioral Sciences, vol. 11, N. J. Smelser and P. B. Baltes (orgs.), 7665–70. Amsterdam: Elsevier. Clotfelter, C. T., and H. L. Ladd. 1996. “Recognizing and Rewarding Success in Public Schools”. In Holding Schools Accountable: Performance-Based Reform in Education, ed. H. F. Ladd, 23–63. Washington, DC: Brookings Institution. DataAngel Policy Research. 2007. A Tool for Understanding Performance in Science Instruction in Qatar. Doha: Supreme Education Council. Davies, I. C. 1999. “Evaluation and Performance Management in Government”. Evaluation 5 (2): 150–59. de Vise, D. 2005. “State Gains Not Echoed in Federal Testing: Results Fuel Criticism of Md., Va. Education”. Washington Post, 24 de outubro, B01. Duthilleul, Y., and R. Allen. 2005. “Which Teachers Make a Difference? Implications for Policy Makers in SACMEQ Countries”. Texto apresentado na Educational Policy Research Conference, International Institute for Educational Planning, Paris, September 28–30. Eivers, E., G. Shiel, R. Perkins, and J. Cosgrove. 2005a. Succeeding in Reading? Reading Standards in Irish Primary Schools. Dublin: Departamento de Educação e Ciências. ———. 2005b. The 2004 National Assessment of English Reading. Dublin: Educational Research Centre. Elley, W. B. 1992. How in the World Do Students Read? IEA Study of Reading Literacy. The Hague, Netherlands: International Association for the Evaluation of Educational Achievement. Elmore, R., and D. Burney. 1999. “Investing in Teacher Training”. In Teaching as the Learning Profession, L. Darling-Hammond and G. Sykes (orgs.), 236–91. San Francisco, CA: Jossey-Bass. Ethiopia Education Quality Assurance and Examinations Agency. 2007. Highlights of the Findings: Ethiopian Third National Learning Assessment. Addis Ababa: Ethiopia Education Quality Assurance and Examinations Agency. Ferrer, G. 2006. Educational Assessment Systems in Latin America: Current Practice and Future Challenges. Washington, DC: Partnership for Educational Revitalization in the Americas. Ferrer, G., and P. Arregui. 2003. “Las Pruebas Internacionales de Aprendizaje en América Latina y Su Impacto en la Calidad de la Educación: Criterio para Guiar Futuras Aplicaciones”. Documento de Trabajo 26, Partnership for Educational Revitalization in the Americas, Santiago.

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

167

Finn, J. D., and C. M. Achilles. 1990. “Tennessee’s Class Size Study: Findings, Implications, Misconceptions”. Educational Evaluation and Policy Analysis 21 (2): 97–110. Forster, M. 2001. A Policy Maker’s Guide to Systemwide Assessment Programs. Camberwell, Victoria: ACER Press. Frederiksen, J., and A. Collins. 1989. “A Systems Approach to Educational Testing”. Educational Researcher 18 (9): 27–32. Fullan, M. 2001. The New Meaning of Educational Change. New York: Teachers College Press. Fuller, B. 1987. “What School Factors Raise Achievement in the Third World?” Review of Educational Research 57 (3): 255–92. Garet, M. S., A. C. Porter, L. Desimone, B. F. Birman, and K. S. Yoon. 2001. “What Makes Professional Development Effective? Results from a National Sample of Teachers”. American Educational Research Journal 38 (4): 915–45. Gebrekidan, Z. 2006. “Ethiopian Second National Learning Assessment”. Texto apresentado no National Assessment Capacity Building Workshop, Using National Assessment Results, Kampala, 30 de janeiro-2 de fevereiro. Georgia, Departamento de Educação. n.d. “Standards, Instruction, and Assessment”. Georgia Department of Education, Atlanta. http://www.doe.k12.ga.us/ ci_testing.aspx? Page Req = C1_TESTING_NAEP. Gilmore, A. 2005. “The Impact of PIRLS (2001) and TIMSS (2003) in Low and Middle-Income Countries: An Evaluation of the Value of World Bank Support for International Surveys of Reading Literacy (PIRLS) and Mathematics and Science (TIMSS)”. International Association for the Evaluation of Educational Achievement, Amsterdam. http://www.iea.nl/fi leadmin/user_upload/docs/ WB_report.pdf. Glewwe, P., and M. Kremer. 2006. “Schools, Teachers, and Education Outcomes in Developing Countries”. In Handbook of the Economics of Education, vol. 2, E. A. Hanushek and F. Welch (orgs.), 945–1017. Amsterdã: Elsevier. Goldstein, H. 1983. “Measuring Changes in Educational Attainment over Time: Problems and Possibilities”. Journal of Educational Measurement 20 (4): 369– 77. González, E. J. 2002. Evaluation Systems in Latin America. Brasília: Instituto Nacional de Estudos e Pesquisas Educacionais, Ministério da Educação. González, P., A. Mizala, and P. Romaguera. 2002. “Recursos Diferenciados a la Educación Subvencionada en Chile”. Serie Economía 150, Centro de Economía Aplicada, Departamento de Ingeniería Industrial, Facultad de Ciencies Físicas y Matemáticas, Universidade do Chile, Santiago.

168 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

Grant, S., P. Peterson, and A. Shojgreen-Downer. 1996. “Learning to Teach Mathematics in the Context of System Reform”. American Educational Research Journal 33 (2): 500–43. Greaney, V., and T. Kellaghan. 1996. Monitoring the Learning Outcomes of Education Systems. Washington, DC: Banco Mundial. ———. 2008. Assessing National Achievement Levels in Education. Washington, DC: Banco Mundial. Greaney, V., S. R. Khandker, and M. Alam. 1999. Bangladesh: Assessing Basic Learning Skills. Dhaka: University Press. Griffith, J. E., and E. A. Medrich. 1992. “What Does the United States Want to Learn from International Comparative Studies in Education?” Prospects 22 (4): 476–84. Gucwa, B., and M. Mastie. 1989. “Pencils Down!” Michigan State Board of Education, Lansing. http://www.ncrel.org/sdrs/areas/issues/methods/assment/as6penc2.htm. Guilfoyle, C. 2006. “NCLB: Is There Life Beyond Testing?” Educational Leadership 64 (3): 8–13. Gvirtz, S., and S. Larripa. 2004. “National Evaluation System in Argentina: Problematic Present and Uncertain Future”. Assessment in Education 11 (3): 349–64. Haertel, E. H., and J. L. Herman. 2005. “A Historical Perspective on Validity Arguments for Accountability Testing”. In Uses and Misuses of Data for Educational Accountability and Improvement: The 104th Yearbook of the National Society for the Study of Education, Part 2, J. L. Herman and E. H. Haertel (orgs.), 1–34. Malden, MA: Blackwell. Hambleton, R. K, and K. Meara. 2000. “Newspaper Coverage of NAEP Results, 1990 to 1998”. In Student Performance Standards on the National Assessment of Educational Progress: Affirmations and Improvements, M. L. Bourque and S. Byrd (orgs.), 131–55. Washington, DC: National Assessment Governing Board. Hambleton, R. K., and S. C. Slater. 1997. “Are NAEP Executive Summary Reports Understandable to Policy Makers and Stakeholders?” CSE Technical Report 430, Center for the Study of Evaluation, National Center for Research on Evaluation, Standards, and Student Testing, Los Angeles, CA. Himmel, E. 1996. “National Assessment in Chile”. In National Assessments: Testing the System, P. Murphy, V. Greaney, M. E. Lockheed, and C. Rojas (orgs.), 111–28. Washington, DC: Banco Mundial. Hopmann, S. T., and G. Brinek. 2007. “Introduction: PISA According to PISA— Does PISA Keep What It Promises?” In PISA Zufolge PISA: PISA According to PISA, ed. S. T. Hopmann, G. Brinek, and M. Retzl, 9–19. Viena: LIT.

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

169

Howie, S. 2002. “English Proficiencies and Contextual Factors Influencing Mathematics Achievements of Secondary School Pupils in South Africa”. PhD thesis, University of Twente, Enschede, Netherlands. Howie, S., and T. Plomp. 2005. “International Comparative Studies of Education and Large-Scale Change”. No International Handbook of Education Policy, N. Bascia, A. Cumming, A. Datnow, K. Leithword, and D. Livingstone (orgs.), 75–99. Dordrecht, Netherlands: Springer. Husén, T. 1984. “Issues and Their Background”. Em Educational Research and Policy: How Do They Relate? T. Husén and M. Kogan (orgs.), 1–36. Oxford, U.K.: Pergamon. ———. 1987. “Policy Impact of IEA Research”. Comparative Education Review 31 (1): 29–46. Kane, T. J., and D. O. Staiger. 2002. “Volatility in School Test Scores: Implications for Test-Based Accountability Systems”. In Brookings Papers on Education Policy, 2002, ed. D. Ravitch, 235–83. Washington, DC: Brookings Institution Press. Kellaghan, T., and V. Greaney. 1992. Using Examinations to Improve Education: A Study in Fourteen African Countries. Washington, DC: Banco Mundial. ———. 2001. Using Assessment to Improve the Quality of Education. Paris: International Institute for Educational Planning. ———. 2004. Assessing Student Learning in Africa. Washington, DC: Banco Mundial. Kellaghan, T., and G. F. Madaus. 2000. “Outcome Evaluation”. In Evaluation Models: Viewpoints on Educational and Human Services Evaluation, 2nd ed., D. L. Stufflebeam, G. F. Madaus, and T. Kellaghan (orgs.), 97–112. Boston: Kluwer Academic. Kellaghan, T., K. Sloane, B. Alvarez, and B. S. Bloom. 1993. The Home Environment and School Learning. San Francisco, CA: Jossey-Bass. Kirsch, I., J. De Jong, D. Lafontaine, J. McQueen, J. Mendelovits, and C. Monseur. 2002. Reading for Change: Performance and Engagement across Countries— Results from PISA 2000. Paris: Organisation for Economic Co-operation and Development. Kulm, G., J. Roseman, and M. Treistman. 1999. “A Bench-Based Approach to Textbook Evaluation”. Science Books and Films 35 (4): 147–53. Kulpoo, D., and P. Coustère. 1999. “Developing National Capacities for Assessment and Monitoring through Effective Partnerships”. In Partnerships for Capacity Building and Quality Improvements in Education: Papers from the ADEA 1997 Biennial Meeting, Dakar. Paris: Association for the Development of Education in Africa.

170 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

Kupermintz, H., M. M. Ennis, L. S. Hamilton, J. E. Talbert, and R. E. Snow. 1995. “Enhancing the Validity and Usefulness of Large-Scale Educational Assessments: I. NELS: 88 Mathematics Achievement”. American Educational Research Journal 32 (3): 525–54. Kuwait, Ministério da Educação. 2008. PIRLS 2006: Kuwait Technical Report. Kuwait City: Kuwait, Ministério da Educação. Leimu, K. 1992. “Interests and Modes in Research Utilisation: The Finnish IEA Experience”. Prospects 22 (4): 425–33. Linn, R. L. 2000. “Assessments and Accountability”. Educational Researcher 29 (2): 4–16. ———. 2005a. “Conflicting Demands of No Child Left Behind and State Systems: Mixed Messages about School Performance”. Education Policy Analysis Archives 13 (33). http://epaa.asu.edu/epaa/v13n33/. ———. 2005b. “Issues in the Design of Accountability Systems”. In Uses and Misuses of Data for Educational Accountability and Improvement: The 104th Yearbook of the National Society for the Study of Education, Part 2. J. L. Herman and E. H. Haertel (orgs.), 78–98. Malden, MA: Blackwell. Linn, R. L., and E. Baker. 1996. “Can Performance-Based Student Assessments Be Psychometrically Sound?” In Performance-Based Student Assessment: Challenges and Possibilities: 95th Yearbook of the National Society for the Study of Education, Part 1, J. N. Baron and D. P. Wolf (orgs.), 84–103. Lockheed, M. E., and A. M. Verspoor. 1991. Improving Primary Education in Developing Countries. Oxford, U.K.: Oxford University Press. Lovett, S. 1999. “National Education Monitoring Project: Teachers Involvement and Development—Professional Development from NEMP”. Paper presented at New Zealand Association for Research in Education and Australian Association for Research in Education Conference, Melbourne, Australia, November 29–December 2. Luna, E. 1992. “Dominican Republic: The Study on Teaching and Learning in Mathematics”. Prospects 22 (4): 448–54. Madamombe, R. T. 1995. “A Comment on the Analysis of Educational Research Data for Policy Development: An Example from Zimbabwe”. International Journal of Educational Research 23 (4): 397–402. Madaus, G. F., and T. Kellaghan. 1992. “Curriculum Evaluation and Assessment”. In Handbook of Research on Curriculum, P. W. Jackson (org.), 119–54. New York: Macmillan. Madaus, G. F., M. Russell, and J. Higgins. 2009. The Paradoxes of High Stakes Testing: How They Affect Students, Their Parents, Teachers, Principals, Schools, and Society. Charlotte, NC: Information Age Publishing.

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

171

Martin, M. O., I. V. S. Mullis, and S. J. Chrostowski. 2004. The Trends in International Mathematics and Science Study 2003: Technical Report. Chestnut Hill, MA: International Study Center, Boston College. Câmara de Exames de Maurício. 2003. Monitoring Learning Achievement: Joint UNESCO/UNICEF Project—A Survey of 9-Year-Old Children in the Republic of Mauritius. Reduit, Mauritius: Mauritius Examinations Syndicate. McDonnell, L. M. 2005. “Assessment and Accountability from the Policy Maker’s Perspective”. In Uses and Misuses of Data for Educational Accountability and Improvement: 104th Yearbook of the National Society for the Study of Education, Part 2, J. L. Herman and E. H. Haertel (orgs.), 35–54. McQuillan, J. 1998. “Seven Myths about Literacy in the U.S.” Practical Assessment, Research, and Evaluation 6 (1). http://pareonline.net/getvn.asp?v=6&n=1. Meckes, L., and R. Carrasco. 2006. “SIMCE: Lessons from the Chilean Experience in National Assessment Systems of Learning Outcomes”. Paper presented at the Conference on Lessons from Best Practices in Promoting Education for All: Latin America and the Caribbean, hosted by the World Bank and the InterAmerican Development Bank, Cartagena de Indias, Colômbia, October 9–11. Messick, S. 1989. “Validity”. In Educational Measurement, 3rd ed., R. Linn (org.), 13–103. New York: American Council on Education and Macmillan. Michaelowa, K. 2001. “Primary Education Quality in Francophone Sub-Saharan Africa: Determinants of Learning Achievement and Efficiency Considerations”. World Development 29 (10): 1699–716. Michaelowa, K., and A. Wechtler. 2006. The Cost-Effectiveness of Inputs in Primary Education: Insights from the Literature and Recent Student Surveys for Sub-Saharan Africa. Hamburg: Institute of International Economics. Monare, M. 2006. “SA Pupils Rank Last in Maths, Science Study”. Star (Johannesburg), December 6. Moncada, G., R. Hernández Rodríguez, M. C. Aguilar, D. Orellana, M. Alas Solís, and B. Hernández. 2003. Uso e Impacto de la Información Empírica en la Formulación y Ejecución de Política de Educación Básica em Honduras en el Período 1990–2002. Tegucigalpa: Dirección de Investigación, Universidad Pedagógica Nacional Francisco Morazán. Mullis, I. V. S., A. M. Kennedy, M. O. Martin, and M. Sainsbury. 2006. PIRLS 2006: Assessment Framework and Specifi cations. Chestnut Hill, MA: International Study Center, Boston College. Mullis, I. V. S., M. O. Martin, E. J. González, and S. J. Chrostowski. 2004. Findings from IEA’s Trends in International Mathematics and Science Study at the Fourth and Eighth Grades. Chestnut Hill, MA: International Study Center, Boston College.

172 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

Murimba, M. 2005. “The Impact of the Southern and Eastern Africa Consortium for Monitoring Educational Quality (SACMEQ)”. Prospects 35 (1): 91–108. Murphy, J., J. Yff, and N. Shipman. 2000. “Implementation of the Interstate School Leaders Licensure Consortium Standards”. International Journal of Leadership in Education 3 (1): 17–39. Nassor, S., and K. A. Mohammed. 1998. The Quality of Education: Some Policy Suggestions Based on a Survey of Schools—Zanzibar. Paris: International Institute for Educational Planning. Nepal Educational and Developmental Service Centre. 1999. National Assessment of Grade 5 Students. Kathmandu: Nepal Educational and Developmental Service Centre. Nigéria, Ministério Federal da Educação. 2000. Education for All: The Year 2000 Assessment. Abuja: Ministério Federal da Educação da Nigéria. Nzomo, J., M. Kariuki, and L. Guantai. 2001. “The Quality of Education: Some Policy Suggestions Based on a Survey of Schools”. Southern and Eastern Africa Consortium for Monitoring Educational Quality Policy Research Paper 6, International Institute for Educational Planning, Paris. Nzomo, J., and D. Makuwa. 2006. “How Can Countries Move from Cross-National Research Results to Dissemination and Then to Policy Reform? Case Studies from Kenya and Namibia”. In Cross-National Studies of the Quality of Education: Planning Their Design and Managing Their Impact, K. N. Ross and I. J. Genevois (orgs.), 213–28. Paris: International Institute for Educational Planning. OECD (Organização de Cooperação e de Desenvolvimento Econômicos). 2004. Chile: Reviews of National Policies for Education. Paris: OECD. OECD (Organização de Cooperação e Desenvolvimento Econômicos) and INES (International Indicators of Education Systems) Project, Network A. 2004. “Attention Getting Results”. Review of Assessment Activities 16 (fevereiro– março): 2. Ogle, L. T., A. Sen, E. Pahlke, D. Jocelyn, D. Kastberg, S. Roey, and T. Williams. 2003. “International Comparisons in Fourth Grade Reading Literacy: Findings from the Progress in International Reading Literacy Study (PIRLS) of 2001”. U.S. Department of Education, National Center for Education Statistics, Washington, DC. http://nces.ed.gov/pubs2003/2003073.pdf. Olivares, J. 1996. “Sistema de Medición de la Calidad de la Educación de Chile: SIMCE—Algunos Problemas de la Medición”. Revista Iberoamericana de Educación 10: 117–96. http://www.rieoei.org/oeivirt/rie10a07.htm. Pérez, B. A. 2006. “Success in Implementing Education Policy Dialogue in Peru”. United States Agency for International Development, Washington, DC.

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

173

Perie, M., W. Grigg, and G. Dion. 2005. “The Nation’s Report Card: Mathematics 2005”. National Center for Education Statistics, U.S. Department of Education, Washington, DC. http://nces.ed.gov/nationsreportcard/pdf/main2005/ 2006453.pdf. Porter, A., and A. Gamoran. 2002. “Progress and Challenges for Large-Scale Studies”. In Methodological Advances in Cross-National Surveys of Educational Achievement, ed. A. C. Porter and A. Gamoran, 3–23. Washington, DC: National Academies Press. Postlethwaite, T. N. 1975. “The Surveys of the International Association for the Evaluation of Educational Achievement (IEA)”. In Educational Policy and International Assessment: Implications of the IEA Surveys of Achievement, A. C. Purves and D. U. Levine (orgs.), 1–32. Berkeley, CA: McCutchan. ———. 1987. “Comparative Educational Achievement Research: Can It Be Improved?” Comparative Education Review 31 (1): 150–58. ———. 1995. “Calculation and Interpretation of Between-School and WithinSchool Variation in Achievement (rho)”. In Measuring What Students Learn, 83–94. Paris: Organização para Cooperação e Desenvolvimento Econômico. ———. 2004a. Monitoring Educational Achievements. Paris: International Institute for Educational Planning. ———. 2004b. “What Do International Assessment Studies Tell Us about the Quality of School Systems?” Background paper for The Quality Imperative: EFA Global Monitoring Report 2005. United Nations Educational, Scientific, and Cultural Organization, Paris. http://unesdoc.unesco.org/images/0014/001466/146692e.pdf. Postlethwaite, T. N., and T. Kellaghan. 2008. National Assessments of Educational Achievement. Paris: International Institute for Educational Planning; Brussels: International Academy of Education. Powdyel, T. S. 2005. “The Bhutanese Education Assessment Experience: Some Reflections.” Prospects 35 (1): 45–57. Pravalpruk, K. 1996. “National Assessment in Thailand”. In National Assessments: Testing the System, ed. P. Murphy, V. Greaney, M. E. Lockheed, and C. Rojas, 137–45. Washington, DC: Banco Mundial. Ravela, P. 2002. “Cómo Presentan Sus Resultados los Sistemas Nacionales de Evaluación Educativa en América Latina?” Partnership for Educational Revitalization in the Americas, Washington, DC. ———. 2005. “A Formative Approach to National Assessments: The Case of Uruguay”. Prospects 35 (1): 21–43. ———. 2006. “Using National Assessments to Improve Teaching… and Learning: The Experience of UMRE in Uruguay”. Texto apresentado at the Conference on Lessons from Best Practices in Promoting Education for All: Latin America and

174 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

the Caribbean, hosted by the Banco Mundial and the Inter-American Development Bank, Cartagena de Indias, Colombia, October 9–11. Reezigt, G. J., and B. P. M. Creemers. 2005. “A Comprehensive Framework for Effective School Improvement”. School Effectiveness and School Improvement 16 (4): 407–24. Reimers, F. 2003. “The Social Context of Educational Evaluation in Latin America”. In International Handbook of Educational Evaluation, T. Kellaghan and D. L. Stufflebeam (orgs.), 441–63. Boston: Kluwer Academic. Reynolds, D. 2000. “School Effectiveness: The International Dimension”. Em The International Handbook of School Effectiveness Research, C. Teddlie and D. Reynolds (orgs.), 232–56. London: Falmer. Reynolds, D., and C. Teddlie. 2000. “The Processes of School Effectiveness”. Em The International Handbook of School Effectiveness Research, C. Teddlie and D. Reynolds (orgs.), 134–59. London: Falmer. Riley, R. W. 2000. Remarks prepared for a TIMSS-R press conference, Washington, DC, December 5. http://www.ed.gov/Speeches/12-2000/120500.html. Robertson, I. 2005. “Issues Relating to Curriculum, Policy, and Gender Raised by National and International Surveys of Achievement in Mathematics”. Assessment in Education 12 (3): 217–36. Robitaille, D. F., A. E. Beaton, and T. Plomp (orgs.). 2000. The Impact of TIMSS on the Teaching and Learning of Mathematics and Science. Vancouver, BC: Pacific Educational Press. Rojas, C. C., and J. M. Esquivel. 1998. “Los Sistemas de Medición Del Logro Académico en Latinoamérica”. Education Paper 25, Banco Mundial, Washington, DC. Rubner, J. 2006. “How Can a Country Manage the Impact of ‘Poor’ Cross-National Research Results? A Case Study from Germany”. In Cross-National Studies of the Quality of Education: Planning Their Design and Managing Their Impact, K. N. Ross and I. J. Genevois (orgs.), 255–64. Paris: International Institute for Educational Planning. Rust, V. L. 1999. “Education Policy Studies and Comparative Education.” Em Learning from Comparing: New Directions in Comparative Education Research— Policy, Professionals, and Development, vol. 2, R. Alexander, P. Broadfoot, and D. Phillips (orgs.), 13–39. Oxford, U.K.: Symposium Books. SACMEQ (Southern and Eastern Africa Consortium for Monitoring Educational Quality). 2007. SACMEQ Web site. http://www.sacmeq.org/. Scheerens, J. 1998. “The School Effectiveness Knowledge Base as a Guide to School Improvement”. In International Handbook of Educational Change, A. Hargreaves, A. Lieberman, M. Fullan, and D. Hopkins (orgs.), 1096–115.Boston: Kluwer Academic. Schiefelbein, E., and P. Schiefelbein. 2000. “Three Decentralization Strategies in Two Decades: Chile 1982–2000”. Journal of Educational Administration 38 (5): 412–25.

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

|

175

Schubert, J. 2005. “The Reality of Quality Improvement: Moving toward Clarity”. In The Challenge of Learning: Improving the Quality of Basic Education in SubSaharan Africa, A. M. Verspoor (org.), 53–68. Paris: Association for the Development of Education in Africa. Shiel, G., R. Perkins, S. Close, and E. Oldham. 2007. PISA Mathematics: A Teacher’s Guide. Dublin: Department of Education and Science. Singh, A., V. K. Jain, S. K. S. Guatam, and S. Jumjar. n.d. Learning Achievement of Students at the End of Class V. New Delhi: National Council for Educational Research and Training. Snyder, C. W., B. Prince, G. Lohanson, C. Odaet, L. Jaji, and M. Beatty. 1997. Exam Fervor and Fever: Case Studies of the Influence of Primary Leaving Examinations on Uganda Classrooms, Teachers, and Pupils. Washington, DC: Academy for Educational Development. Sri Lanka, National Education Research and Evaluation Centre. 2004. Achievement after Four Years of Schooling. Colombo: National Education Research and Evaluation Centre. Stack, M. 2006. “Testing, Testing, Read All about It: Canadian Press Coverage of the PISA Results”. Canadian Journal of Education 29 (1): 49–69. Stoneberg, B. 2007. “Using NAEP to Confi rm State Test Results in the No Child Left Behind Act”. Practical Assessment Research and Evaluation 12 (5): 1–10. Surgenor, P., G. Shiel, S. Close, and D. Millar. 2006. Counting on Success: Mathematics Achievement in Irish Primary Schools. Dublin: Department of Education and Science. Teddlie, C., and D. Reynolds. 2000. “School Effectiveness Research and the Social and Behavioural Sciences”. In The International Handbook of School Effectiveness Research, C. Teddlie and D. Reynolds (orgs.), 301–21. London: Falmer. Uganda, Conselho Nacional de Exames, n.d. National Assessment of Progress in Education. Poster, Uganda National Examinations Board, Kampala. UNESCO (Organização das Nações Unidas para a Educação, a Ciência e a Cultura). 1990. Declaração Mundial sobre Educação para Todos: Atendendo a Necessidades Básicas de Aprendizado. Adotado pela Conferência Mundial de Educação para Todos. Nova York: UNESCO. ———. 2000. The Dakar Framework for Action: Education for All—Meeting Our Collective Commitments. Paris: UNESCO. UNICEF (Fundo das Nações Unidas para a Infância). 2000. “Definindo Qualidade na Educação”. Texto apresentado em reunião do Grupo de Trabalho Internacional de Educação, Florença, Itália, Junho. U.S. National Center for Education Statistics. 2005. National Assessment of Educational Progress (NAEP), Selected Years, 1971–2004: Long-Term Trend Reading

176 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

Assessments. Washington, DC: U.S. National Center for Education Statistics. ———. 2006a. “The NAEP Mathematics Achievement Levels by Grade”. U.S. National Center for Education Statistics, Washington, DC. http://nces.ed.gov/nationsreportcard/mathematics/achieveall.asp. ———. 2006b. National Indian Education Study, Part 1: The Performance of American Indian and Alaska Native Fourth- and Eighth-Grade Students on NAEP 2005 Reading and Mathematics Assessment—Statistical Analysis Report. Washington, DC: U.S. National Center for Education Statistics. http://www.xmission. com/~amauta/pdf/ienationarep.pdf. ———. 2007. The Nation’s Report Card: Reading—2007 State Snapshot Report. Washington, DC: U.S. National Center for Education Statistics. http://nces. ed.gov/nationsreportcard/pubs/stt2007/200774978.asp. ———. 2008. “The Nation’s Report Card”. U.S. National Center for Education Statistics, Washington, DC. http://nces.ed.gov/nationsreportcard/sitemap.asp. Vanneman, A. 1996. “Geography: What Do Students Know and What Can They Do?” NAEPfacts 2 (2). http://nces.ed.gov/pubs97/web/97579.asp. Vegas, E., and J. Petrow. 2008. Raising Student Learning in Latin America: The Challenge for the 21st Century. Washington, DC: Banco Mundial. Wang, M. C., G. D. Haertel, and H. J. Walberg. 1993. “Toward a Knowledge Base for School Learning”. Review of Educational Research 63 (3): 249–94. Watson, K. 1999. “Comparative Educational Research: The Need for Reconceptualisation and Fresh Insights”. Compare 29 (3): 233–48. Weiss, C. H. 1979. “The Many Meanings of Research Utilization”. Public Administration Review 39 (5): 426–31. Wenglinsky, H. 2002. “How Schools Matter: The Link between Teacher Classroom Practices and Student Academic Performance”. Education Policy Analysis Archives 10 (12). http://epaa.asu.edu/epaa/v10n12/. Willms, D. 2006. “Learning Divides: Ten Policy Questions about the Performance and Equity of Schools and Schooling Systems”. UIS Working Paper 5, UNESCO Institute for Statistics, Montreal. Wolff, L. 1998. Educational Assessments in Latin America: Current Progress and Future Challenges. Washington, DC: Partnership for Educational Revitalization in the Americas. Banco Mundial. 2004. Vietnam Reading and Mathematics Assessment Study. 3 vols. Washington, DC: Banco Mundial. Zhang, Y. 2006. “Urban-Rural Literacy Gaps in Sub-Saharan Africa: The Roles of Socioeconomic Status and School Quality”. Comparative Education Review 50 (4): 581–602.

ÍNDICE

Caixas, figuras e tabelas estão indicadas por c, f e t após o número da página. África construção de competências na, 96–97 falta de recursos na, 89–90, 100 Mudança no aproveitamento ao longo do tempo na, 47, 158 Ver também África Setentrional e África Oriental Consórcio para Monitoramento da Qualidade da Educação (SACMEQ);países específicos África do Sul, 41, 42t África Subsaariana, 24 Alemanha, 141 América Latina e Caribe Conscientização da população sobre a avaliação nacional na, 140 qualidade da avaliação nacional na, 18 Relatórios de mídia na, 63 revisão de livros didáticos na, 104 treinamento de professores na 115 Ver também países específicos

análises secundárias, 70–72, 157 aproveitamento dos alunos, acompanhamento do, 33t, 90–93, 97, 124 características dos alunos e, 13, 15, 34, 57–58, 58t, 129, 155 contexto doméstico/familiar e, 12–15, 22, 34, 43–45, 45f, 49, 57–58, 58t, 70q, 81, 84, 123, 126q, 127, 128q, 129, 132–134, 135f, 149, 157–158 diferenças de gênero no, 32, 32t, 40, 40f, 54, 58t, 70, 75, 78, 135f, 142, 149 diferenças entre escolas no, 12, 36–40, 88–89, 159 expectativas para, 13, 18, 45, 102, 127, 128q, 129–131, 149 fatores socioeconômicos e, 12, 15, 140, 142 grupo étnico e, 40, 56, 62f grupo racial e, 41, 42t, 56, 62f

178 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

Mudança ao longo do tempo no, 1, 10, 12–13, 19, 22, 31, 45–49, 46f, 47f, 48f, 57, 58t, 92, 93, 96q, 158 níveis de proficiência do, 27, 32, 35–40, 37t, 39t, 55–56, 58–57, 58t, 66q, 77, 98–100, 99t, 104–105, 113, 114t, 142 padrões de, 10, 37t, 69, 97–100, 105 políticas e recursos educacionais e, 4, 13, 14q, 33t, 34, 58, 58t, 100 região e, 40, 41, 42t, 43, 43f, 54, 57–58, 58t, 73, 77, 88, 89, 137, 142 aproveitamento em ciências, 9, 18, 23q, 32t, 41–43, 56, 70, 92, 102, 139, 141 Aproveitamento em leitura, 9, 12, 19, 22, 23q, 34, 33t, 34, 36–43, 45f, 46, 46f, 54, 55q, 58–57, 57t, 62f, 66q, 67q, 70, 96q, 98–99, 103, 109, 112, 113f, 117q, 127, 135f, 137, 146, 158 aproveitamento em matemática, 9, 12, 18, 23q, 32t, 36, 37t, 40, 40f, 41, 42t, 43, 47, 47f, 48f, 56, 57q, 58, 65q, 69, 70q, 92, 98, 102, 105, 108–109, 113–115, 116f, 129 Argentina, 84, 94t, 115, 117, 140 Associação Americana para o Progresso da Ciência, 104 Associação Internacional para a Avaliação do Aproveitamento Escolar (IEA), 22, 23q Austrália, 58, 100 avaliação baseada em amostra, 18–20, 28, 29, 33t, 40, 57t, 56, 62f, 100–101, 107, 120, 124, 134, 137–140, 142 avaliação baseada no censo, 3, 19–20, 28–29, 101, 138–140, 156 avaliação internacional do aproveitamento dos alunos, 3, 19, 20–22, 23q, 29, 34, 38, 41, 42t, 49, 56–58, 63, 91t, 100, 102, 104, 138, 141, 155–156, 159

Avaliação Nacional do Progresso em Educação (NAEP, Estados Unidos) cobertura da mídia, 145–146 comunicado de imprensa, 64, 65–66q dados raciais e étnicos, 56, 62f divulgação pública dos resultados, 140 Eficácia, 92 exames com consequências significativas e, 10 frequência de aplicação, 92 Monitoramento do No Child Left Behind níveis de aproveitamento em leitura, 46, 46f níveis de aproveitamento em matemática, 36, 37t níveis de proficiência no aproveitamento estadual, 98–100, 99t relatório resumido, 54, 56, 55q respostas ao questionário, 109 website, 69, 70, 71q, 140 Banco Mundial, 97, 98 Bolívia, 94t Brasil, 19, 102, 115, 117q Burkina Faso, 94t Butão, 103, 112 Canadá, 120, 121t centro de desenvolvimento de currículos,159 Centro de Pesquisas Educacionais, 56, 57q, 73 Centro Nacional de Estatísticas de Educação, 56 Chile avaliação baseada no censo no, 19, 101 características não cognitivas do aluno no, 155 Corrupção no, 13 eficácia da avaliação nacional na formulação de políticas no, 97 publicação dos resultados da avaliação nacional no, 140

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

recursos para as escolas no, 101 relatórios em websites no, 69 responsabilidade no, 4 treinamento de professores no, 117 Ciências, ensino de, 95q, 100, 125, 127 coletivas de imprensa, 68 Colômbia, 73, 98 Colúmbia Britânica, Canadá, 120, 121t comunicação das conclusões da pesquisa, 51–73, 152 coletivas de imprensa, 68 comunicados de imprensa, 63–68, 65–66q, 146 conscientização da população, 137–147, 152 dados da avaliação, disponibilidade dos, 29, 70–72 estratégia para maximizar, 142–145, 143q folha de especificações do produto, 52–53 inadequação dos, 73 Informar os ministros e funcionários seniores de formulação de políticas, 53-56 mídia, papel da, 56–63, 141–142, 145, 147, 152 Notas informativas individuais, 69 Outros instrumentos de disseminação, 72, 147 para uso em sala de aula, 120-123 relatórios resumidos, 55–58 relatórios técnicos, 58–56, 57–58t relatórios temáticos, 56 websites, 69–70, 71q, 140 comunicados de imprensa, 63–68, 65–66q, 146 condições de aprendizado nas salas de aula, 156 CONFEMEN. Ver Programa de Análise dos Sistemas de Educação de CONFEMEN Consórcio da África Austral e Oriental para Monitoramento da Qualidade da Educação (SACMEQ), 56, 96

|

179

construção de competências e treinamento para responsáveis pelo planejamento, 96–97 contexto político da avaliação nacional, 3–5, 27, 84 Correlação intraclasse (rho), 36, 40 Ver também Aproveitamento dos alunos, diferenças entre escolas crianças fora do sistema educacional, avaliação de, 161–162 Cuba, 94t, 115 currículo adequação do, 103 adequação do, para os alunos, 14q, 18 alcançado, 102, 103 aproveitamentos dos alunos e, 18, 102 áreas (dentro da matéria), 18, 32, 46, 102, 108–109, 120, 127 áreas de estudo, 9, 11, 40f, 56, 92 avaliações internacionais e, 21, 102 Conteúdos, 104, 134 currículo nacional (Inglaterra), 10 currículo nacional (Uruguai), 103 deficiências no conhecimento dos professores sobre, 109 documentos, 18, 102, 122 implementação, 102-103 livros didáticos e, 104–105 materiais, 88 modelo de avaliação nacional e, 108 níveis de aproveitamento e, 36, 104 objetivos do, 1 Pretendido, 102, 103 revisão/reforma do, 16, 56, 72, 82, 87, 102–104 sistema de crenças subjacente, 131 Ver também testes, domínios curriculares na autoridade curricular, 56, 57t, 76–77, 97, 105, 152 currículo de matemática, 21, 56, 103, 112 currículos de ciências, 21

180 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

Delaware, 98–100, 99t desenvolvedores de currículo, 2, 14, 36, 51, 72, 75, 76 desenvolvimento profissional dos professores, 15, 20, 107, 108–119, 134, 136, 150, 158 atividades para aprimorar o, 115–119, 117q, 117q, 134, 136 desempenho dos alunos e, 109, 116f desempenho dos professores no teste de aproveitamento e, 112–115, 113q, 113f modelo de avaliação nacional e, 108–109 respostas ao questionário e, 109–112, 119 Ver também treinamento durante o trabalho para professores; treinamento de qualificação para professores Diretrizes de Ação de Dakar, 8, 16 disseminação das conclusões. Ver comunicação das conclusões da pesquisa Educação para Todos (EFA), 40 Egito, 84 ensino em sala de aula, 119–133 comunicação das conclusões da pesquisa e, 120–123, 121q, 121t, 122c condições de aprendizado nas salas de aula, 156 estratégias para solucionar os problemas identificados no, 124–133, 126c, 134 interpretação das conclusões e sua relevância, 123–124 Ver também pesquisa sobre a eficácia dos professores Equador, 115 “esclarecimento” no processo de formulação de políticas, 80–81, 139–140 Escócia, 112

Estados Unidos divulgação pública dos resultados da avaliação nacional nos, 140,141 estudos de caso de acompanhamento nos, 158 mitos sobre educação nos, 96q Monitoramento do progresso dos alunos da 3ª à 8ª série, 92 sanções baseadas no desempenho dos alunos, 10, 11 sistemas de responsabilidade nos, 3, 5 Ver também Avaliação Nacional do Progresso em Educação (NAEP, EUA); No Child Left Behind Estudo Internacional sobre o Progresso do Letramento em Leitura (PIRLS), 34, 36, 38f, 38 estudos de caso, 158–159 estudos quase-experimentais, 85, 160–161 estudos regionais, 41–43, 43f Etiópia, 41–43, 43f, 103, 146q exames com consequências significativas, 9–13, 11q, 15, 92, 137 experimental e quase-experimental estudos, 85, 160–161 Fast Track Initiative, 40 Fatores socioeconômicos, aproveitamento e, 12, 15, 140, 142 comunicação dos resultados da avaliação e, 13, 15, 44, 101, 142 Finlândia, 23q folha de especificações do produto, 52–53 formulação de políticas e tomada de decisão, 75–85, 93–97, 152–154 Capacidade institucional para absorver e utilizar as informações, 76 Complexidade da, 83–84 confiabilidade e relevância das informações da avaliação, 77, 123-124 Discussão das conclusões, 78–80

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

“esclarecimento” do processo de formulação de políticas, 80–81, 139–140 identificação de escolas para intervenção, 156–157 identificação de políticas ou ações pós-avaliação, 77–82 intervenção em todo o sistema ou direcionada, 82 referência a outras conclusões de pesquisa, 81–82 resposta a problemas específicos, 81 formuladores de políticas envolvimento dos, 105, 151–152 uso dos resultados e , 2, 53–54, 81, 87, 152 Fórum Mundial de Educação para Todos, 8 frequência da avaliação, 92, 93 garantia da qualidade, 5 Guatemala, 115 Guiné, 102 Honduras, 23, 24q, 115 Hungria, 23q identificação de escolas para intervenção, 100–101, 154, 156–157 Illinois, 55, 55q Índia, 89, 112, 161, 162 Inglaterra, 10, 19, 140 intervalo de tempo entre as avaliações, 93 intervenção direcionada, 82, 100–101, 154, 156–157 Intervenção em todo o sistema, 82, 156–157 Irlanda comunicação das conclusões da avaliação nacional na, 73 mudança no aproveitamento ao longo do tempo na, 46–47, 47f, 48f Recomendações após uma avaliação nacional na, 126c Relatórios em websites na, 69, 70q relatórios resumidos na, 55, 56, 57q

|

181

Kuwait, 40–41, 40f, 94t, 100 Laboratório Latino-Americano de Avaliação da Qualidade da Educação (LLECE), 63 leitura “engajamento na,” 56, 155 ensino da, 96, 104, 115 iniciativa nacional, 102 programas de reforço, 82 teste de, 16, 92, 162 Lesoto, 112 Letramento em Leitura nos Estados Unidos: Relatório Técnico do Componente Americano do Estudo de Letramento em Leitura do IEA, 58 livros didáticos de ciências, 104 livros didáticos de matemática, 104 livros didáticos, 2, 2c, 33t, 57q, 69, 72, 81, 87, 89, 100, 101, 103, 104–105, 109, 127, 128q, 161 Malawi, 47, 90, 91t, 94t Maryland, 92, 98 matemática, ensino de, 96, 109, 111t, 115, 117q, 126c, 127, 141, 159 México, 138 mídia, 5, 10, 51–53, 56–63, 68, 73, 138–139, 139q, 141–142, 144–147, 152 ministérios de Educação (MEs) comunicação dos resultados, 25t, 49, 53–55, 63, 73 envolvimento do, 25t, 105, 151–152 políticas e ações após uma avaliação, 75–85, 87–106 uso dos resultados da avaliação, 25t, 76, 81, 124, 134, 151–162 Moçambique, 113–115, 114t modelo para a avaliação nacional, 31, 34, 103, 108 treinamento de professores e, 108–109 Namíbia, 94t Nepal, 41, 42t, 94t Nicarágua, 161 Nigéria, 90, 94t

182 | SÉRIE P ESQ UISAS DO BA NC O M U NDI AL SOB R E AVAL I AÇ ÕE S DE DE SE M PE NH O E DU C AC I ONAL

No Child Left Behind, 11, 92, 98 Nova Zelândia, 122 Objetivos de Desenvolvimento do Milênio (ODMs), 47 objetivos para a avaliação nacional, 1, 34, 151 opinião pública, 23, 24q, 80 Painel Nacional de Objetivos Educacionais (EUA), 158 pais, 2, 4, 12, 14, 14q, 28, 45, 101, 103, 109, 126c, 128q, 132–140, 135f, 139q, 158, 159 Panamá, 102 Paquistão, 112, 113q PASEC. Ver Programa de Análise dos Sistemas de Educação de CONFEMEN Peru, 63, 98, 138 Pesquisa sobre a eficácia da escola, 127, 127q, 129, 134 pesquisa sobre a eficácia dos professores, 127, 127–128q, 129–131, 134 Ver também ensino em sala de aula PISA. Ver Programa Internacional de Avaliação de Alunos planejamento de uma intervenção, 133 população para a avaliação, 40–45 Ver também avaliação baseada no censo; avaliação baseada em amostra procedimentos administrativos para a avaliação nacional, 35 professores, 9–18, 20, 25t, 27, 29, 33t, 53, 56, 57t, 67–69, 72–73, 76, 80–82, 84, 87, 90–92, 95q, 107–136, 139, 139q, 141, 145, 147, 150, 152–154, 157–159 Programa de Análise dos Sistemas Educacionais da CONFEMEN (PASEC), 56, 158 Programa Internacional de Avaliação de Alunos (PISA), 38, 56, 57q, 56, 141 projeto de coleta de dados longitudinais, 157-158

prova de matemática, 18, 92, 120, 122c, 162 provas alternância de projeto de livreto, 155 Características que aumentam a validade, 16–19, 27, 77 domínios do currículo nas, 18, 46–49, 78, 88, 102, 105, 120, 121t, 131, 155 Informações diagnósticas fornecidas pelas, 56, 72, 75, 77, 78, 102, 105, 108, 120–122, 121t, 122c, 152 múltipla escolha, 9, 11, 57t padronizado, 124, 157 resposta fechada, 57t publicação de relatórios técnicos, 58–56, 57–58t público, 28, 51, 63, 66q, 67q, 69, 75, 81, 137–147, 152 Qatar, 56 qualidade dos instrumentos de avaliação, 16–19, 27–28 Quênia, 89, 90t, 94t, 100, 161 recomendações após uma avaliação nacional, 124-127, 126c recursos, 5, 100–101, 105–106, 134 descrição, 88–89 falta de, 89–90 referência a outras conclusões de pesquisa, 81–82 relatórios da avaliação nacional, 31–73 Ver também comunicação das conclusões da pesquisa relatórios resumidos, 55–58 relatórios temáticos, 56 relevância das informações da avaliação, 77, 123–124 República de Maurício, 36, 37t, 94t República Dominicana, 93, 95q, 100, 115, 159 responsabilidade, 5–18 de indivíduos e instituições, 13–15, 14q, 84

O USO DO S RESU LTADOS DA AVAL I AÇ ÃO DO APR OV E I TAM E NTO E SC OL AR

Resultados cognitivos e, 8 Sanções vinculadas ao desempenho e, 9–11, 11q, 20, 92, 150, 156 tabela de classificação, publicação das, 11–13 respostas ao questionário, 109–112, 119 revisão do sistema educacional, 93, 94t, 95q, 106 Romênia, 97–98, 138 rotatividade dos representantes oficiais e especialistas técnicos, 76 SACMEQ. Ver Consórcio da África Austral e Oriental para Monitoramento da Qualidade da Educação sanções, 9–11, 11q, 92, 150 seminários e workshops após a avaliação nacional, 80 seminários e workshops após a avaliação nacional, 80 Ver também treinamento durante o trabalho para professores sindicatos de professores, 4, 53, 56, 84, 138, 139q sistema educacional fechado versus aberto, 5 sistema educacional fechado vs. aberto, 5 Sri Lanka, 40, 40f, 94t subutilização das conclusões da avaliação nacional, 22–27, 25t Sul da Ásia, 97 tabela de classificação, 11–13 Tailândia, 102 Tanzânia. Ver Zanzibar Tendências no Estudo Internacional da Ciência e da Matemática (TIMSS), 41, 58, 109–112, 111t, 141 Teoria de Resposta ao Item, 19, 58t treinamento de qualificação para professores, 72, 107–108, 112, 117q, 136

|

183

Ver também desenvolvimento profissional dos professores treinamento durante o trabalho para professores, 81, 107–109, 112, 115, 116–117, 117q. Ver também desenvolvimento profissional dos professores Uganda, 94t, 120, 121q, 127, 133–134, 135f Uruguai avaliação nacional usada para rever o sistema educacional no, 94t conflito sobre o uso de conclusões da avaliação nacional no, 84, 138 disponibilidade de instrumento de avaliação nacional no, 146 Divulgação pública das conclusões da avaliação nacional no, 138, 139q monitoramento do aproveitamento no, 92 público para receber os dados sobre aproveitamento dos alunos no, 5 Reforma no treinamento de professores no, 115–117, 117q responsabilidade no, 4 revisão curricular no, 103 revisão de livros didáticos no, 104 Venezuela, 115 Vietnã Fatores fora da escola e aproveitamento no, 43–44, 132 Níveis de leitura no, 36, 39t Pontuações dos professores nos testes de aproveitamento no, 112, 113f, 115, 116f revisão de livros didáticos no, 104 Revisão do sistema educacional no, 94t Virginia, 98 website, 69–70, 71q, 140, 147 Zanzibar, 89, 94t Zimbábue, 90, 94t, 100