LIVROS DIDÁTICOS DE CIÊNCIAS E BIOLOGIA: OS CRITÉRIOS DE AVALIAÇÃO DO PNLEM/PNLD EM FOCO

LIVROS DIDÁTICOS DE CIÊNCIAS E BIOLOGIA:
OS CRITÉRIOS DE AVALIAÇÃO DO PNLEM/PNLD EM FOCO


Larissa Zancan Rodrigues - [email protected]
Universidade Federal de Santa Catarina, Pós-graduação em Educação
Científica e Tecnológica
Florianópolis - SC
Vilmarise Bobato Gramowski - [email protected]
Universidade Federal de Santa Catarina, Pós-graduação em Educação
Científica e Tecnológica
Florianópolis - SC


Resumo: Neste trabalho, procuramos realizar um estudo acerca dos critérios
utilizados pelas equipes de avaliação pedagógica de livros didáticos do
PNLEM/PNLD para as disciplinas escolares de Ciências (para os anos finais
do Ensino Fundamental) e Biologia (para o Ensino Médio) tendo em vista a
consolidação do PNLD como uma política de Estado. Para isso, realizamos a
análise de documentos (guias dos livros didáticos) de todas as edições do
PNLD que ocorreram até o momento para essas disciplinas escolares. Para a
análise dos documentos utilizamos um roteiro de análise textual. Os
resultados indicam que houve muitas mudanças em relação ao número de
avaliadores, à quantidade de coleções analisadas e aos critérios de
avaliação adotados. Com relação aos critérios, esses são pouco específicos
em relação às disciplinas de Ciências/Biologia, podendo ser utilizados para
a avaliação de livros de outras disciplinas escolares. Além disso,
percebemos a influência da mudança na composição dos membros das comissões
nos critérios de avaliação adotados nas edições do programa analisadas. Ao
final do trabalho, apresentamos algumas recomendações e perspectivas para a
continuidade da pesquisa.

Palavras-chave: PNLD, PNLEM, Critérios de avaliação pedagógica, Ciências,
Biologia.


introdução

No que tange os Livros Didáticos (LD), tanto a comunidade acadêmica
quanto a classe política reconhecem a importância e os impactos da uso
desses no contexto escolar. O governo federal, inclusive, transformou um
conjunto de políticas de assistência estudantil para a distribuição
gratuita de livros aos alunos de escolas públicas, que vinham sendo
realizadas desde 1938 (HÖFLING, 2000), em uma política de Estado, a partir
da criação do PNLD.
A atual forma de organização e desenvolvimento do PNLD é resultado de
diferentes e sucessivas propostas para a definição das relações do Estado
com o LD brasileiro. Um marco importante foi a elaboração do Decreto-Lei nº
91.542, de 1985, que estabeleceu grande parte das características atuais do
Programa[1], tais como: a) adoção de livros reutilizáveis; b) escolha do
livro por um conjunto de professores; c) distribuição gratuita às escolas e
d) aquisição com recursos do Governo Federal.
A partir da década de 1990, iniciou-se uma discussão sobre a qualidade
dos LD, uma vez que o Plano Decenal de Educação (PDE), publicado em 1993,
estabeleceu como prioridades (para os LD): a) melhorá-los qualitativamente;
b) capacitar adequadamente o professor para avaliá-los e selecioná-los; e
c) aprimorar a distribuição e as características da parte estrutural do
programa, considerando a durabilidade desse material. Nesse mesmo ano, o
Fundo Nacional de Desenvolvimento da Educação (FNDE), ficou responsável
pela captação de recursos e pelo gerenciamento dos projetos educacionais do
Governo, o que garantiu um fluxo regular para a aquisição e distribuição
dos LD. Com essa mudança, houve um processo de ampliação do PNLD, já que a
aquisição de livros passou a ser realizada para todas as disciplinas e
séries do ensino fundamental.
No ano de 1994, o Ministério da Educação (MEC), de forma inédita,
convidou um grupo de especialistas em Educação para analisar os LD mais
utilizados no ano de 1991 (abrangendo todas as disciplinas do currículo) e
para estabelecer critérios gerais para a avaliação das próximas aquisições
do Governo Federal. A partir de 1995, o Ministério instituiu uma avaliação
sistemática e contínua da estrutura pedagógica dos livros[2] e, após a
finalização dos trabalhos da equipe em questão, ocorreu a divulgação dos
resultados obtidos por meio de encaminhamento de laudos técnicos às
editoras, de propagandas na imprensa e de produção/distribuição de um Guia
de Livros Didáticos (GLD), no qual todos os livros que reuniram qualidades
suficientes para serem recomendados foram apresentados aos professores. Com
base neste Guia, os docentes puderam ter condições mais adequadas e
flexíveis na escolha dos LD com a possibilidade de adotar uma bibliografia
recomendada pelo MEC, mas que tivesse inscrita no PNLD.
Desde esse período, ocorreram inúmeras mudanças no PNLD. Contudo pode-se
afirmar que devido: (a) à amplitude desse programa (que fez com que o
Brasil passasse a ser o maior comprador de LD do mundo); (b) a consolidação
de um mecanismo de escolha dos livros pelos professores; (c) à presença de
LD no cotidiano das escolas e das salas de aula, é grande relevância a
realização de avaliações periódicas tanto do PNLD quanto os materiais
didáticos distribuídos em seu âmbito para que sejam realizados
aperfeiçoamentos. Especialmente com trabalho, visamos contribuir com esses
processos avaliativos a partir do estudo dos critérios utilizados pelas
equipes de avaliação pedagógica de livros didáticos do Programa Nacional do
Livro Didático para o Ensino Médio (PNLEM) e PNLD para a disciplina de
Biologia e do PNLD para a disciplina escolar de Ciências (para os anos
finais do Ensino Fundamental), pois a avaliação, feita pela comissão do
MEC, orienta a compra de materiais com uma qualidade mínima para estar
presentes nas escolas brasileiras, pelo menos, por três anos.

ENCAMINHAMENTOS METODOLÓGICOS

De acordo com a natureza das informações coletadas, podemos classificar
a pesquisa como qualitativa. De maneira geral, as investigações na área de
Educação podem apresentar três possíveis fontes de informação: documentos,
sujeitos e espaços. Para essa, foram utilizados apenas documentos (GLD de
todas as edições do PNLD que ocorreram para a disciplina de Ciências e
Biologia até o momento) e, para coleta de informações nessa fonte,
utilizamos roteiros de análise textual.
Para o tratamento e análise das informações coletadas não utilizaremos
técnicas de análises específicas, mas buscamos realizar, em um primeiro
momento, sínteses acerca das informações presentes nos GLD para, em
seguida, fazer um tratamento mais analítico daquilo que foi obtido.

CONSTATAÇÕES E RESULTADOS

Desde o primeiro processo de avaliação de LD de Ciências para os anos
finais do Ensino Fundamental, em 1999, seguiram-se outros cinco processos
nos anos de 2002, 2005, 2008, 2011 e 2014. Para a disciplina de Biologia,
ocorreram, até o momento, três edições (em 2007, 2009 e 2012). Com essas
avaliações por parte do MEC, houve uma melhora nos LD no que se refere à
diminuição de erros conceituais, qualidade de imagens, referências e
aspectos editoriais e visuais (MEGID NETO; FRACALANZA, 2006).
Além disso, com o passar do tempo em cada um dos processos de avaliação
do PNLD o número de avaliadores, a coordenação, as concepções e a maneira
de apresentação dos GLD passaram por modificações. Fracalanza e Megid Neto
(2006, p. 12) afirmam que:


"as mudanças provocam perdas, principalmente em relação à
qualidade da avaliação, uma vez que os aspectos mais
peculiares do ensino de Ciências, que fazem eco nas
Propostas Curriculares Nacionais e nas pesquisas
acadêmicas, foram praticamente abandonados".

Para que fosse possível compreender essas mudanças, realizamos um estudo
aprofundado dos GLD publicados em todas as edições do PNLEM/PNLD para as
disciplinas focadas neste trabalho. Com intenção de apresentar com clareza
as informações encontradas, apresentaremos, nas subseções seguintes, a
caracterização da avaliação pedagógica dos LD para cada uma da disciplinas
separadamente.


3.1 Processos de avaliação pedagógica de livros didáticos de ciências do
PNLD

No primeiro processo do PNLD, em 1999, a avaliação foi realizada por
volume de cada série, separadamente, o que trouxe problemas na escolha,
pois, em uma mesma coleção, um volume de uma série poderia ser colocado
como recomendado e o de outra série, como recomendado com ressalvas (LEÃO;
MEGID NETO, 2006). Os professores, porém, poderiam escolher somente
coleções inteiras, com livros para todas as séries, e não um livro de cada
coleção para cada série.
Os critérios de avaliação utilizados foram resultado de debates


"em reuniões e seminários que contaram com a presença de
autores e editores e de suas entidades representativas,
Conselho Nacional dos Secretários de Educação - CONSED,
União Nacional dos Dirigentes Municipais de Educação -
UNDIME e professores especialistas" (BRASIL, 2001, p. 23).


Além disso, os critérios foram formulados com base na experiência
acumulada nas avaliações anteriores de LD para os anos iniciais do Ensino
Fundamental, que já ocorriam desde 1994 (LEÃO; MEGID NETO, 2006).
Os critérios foram agrupados em eliminatórios e classificatórios e havia
os comuns para todas as disciplinas e os específicos. Destacamos que nessa
edição adotou-se, ainda, a seguinte convenção gráfica para visualização das
categorias avaliativas em que cada livro foi inserido: (recomendados
com distinção); (recomendados); e (recomendados com ressalvas).
A partir de 2002, a equipe responsável pelo PNLD passou a avaliar as
coleções de LD como uma totalidade e não mais de maneira individual para
cada volume, com o objetivo de "proporcionar a articulação pedagógica dos
volumes que integram uma coleção didática possibilitando, assim, o
desenvolvimento curricular na escola" (BRASIL, 1998, p. 12). Houve ainda
outra alteração no seguinte sentido: a partir de 2002, os avaliadores eram
vinculados apenas às universidades, sendo a avaliação de Ciências, de 2002
até 2011, realizada por pesquisadores da Universidade de São Paulo (USP).
Após esse período, começou a ser realizada por pesquisadores da
Universidade Federal de São Carlos (UFSCar) (BRASIL, 2013).
Em 2002, foram trinta e três avaliadores, sendo sete deles mantidos do
PNLD 1999. A coordenação geral do processo de avaliação que em 1999 era
realizada pelo professor Nélio Bizzo foi mantida, inserindo-se como
coordenador de área, o professor Paulo Takeo Sano.
No PNLD 2005, a coordenação apresentou os mesmos sujeitos e a avaliação
das coleções foi realizada por cinquenta pessoas, sendo que nove deles
estavam na equipe de 2002 e apenas dois, na equipe de 1999. As coleções
aprovadas não foram mais classificadas por estrelas e pelos critérios de
"recomendados com distinção", "recomendados" e "recomendados com
ressalvas". Essa alteração ocorreu pelo fato da equipe do PNLD entender que
"a leitura das resenhas permite verificar quais coleções estão mais
adaptadas às práticas em curso na escola e quais permitem apoiar as
inovações pretendidas para a área" (BRASIL, 2004, p. 5), não sendo, desse
modo, necessário classificá-las.
A partir de 2005, a publicação do GLD passou a ser em um volume para
cada disciplina, sendo também alterada a apresentação dos critérios de
avaliação. A ficha de avaliação com os critérios eliminatórios e
classificatórios específicos da disciplina de Ciências foi apresentada no
GLD.
No PNLD 2008, ocorreu uma grande alteração na equipe de avaliação de
Ciências: a coordenação técnica passa a ser feita pelo professor Antônio
Carlos Pavão e a coordenação de área, pelo professor Roque Moraes. O número
de avaliadores aumentou, sendo a equipe composta de quarenta e sete pessoas
e destas, apenas duas fizeram parte da equipe do PNLD 2005. Essa equipe foi
montada a partir do convênio do MEC com a USP, para esta edição do PNLD,
com o objetivo de garantir representatividade ao processo de avaliação.
Conforme o indicado no texto do GLD, a equipe de avaliadores foi
composta por professores que atuavam em diferentes níveis de ensino, nos
estados do Ceará, Mato Grosso do Sul, Minas Gerais, Pará, Paraíba,
Pernambuco, Rio de Janeiro, Rio Grande do Sul, São Paulo e Distrito
Federal. Todos tinham formação em Ciências Biológicas, Física, Geologia e
Química e atuavam no Ensino Fundamental e/ou no Ensino Médio ou exercendo
funções em secretarias de ensino. Além destes, também podem ser citados os
professores do ensino superior e pesquisadores sobre o ensino de ciências
e/ou educação científica envolvidos na formação inicial e continuada de
professores (BRASIL, 2007, p. 9). Os critérios eliminatórios e
classificatórios das coleções foram discutidos por essa equipe para nortear
a análise dos LD, considerando os aspectos presentes no edital de
convocação de inscrição do PNLD/2008 elaborado pelo MEC (BRASIL, 2007).
A ficha de avaliação não é apresentada como no GLD de 2005, mas consta
que ela foi organizada em torno de seis categorias de análise referentes ao
edital para o PNLD 2008, a saber: a) conhecimentos e conceitos; b)
pesquisa, experimentação e prática; c) ilustrações, diagramas e figuras; d)
cidadania e ética; e) proposta pedagógica; f) manual do professor. A
principal alteração foi o foco maior na presença da experimentação,
pesquisa e prática. A partir do GLD de 2008 foi inserido um mapa de cores
para comparação das coleções, diante dos aspectos anteriormente citados.
No PNLD 2011, a universidade responsável pela avaliação passou a ser a
Universidade de São Carlos (UFSCar) e o coordenador técnico continuou a ser
o professor Antônio Carlos Pavão, tendo como coordenador de área o
professor Nelson Studart. Nesta edição, foram vinte e oito avaliadores,
sendo que destes, oito participaram do PNLD 2008.
O GLD 2011 apresenta os LD como instrumentos de apoio para os
professores, para que problematizem, estruturem conceitos e para que alunos
e professores investiguem os fenômenos que integram seu cotidiano (BRASIL,
2010). Dessa maneira, adverte que o LD não deve ser seguido de forma
linear. Além disso, o texto inicial do guia incentiva a experimentação e a
investigação no ensino de Ciências, como no PNLD 2008.
O PNLD 2014 foi composto por três avaliadores para os conteúdos
multimídia, que passaram a ser inscritos e avaliados a partir desse PNLD, e
trinta e dois avaliadores dos livros impressos, sendo que seis deles
participaram do PNLD 2011. A coordenação técnica continuou sob a
responsabilidade do professor Antônio Carlos Pavão e ocorreu uma
modificação na coordenação de área, que passou a ser realizada pelo
professor Marcelo Adorna Fernandes.
A perspectiva do ensino investigativo e experimental de Ciências,
presente no PNLD 2008 e 2011, continuou sendo considerada nesta edição. O
texto introdutório do GLD afirma que "o foco para uma boa escolha do livro
de ciências está na questão metodológica, isto é, se a proposta pedagógica
contempla um ensino investigativo e experimental" (BRASIL, 2013, p. 7).
Neste PNLD, as categorias de análise das coleções não foram mais utilizadas
e voltam a configurar os critérios eliminatórios e classificatórios de
maneira mais específica e com apresentação mais organizada, de modo
numerado e em seções separadas do restante dos textos do GLD.
Para finalizar, apresentamos, abaixo, um quadro-síntese que mostra o
número de coleções que foram aprovadas em cada uma das edições descritas
nos parágrafos anteriores.

Quadro1 - Número de coleções aprovadas em edições do PNLD para a disciplina
de Ciências

"Edição do "Número de coleções "
"PNLD "aprovadas[3] "
"PNLD 1999[4]"12 "
"PNLD 2002 "6 "
"PNLD 2005 "8 "
"PNLD 2008 "13 "
"PNLD 2011 "11 "
"PNLD 2014 "20 "




Processos de avaliação pedagógica de livros didáticos de biologia do
PNLEM e PNLD

Para a primeira avaliação de LD de Biologia, em 2007, o MEC solicitou a
participação várias instituições de Ensino Superior de diferentes regiões
do país. Cada universidade indicou uma equipe de coordenadores que, por sua
vez, organizou uma equipe de professores universitários e do Ensino Médio
para a realização da avaliação. Cabe ressaltar que a avaliação em 2007
ocorreu no âmbito do PNLEM que sofreu, em sua concepção, significativa
influência do PNLD, o qual já vinha sendo realizado há certo tempo. Por
meio de um edital, as editoras submeteram LD para avaliação mediante
critérios gerais para todas as disciplinas e específicos para cada área.
Temos conhecimentos específicos acerca do processo de avaliação
pedagógica das obras devido ao trabalho publicado por El-Hani, Roque e
Rocha (2011). Esses autores, que participaram do PNLEM, afirmam que a
equipe de avaliação contou com três coordenadores e vinte e um professores
universitários (especialistas em Biologia e/ou Ensino de Biologia).
Diferentemente do PNLD para a disciplina de Ciências, os GLD não indicam os
sujeitos responsáveis pela coordenação geral do programa. Foram montadas
duas equipes, compostas de professores da Educação Básica, para a
apreciação crítica das resenhas produzidas. A equipe de docentes do Ensino
Superior foi dividida em três grupos dependendo da especialidade em certas
áreas teórico-conceituais da Biologia e cada um desses grupos foi composto
por três/quatro avaliadores (com diferentes especialidades), responsáveis
por avaliar cada coleção. Destaca-se que havia, ainda, um coordenador de
cada grupo.
Sobre o processo de análise, cada avaliador analisou uma cópia não-
identificada da coleção e preencheu uma ficha, a qual foi analisada pelo
coordenador do grupo. A partir das observações feitas, os avaliadores
modificam as suas fichas de avaliação e, em seguida, o grupo construía,
coletivamente, uma ficha mais geral que reunia os argumentos e juízos de
todos os avaliadores. Essa ficha coletiva foi analisada criticamente pelo
coordenador e, após várias rodadas de discussão com o grupo, chegou-se a
uma versão final da ficha, que continha um juízo final sobre a aprovação ou
exclusão da obra do Programa. Nesse processo, os três coordenadores
discutiam entre si o resultado das avaliações dos seus grupos, de modo a
garantir que o mesmo nível de rigor de análise permeasse a avaliação de
todas as obras avaliadas.
Ao final do processo de avaliação pedagógica, nove obras foram excluídas
pela avaliação pedagógica e a resenha das obras publicadas no GLD foi
dividida em quatro partes, a saber: a) síntese avaliativa (contendo os
pontos fortes e fracos dos LD); b) sumário (apresentando os tópicos
conceituais abordados); c) análise crítica (detalhando aspectos positivos e
negativos das obras em relação aos critérios de avaliação); d)
recomendações aos professores (contendo sugestões e os cuidados para o uso
das obras em sala de aula, pelos professores).
Tendo em vista a necessidade de uma nova escolha de LD em 2008, e ao
fato de que em 2011 seria feita, novamente, a escolha de livros, optou-se
pela reeditar, em 2009, do GLD do PNLEM 2007 (BRASIL, 2008).
Em 2012, ocorreu a fusão do PNLEM e do PNLD e a equipe responsável pela
avaliação foi oriunda de diversas universidades brasileiras, principalmente
da UFSCar, Universidade Federal de Uberlândia (UFU) e Universidade Estadual
de Campinas (UNICAMP). Houve, também, na equipe a participação de
professores da Educação Básica (BRASIL, 2011).
Em um primeiro momento, cada obra didática, organizada em coleção com
três volumes e com o Manual do Professor, foi analisada por dois
especialistas e, quando necessário, por terceiro consultor. Após a
realização da análise individual foram realizadas discussões coletivas para
que fosse construída a versão final do texto das resenhas das obras
aprovadas e dos pareceres das obras excluídas. É importante ressaltar que
apresentou-se, no GLD, as fichas de avaliação utilizados pela comissão do
MEC (BRASIL, 2011).
Nesse momento está ocorrendo o processo de avaliação dos LD inscritos no
PNLD 2015. O edital de abertura do Programa já apresenta características
diferentes dos demais, uma vez que os livros podem ser inscritos em dois
formatos: impresso (tipo 1) ou acompanhados de conteúdos multimídia
compostos de objetos educacionais digitais (tipo 2). Diante disso, devido
às especificidades dos materiais solicitados, assim como os diferentes
critérios para aprovação dos LD que serão adotados, o PNLD poderá passar a
ser um instrumento mobilizador da prática dos professores, já que haverá
certa cobrança, tanto institucional quanto dos próprios alunos e pais, para
a utilização desses materiais digitais. Devido aos prazos para a submissão
do trabalho para este evento, não houve tempo hábil para a análise crítica
do GLD dessa edição do PNLD, por isso deixamos esse documento à parte.
Por fim, apresentamos, a seguir, um quadro-síntese que mostra o número
de coleções que foram aprovadas em cada uma das edições descritas nos
parágrafos anteriores.

Quadro 2 - Número de coleções aprovadas em edições do PNLEM/PNLD para a
disciplina de Biologia

"Edição do "Número de coleções "
"PNLEM/PNLD "aprovadas "
"PNLEM 2007/2009 "09 "
"PNLD 2012 "08 "


Os critérios de avaliação pedagógica de livros didáticos de Ciências e
Biologia do PNLEM e PNLD

Inicialmente, apresentamos nesta subseção a relação dos critérios
utilizados nas avalições do LD de Ciências. Abaixo, apresentamos um quadro-
síntese que apresenta a relação dos critérios que foram adotados nas
edições do PNLD. Apresentou-se apenas três edições, uma vez que essas
apresentam critérios eliminatórios e classificatórios (gerais ou
específicos) que são passíveis de comparação. Ainda, sublinhamos os
critérios que parecem persistir entre as edições do programa.


Quadro 3 - Critérios de avaliação pedagógica nas edições do PNLD Ciências
1999, 2002 e 2005[5]

"Critérios"PNLD 1999 "PNLD 2002 "PNLD 2005 "
"/Edição " " " "
"do PNLD " " " "
"Critérios"Correção dos "Correção dos "Abrangência, progressão e "
"eliminató"conceitos e "conceitos e "correção conceitual. "
"rios "informações "informações "Compromisso com a eficiência "
"comuns "básicas. "básicas. "e adequação metodológicas. "
" "Correção e "Correção e "Compromisso com a construção "
" "pertinência "pertinência "da cidadania. "
" "metodológicas"metodológicas"Compromisso com a integridade"
" ". ". "física do aluno. "
" "Contribuição "Contribuição " "
" "para a "para a " "
" "construção da"construção da" "
" "cidadania. "cidadania. " "
" " "Inscrição de " "
" " "uma única " "
" " "versão ou " "
" " "variante de " "
" " "uma obra. " "
" " "Ausência de " "
" " "erros de " "
" " "impressão e " "
" " "de revisão. " "
" " "Adequação da " "
" " "reformulação " "
" " "pedagógica de" "
" " "obras " "
" " "excluídas no " "
" " "PNLD 1999. " "
" " "Articulação " "
" " "pedagógica " "
" " "dos volumes " "
" " "que integram " "
" " "a coleção " "
" " "didática. " "
"Critérios"Correção dos "Correção dos "Progressão das situações de "
"eliminató"conceitos e "conceitos e "aprendizagem (na seleção de "
"rios "informações "informações "contexto e tarefas). "
"específic"básicas. "básicas e "Presença de abrangência "
"os da "Correção e "terminologia "teórica e pertinência "
"disciplin"pertinência "científica. "educacional. "
"a de "metodológicas"Correção e "Abordagem conceitual e "
"Ciências ". "pertinência "informações factualmente "
" "Riscos à "metodológicas"corretas. "
" "construção da". "Proporciona a iniciação a "
" "cidadania. "Riscos à "diversas áreas do "
" "Riscos à "construção da"conhecimento científico. "
" "integridade "cidadania. "Ilustrações transmitem ideias"
" "física do "Riscos à "corretas cobre conceitos, "
" "aluno. "integridade "dimensões e cores. Presença "
" " "física do "de escalas e indicação da "
" " "aluno. "utilização de cores-fantasia."
" " " "Ausência de confusão "
" " " "terminológica. "
" " " "Presença de experimentos "
" " " "factíveis, com resultados "
" " " "plausíveis, sem transmitir "
" " " "ideias equivocadas de "
" " " "fenômenos, processos e "
" " " "modelos explicativos. "
" " " "Presença de metodologia que "
" " " "estimula o raciocínio a "
" " " "integração entre alunos e/ou "
" " " "professor, não tendo como "
" " " "característica principal a "
" " " "memorização de conteúdo e "
" " " "termos técnicos. "
" " " "Presença de indicações de que"
" " " "as nações do Hemisfério Norte"
" " " "como as únicas detentoras de "
" " " "princípios lógicos, culturais"
" " " "e civilizatórios. "
" " " "Existe coerência entre "
" " " "princípios e pressupostos "
" " " "pedagógicos expressos na obra"
" " " "e as práticas pedagógicas que"
" " " "estimula. "
" " " "Presença de textos e "
" " " "ilustrações respeitam as "
" " " "diferentes etnias, gêneros, "
" " " "classes sociais, evitando "
" " " "criar estereótipos e "
" " " "preconceitos prejudiciais à "
" " " "construção da cidadania. "
" " " "Preservação da integridade "
" " " "física do aluno na proposição"
" " " "das atividades. "
"Critérios"Estrutura "Aspectos "--- "
"classific"editorial "gráfico-edito" "
"atórios "(aspectos "riais. " "
"comuns "gráfico-edito"Estrutura " "
" "riais). "editorial. " "
" "Aspectos "Aspectos " "
" "visuais. "visuais. " "
" "Ilustrações. "Manual do " "
" "Manual do "professor. " "
" "professor. " " "
"Critérios"Seguem a "Correção. "Conteúdos e aspectos "
"classific"ideia de "Adequação. "teórico-metodológicos. "
"atórios "correção, "Segurança. "Aspectos "
"específic"adequação e " "pedagógico-metodológicos. "
"os da "segurança. " "Os temas propostos nos "
"área de "Adequação dos" "diferentes capítulos do "
"Ciências "conteúdos. " "livro. "
" "Atividades " "Presença de experiências "
" "propostas " "socioculturais e os saberes "
" "(instigar o " "do aluno. "
" "raciocínio e " "Aspectos editoriais/visuais; "
" "a reflexão, " "manual do professor. "
" "não apenas " "Características gerais da "
" "cópia e " "coleção. "
" "memorização)." " "
" "Integração " " "
" "entre temas " " "
" "nos " " "
" "capítulos. " " "
" "Valorização " " "
" "da " " "
" "experiência " " "
" "de vida do " " "
" "aluno. " " "
" "Aspectos " " "
" "visuais. " " "
" "Manual do " " "
" "professor. " " "


A partir da análise do quadro, podemos perceber que muitos critérios
permaneceram ao longo das edições em questão. Também, percebemos que os
critérios eliminatórios comuns, que tangem aspectos como a) correção das
informações apresentadas; b) correção e coerência metodológica; c)
contribuição para a construção da cidadania; são muito semelhantes àqueles
que são adotados apenas para os livros da disciplina de Ciências (com
exceção, de certa forma, dos critérios adotados no PNLD 2005). Ou seja,
parece que a especificidade da área é apenas conferida através do aspecto
experimental das Ciências, no sentido que adiciona-se critérios
principalmente ligados à preservação da integridade física do aluno. Além
disso, os critérios classificatórios comuns e os específicos das ciências
são muito parecidos tanto entre si quanto aos eliminatórios, pois centram-
se nas ideias de a) correção conceitual; b) adequação metodológica; c)
presença de aspectos gráfico-editoriais interessantes; d) segurança dos
alunos.
Para o PNLD 2008, a comissão de avaliação do MEC optou por utilizar
aspectos de avaliação dos livros (e não critérios mais detalhados). Ainda,
utilizou-se, para estabelecimentos de um mecanismo de comparação entre as
obras, a partir de um quadro de cores. Em certa medida, esse quadro retoma
a ideia da avaliação por meio de estrelas, utilizada em anos anteriores e
que foi abandonada. A apresentação de indicação de estrelas ou quadro de
cores para comprar as obras no GLD, pode induzir o professor a escolher uma
coleção que se mostra bem avaliada nesses gráficos, porém eles ocultam
características e detalhes que as resenhas apresentam e confrontam sobre as
obras didáticas.
Outro aspecto que chama a atenção no GLD 2008, é que na ficha de
avaliação encontra-se no critério Conhecimentos e Conceitos, o seguinte
ponto de análise: "A proposta do livro constitui uma iniciação equilibrada
às diferentes áreas do conhecimento científico?" (BRASIL, 2007, p. 101).
Contudo, percebemos que há grande destaque para os conhecimentos
biológicos. Pode-se perceber isso na explicação presente no GLD sobre o
modo como ocorreu a avaliação das coleções:

[...] na sequência, cada coleção foi analisada por dois
avaliadores de áreas diferentes, sendo que,
fundamentalmente, um deles era biólogo de formação, uma
vez que a maior parte dos conteúdos no ensino de Ciências
de 5a a 8a séries é desta área de conhecimento. A análise
centrou-se em aspectos científicos, metodológicos,
pedagógicos, éticos e estéticos definidos de acordo com os
novos pressupostos para o ensino de Ciências, configurados
pela pesquisa na área e pelas diretrizes curriculares
atuais (BRASIL, 2008, p. 11).

Mediante uma análise geral do sumério das obras nas várias edições do
PNLD, percebe-se que a maioria das obras os conhecimentos biológicos
prevalecem sobre os outros conhecimentos (a Física e a Química é trazida,
em geral, no quarto volume das coleções). Diante disso e dos critérios de
avaliação pedagógica adotados, muitas obras não poderiam ser aprovadas ou
deveria haver alguma indicação sobre isso nas resenhas elaboradas pela
comissão do MEC.
Para o PNLD 2012 utilizou-se critérios eliminatórios comuns e
específicos, os quais estão apresentados no quadro abaixo[6].


Quadro 4 - Critérios de avaliação pedagógica nas edições do PNLD 2012

"Critérios "Respeito à normativas de documentos oficias. "
"eliminatór"Observância à princípios éticos para a construção da "
"ios comuns"cidadania e ao convívio social republicano. "
" "Coerência e adequação da abordagem "
" "teórico-metodológica. "
" "Correção e atualização de conceitos, informações e "
" "procedimentos. "
" "Observância das características, finalidades e "
" "adequação da coleção ao que é proposto no Manual do "
" "Professor. "
" "Adequação da estrutura gráfica-editorial aos "
" "objetivos didático pedagógicos da coleção. "
"Critérios "Presença de atividades que estimulem a investigação "
"eliminatór"científica. "
"ios "Presença de temas de estudo, atividades, linguagem e "
"específico"terminologia científica adequados ao estágio de "
"s "desenvolvimento cognitivo dos estudantes. "
" "Iniciação às diferentes áreas do conhecimento "
" "científico. "
" "Articulação dos conteúdos de Ciências com outros "
" "campos disciplinares. "
" "Indicação de que a produção do conhecimento "
" "científico como atividade que envolve diferentes "
" "pessoas e instituições. "
" "Presença de uma história da ciência além de nomes ou "
" "datas, explorando o contexto onde ocorreu a produção "
" "científica. "
" "Presença de textos e atividades que colaborem com o "
" "debate sobre as repercussões, relações e aplicações "
" "do conhecimento científico na sociedade. "
" "Presença de sugestão de atividades experimentais "
" "factíveis, com resultados confiáveis e interpretação "
" "teórica correta. "
" "Incentivo a uma postura de respeito ao ambiente, "
" "conservação e manejo corretos. "
" "Presença de orientações claras e precisas sobre os "
" "riscos na realização dos experimentos e atividades "
" "propostos visando garantir a integridade física dos "
" "sujeitos envolvidos. "
" "Presença de propostas de atividades que estimulem a "
" "interação e participação da comunidade escolar, das "
" "famílias e da população em geral. "
" "Presença de propostas de visitas a espaços que "
" "favoreçam o desenvolvimento do processo de ensino e "
" "aprendizagem. "
" "Presença de propostas de uso de tecnologias da "
" "informação e comunicação. "
" "Presença de orientações para utilizar textos, vídeos,"
" "objetos de aprendizagens e outros recursos "
" "disponíveis na rede internet, em especial aqueles "
" "disponíveis nos Portais do MEC e da Capes. "
" "Presença de propostas pedagógicas lúdicas para o "
" "ensino de ciências. "


A partir das informações presentes no quadro acima, podemos perceber que
os critérios gerais de avaliação das obras ainda são muito semelhantes
àqueles utilizados em outras edições do programa. Além disso, levando em
consideração as alterações feitas na edição anterior do PNLD 2008 e 2012
percebe-se claramente que a mudança nos membros da comissão responsável
pela avaliação pedagógica dos LD altera os critérios adotados, uma vez que
a ênfase experimental para o ensino de Ciências é muito diferente da que
era dada anteriormente. Além disso, pode-se destacar uma grande pluralidade
dos aspectos que foram avaliados, que não estão presentes, explicitamente,
na edição anterior do programa (como os indicados nos itens 5, 6, 7 11, 12,
13, 14 e 15 do quadro acima). Ou seja, as editoras, depois do lançamento do
edital do PNLD, apresentam pouco tempo para fazer as adequações aos
critérios propostos pela comissão do MEC (ou mesmo não tem tempo para fazer
mudanças estruturais nos livros) fazendo com que, muitas vezes, essas sejam
superficiais. Cabe destacar que as editoras de livros encontram-se, na
verdade, em um ponto de tensão entre as expectativas do MEC e a dos
professores.
Em relação à avaliação dos critérios utilizados para a avaliação de LD
de Biologia, apresentamos, abaixo um quadro-síntese (sublinhamos os
critérios que são semelhantes entre as edições do PNLD):


Quadro 5 - Quadro-síntese dos critérios utilizados para a avaliação de
LD de Biologia


"PNLEM 2007/2009 "PNLD 2012 "
"Critérios comuns "Critérios comuns (gerais) "
"Critérios eliminatórios (gerais)"Respeito à preceitos legais e "
"Respeito à preceitos legais e "jurídicos; "
"jurídicos; "Correção e adequação conceituais e"
"Correção e adequação conceituais"correção das informações básicas; "
"e correção das informações "Coerência e pertinência "
"básicas; "metodológicas "
"Coerência e pertinência "Respeito à preceitos éticos "
"metodológicas "Coerência e pertinência do Manual "
"Respeito à preceitos éticos "do Professor (em seu interior e em"
" "relação à coleção como um todo) "
"Critérios de qualificação "Coerência da estrutura editorial e"
"(gerais) "do projeto gráfico aos objetivos "
"Abordagem de questões para a "didático-pedagógicos da obra. "
"construção da cidadania "Critérios eliminatórios "
"Apresentação de linguagem "(específicos) "
"gramaticalmente correta "Forma de compreensão do fenômeno "
"Apresentação, no livro do "vida "
"professor, de: "Sugestão para que o aluno "
"Descrição da estrutura da obra "participe do debate de temas "
"Indicação de sugestões dos "polêmicos contemporâneos que "
"materiais didáticos em sala de "envolvem os conhecimentos de "
"aula "Biologia em articulação com outros"
"Sugestão de atividades "saberes "
"complementares "Compreensão da biodiversidade do "
"Fornecimento de subsídios para a"planeta, em específico a do Brasil"
"correção das atividades e "Organização dos conteúdos em torno"
"exercícios propostos "de temas estruturadores do "
"Sugestão de formas de avaliação "conhecimento biológico "
"e discussão desse processo "Auxílio na construção de uma visão"
"Atualização das informações "de que o conhecimento biológico "
"sugeridas "que supere a visão ahistórica de "
"Respeito à Estrutura editorial e"vida "
"aos aspectos gráfico-editoriais "Não reforço de uma visão finalista"
"definidos em edital "e antropocêntrica do fenômeno "
" "biológico "
" "Possibilidade do reconhecimento "
" "das formas pelas quais a Biologia "
" "está engendrada nas culturas "
" "Apresentação da relação dos "
" "conceitos da Biologia com os de "
" "outras ciências "
" "Contribuição contribui para a "
" "percepção de que os conhecimentos "
" "biológicos podem servir de base "
" "para reconhecer formas de "
" "discriminação racial, social, de "
" "Gênero "
" "Divulgação de que conhecimentos "
" "biológicos para a formação de "
" "atitudes, posturas e valores que "
" "eduquem cidadãos no contexto de "
" "seu pertencimento etnoracial e de "
" "relações de gênero e sexualidade "


Podemos perceber que nas primeiras edições do PNLD para os livros de
Biologia adotou-se critérios ligados à aspectos muito parecidos aos
adotados no âmbito da disciplina de Ciências, a saber: a) respeito à
preceitos legais e jurídicos; b) correção e adequação conceituais; c)
coerência e pertinência metodológicas; d) respeito à preceitos éticos. Isso
pode ter ocorrido, frente ao fato de que o PNLD-Ciências já vinha sendo
realizado com certa regularidade há um certo tempo. Em suma, muitos dos
critérios adotados no PNLDM 2007 e 2009 poderiam ser utilizados para outras
disciplinas escolares, pois não ressaltam, em geral, as características da
Biologia como uma área de conhecimento autônoma.
Isso não ocorreu na última avaliação. No PNLD 2012, foi dado ênfase na
análise do manual do professor e da relação desse com a obra como um todo.
Também, praticamente todos os critérios eliminatórios adotados apresentam
certa especificidade com a matéria de ensino. Nesse sentido, podemos
afirmar, novamente, que a alteração na comissão avaliadora do MEC apresenta
repercussão nos critérios de avaliação adotados.

CONSIDERAÇÕES FINAIS

Percebemos houve muitas mudanças ao longo desses anos, referentes ao
número de avaliadores, à quantidades de coleções analisadas e aos critérios
adotados no âmbito do PNLD/PNLEM. Com relação aos critérios, privilegiou-se
aspectos que podem ser adotados para as demais disciplinas escolares, não
ressaltando, na maioria das vezes, os aspectos que distinguem as
Ciências/Biologia como um campo de conhecimento próprio. Além disso,
verificou-se que alguns critérios de avaliação são adicionados e outros
eliminados entre as edições e, nesse sentido, Leão e Megid Neto (2006, p.
39) adicionam que:


As mudanças significativas na composição das equipes de
avaliação da área de Ciências de um processo de avaliação
a outro pode ser um fator responsável pelas alterações nos
critérios de avaliação, nos procedimentos de classificação
e de análise e nos resultados finais da avaliação ao longo
dos períodos.


El-Hani, Roque e Rocha (2011) argumentam que não se possui um consenso
na área de pesquisa em ensino de Ciências, dos fundamentos teóricos-
metodológicos da disciplina e com isso não seria possível inserir critérios
mais específicos nas avaliações do PNLD. Para além de um consenso sobre os
fundamentos teórico-metodológicos na pesquisa em ensino de Ciências,
pensamos ser necessário que pelo menos alguns dos apontamentos mais gerais
da área sejam levados em consideração. Entre esses podemos citar (a
necessidade de): a) incluir o tratamento da educação em saúde para além do
aprendizado de regras de higiene e formas de prevenção de doenças; b)
incluir a história da Ciência de modo não linear e superficial; c)
relacionar os temas apresentados nos livros com os assuntos estudados nas
demais disciplinas escolares; d) utilizar o recurso "imagens" mediante
preceitos e critérios que visem tornar o uso dos recursos pictóricos mais
eficiente; f) incluir aspectos ligados às relações entre Ciência,
Tecnologia e Sociedade; entre outros.
Em suma, é necessário que as comissões de avaliação pedagógica dos LD
atentem para critérios que ressaltem as características específicas de cada
uma das áreas disciplinares no intuito de continuar o processo de melhoria
dos livros. Além disso, é necessário que se desenvolvam pesquisas no
sentido de identificar os critérios que os professores das escolas de
educação básica utilizam para a análise do material didático em questão
para que ocorra uma maior proximidade entre as expectativas desses com os
pesquisadores acadêmicos.



REFERÊNCIAS

BRASIL. Guia de livros didáticos: PNLD 1999 - 5° a 8º séries. Brasília:
Ministério da Educação e do Desporto, 1998.
_________. Guia de livros didáticos: PNLD 2002 - 5° a 8º séries. Brasília:
Ministério da Educação e do Desporto, 2001.
_________. Guia de livros didáticos: PNLD 2005 - Ciências. Brasília:
Ministério da Educação, Secretaria da Educação Básica, 2004.
_________. Guia de livros didáticos: PNLD 2008 - Ciências. Brasília:
Ministério da Educação, Secretaria da Educação Básica, 2007.
_________. Guia de livros didáticos: PNLD 2009 - Biologia. Brasília:
Ministério da Educação, Secretaria da Educação Básica, 2008.
_________. Guia de livros didáticos: PNLD 2011 - Ciências. Brasília:
Ministério da Educação, Secretaria da Educação Básica, 2010.
_________. Guia de livros didáticos: PNLD 2012 - Biologia. Brasília:
Ministério da Educação, Secretaria da Educação Básica, 2011.
_________. Guia de livros didáticos: PNLD 2014 - Ciências. Brasília:
Ministério da Educação, Secretaria da Educação Básica, 2013.
EL-HANI, C. N.; ROQUE, N.; ROCHA, P. L. B. Livros didáticos de biologia do
ensino médio: resultados do PNLEM/2007. Educação em Revista, v.27, n.1,
p.211-240, abr. 2011.
FRACALANZA, H.; MEGID NETO, J. (Orgs.). O livro didático de Ciências no
Brasil. Campinas: Editora Komedi, 2006.
HÖFLING, E. M.. Notas para discussão quanto à implementação de programas de
governo: em foco o Programa Nacional do Livro Didático. Educação e
Sociedade, Campinas, v. 21, n. 70, p. 159-170, 2000.
LEÃO, F. de B. F.; MEGID NETO, J. Avaliações Oficiais Sobre o Livro
Didático de Ciências. In: FRACALANZA, H. e MEGID NETO, J. (Orgs.). O
Livro Didático de Ciências no Brasil. Campinas: Editora Komedi, p. 35-80,
2006.


TEXTBOOKS OF SCIENCE AND BIOLOGY: THE EVALUATION CRITERIA OF
PNLEM/PNLD IN FOCUS



Abstract: In this work, we conducted a study on the criteria used by the
pedagogical evaluation teams of textbooks from PNLEM/PNLD for school
discipline "science" (to the final years of elementary school) and biology
(for High School) towards the PNLD consolidation as a state policy. For
this, we made the analysis of documents (textbooks guides) of all PNLD
editions that have occurred until this moment for these school subjects.
For the analysis of the documents we use a textual analysis script. The
results indicate that there were many changes in relation to the number of
the evaluators, the amount of collections analyzed and the evaluation
criteria adopted. About the criteria, they are not specific in relation to
the disciplines "Science" and "Biology", and they can be used for the
evaluation of books from other school subjects. Furthermore, we see the
influence that the change in the composition of committee members has in
the evaluation criteria adopted in the editions of the program analyzed. At
the end of the paper, we present some perspectives and recommendations for
future researches.

Key-words: PNLD, PNLEM, pedagogical evaluation criteria, Science, Biology.

-----------------------
[1]De modo geral, o funcionamento do PNLD tem apresentado as seguintes
etapas nas edições mais recentes: (1) Avaliação e recomendação de LD; (2)
Escolha de livros por professores de escolas de educação básica; (3) Envio
dos LD e recebimento desses nas escolas; (4) Uso dos livros por professores
e alunos. Já que esse Programa é realizado em ciclos trienais alternados o
período de vigência de uma edição do Programa é de três anos.
[2]Em 1995, estabeleceram-se alguns critérios comuns de análise dos livros,
a saber: a) adequação didática e pedagógica; b) qualidade editorial e
gráfica; c) pertinência do manual do professor para uso e a atualização do
docente. Além disso, foi inédita na história do Programa, a adoção de
critérios eliminatórios para avaliação, os quais se embasavam na grande
presença de formas de discriminação no material e de erros conceituais nas
obras. Essa análise gerou uma classificação dos livros nas seguintes
categorias: a) excluídos (livros que apresentavam erros conceituais,
indução a erros, desatualização, preconceitos ou discriminações de qualquer
tipo); b) não recomendados (livros nos quais a dimensão conceitual
apresenta insuficiência, sendo encontradas impropriedades que
comprometessem significativamente sua eficácia didático-pedagógica); c)
recomendados com ressalvas (livros que possuíssem qualidades mínimas que
justificassem sua recomendação, embora apresentassem problemas que, se
levados em conta pelo professor, poderiam não comprometer sua eficácia); e
recomendados (livros que atendessem, satisfatoriamente, aos critérios de
análise comuns e específicos utilizados pelo Programa).
[3] Este número considera o número de coleções disponibilizadas em cada
processo do PNLD para a escolha do professor, sendo que em muitos casos as
mesmas coleções se repetem em mais de um processo do PNLD.
[4] No ano de 1999 a avaliação foi apresentada de cada volume
separadamente, assim em alguns casos apenas um ou dois volumes da coleção
eram excluídos e os outros aprovados. Aqui a contagem considera cada
coleção diferente que estava presente no GLD, mesmo que somente um volume
tivesse sido aprovado.
[5] Os critérios foram adaptados (a escrita não foi apresentada na íntegra)
para que esses pudessem ser apresentados no corpo deste trabalho.
[6] Os critérios foram adaptados (a escrita não foi apresentada na íntegra)
para que esses pudessem ser apresentados no corpo deste trabalho.