Democratização do ensino médio no Brasil? problemas levantados por um estudo de caso no interior da Bahia

Share Embed


Descrição do Produto

XIX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Quito, Ecuador, 11 – 14 nov. 2014

Democratização do ensino médio no Brasil? Problemas levantados por um estudo de caso no interior da Bahia Maria Inês Caetano Ferreira Apresentação Nas últimas décadas os governos federal e estaduais estão investimento na universalização do ensino médio no país. Dados do Instituto Brasileiro de Geografia e Estatística do Brasil – IBGE - indicam evolução no atendimento da rede pública. Esse movimento não ocorre de forma homogênea, há desigualdade entre grandes regiões e estados. Esse estudo aborda o processo de universalização no estado da Bahia, especificamente, no município de São Felix, onde existe apenas uma única escola de ensino médio. A partir do cotejo de dados nacionais, estaduais e municipais, busca-se apresentar questões relevantes no processo de ensino e aprendizagem que podem ameaçar a tentativa de ampliar a inclusão escolar, criando novas formas de exclusão, como, por exemplo, os baixos índices de aproveitamento dos estudantes. Krawczyk (2014) destaca a importância adquirida pelo ensino médio nos tempos atuais, em virtude da evolução da tecnologia, da produção de informações e da necessidade de os jovens terem que administrar o volume de novidades, de forma autônoma. Esse é um critério para o ingresso e permanência no mercado de trabalho, por exemplo. Desse modo, desigualdades no acesso ao ensino médio podem impactar nos destinos sociais e profissionais dos jovens estudantes. Sposito e Souza (2014) destacam que a ampliação do acesso ao ensino médio recentemente se fazem acompanhar de problemas como a permanência de alto índice de evasão e reprovação. No estado da Bahia os problemas na área de educação são graves. Dados do Tribunal Superior Eleitoral sobre a escolaridade dos eleitores informam que a maioria dos votantes têm poucos anos de escolaridade. Segundo o TSE, em 2012 havia 10.110.122 eleitores na Bahia, 23,7% desses sabiam apenas ler e escrever e 8,7% eram analfabetos. O principal nível de escolaridade era o ensino fundamental completo (31% dos eleitores), seguido ensino médio incompleto (17%) e ensino médio completo (11%). O grupo dos que tinham ensino fundamental incompleto (4,5%) superava os que tinham ensino superior completo (2%) e incompleto (1,4%). Esses dados permitem verificar que quase um terço dos eleitores baianos só sabia ler e escrever e que o fundamental completo era o principal grau de formação. Impossível não concluir que o quadro da escolaridade da Bahia aponta para uma realidade desigual, não democrática, de exclusão social. Mas o processo de universalização do ensino médio está em curso na realidade social descrita pelos dados do TSE. Assim, cabe investigar o que é esse processo de universalização, com olhar atento para a escola, onde ele se efetiva. Esse é o objetivo deste artigo. Por meio da investigação dos processos de avaliação dos professores da única escola de ensino médio no município baiano de São Félix e do sistema de avaliação do governo do estado. Esses dados são contextualizados e analisados no quadro nacional de expansão de cobertura do ensino médio. Numa primeira parte são apresentados dados do IBGE sobre a expansão da cobertura do ensino médio, mostrando a evolução no atendimento, na conclusão, a queda da distorção idade-série etc. Os dados descrevem a situação do país, das grandes regiões, do Nordeste, da Bahia e do município estudado. 1

XIX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Quito, Ecuador, 11 – 14 nov. 2014

Em seguida são informados os resultados do sistema de avaliação do governo do estado da Bahia, que indica baixo aproveitamento dos estudantes da rede pública baiana e de São Félix, especificamente. No final, são introduzidos dados sobre as avaliações dos professores do colégio Rômulo Galvão, em São Felix, destacando a incapacidade desse processo em diagnosticar o processo de ensino e aprendizagem dos alunos, indicando que procedimentos locais podem comprometer a universalização e inclusão no ensino médio. A metodologia adotada foi o estudo de dados secundários, produzidos por instituições governamentais da área da educação e também o levantamento de dados na secretaria da escola Rômulo Galvão. O estudo de caso da única escola de ensino médio do município de São Félix se justifica por ser local onde se localiza a universidade que abriga os pesquisadores deste trabalho. A expansão do ensino médio no Brasil: um mapeamento Desde a década de 90 a cobertura da educação básica pela rede pública vem sendo ampliada em todo o Brasil. Os dados do Ministério da Educação e da Pesquisa Nacional Por Amostra de Domicílios permitem reconhecer o modo como essa expansão vem se concretizando. Apresentamos a seguir dados sobre o ensino médio, interesse específico deste artigo, principalmente desde o início do século 20. Sempre que possível, são apresentadas informações para todas as regiões do país, detalhando especificamente os estados da região Nordeste, a fim destacar a realidade do estado da Bahia em relação aos outros estados de sua região. Finalmente, nos casos em que há dados do município de São Félix, eles também são apresentados, permitindo, assim, a sua caracterização em relação ao todo estado baiano. Porém, nem sempre há dados detalhados para municípios. A tabela 1 é síntese de outra, mais ampla, elaborada por Sposito e Souza (2014). A Tabela 1 revela a elevação da cobertura do ensino médio no Brasil nas duas últimas décadas para a faixa de 15 a 17 anos. Desse modo, cresce a população matriculada. Constata-se, então, expansão de vagas concomitante ao ajustamento da faixa etária ao período escolar. A Tabela 2 complementa a primeira, revelando a elevação da população jovem que conclui o ensino médio na idade ajustada ao período escolar. A taxa do país cresceu pouco menos de 20% em apenas uma década. Na região Nordeste esse crescimento chegou a quase um quarto da população até 19 anos. Porém, apesar dessa elevação, a taxa é inferior à metade da população, indicando que ainda há muito a ser conquistado nessa região, com índice superior apenas à região Norte, abaixo de todas as outras. A Tabela 3 traz resultados exclusivos da região Nordeste, permitindo reconhecer a realidade de cada um de seus estados. Observa-se que há uma década as taxas eram bastante baixas. A elevação da taxa nordestina foi um pouco superior à do Brasil. As taxas cresceram em todos os estados, mas não é possível deixar de acentuar a desigualdade entre eles. Os estados do Ceará e Rio Grande do Norte são os únicos onde mais da metade da população de até 19 anos conclui o ensino médio. O estado da Bahia tem a terceira pior taxa em 2011. Vale ressaltar que, em 2001, a taxa da Bahia só era pior do que a do Maranhão. A evolução da taxa baiana (21,2%) foi pouco superior a do Brasil (19,1%). Porém, constata-se que ainda há problemas a serem enfrentados em relação à ação do governo em relação ao ensino médio. A Tabela 4 informa que a taxa de atendimento do ensino médio cresceu em todo o país na última década, porém, vale ressaltar observação do movimento Todos Pela Educação (2014) em relação ao fato de que houve crescimento, mas com estagnação na faixa de 80%. 2

XIX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Quito, Ecuador, 11 – 14 nov. 2014

Assim, o aspecto positivo deve ser enfatizado, mas sem desconsiderar a necessidade de aprimoramento no curto e médio prazo. Com destaque para o fato de que a elevação da taxa de atendimento para estudantes de 15 a 17 anos não remete, necessariamente, à conclusão do ensino médio antes dos 19 anos, pois o cotejo dos dados da Tabela 3 com a 4 suscitam movimentos não diretamente vinculados entre oferta de vagas e conclusão dos estudos na faixa etária acertada. A tabela 5 comprova que oferta de vagas não remete à conclusão do ensino médio na faixa etária ajustada. Pois o estado da Bahia, como aponta a tabela 3 detém a segunda pior taxa de conclusão do EM até 19 anos. Na tabela 5, vemos que a Bahia tinha a melhor oferta de vagas de ensino médio para a faixa etária de 15 a 17 anos em 2001, uma década depois, ela segue atrás apenas do Piauí e Sergipe. Logo, a elevação da oferta é positiva, mas não é suficiente para garantir aprimoramento no processo de ensinoaprendizagem. A Tabela 6 indica que a posição do município de São Félix, na oferta de vagas, é mais positiva do que a do estado da Bahia. Assim, verifica-se que esse município não aponta para caso crítico do estado, que guarda, ainda, problemas em relação à ação governamental para a educação no ensino médio. A tabela 7 esclarece queda na distorção idade-série no ensino médio no país, em uma década. Trata-se de conquista na educação da juventude. A queda da taxa do Nordeste (26,1%) supera à média do país (19,2%). Porém, a taxa permanece alta na região, acima de 40% dos jovens não concluem o ensino médio no prazo regular. Posição inferior, apenas, à da região Norte. Novamente, comprova-se a necessidade de ações específicas para o Nordeste. A Tabela 8 informa a situação específica dos estados do Nordeste. Verifica-se que Bahia e Piauí, campeões na oferta de vagas para do ensino médio para as faixas de 15 a 17 anos, também lideram na taxa de distorção idade-série no ensino médio. Novamente, atenta-se para o fato de que oferecer vagas não, necessariamente, conduz ao melhor processo de ensino-aprendizagem, o qual envolve muitas outras variáveis. O Ceará detém a mais baixa taxa de distorção e, como se verifica nas tabelas seguintes, possui indicadores mais positivos do que os outros estados do Nordeste. Isso indica o sucesso de algumas ações governamentais do Ceará, em contraste com o do governo da Bahia em relação ao ensino médio. A tabela 9 ratifica que o indicador do município de São Félix é mais positivo do que a média do estado da Bahia, porém, ressalta-se que quase a metade da população do município tem problemas de distorção, fato preocupante. Os dados referentes ao estado da Bahia e ao município de São Félix esclarecem que o quadro da educação no início do século 20 era bastante ruim. Na última década houve incontestável desenvolvimento, como resultado das ações dos governos federal e estadual. Porém, ainda é necessário investimentos no ensino médio. A posição privilegiada dos estados do Ceará e Pernambuco, comprovada por alguns indicadores, não deixam dúvidas de que, embora a região Nordeste enfrente sérios problemas socioeconômicos, é possível sim melhor a política educacional dos estados. Essa conclusão se ajusta ao caso baiano, pois, o PIB da Bahia – em relação a todo país - em 2010 (4,1%) é superior ao de todos os outros estados nordestinos, como Ceará (2,1%) e Pernambuco (2,5%). Ou seja, o estado da Bahia possui riqueza superior aos seus vizinhos nordestinos, os quais possuem indicadores educacionais mais positivos que os baianos. A tabela com dados sobre taxa de abandono do ensino médio no Brasil explica que houve pequena queda na última década, tema que se coloca, ainda, como preocupante. 3

XIX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Quito, Ecuador, 11 – 14 nov. 2014

Impressiona o fato de que no Nordeste essa taxa se elevou. Ou seja, apesar da ampliação da oferta, da elevação da conclusão até 19 anos, muitos estudantes abandonam a escola, sem concluir o ensino médio. É certo que se deve buscar compreender as variáveis que explicam esse fenômeno, mas, em si, os dados já remetem para problemas sérios no ensino médio na região. A tabela 11 permite visualizar que o problema de elevação do abandono do ensino no Nordeste é fenômeno comum a todos os estados, exceto o Ceará, com crescimento muito pequeno, em comparação aos estados vizinhos. Novamente, o Ceará indica posição privilegiada na região Nordeste. Infelizmente, não temos registro de Pernambuco e Sergipe, para comparações. Para esses estados, estão disponíveis dados de 2010, Pernambuco com taxa de 10,8% e Sergipe, com 12,2%. A distorção das datas compromete as comparações, mas indica crescimento para Sergipe e alta queda para Pernambuco. Considerando o objetivo deste artigo, vale apontar a elevação do caso baiano. A tabela 12 confirma a melhor posição do município de São Félix em relação à taxa do estado da Bahia. Embora elevada, a taxa de São Felix não é a pior do estado, destacando que a queda, na última década, foi impactante. É importante reconhecer a situação do município no estado, na região Nordeste e no país, para que se busque relacionar os problemas e, também, tentar levantar possíveis singularidades positivas e negativas, contribuindo para a reflexão de alternativas exitosas para o local. A tabela 13 permite reconhecer que a ampliação da oferta não provoca aumento nas taxas de aprovação. Talvez, ela contribua para diminuir essa taxa, pois há ampliação na população com acesso ao ensino médio. Grupos antes excluídos passam a frequentar a escola, trazendo a tona problemas e conflitos que antes eram invisíveis. Esses dados guardam peculiaridades, pois, a região Sudeste, que detém os melhores dados nas tabelas anteriores, também teve queda na aprovação. Os dados do Nordeste, nas tabelas acima, são inferiores apenas aos da região Norte, mas em relação à aprovação, são mais positivos que os da região Centro-Oeste. Se considerarmos o padrão registrado nas tabelas anteriores, é possível desconfiar de que a queda da aprovação expõe mais intensamente as consequências da política da universalização do ensino médio. Assim como na tabela para Brasil, na região Nordeste, todos os estados registram queda na aprovação, indicando a manifestação de problemas no processo de universalização do ensino médio. Essas informações ratificam a necessidade de investimentos no processo de ensino-aprendizagem. Para tanto, parecem necessários estudos detalhados para compreender as variáveis envolvidas na queda da aprovação em todo país. A queda na Bahia não é um desvio no padrão nacional, mas certamente merece estudo comparativo, pois os dados anteriores registram problemas graves, que antecedem a politica de universalização. Em contraste com o caso baiano, a Tabela 15 indica que, no município de São Félix a taxa elevação da aprovação cresceu 34,5% na última década. Esses aspectos atentam para a necessidade de estudos aprofundados nos municípios baianos, sobretudo nos pequenos. Pois há discrepância nos resultados do município em relação ao estado. É preciso compreender o que faz com que São Félix tenha resultados mais positivos do que a média do estado. A tabela 16 ratifica que a taxa de reprovação acompanha os resultados para a aprovação. Com a queda na aprovação, ocorre elevação na reprovação. Contrastando com os dados das tabelas anteriores, O Nordeste detém a melhor taxa de aprovação do país, a mais baixa. O cotejo de todos os dados não permite reconhecer êxito nordestino sobre os das outras regiões. Ao contrário, tenta para a necessidade de estudos cuidadosos sobre os significados desses dados, pois eles em si não podem ser tomados como sinônimos de êxito ou fracasso, pois envolvem outras informações, ainda a serem compreendidas. 4

XIX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Quito, Ecuador, 11 – 14 nov. 2014

A tabela 17 destaca a Bahia como campeã da reprovação no Nordeste, seguida pelo Maranhão. Porém, ao longo da década, a taxa se elevou em todos os estados, sugerindo que a ampliação da oferta traz à tona problemas antes sufocados pela baixa inclusão escolar. Diferentemente das duas tabelas sobre reprovação, a que aponta resultados de São Félix destaca queda na reprovação. Os dados desse município indicam que há municípios com situação singular no estado baiano, com situação mais positiva do que a média estadual. Os dados de todas as tabelas apresentadas não deixam dúvidas sobre a melhoria da oferta do ensino médio no país. Porém, como seria possível supor, a universalização traz problemas novos que ainda devem ser enfrentados, sob a ameaça de que a universalização possa produzir novas exclusões, em vez de contribuir para a inclusão dos estudantes do país, como atenta Krawczyk (2014). As tabelas permitem verificar, além de problemas nacionais, a posição do Nordeste em relação a todo país e da Bahia em relação aos outros estados nordestinos e ao país. Verifica-se que a Bahia ainda enfrenta situação sensível, com dados mais negativos do que outros estados nordestinos. Os números mostram que as taxas do início do século XXI na Bahia eram mais negativas, portanto, as ações do governo têm que enfrentar situação mais complicada do que a de outros estados do Nordeste e de outras regiões. Mas vale ressaltar a superioridade da condição econômica da Bahia em relação aos vizinhos nordestinos, sugerindo mais e melhores recursos para as ações de governo. Por fim, os dados sobre o município de São Felix atentam para fenômeno que merece investigações. Pois, suas taxas são sempre mais positivas do que a média baiana. Isso sugere que os possíveis do ensino médio local devem ser tomados numa perspectiva comparativa, sem desconsiderar problemas que dizem respeito à realidade estadual, mas também questões locais que incidem sobre os resultados aqui expostos. Os dados do sistema de avaliação do estado da Bahia trazem informações que permitem compreender melhor o caso baiano e, assim, suas taxas em relação a todo país, assim como desperta inquietações sobre a posição do município de São Felix. Avalie Bahia: aproveitamento escolar O governo da Bahia criou em 2007 o Sistema de Avaliação Baiano de Educação (SABE), com o objetivo de avaliar o desempenho dos estudantes da rede pública, por meio da aplicação de questionários socioeconômicos, sobre as práticas pedagógicas, gestão etc. O Avalie Ensino Médio é um estudo longitudinal que faz parte desse sistema e vem sendo implementado desde 2011. Trata-se de exames aplicados a estudantes da rede pública do estado. Em 2011 foram aplicadas provas em estudantes de mil e seis escolas, da primeira e segunda série do ensino médio. Em 2012, foram aplicadas provas em estudantes da segunda e terceira séries. Em 2013, as provas foram aplicadas em estudantes do primeiro, segundo e terceiro anos. Além de escolas do ensino público regular, as provas também são aplicadas em estudantes do ensino médio profissional integrado (EMI). Os questionários aplicados aos estudantes utilizam referencial da matriz de competências e habilidades do Exame Nacional de Ensino Médio (ENEM). Os resultados são classificados nos seguintes padrões de conhecimento:  Muito crítico: que aponta carência de aprendizagem para a etapa da escolaridade na qual o estudante se encontra, em suma, trata-se de rendimento abaixo do esperado;  Crítico: demonstra que o estudante aprendeu o mínimo do que é proposto no seu ano escolar;  Básico: o estudante adquiriu conhecimento apropriado e substancial do que é previsto para a sua etapa de escolaridade; 5

XIX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Quito, Ecuador, 11 – 14 nov. 2014

 Avançado: o estudante desenvolveu habilidades mais sofisticadas do que sugere sua etapa, seu aprendizado superou as expectativas. Abaixo são apresentados os resultados do Avalie, aplicado na escola estudada, Rômulo Galvão em 2011, para estudantes do primeiro ano do ensino médio. Essa turma é a mesma sobre a qual foram levantadas informações no colégio sobre notas e frequência. Desse modo, é possível relacionar os resultados obtidos nesse exame estadual com os resultados das avaliações dos professores na escola. A tabela acima apontam os resultados do exame aplicado em todos os estudantes das escolas de ensino médio do estado da Bahia. Verifica-se que nas áreas de exatas e biológicas o aproveitamento é muito baixo. Nas áreas de Humanas, os dados se concentram na variável crítica, um pouco mais positivo do que no caso de exatas e biológicas. De modo geral, os resultados indicam problemas no desenvolvimento de competências e habilidades entre os estudantes baianos do ensino médio em geral. A tabela acima traz os resultados dos estudantes baianos, especificamente os que frequentam escolar na divisão da Diretoria Regional de Cruz das Almas, onde se situa a escola aqui estudada. O que se observa é que, de modo geral, a classificação dos estudantes dessa região é mais frágil do que o geral da Bahia. Há concentração de muito crítico supera, com pequena margem, o resultado geral da Bahia. Os resultados acima são específicos do colégio Rômulo Galvão. O que se nota é que a avaliação aqui é um pouco mais negativa do que a de toda a região de sua diretoria. Exceto nas provas de Português e Geografia, em todas as outras, os resultados muito críticos superam às da DIREC 32 e, consequentemente, os da Bahia. Os dados do Avalie explicam que o aproveitamento escolar dos estudantes da única escola de ensino médio do município de São Félix é muito crítico e crítico. Desse modo, toda a evolução em termos de atendimento, queda na distorção idade-série etc. ainda não é acompanhada por um processo de ensinoaprendizagem que permita o desenvolvimento de conhecimento substancial, dentro do padrão previsto para determinada etapa escolar. Abaixo, o quadro com resultados do Exame Nacional do Ensino Médio, para 2011, aponta o baixo aproveitamento dos estudantes da escola, não alcançando o mínimo requerido pelo Ministério da Educação. A análise dos resultados do Avalie e do ENEM sugerem que as taxas positivas de São Felix nas tabelas acima não necessariamente apontam processo positivo de ensino-aprendizagem, pois os dados para a única escola do município são preocupantes. Os resultados do Avalie ratificam os problemas no ensino médio da rede pública da Bahia. Apesar dos investimentos estadual e federal, ainda há muito para ser realizado no ensino médio baiano. O predomínio dos padrões muito crítico e crítico indicam que a universalização em si pode trazer mais exclusão do que inclusão. Destaque-se o péssimo resultado para as disciplinas das áreas de exatas e biológicas, normalmente vinculadas às profissões mais bem remuneradas no país. Considerando esse resultado, os estudantes da rede pública baiana, em geral, não apresentam perfil interessante para os melhores empregos. Mesmo nas disciplinas das áreas de Humanas, prevalece o crítico. Destaque-se, que na área de Humanas, normalmente as classificações de estudantes de escola pública se destacam em comparação as de exatas e biológicas. Porém, no caso baiano, mesmo a avaliação em humanidades é baixa. 6

XIX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Quito, Ecuador, 11 – 14 nov. 2014

Um ponto que deve ser colocado é a dificuldade de professores com formação em biológicas e exatas para lecionarem no ensino público, onde os rendimentos são mais baixos do que os do mercado em geral, até mesmo em virtude da pouca oferta de profissionais. Trata-se de um fenômeno cuja solução é essencial para a construção de um processo mais justo de universalização. As taxas dos estudantes do Rômulo Galvão são muito baixas em comparação ao estado e da região, apontando que se a taxa distorção idade-série do município é melhor do que a média estadual, assim como as taxas de aprovação e reprovação, tais informações devem se associar a outras variáveis negativas, não captadas pelos índices do IBGE. Segundo informações de estudantes da escola, diferentemente do ENEM, a participação no Avalie não é valorizada por eles próprios. Eles explicam que os estudantes que participam do Avalie ganham pontos em algumas disciplinas. Esse tipo de estímulo visa garantir a participação dos estudantes, consequente da escola, remetendo ao êxito da direção da escola em contribuir para o fortalecimento do sistema de avaliação do governo do estado. Porém, não parece haver ações para o desenvolvimento do processo de ensino-aprendizado. Desse modo, fica a dúvida sobre a efetividade dessas avaliações, que sempre enfatizam a precariedade da escola pública, sem que as ações impliquem em real inclusão escolar e desenvolvimento de habilidades e conhecimento por parte dos estudantes. Esses mesmos estudantes informaram que há interesse na participação no ENEM, em contraste com o Avalie, pois o primeiro é utilizado pelas universidades para a classificação no ensino superior, diferentemente do Avalie. Todavia, o baixo aproveitamento no ENEM, fazendo com que a escola não alcance nota mínima para a publicação do MEC aponta que o aproveitamento no exame nacional é tão frágil quanto no exame estadual. Ou seja, mesmo interessados em conquistar boa avaliação no ENEM, os estudantes do Colégio Rômulo Galvão não conseguem bons resultados, remetendo a problemas na aprendizagem. Um aspecto a ser destacado é a falta de transparência dos resultados do Avalie. Eles só estão disponíveis para os gestores e professores da rede. O público em geral não tem acesso aos resultados e, mais grave, desconhece esse sistema de avaliação. O Avalie é um sistema conhecido, sobretudo, pelos profissionais da rede e pesquisadores que trabalham diretamente com ensino médio público na Bahia. Esse desconhecimento e falta de transparência permitem que o insucesso do aproveitamento escolar seja escondido da população baiana e brasileira em geral. Certamente a lei de transparência abre canais para acesso aos dados, porém, o mais acertado parece ser a disponibilização dos resultados para todo o público. Avaliação dos professores locais: um paradoxo O município de São Felix se localiza no Território do Recôncavo Baiano, 121Km da capital do estado. É um município de pequeno porte, em 2010 a população era de 14.098. No município só uma escola de ensino médio, que atende a população urbana e rural e, inclusive, o ensino fundamental. Em 2012 havia 111 estudantes do fundamental e 743 estudantes matriculados no ensino médio, incluindo as zonas urbana e rural. Ao longo de 2013 foram realizadas pesquisadas para levantamento e sistematização dos dados sobre frequência e aproveitamento dos estudantes do primeiro ano do ensino médio dos períodos da manhã e tarde do ano de 2012, da única escola de ensino médio em São Félix, Colégio Rômulo Galvão.

7

XIX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Quito, Ecuador, 11 – 14 nov. 2014

Vale destacar a dificuldade dos pesquisadores terem acesso aos dados na secretaria da escola. Essa pesquisa foi realizada por estudantes desse mesmo ano, ou seja, os avaliados. Mesmo com autorização da direção da escola, os servidores da secretaria se recusaram a informar os dados para estudantes conhecidos. O acesso não foi possível, nem mesmo com o apoio da direção da DIREC 32 (Diretoria Regional de Educação do Estado da Bahia), a qual a escola está submetida. A fim de evitar conflitos que poderiam prejudicar a direção da escola, optamos pelo registro dos dados fornecidos pelos servidores, destacando a ausência do registro de algumas disciplinas dos dois períodos apresentados. Merece registro, ainda, que no ano de 2012 os professores da rede pública de ensino médio da Bahia permaneceram em greve por 112 dias. Foi um longo período de conflitos, acusações por parte de sindicato, profissionais da educação e governadores. As consequências negativas da greve afetaram a todos, porém, é certo que os estudantes foram os mais prejudicados. A falta de registro de avaliação e presença é apenas um dos problemas. Os resultados de sistemas de avaliação como ENEM e Avalie certamente trazem em si alguns desses impactos. As tabelas a seguir informam o processo de avaliação dos professores da escola, o rendimento dos estudantes nessas avaliações, permitindo conclusões sobre alguns problemas do ensino médio na rede pública baiana nos tempos atuais. A despeito de o quadro 2 não registrar a frequência de todas as disciplinas do período da manhã, constatase que somente quatro professores registram a frequência dos estudantes, atividade docente obrigatória. O registro da frequência pode ser interpretado como forma de controle sobre os estudantes. Porém, são comuns casos de estudantes assíduos que reclamam da falta de atenção por parte dos professores. Esse registro, além de controle, é uma forma de acompanhar os estudantes, permitindo reconhecer situações de interesse, desinteresse e até impossibilidades de frequentar o curso. Portanto, não deixar de ser, também, uma forma de controle dos próprios educadores e da escola. Isso porque a assiduidade indica interesse e legitimidade em relação à escola, por parte do estudante. Em reportagem de Máximo (2014) sobre o recente movimento de migração de estudantes da classe C de escolas do ensino médio da rede pública para a rede privada, estudante elogia a cobrança pelos professores da rede privada, em contraste com a liberdade que ela viveu na rede pública, onde podia faltar nas aulas, não estudar e, mesmo assim, obtinha bons resultados. Conclui-se, então, que o registro de frequência não deixa de ser desejado pelos próprios estudantes, como forma de motivar a relação com a escola e os professores. Os professores do período da tarde registraram frequência. Há predomínio nas faixas de zero e duas faltas e na de três a cinco faltas. É possível que nem todas faltas tenham sido registradas, porém, pelo menos os professores se preocuparam em apresentar um quadro de frequência. Considerando a baixa média das faltas acima de dez, percebe-se que a maioria dos estudantes compareceu nas aulas, nesse ano de greve. O quadro 4 revela que a maioria dos professores do período da manhã avaliaram bem os estudantes do primeiro ano. As notas se concentram na faixa de 5 a 6,9 e 7 a 8,9. Somente o professor de Português teve concentração na faixa de zero a 2,9. Esses dados contrastam com os resultados obtidos pelos estudantes no Avalie. É certo que os estudantes não anunciaram entusiasmo com a participação no sistema de avaliação do governo do estado. Porém, chama atenção o contraste nas notas. No caso de Biologia, o descompasso é ainda maior.

8

XIX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Quito, Ecuador, 11 – 14 nov. 2014

O quadro referente ao período da tarde também contrasta com os resultados do Avalie, chama atenção a concentração em Química na faixa de 7 a 8,9, matéria na qual os estudantes dessa escola foram muito mal avaliados no Avalie. Os dados brutos das notas permitem verificar concentração de muitos em algumas faixas, indicando a possibilidade de a avaliação se remeter a trabalhos em grupo, por meio do qual grande número de estudantes obtém a mesma nota. As atividades em grupo são importantes para o desenvolvimento intelectual e social dos estudantes, porém, o registro da nota individual prevalece no sistema de ensino, não sendo possível a substituição do individual pela do grupo. Novamente, os argumentos da entrevistada na reportagem do jornal parecem explicar o motivo da recente migração, independente da afirmação de estudiosos, sustentado pelos resultados de avaliações federais, da mínima diferença das escolas privadas sobre as públicas em relação à qualidade do ensino. O predomínio de boas notas nos dois quadros acima não necessariamente indica excelência no processo de ensino-aprendizagem dessa escola. O fato é que os estudantes vivem e compreendem a contradição dos resultados no Avalie e ENEM e os de seus professores. Embora aprovados, com notas de média a altas, o auto reconhecimento do êxito individual não é tarefa simples. Talvez seja mais comum a desconfiança de a escola não oferece o suficiente e de que eles não estão preparados para alcançar êxito em exames elaborados por outros profissionais, que não sejam seus próprios professores. A prática avaliativa, como ensina Perrenoud (1999) pode criar hierarquias de excelência, vinculadas à progressão do curso. Essa hierarquia pode certificar aquisições de conhecimentos em comparação a outros, que podem ser apresentadas a terceiros. Perrenoud explica que esse modelo de prática avaliativa não se responsabiliza pela aprendizagem. Esse autor coloca que, desde a década de 60, ganha terreno na pedagogia a crença de que todos podem aprender. Nesse caso, a avaliação, em vez de criar hierarquias, se coloca como instrumento para intervenções nas situações didáticas, desvendando o progresso dos estudantes, seus problemas, e a necessidade de intervenções diferenciadas para a melhoria de determinadas fragilidades. Para Hadji (2001), a avaliação formativa contribui para a efetivação da atividade do ensino, pois é possível compreender problemas e atuar sobre eles. Luckesi (1998) destaca o papel diagnóstico da avaliação, permitindo a intervenção dos professores sobre efeitos que expressam comprometimento da aprendizagem. Os autores enfatizam a relevância da avaliação no processo de ensino-aprendizagem. Ela é um instrumento de comunicação entre estudantes e educadores, sinalizando questões que necessitam de atenção de forma localizada. Isso porque os estudantes não respondem homogeneamente ao processo de ensino. Assim, a frágil avaliação realizada por alguns professores do Colégio Rômulo Galvão desvenda questões que certamente estão vinculadas ao aproveitamento dos estudantes. A frágil comunicação estabelecida entre eles em virtude do frágil processo avaliativo encobre dificuldades de aprendizagem. O frágil processo avaliativo indica que alguns professores não se preocupam o suficiente com a aprendizagem das turmas. Certamente há muitos outros problemas no Colégio Rômulo Galvão para explicar o fraco desempenho nos sistemas avaliativos do governo do estado e federal. Porém, faz-se necessário um estudo aprofundado, a partir desses resultados obtidos na pesquisa aqui apresentada.

9

XIX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Quito, Ecuador, 11 – 14 nov. 2014

Conclusão Este artigo apresenta dados sobre o processo de universalização do ensino médio no Brasil, com destaque para o caso da escola Rômulo Galvão, única escola do ensino médio no local, estado da Bahia. Os dados indicam que o processo de universalização do ensino médio apresenta elevação de elementos importantes, como a oferta de vagas, conclusão na faixa etária adequada, queda da distorção idade-série etc. Porém, as taxas ainda indicam fragilidade no processo de universalização. Dados que atestam queda na aprovação e elevação da reprovação sinalizam que o processo de inclusão pode trazer que fortalecem novas exclusões. Os dados para a região Nordeste são frágeis em relação aos das outras regiões do país, com exceção da Norte. Os problemas da educação no Nordeste e na Bahia não são recentes, muito pelo contrário. O estado e a região em geral devem recuperar índices mais baixos do que as outras regiões. Porém, entre os estados da região Nordeste, os dados da Bahia se destacam como um dos piores. A condição econômica da Bahia, ao contrário dos seus dados de educação, são os mais positivos em relação aos vizinhos nordestinos. Desse modo, a tradicional desigualdade de renda e concentração de riqueza que afetam os estados nordestinos não pode ser apontada como principal responsável pela fragilidade na educação. Pois o Ceará, por exemplo, conseguiu driblar essas dificuldade e conquistar dados mais positivos. O caso dos registros de frequência e avaliação na única escola de ensino médio do município baiano de São Félix desvenda um problema que merece ser mais bem investigado. Trata-se da pouca preocupação de muitos professores em não registrar frequência dos alunos, indicando uma situação de pouco controle e, sobretudo, acompanhamento com o interesse do estudante em estar na escola e na sala de aula. Os resultados das avaliações dos professores também sugerem dificuldade para acompanhar problemas no processo de ensino-aprendizagem. Em contraste com o baixo desempenho nos exames nacional e estadual, na sala de aula a maioria dos estudantes conquistou boas notas. Em suma, a avaliação na sala de aula não consegue diagnosticar o processo de aprendizagem. A incapacidade de diagnosticar o processo de ensino e aprendizagem dos estudantes é fato preocupante que pode ameaçar todo o processo de universalização do ensino médio. Afinal, como expõe Algebaile (2009), a declarada crise da escola pública brasileira expressa a sua incapacidade na formação educativa, na formação de capacidades e habilidades. Sem a preocupação com a incapacidade da formação educativa, qual é o sentido no investimento da universalização do ensino, na inclusão escolar? Esse pequeno estudo contribui para a compreensão de que nem sempre os dados revelam problemas locais, às vezes os escondem, mas a intersecção de estudos nacionais, estaduais e locais podem desvendar questões importantes para que a escola possa cumprir seu papel de formação educativa. Bibliografia Algebaile, Eveline (2009). Escola Pública e pobreza no Brasil: a ampliação para menos. Rio de Janeiro: Lamparina: Faperj. Hadji, Charles (1988). A avaliação desmistificada. Porto Alegre: Artmed Editora. Krawczyk, Nora (2014). “Introdução – Conhecimento crítico e política educacional: um diálogo difícil, mas necessário”. In: ___ (org) Sociologia do ensino médio: crítica ao economicismo na política educacional. São Paulo: Cortez, pp. 13-32. Luckesi, Cipriano (1988). A avaliação da aprendizagem escolar. São Paulo: Cortez. 10

XIX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Quito, Ecuador, 11 – 14 nov. 2014

Maximo, Luís (2014). “Escola pública perde alunos com a alta da renda no país”. Valor. São Paulo, 23 de abril, Suplemento Especial, p. A14. Perrenoud, Philippe (1999). Avaliação da excelência à regulação da aprendizagem: entre duas lógicas. Porto Alegre: Artmed Editora. Sposito, Marília & souza, Raquel (2014). “Desafios da reflexão sociológica para análise do ensino médio no Brasil”. In: KRAWCZYK, N(org) Sociologia do ensino médio: crítica ao economicismo na política educacional. São Paulo: Cortez, pp.33-62. Todos Pela Educação. Anuário Brasil de Educação Básica 2014. Site Todos Pela Educação. Disponível em Acesso em 12 de junho de 2014. ___. De olho nas metas 2011: quarto relatório de monitoramento das cinco metas do todos pela educação. Todos pela educação. Disponível em . Acessado em 12 de junho de 2014. Resenha biográfica Professora Adjunta II da Universidade Federal do Recôncavo da Bahia. Doutora (2004) e Mestre (1998) em Sociologia pelo Departamento de Sociologia da Universidade de São Paulo. Pós-doutora em Ciências Sociais Aplicadas (2007), pelo CNP/Universidade Estadual de Campinas, Pós-Doutora (2005) em Sociologia pela FAPESP/Centro de Estudos da Metrópole- CEBRAP. Autora do livro Violência na solidariedade: um estudo sobre homicídios em bairros da periferia da capital paulista. Temas de interesse: políticas públicas, juventude, emprego e educação. Email: [email protected]. Anexos Tabela 1: População de 15 a 17 anos distribuição de matrículas no ensino médio regular, Brasil, anos 1991 a 2011 1991 2001 2011 10.308.707 10.408.038 População de 15 a 17 9.275.706 anos 8.398.008 8.400.689 Total de matrículas no 3.772.698 Ensino Médio 3.817.382 5.451.377 Matrícula de 1.625.570 estudantes com 15-17 anos 45.5 64.9 % de matrículas de 43.1 estudantes entre 15-17 anos 4.515.144 2.857.675 Matrícula de 2.017.289 estudantes acima de 17 anos 53.8 34.0 % de matrículas de 53.5 estudantes acima 17 anos Fonte: PNAD/IBGE e Inep/MEC

11

XIX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Quito, Ecuador, 11 – 14 nov. 2014

Tabela 2: Taxa de conclusão do ensino médio aos 19 anos de idade, Brasil e grandes regiões, 2011, em porcentagem. 2001 2011 32,0 51,1 Brasil 16,9 35,1 Norte 17,0 41,4 Nordeste 43,9 59,1 Sudeste 38,8 55,8 Sul 27,8 58,4 Centro-Oeste Fonte: PNAD/IBGE, Todos Pela Educação Tabela 3: Taxa de conclusão do ensino médio aos 19 anos de idade, estados da região Nordeste, 2011, em porcentagem. 2001 2011 32,0 51,1 Brasil 17,0 41,4 Nordeste 11,7 35,0 Maranhão 17,6 35,8 Piauí 21,0 55,8 Ceará 15,7 57,6 Rio Grande do Norte 16,4 36,8 Paraíba 21,5 41,5 Pernambuco 14,7 33,7 Alagoas 19,8 37,0 Sergipe 15,2 36,4 Bahia Fonte: PNAD/IBGE, Todos Pela Educação Tabela 4: Taxa atendimento escolar no ensino médio para estudantes de 15 a 17 anos, Brasil e grandes regiões, 2001 e 2011, em porcentagem. 2001 2011 78,4 83,3 Brasil 77,7 81,3 Norte 77 82,8 Nordeste 80,9 85 Sudeste 75,2 81,3 Sul 77,9 83,2 Centro-Oeste Fonte: PNAD/IBGE Tabela 5: Taxa de atendimento escolar no ensino médio para estudantes de 15 a 17 anos, estados da Região Nordeste, 2001 e 2011, em porcentagem. 2001 2011 77 82,8 Nordeste 75,9 83,1 Maranhão 79,5 85,5 Piauí 78,5 81,5 Ceará 77,5 82,1 Rio Grande do Norte 76 81,9 Paraíba 12

XIX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Quito, Ecuador, 11 – 14 nov. 2014

76,5 Pernambuco 76,1 Alagoas 74,2 Sergipe 80 Bahia Fonte: PNAD/IBGE, Todos Pela Educação

82 80,9 85,2 83,3

Tabela 6: Taxa de atendimento escolar no ensino médio para estudantes de 15 a 17 anos, Bahia e município de São Félix, 2001 e 2011, em porcentagem. 2001 2011 80 83,3 Bahia _ 87,7 São Felix Fonte: PNAD/IBGE Tabela 7: Taxa distorção idade-série no ensino médio, Brasil e grandes regiões, 2002 e 2012, em porcentagem. 2002 2012 50,4 31,2 Brasil 70,1 47 Norte 67,9 41,8 Nordeste 42 23 Sudeste 31,3 23,3 Sul 49,8 30,5 Centro-Oeste Fonte: PNAD/IBGE Tabela 8: Taxa distorção idade-série no ensino médio, estados da região Nordeste, 2002 e 2012, em porcentagem. 2002 2012 67,9 41,8 Nordeste 78,1 42,8 Maranhão 70,2 48,4 Piauí 56 31,1 Ceará 62 43,5 Rio Grande do Norte 63,9 37,6 Paraíba 63 39,9 Pernambuco 69,1 45 Alagoas 45,8 Sergipe 70,3 47,3 Bahia Fonte: PNAD/IBGE Tabela 9: Taxa distorção idade-série no ensino médio, Bahia e município de São Félix, 2002 e 2012, em porcentagem. 2002 2012 70,3 47,3 Bahia 74,6 49 São Felix Fonte: PNAD/IBGE, Todos Pela Educação.

13

XIX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Quito, Ecuador, 11 – 14 nov. 2014

Tabela 10: Taxa de abandono no ensino médio, Brasil e Regiões, 2002 e 2012, em porcentagem. 2002 2012 10,8 9,1 Brasil 14,4 13,8 Norte 9,6 12,5 Nordeste 10,9 6,2 Sudeste _ 7,8 Sul 12,1 9,2 Centro-Oeste Fonte: PNAD/IBGE, Todos Pela Educação. Tabela 11: Taxa de abandono no ensino médio, estados da Região Nordeste, 2002 e 2012, em porcentagem. 2002 2012 9,6 12,5 Nordeste 6,6 12 Maranhão 9,2 16,9 Piauí 9,5 9,7 Ceará 11,7 16,7 Rio Grande do Norte 10 14,9 Paraíba _ 7,4 Pernambuco 11,4 18,2 Alagoas _ 13,7 Sergipe 10,3 14,1 Bahia Fonte: PNAD/IBGE, Todos Pela Educação. Tabela 12: Taxa de abandono no ensino médio, estado da Bahia e município de São Félix, 2002 e 2012, em porcentagem. 2002 2012 10,3 14,1 Bahia 36 10,6 São Felix Fonte: PNAD/IBGE, Todos Pela Educação. Tabela 13: Taxa de aprovação no ensino médio, Brasil e grandes regiões, 2002 e 2012, em porcentagem. 2002 2012 83,7 78,7 Brasil 79,1 74,9 Norte 86 77,7 Nordeste 83,5 80,6 Sudeste _ 80,6 Sul 81,7 76,2 Centro-Oeste Fonte: PNAD/IBGE, Todos Pela Educação Tabela 14: Taxa de aprovação no ensino médio, Brasil e região Nordeste, 2002 e 2012, em porcentagem. 2002 2012 86 77,7 Nordeste 92 76,5 Maranhão 86,3 74,8 Piauí 14

XIX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Quito, Ecuador, 11 – 14 nov. 2014

85,2 Ceará 86,2 Rio Grande do Norte 85,8 Paraíba _ Pernambuco 82,6 Alagoas _ Sergipe 83,9 Bahia Fonte: PNAD/IBGE, Todos Pela Educação.

75,2 83,4 77,4 83,1 72,7 75,5 73,6

Tabela 15: Taxa de aprovação no ensino médio, Bahia e município de São Félix, 2002 e 2012, em porcentagem. 2002 2012 83,9 73,6 Bahia 49,2 83,7 São Felix Fonte: PNAD/IBGE, Todos Pela Educação. Tabela 16: Taxa de reprovação no ensino médio, Brasil e grandes regiões, 2002 e 2012, em porcentagem. 2002 2012 5,5 12,2 Brasil 6,5 11,3 Norte 4,4 9,8 Nordeste 5,6 13,1 Sudeste _ 13,6 Sul 6,2 14,6 Centro-Oeste Fonte: PNAD/IBGE, Todos Pela Educação. Tabela 17: Taxa de reprovação no ensino médio, região Nordeste, 2002 e 2012, em porcentagem. 2002 2012 4,4 9,8 Nordeste 1,4 11,5 Maranhão 4,5 8,3 Piauí 4,3 6,9 Ceará 3,1 8,1 Rio Grande do Norte 4,2 7,7 Paraíba _ 9,5 Pernambuco _ 9,1 Alagoas _ 10,8 Sergipe 5,8 12,3 Bahia Fonte: PNAD/IBGE Tabela 18: Taxa de reprovação no ensino médio, estado da Bahia e município de São Félix, 2002 e 2012, em porcentagem. 2002 2012 5,8 12,3 Bahia 14,4 5,7 São Felix Fonte: PNAD/IBGE, Todos Pela Educação. 15

XIX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Quito, Ecuador, 11 – 14 nov. 2014

Tabela 19: Distribuição da classificação de estudantes 1º ano do EM estado da Bahia, 2011 Muito crítico Crítico Básico Avançado 54,5 35,4 8,6 1,5 Biologia 54,9 39,2 2,9 0,0 Física 54,7 34,6 6,7 1,0 Química 50,6 36,5 11,0 1,9 Matemática 44,2 21,8 3,6 L. Portuguesa 30,4 27,6 48,9 20,3 3,2 Geografia 32,1 42,9 19,8 5,2 História Fonte: Avalie, elaboração própria Tabela 20: Distribuição da classificação de estudantes de 1º ano de escolas da DIREC 32, 2011 Muito crítico Crítico Básico Avançado 57,9 33,5 7,6 1,0 Biologia 59,4 38,1 2,57 0,0 Física 56,8 36,6 5,9 0,7 Química 59,4 31,7 8,0 0,9 Matemática 41,3 15,8 2,2 L. Portuguesa 40,8 32,5 48,4 16,6 2,4 Geografia 35,7 45,1 16,3 2,9 História Fonte: Avalie, elaboração própria Tabela 21: Distribuição da classificação de estudantes 1º ano da escola Rômulo Galvão, 2011 Muito crítico Crítico Básico Avançado 59,8 34,6 4,7 0,9 Biologia 59,8 35,5 5,7 0,0 Física 61,8 35,5 1,77 0,93 Química 65,8 29,7 4,5 0,0 Matemática 59,8 7,5 0,9 L. Portuguesa 31,8 29,0 51,4 19,6 0,0 Geografia 40,2 42,1 15,0 2,8 História Fonte: Avalie, elaboração própria Quadro 1: Resultados do ENEM dos estudantes do terceiro ano do EM, Escola Rômulo Galvão, 2011 Escola Rômulo Galvão Estudantes matriculados que concluíram EM 224 Número de participantes no ENEM 2011 46 Taxa de participação no ENEM 20% Linguagem e códigos SC* Matemática SC Ciências humanas SC Ciências da natureza SC Redação SC *SC: escola não classificada no ranking, não alcançou conceito mínimo MEC

16

XIX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Quito, Ecuador, 11 – 14 nov. 2014

Quadro 2: Total de faltas de estudantes do primeiro ano do Ensino Médio, período disciplina, 2012 0a2 3a4 5a6 7a8 9 a 10 Estudos NR NR NR NR NR Sociais Artes NR NR NR NR NR Matemática 0 1 0 2 0 Química NR NR NR NR NR Biologia 0 1 2 1 1 Sociologia NR NR NR NR NR Português 7 4 1 0 0 Inglês 0 0 0 1 1 Física NR NR NR NR NR Geografia NR NR NR NR NR

da manhã, por Mais de 10 NR NR 6 NR 5 NR 1 6 NR NR

Quadro 3: Total de faltas de estudantes do primeiro ano do EM, período da tarde, por disciplina, 2012 0a2 3a5 6a9 Mais de 10 Biologia 7 5 9 3 Português 4 19 1 2 Física 19 2 3 3 Química 10 13 1 _ Sociologia 14 _ _ _ Geografia 19 _ 6 _ Inglês 2 _ _ 2 Quadro 4: Distribuição das notas dos estudantes disciplina, 2012 0 a 2,9 3 a 4,9 Matemática 0 0 Química 0 0 Biologia 0 0 Sociologia 0 0 Português 6 1 Inglês 2 0 Filosofia 1 0 Geografia 0 1 Estudos 0 0 Sociais Artes 4 0

do EM do primeiro ano, período da manhã, por 5 a 6,9 6 5 8 2 3 4 0 1 11

7 a 8,9 4 3 12 7 12 1 8 6 0

9 a 10 0 0 0 0 1 0 0 0 0

3

0

7

Quadro 5 - Distribuição das notas dos estudantes do EM do primeiro ano, período da tarde, por disciplina, 2012 0 a 2,9 3 a 4,9 5 a 6,9 7 a 8,9 9 a 10 Biologia 0 7 7 7 3 Português 1 3 7 12 0 Física 1 0 6 10 9 Química 0 0 0 22 2 17

XIX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Quito, Ecuador, 11 – 14 nov. 2014

Sociologia Geografia Inglês

5 0 0

0 0 0

1 2 12

18

17 20 9

1 2 3

Lihat lebih banyak...

Comentários

Copyright © 2017 DADOSPDF Inc.