O papel da avaliação por pares na produção científica contemporânea

O papel da avaliação por pares na produção científica contemporânea Flávio Velame Teixeira da Costa *

Resumo: A partir de uma visão de como a avaliação por pares se incorporou de forma centra no pensamento científico moderno, discute-se os obstáculos que se observam , alternativas e perspectivas para o aprimoramento da forma de avaliação das pesquisas científicas, tanto no que tange as publicações quanto a priorização de investimentos.

Palavras-chave: avaliação da ciência e tecnologia; filosofia da ciência; revisão por pares

Introdução O peer review ou avaliação por pares representa um instrumentos fundamentais do desenvolvimento científico, tendo sido amplamente utilizado como a forma mais confiável para a adequada incorporação de novos conhecimentos, tanto para a publicação científica como para a concessão de financiamento. No entanto, as atuais circunstâncias têm aumentado a pressão para que os mecanismos que guiam a atividade científica sejam revisados para uma adequação a novas demandas que são incorporadas, por pressão de forças sociais. Percebe-se então uma oportunidade para que o tema seja discutido, observando-se as críticas e elogios quanto aos procedimentos atuais e perspectivas de mudança que possam ser incorporadas para a devida readequação.

*

Analista em Ciência e Tecnologia do Conselho Nacional de Desenvolvimento Científico e Tecnológico e

Mestrando em Política e Gestão de Ciência e Tecnologia do Centro de Desenvolvimento Sustentável da Universidade de Brasília. Artigo apresentado para a disciplina Fundamentos de Políticas de Ciência e Tecnologia em julho de 2008.

1

Trata-se de um assunto vasto e com diversas perspectivas, e não pretendo alcançar um grau de profundidade que se aproxime de esgotar o tema, mas principalmente levantar e sistematizar quais são os principais aspectos que têm sido levados em conta no âmbito da discussão. Inicia-se na primeira parte com uma breve análise quanto à formação do conceito de ciência e como a avaliação por pares se construiu nesse contexto. Na segunda parte, com comentários com críticas sobre as limitações que a avaliação por pares traria ao desenvolvimento científico e sua difusão. Na terceira parte, segue-se com a questão da ação do Estado como financiador da pesquisa científica e a incorporação e adaptação dos mecanismos vigentes. Já na quarta, são discutidas as questões contemporâneas que envolvem a avaliação dos pares e algumas alternativas que vêm se apresentando.

Ciência moderna e ascensão da avaliação por pares No decorrer do século XVII ocorreu uma mudança radical de métodos, objetos e funções do conhecimento sobre a natureza, o que Ravetz (1982) considerou uma revolução conceitual da ciência. O pensamento científico passou a ser tratado como a forma de se buscar as explicações da realidade, antes em grande parte relacionadas com questões religiosas. Nesse início percebia-se dificuldade em limitar o que era ou não científico. A criação das primeiras sociedades científicas decorreu principalmente dessa questão e da busca por sistemas que permitissem uma regulação em conciliação com a difusão e proteção do conhecimento, em um período onde ocorreu a ascensão da modernidade (GIDDENS, 1991), buscando a harmonia entre as necessidades de difusão social do conhecimento e proteção da propriedade intelectual (RAVETZ, 1982) Segundo Ben-David (1974) a criação de normas para o reconhecimento das atividades científicas, determinando o papel central do método científico permitiu a institucionalização da ciência e seu reconhecimento perante a sociedade. A partir das pioneiras sociedades científicas foram estabelecidos os princípios do ethos da ciência como um complexo de valores e normas constituindo uma obrigação

2

moral para o cientista, representando os imperativos institucionais da ciência (MERTON, 1979), com uma nova ética cooperativa de pesquisa sendo um código de honra entre os acadêmicos (RAVETZ, 1982). A necessidade dos enunciados construídos a partir de experiências singulares ser demonstrada como de validade universal (POPPER, 1975) fez com que o melhor modo do pesquisador apresentar sua pesquisa e ter ela sendo considerada válida seja dando a ela publicidade e permitindo que fosse por outros reproduzida em detalhes, para confirmação ou refutação. Dentro desse ambiente um dos elementos cruciais que se estabeleceu e se manteve com o passar dos tempos foi o denominado peer review ou “avaliação por pares” como instrumento fundamental para se reconhecer o conteúdo científico. O julgamento é realizado por pares profissionais dos solicitantes, a partir de critérios de avaliação determinados internamente pela própria comunidade científica, fundamentados os preceitos estabelecidos para se considerar o conteúdo científico. Com a gradual expansão do conhecimento científico, a publicação em revistas científicas ganhou espaço por conceder uma presumida legitimidade ao seu conteúdo. As diversas áreas de conhecimento passaram a se organizar conforme tais publicações, formando-se uma competitividade associada à cooperação que seria intrínseca ao modelo de avaliação por pares, já que os julgamentos são executados por seus próprios concorrentes, mesmo que indiretos. A normatização de tal análise restringindo-se aos critérios técnicos preservariam tal avaliação de um possível conflito de interesses ou discriminação por aspectos nãocientíficos.

Criticas à avaliação por pares em publicações Quanto à possibilidade de discriminação, Brown (2004) coloca que a avaliação por pares deve ser realizada por especialistas independentes, especificamente quanto a ser competente, significante e original. Há possibilidade de falhas, e os conselhos editoriais têm investido para reduzir tais o risco de tais anomalias éticas. Porém, estudos sugerem

3

que a aceitação seria mais influenciada pela afiliação institucional dos autores do que o valor intrínseco do que se pretende publicar. (PETERS & CECI, 1982,1985 apud CURD & COVER, 1998). Mas se a neutralidade corre riscos na avaliação internalista, muito mais difícil é seu controle a partir de um viés externalista. Atributos pessoais e influência social poderia ter um papel preponderante, superando as preocupações com os critérios que disciplinam a publicação científica. (BROWN, 2004) A comprovação de produção científica dependia então muito mais de publicar, do que da intensa atuação laboratorial prevista na concepção do estereótipo de cientista de jaleco branco realizando suas experiências. A competitividade do sistema alcançou níveis de popularizar expressões como “Publish or perish” (publique ou pereça) como um instinto de sobrevivência inerente à atividade científica (CLAPHAM, 2005). A própria necessidade por publicar, considerando uma ampla comunidade científica em intensa produção, acarreta uma pressão junto ao rol de pareceristas. Pelo fato das análises serem geralmente realizadas em seu tempo livre – mesmo que há uma convicção por parte da maioria de que esse tipo de tarefa seja interpretada como atividade profissional, ainda que geralmente não remunerada – e que exige tempo de dedicação para ser adequadamente realizado, há constantes reclamações quanto aos prejuízos advindos dos atrasos na efetivação das publicações. Pela velocidade em que muitas áreas vem produzindo novos conhecimentos, a espera acarretada pela sistemática é muitas vezes um obstáculo para o avanço científico. Além da própria ampliação do rol de pareceristas, permitindo-se uma proporção adequada que não cause sobrecarga, modificações vem sido pontualmente incluídas, principalmente em decorrência das possibilidades advindas da universalização da internet. As sessões abertas de comentários prévios à efetiva publicação permitem avaliações e correções com bastante dinamismo, inclusive subsidiando a avaliação por pares tradicional com os comentários pelos pareceristas irrestritos, ou mesmo anônimos. Diversas combinações vem sido tentadas e têm obtido relativo sucesso, ainda que necessitando geralmente de correções. (GURA, 2002)

4

Curiosamente, a própria internet vem sido utilizada como exemplo da importância em uma prévia avaliação por pares. Com a atual facilidade em se publicar um conteúdo, com ampla capacidade de acesso, a publicação em revista científica ampliaria ainda mais seu potencial de legitimidade, por conceder um rótulo de aprovação quanto aos preceitos científicos. Outro aspecto polêmico e que merece comentários, mesmo que não trate-se especificamente do foco do presente trabalho, é quanto à formulação de agenda por parte das publicações científicas. Pelo composição de seus proprietários, um número bastante limitado de editoras, e de conselhos editoriais, essencialmente com maior concentração de pesquisadores de determinadas nacionalidades, as possibilidades de publicação condicionariam as pesquisas a seguir interesses determinados por conjunturas específicas que são mais representadas por aquelas nacionalidades. Porém, tais criticas podem ser, se não refutadas, enfraquecidas, tanto pela ampliação gradual da internacionalização dos corpos editoriais quanto a própria universalização dos desafios científicos, raramente estando hoje definidos como relacionados a um local determinado.

A política científica e a avaliação por pares O estabelecimento do financiamento público para as atividades científicas criou um ambiente estimulante para a expansão da pesquisa científica profissional, antes exercida na grande maioria das vezes de forma complementar à atividade docente e sem a real perspectiva de obtenção de benefícios, exceto prestígio de classe ou a própria motivação de curiosidade. Nota-se que havia fomento por parte do Estado para atividades científicas há longo tempo, mas que tal apoio não era efetivamente estruturado, partindo-se mais de uma concepção de mecenato com base essencialmente em interesses pessoais de governantes. O modelo de avaliação por pares se legitimava plenamente na concepção de política científica que se consolidou no século XX, simbolizada de forma determinante pela doutrina de Vannevar Bush no modelo linear de inovação, no qual se formaria uma cadeia

5

onde os resultados da “pesquisa básica” levariam ao progresso da “pesquisa aplicada”, e conseqüentemente ao desenvolvimento tecnológico, daí para a inovação, que seria apropriada pela sociedade, justificando plenamente os investimentos naquele ponto inicial. Colocava-se como meta da ação do Estado o apoio à ciência de qualidade, a qual só poderia ser reconhecida pelos próprios cientistas (DAVYT & VELHO, 2000) ou mais especificamente aos mecanismos internos da elite científica (LEYERSDORFF, 2005). O próprio conceito de pesquisa básica é atrelado à autonomia do pesquisador para definir seu objeto de pesquisa (CALVERT, 2001 apud SCOTT, 2006) e que não possuiria resultado prático, e sim a perspectiva de ampliar o conhecimento em geral. Mas um aspecto que deve ser destacado e que traz maiores conseqüências para a discussão que se põe é que no modelo linear presume-se uma tensão inerente entre os objetivos da pesquisa básica – de entendimento geral – e da pesquisa aplicada – de utilização na realidade, causando uma separação essencial entre os dois enfoques. Para Strokes (2005), essa dicotomia prejudicaria o desempenho da atividade científica, pois a separação não se sustenta na realidade, contradizendo com boa parte da experiência científica. Considerando o modelo linear como paradigmático, logo as agências de fomento que se instituíram pelo mundo passavam a representar essencialmente os interesses da comunidade científica, replicando seus parâmetros de avaliação para a efetivação das políticas de financiamento. Com uma estrutura de valores já bem sedimentada, a inclusão dependia do reconhecimento daqueles já anteriormente admitidos, pela identificação das características que representariam o mérito científico de suas pesquisas. Porém, a instrumentação do fomento científico se diferencia dos critérios de publicação por um fator decisivo: a limitação de recursos. Por mais que as instâncias governamentais se interessem em apoiar amplamente as atividades científicas, tal limitação acaba enfatizando a competitividade e o grau de exigência, gradualmente se movendo de uma racionalidade ofertista para uma identificação de prioridades. (VELHO, 2001), incluindo a análise comparativa de pesquisas diversas para a definição de “vencedores”.

6

Outro elemento que representa uma grande diferença é o momento quando se realiza a avaliação. Enquanto as publicações científicas abordam essencialmente a pesquisa realizada (ex post), as agências de fomento avaliam as propostas, portanto a pesquisa a ser realizada (ex ante) mesmo que para a definição de potencial de efetivação sejam consideradas as realizações do(s) proponente(s). Mas a avaliação por pares ex ante acaba sendo intensamente vinculada com os critérios ex post, pois a exeqüibilidade da proposta é considerada incluindo a evolução dos trabalhos e resultados já apresentados pelos envolvidos. Torna-se bastante difícil a aceitação de uma proposta de um indivíduo que ainda não tenha sido admitido, em termo comumente utilizados na comunidade, como “pesquisador independente”, isto é, que tenha demonstrado sua capacidade plena em realizar uma pesquisa científica obedecendo as convenções determinadas.

Condições atuais da avaliação por pares Respeitando-se as mudanças ao longo do tempo, pouco mudou nos fundamentos desse sistema. Porém as críticas quanto à eficiência e ao grau de autoridade concedidos a este instrumento vêm se ampliando. Para Davyt & Velho (2000) os três elementos da crise do sistema de avaliação por pares são: as restrições orçamentárias, impondo limites para os investimentos; o colapso do modelo linear de inovação, não mais suficiente para justificar os dispêndios; e a erosão da credibilidade irrestrita do julgamento por pares. Tal conjuntura traria uma tendência a transição onde se ampliaria a seletividade, a busca de relevância econômica para a utilidade da ciência, e os desafios à autoridade moral da ciência (TEICH, 1990 apud DAVYT & VELHO, 2000) A crescente critica à lógica do modelo linear passou a duvidar da eficiência de se usar tal sistema como completo e adequado para se definir o que é de fato importante ser pesquisado. O investimento na pesquisa básica não traria a lógica da cadeia inicialmente pretendida, e sim estimularia uma expansão da atividade científica desvinculada da aplicação prática para além de um limite desejável economicamente, provocando um

7

desequilíbrio e ampliando a pressão pelo aumento de dispêndios. Propostas alternativas como modelo “elo de cadeia”, e posteriormente a concepção sistêmica, procuraram reposicionar as relações entre os diferentes atores que compõem as possibilidade de inovação, em arranjos mais complexos e menos deterministas do que o modelo linear. Especificamente tratando-se de justificar os investimentos públicos na pesquisa científica, a comunidade científica precisaria adotar um novo modelo que incorpore considerações de benefícios sociais (HOLBROOK, 2005). Os problemas da avaliação por pares nas circunstâncias atuais envolvem diversos aspectos como a dificuldade em se lidar com temas de complexidade multidisciplinar, já que o sistema constituído incentivava mais a crescente especialização dos pesquisadores (GURA, 2002). O sistema também é menos perturbado quando aplicado a uma área considerada como “ciência normal”, quando o paradigma ou conjunto de paradigmas que norteiam determinada temática são considerados pela comunidade científica como consolidados e suficientes para compreender a realidade. Segundo Funtowitz & Ravetz (2001, apud SCOTT, 2006), a ciência contemporânea enfrenta desafios de incerteza, dificuldades de determinação de valores e emergência de ações, apresentando uma ciência “pós-normal”. A percepção a partir dos fenômenos observados em sistemas complexos, onde elementos de diferentes áreas científicas interagem, se confronta com o conceito de “ciência normal”, que não seria mais suficiente para a resolução dos problemas, pois a crise paradigmática não seria suficiente para a correção. Porém, o aspecto essencial a ser levantado quanto à perspectiva de uma ciência pósnormal é quanto à necessidade da ampliação da comunidade de pares, no sentido de, considerando o caráter socialmente distribuído dos problemas, a participação exclusiva de cientistas não seria suficiente para a avaliação. A isso se relaciona o fato que a publicação científica, nos moldes atuais, se estabelece mais no sentido de disseminar informação, e não conhecimento de entendimento amplo. O grau de especialização alcançado dificulta a apreensão de informações mesmo em áreas originalmente restritas. A capacidade da sociedade chegar a 8

incorporar as informações como conhecimento se reduz drasticamente, mesmo que possuam mecanismos de intermediação para a difusão social. A ênfase no viés internalista da avaliação, elemento primordial do peer review e no qual ele constrói suas bases de legitimação, acaba assim também representando a fraqueza de sustentação, pois precisaria se complementar pelo mérito tecnológico e social (WEINBER, 1963 apud SCOTT, 2006). Mas é indiscutível a dificuldade em se medir tais aspectos com amplitude quando se trata de uma novidade científica. Propostas de implementação de sistemas com avaliações cruzadas, onde uma pesquisa de determinada área é analisada também por especialistas em outras temáticas pode apresentar resultados interessantes, na medida em que mantém um rigor metodológico quanto aos aspectos essenciais e permite uma apreciação por uma ótica externalista quanto a possibilidades de aplicação do conhecimento. A definição de indicadores cientométricos é conseqüência, entre outros fatores, de um esforço em buscar uma alternativa que não dependesse exclusivamente do sistema de avaliação por pares e dos indicadores econômicos (LEYERSDORFF, 2005), permitindo uma legitimação social a partir da eficiência econômica dos gastos. Porém os indicadores tradicionais são derivados diretamente das avaliações por pares – publicações, citações – não promovendo significativos avanços no quadro, enfatizando a avaliação por pares como o fator original determinante de análise. E a inclusão de outros elementos no rol dos indicadores é comumente criticado como sendo tendencioso e não permitir comparação entre os resultados de pesquisas em diversas áreas do conhecimento. Críticas ao enfoque externalista também são consistentes, no sentido em que daria um excessivo peso a interesses imediatistas, em detrimento das potencialidades de longo prazo das pesquisas. No âmbito da discussão, o aspecto da relevância se apresenta como crucial, tentando ser de alguma maneira incorporado ao mecanismo de avaliação por pares. A National Science Foundation (NSF) passou a considerá-la como um critério explícito a partir de 1986, quando o formulário foi padronizado com um modelo misto de aspectos internalistas e externalistas. Tal mudança decorreu principalmente da demanda por previsão de benefícios sociais de pesquisas financiadas pela NSF. (HOLBROOK, 2005)

9

Mas o fato das avaliações se manterem por pares dá continuidade do enfoque internalista, mesmo que respondendo a questões externas. Desta maneira, os pares são naturalmente condicionados a considerar alta relevância de pesquisas em sua área temática, inclusive por sua própria identificação e percepção de apreensão de resultados que não tratam-se exatamente de impactos sociais. Holbrook (2005) notou que os avaliadores percebem os critérios científicos e de relevância como confrontantes, cabendo a uma pesquisa comprovar seu valor em uma ou outra. Uma dinâmica que assemelha ao que foi mencionado como

observado por Strokes. A avaliação de mérito seria

essencialmente quantitativa, enquanto a de impacto envolve critérios quantitativos. (ANDRADE, 2005) No sentido de se resguardar do risco de parcialidade, agências de fomento, principalmente de países de menores dimensões (AKSNES & TAXT, 2004), têm freqüentemente organizado suas avaliações exclusivamente com pares estrangeiros, que estariam mais isentos por não serem seus concorrentes por recursos financeiros domésticos. No entanto, tal alternativa exige cuidados para que os pareceristas estejam bem informados sobre o panorama das pesquisas naquele pais, além da questão da agenda doméstica de pesquisa. Desta maneira, as modificações realizadas na definição de alocação de recursos ainda se sustentam de forma determinante nos procedimentos de avaliação por pares, mesmo que gradualmente percepções de outros atores sociais tenham sido incorporadas como complementares, mas de forma ainda pouco sistematizada.

Conclusão Logo, percebe-se a intensa vinculação presente entre a institucionalização da ciência e o mecanismo de avaliação por pares. A publicidade se consolidou como instrumento essencial para que a prática científica se regulasse e expandisse mantendo os elementos considerados primordiais do método científico. A forma como a avaliação por pares se adequa à percepção de ciência moderna em suas condições de legitimidade e confiança foi responsável por manter tal mecanismo sem grandes perturbações ao longo do tempo.

10

O financiamento público à pesquisa manteve-se bastante condicionado aos aspectos da avaliação dos pares, e mesmo com diferentes circunstâncias, a influência das opiniões dos pares para o processo decisório se manteve preponderante. Circunstâncias atuais têm pressionado por mudanças tanto por mudanças nos procedimentos de publicidade científica quanto no financiamento público de pesquisas, principalmente dando-se ênfase a critérios de relevância social da pesquisa quanto a sua aplicabilidade. Mas a própria forma como tais mudanças se colocam são em grande parte sustentadas pelo dinamismo da avaliação por pares e de sua capacidade de buscar pela ciência soluções para os problemas que a ciência apresenta. Portanto, a avaliação por pares, mesmo que esteja apresentando mudanças, permanece sendo um instrumento considerado como legítimo para análise da qualidade científica e reconhecido tanto pela comunidade científica quanto pela sociedade, mesmo que não seja plenamente suficiente para que a definição do que deve ser pesquisado.

11

REFERÊNCIAS BIBLIOGRÁFICAS ANDRADE, Jaílson B. de. A avaliação por pares In Química Nova Vol. 28 N°6 p.939. 2005. AKSNES, Dag W. & TAXT, Randi E. Peer reviews and bibliometric indicators: a comparative study at a Norwegian university In Research Evaluation Vol. 13, n. 1 p. 3341. April 2004. BEN-DAVID, Joseph. O papel do cientista na sociedade: um estudo comparativo. Pioneira Editora. 1974. BROWN, Tracey. Peer Review and the acceptance of the new scientific ideas. Published by Sense about Science. London. 2004. CHAVES, Catari V. & MORO, Sueli. Investigating the interaction and mutual dependence between science and technology In Research Policy 36 (2007) 1204-1220. CLAPHAM, Phil. Publish or Perish In BioScience Vol.55 n°5. May 2005. CURD, Martin & COVER, J.A. Philosophy of Science: the central issues. New York: W.W. Norton & Company. 1998 DAVYT, A. e VELHO, L. A avaliação da ciência e a revisão por pares: passado e presente. Como será o futuro? In História, Ciências, Saúde – Manguinhos, VII(1), 93-116, mar.-jun. 2000. GIDDENS, Anthony. As conseqüências da modernidade. São Paulo. UNESP. 1991 GURA, Trisha. Peer review, unmasked In Nature Vol. 416 Mar 2002. HOLBROOK, J. B. Assessing the science-society relation: The case of the US National Science Foundation’s second merit review criterion In Technology in Society 27 p.437-451 (2005). KENNEDY, Don. Science, Policy and Peer Review. American Geophysical Union Fall Meeting. Dez. 2006 LEYERSDORFF, Loet. Evaluation of research and evolution of science indicators In Current Science Vol. 89 n°9. 2005.

12

MERTON, Robert K. Os Imperativos Institucionais da Ciência In . D. DEUS (org.) A Crítica da Ciência, Rio de Janeiro, Zahar editores, 1979 POPPER, Karl. A Lógica da Pesquisa Científica, São Paulo, Editora Cultrix e EDUSP, 1975 RAVETZ, Jerome R. History of Science In The New Enciclopædia Britannica, vol. 16, 15th Edition. Chicago, p. 366-375. 1982 SCOTT, A. Peer Review and the relevance of science. SPRU Working Paper. Sussex University. 2006. STOKES, Donald E. O Quadrante de Pasteur – A Ciência Básica e a Inovação Tecnológica, Campinas: Editora Unicamp. 2005.

13