ANÁLISE DA PRODUÇÃO CIENTÍFICA DO DEPARTAMENTO DE CIÊNCIA DA INFORMAÇÃO DA UNIVERSIDADE FEDERAL DE PERNAMBUCO: um estudo na perspectiva das métricas informacionais

ANÁLISE DA PRODUÇÃO CIENTÍFICA DO DEPARTAMENTO DE CIÊNCIA DA INFORMAÇÃO DA UNIVERSIDADE FEDERAL DE PERNAMBUCO: um estudo na perspectiva das métricas informacionais Raimundo Nonato Macedo dos Santos (UFPE) Anne Louise Gouveia de Oliveira (UFPE) Natanael Vitor Sobral (UFPE) Márcio Henrique Wanderley Ferreira (UFPE) RESUMO Analisa os indicadores científicos do Departamento de Ciência da Informação da UFPE (DCI/UFPE) buscando compreender a dinâmica científica e produtiva do departamento. Para isso é utilizado o método cientométrico, técnicas estatísticas e de análise de redes sociais, visa medir e analisar a produtividade e os relacionamento desse grupo científico a partir de indicadores. O período contemplado na pesquisa é de 2000 a 2011. Dentre os principais resultados, identificaram-se a quantidade total de publicações, os avanços e retrocessos da produção científica do programa, a quantidade anual de publicações por tipologia documental, os principais veículos de comunicação, as principais redes de colaboração dos docentes, os pesquisadores mais influentes (centrais), e as palavras-chave mais frequentes. Palavras Chaves: Indicadores científicos; informação científica; métricas informacionais; DCI/UFPE.

ABSTRACT Analyzes the scientific indicators of the Department of Information Science UFPE (DCI / UFPE) seeking to understand the dynamics of the scientific and productive department. For this method is used scientometric, statistical techniques and social networks analysis, aims to measure and analyze productivity and the relationship of this scientific group from indicators. The period covered in the survey is from 2000 to 2011. Among the main results, we identified the total number of publications, the advances and retreats of the scientific program, the annual publication of documents by type, major media outlets, the main collaborative networks of teachers, researchers more influential (central), and the most frequent keywords. Keywords: Scientific indicators; scientific information; informational metrics, DCI / UFPE.

GT 2: Produção, Comunicação e Uso da Informação

INTRODUÇÃO Frente a um mundo competitivo, no qual cada vez mais se insere o Brasil como uma potência mundial em âmbito politico e econômico, observa-se a relevância em se desenvolver a ciência como um instrumento propulsor que beneficia tanto a sociedade, quanto a economia e a política. Uma nação, em ascensão, que prioriza o desenvolvimento da ciência, tem chances maiores de se

afirmar como economia pujante, além de poder oferecer componentes oriundos de sua atividade em Pesquisa e Desenvolvimento (P&D). No Brasil, particularmente, percebe-se a produção científica concentrada nas Instituições de Ensino Superior (IES), dessa forma, a produção de trabalhos acadêmicos é feita, geralmente, por docentes e discentes das diversas áreas do conhecimento, em especial os atuantes em instituições públicas, onde encontram-se grande parte dos doutores produtivos em pesquisa, isto pode ser observado na figura a seguir.

Figura 1- Doutores por Setor Econômico da Instituição de Vínculo Fonte: Painel Lattes (http://lattes.cnpq.br/painelLattes/instituicoes/)

Dito isso, com o intuito de gerar informações que dizem respeito à produção de ciência, é necessário contemplar os benéficos potenciais da observação da atividade científica como um todo, de forma a fornecer oportunidades na identificação de indicadores apropriados que propiciem o deslumbramento de tais informações. Para tanto, se faz necessário a construção de indicadores pautados no rigor científico, que forneçam recursos de análise para gestores responsáveis pelos setores da produção de ciência e tecnologia. Percebe-se que nos setores institucionais responsáveis pela produção da ciência no Brasil, existem poucos mecanismos de avaliação que propiciem a visualização da realidade quantitativa da produção, por isso torna-se necessário avaliar de forma exaustiva técnicas e possibilidades que forneçam os elementos de visualização indispensáveis. Cabe, portanto, aos indicadores científicos, a tarefa de apresentar mapas da ciência demonstrando suas características e particularidades, estes servem também

como fatores de estímulo ao desenvolvimento científico e tecnológico, propiciando a mobilização de setores socioinstitucionais que desejam fomentar a produção da ciência como elemento basilar para o desenvolvimento econômico e social. Jannuzi (2002) afirma que os indicadores bibliométricos cumprem a finalidade de apontar os resultados imediatos e efeitos impactantes do esforço destinado à Ciência e Tecnologia (C&T). Os indicadores-produto (indicadores de eficácia) se referem à relação das políticas com produção de artigos científicos, neste sentido fica clara a necessidade de não só apresentar o indicador, mas também contextualizá-lo em um ambiente, como no exemplo apresentado, onde a relação foi estabelecida com as políticas públicas. Diante do exposto, percebe-se que a construção de indicadores de produção científica através de métodos de mensuração e análise, podem fornecer importantes informações a cerca das atividades de C&T, proporcionando a compreensão de situações decorrentes da quantificação desses indicadores. Por conseguinte, entendida a relevância da mensuração da ciência e da criação e uso dos indicadores científicos, este trabalho tem como objetivo analisar a produção científica do Departamento de Ciência da Informação da Universidade Federal de Pernambuco (UFPE), no período de 2000 a 2011. O objetivo é construir uma

visão

sistêmica

da

sua

produção

possibilitando

a

avaliação

dos

comportamentos da produção científica, quantificação da produção, nível de colaboração dos pesquisadores, evolução da produção ao longo dos anos, grau de dispersão das publicações por tipologia documental dos anos e temáticas mais recorrentes nos trabalhos de periódicos.

REFERENCIAL TEÓRICO Segundo Weitzel (2006) a produção científica pode ser entendida como um recurso imprescindível para promover o desenvolvimento da ciência. Para que esse desenvolvimento aconteça é necessário saber qual o efeito que a ciência produzida exerce na sociedade. Nesse contexto, a cienciometria surge como “o estudo da mensuração do progresso científico e tecnológico, que, consiste na avaliação

qualitativa e na análise das inter-comparações da atividade, produtividade e progresso científico”, (SILVA; BIANCHI, 2001). Através dos indicadores gerados pelo método cientométrico é possível acompanhar a evolução ou o declínio de campos da ciência, podendo também identificar áreas emergentes que necessitam de maiores suportes financeiros ou de recursos humanos para melhor progredirem. Vale ressaltar que apesar de não representarem uma verdade absoluta, os indicadores C&T são uma ferramenta estratégica para os gestores no processo decisório, (SILVA; BIANCHI, 2001). A cienciometria é um método que subsidia a criação de indicadores científicos e tecnológicos (C&T), os mesmos representam as medidas indiretas da atividade da pesquisa científica e contribuem para a compreensão dos objetos da pesquisa, da estrutura da comunidade científica, do objeto particular da pesquisa ou do seu impacto social, político e econômico (ASTON & KLAVANS, 1997; SPINAK, 1996 e 1998; TRZESNIAK, 1998; OKUBO, 1997). Na teoria dos indicadores científicos, foram construídas leis fundamentais com o intuito de analisar a produção e identificar comportamentos, destas, as mais conhecidas são as leis de Zipt e a lei de Lotka. Este último se destacou através da teoria do Quadrado Inverso, afirmando que alguns pesquisadores publicam muito e muitos publicam pouco, identificando uma forte desigualdade na produção de conhecimento, que pode ser identificada, principalmente, através de medidas de dispersão. (SANTOS & KOBASHI, 2009; GUEDES & BORSCHIVER, 2005; URBIZAGÁSTEGUI ALVARADO, 2002). É muito comum quando se analisa indicadores de produção científica perceber na prática a existência dessas leis, em especial quando se analisa departamentos e programas de pós-graduação. Quanto à isso, algumas normas vêm sendo desenvolvidas, em especial podemos destacar a orientação da CAPES, que retira pontos dos programas de pós-graduação stricto sensu no seu processo avaliativo de atribuição de conceitos, dos programas que concentram sua produção em alguns poucos atores, deixando a desejar no quesito distribuição da produção. A seleção e construção de indicadores científicos consistentes não é uma tarefa fácil, percebe-se atualmente que os dados encontram-se muito fragmentados,

e a ausência de metodologias que permitam a integração e o cruzamento de dados dessas bases dificultam a construção dos indicadores. Porém, no Brasil, percebe-se qua a Plataforma Lattes (PL) do CNPq reúne currículos dos atores envolvidos no Sistema Nacional de Ciência, Tecnologia e Inovação, permitindo que dados sobre a produção nacional sejam consultados e extraídos. Um aspecto a se considerar, é que a PL não foi concebida com o intuito de gerar indicadores, mas apenas, visando armazenar dados sobre a produção, nesse sentido, percebemos que algumas iniciativas ao longo dos anos vêm tentando proporcionar estratégias para a extração de dados da PL de forma estruturada, no formato de indicadores. Hoje, a iniciativa mais avançada é a do Instituto de Matemática e Estatística da Universidade de São Paulo (IME/USP) que criou a ferramenta ‘ScriptLattes’, essa é capaz de extrair, compilar e apresentar dados da produção científica a partir da base da PL do CNPq. Vale ressaltar, que os indicadores quantitativos de produção científica, unicamente, não representam muita coisa, para que eles façam sentido é necessário que sejam realizadas análises, e essas análises trazem para o método quantitativo fundamentos

da

pesquisa

qualitativa,

tornando-a

assim

uma

pesquisa

qualiquantitativa, neste sentido, são realizados estudos de qualificação da produção, mapas temáticos, e estudos de redes sociais. A análise do estudo das redes sociais pode ser feito através da técnica de análise de redes sociais (ARS), esta objetiva entender e mapear as relações existentes entre os atores a partir das ligações estabelecidas, outro objetivo dessa técnica é a análise de redes sociais a partir de atributos, que consegue contemplar aspectos de nível de produtividade do ator, medidas de centralidade, análise dos atores isolados, e/ou atributos (características) gerais ou individuais apresentadas pelos elementos da rede. Braga (2008, p.2) destaca que “Uma rede social é um grupo de pessoas, de organizações ou de outros relacionamentos, conectados por um conjunto de relações sociais, como as amizades, o trabalho em conjunto ou a simples troca de informações”. No meio científico esses relacionamentos são apresentados, em geral,

através das publicações realizadas entre os pesquisadores, e podem ser detectadas principalmente pela técnica de análise de citações. METODOLOGIA A metodologia adotada para o desenvolvimento do trabalho foi a cienciometria. Para Price (1969 apud SANTOS e KOBASHI, 2009) a cienciometria é o “estudo

quantitativo da atividade científica”,

que

possibilita analisar

o

desenvolvimento cognitivo da ciência, contextualizando-os dentro de uma realidade socioeconômica. A utilização de metodologias que se baseiam em estatística e matemática, aplicadas ao contexto de mapeamento das informações é extremamente produtiva quando oferece a possibilidade de quantificar produtos da atividade científica. Dessa maneira, a pesquisa foi realizada de fevereiro a março de 2012 no Departamento de Ciência da Informação da UFPE. O método utilizado propôs a geração de indicadores científicos que propiciem a visualização da atividade científica de uma determinada área do conhecimento. Neste caso, definiram-se como campo amostral os trabalhos produzidos pelos Docentes do Departamento de Ciência da Informação da Universidade Federal de Pernambuco (DCI/UFPE), produzidos no período de 2001 a 2011. Para serem extraídos e compilados os dados dos currículos dos docentes da Plataforma Lattes1 do CNPq2 adotou-se o software ‘ScriptLattes3’, que permitiu a visualização da produção científica no período citado anteriormente. Após essas etapas, deve-se atentar pela escolha de métodos de análise da produção científica que propiciem uma melhor visualização das informações. Sendo assim, foram adotados os seguintes procedimentos metodológicos: a) Para a construção do gráfico de redes sociais foi construída uma matriz bidimensional

no

software

Microsoft

Excel,

que

demonstrasse

estatisticamente as colaborações entre os pesquisadores. Logo em 1

http://lattes.cnpq.br

2

Conselho Nacional de Desenvolvimento Científico e Tecnológico

3

http://scriptlattes.sourceforge.net/

seguida foi utilizado o software UCINET que compilou os dados da matriz e gerou o grafo de colaboração. Nessa matriz quadrada e simétrica, a presença de relação entre um docente e outro era representada por ‘1’, e a ausência de relações foi representada por ‘0’. A fonte para a construção da matriz foi o gráfico de redes gerado pelo ‘ScriptLattes’ a partir das informações da base da Plataforma Lattes do CNPq. b) Posteriormente, foi construído com a utilização do software Microsoft Excel o gráfico do quantitativo da produção científica por tipologia documental e por ano, isso foi possível graças aos dados coletados pelo ‘ScriptLattes’. c) Logo após, para demonstrar representativamente a dispersão do quantitativo da produção científica, foram calculados o desvio padrão e a variância no Microsoft Excel. d) Em seguida, propôs-se a construção de um gráfico que representasse o quantitativo das palavras-chave utilizadas nos artigos de periódicos pelos docentes. Para a construção do referido grafo foi utilizado o software Microsoft Excel que contabilizou os dados. RESULTADOS E ANÁLISE A extração dos currículos Lattes da plataforma do CNPq permitiu a geração de indicadores de ciência e tecnologia capazes de especificar comportamentos apresentados individualmente e coletivamente pelos docentes do Departamento de Ciência da Informação da UFPE (DCI/UFPE). Com isto, foram obtidos indicadores de redes sociais, visando identificar as relações entre os docentes, o quantitativo da produção em colaboração, e a forma como esses docentes interagem frente ao desafio de se manter efetivo e regular nas publicações científicas. Outro aspecto analisado foi o quantitativo da produção científica distribuiído ao longo dos anos, classificando-as por tipologia documental (artigos completos publicados em periódicos, trabalhos completos publicados em anais de congresso, resumos publicados em anais de congresso, resumos expandido publicados em anais de congresso, livros publicados/organizados ou edições, e capítulos de livro publicados).

A fim de entender melhor a dinâmica da produção científica dos docentes do DCI/UFPE, foram realizadas análises com o intuito de descrever e inferir sobre os dados apresentados, para isto, foram adotadas técnicas provenientes da estatística com a finalidade de apontar indicadores mais coerentes do departamento estudado, neste sentido, trabalhamos com os conceitos de média, desvio padrão, variância e dispersão, visando oferecer indicadores mais diversificados e próximos da realidade.

Gráfico 1 – Colaboração dos docentes do DCI/UFPE Fonte: dados da pesquisa (2012)

O gráfico 1 apresenta aspectos gerais das redes sociais estabelecidas pelos docentes do DCI/UFPE, para a construção desse gráfico, extraímos do currículo Lattes apenas as relações de colaboração existentes entre os docentes do próprio DCI/UFPE, esse tipo de rede social é denominada grafo de colaboração intraorganizacional, ou seja, considera apenas atores de um mesmo grupo. Percebese também no grafo que dos 22 docentes estudados, 19 já colaboraram entre si em algum trabalho, e apenas três encontram-se isolados. Ao aprofundarmos a análise percebemos que dos três docentes que estão isolados na rede, dois foram integrados recentemente ao departamento, e um ator já encontra-se aposentado, apenas colaborando com algumas orientações no DCI/UFPE.

Gráfico 2 – Atores centrais do DCI/UFPE Fonte: dados da pesquisa (2012)

O gráfico 2 apresenta as medidas de centralidade dos atores que compõem a rede de colaboração dos docentes do DCI/UFPE. Neste gráfico, estão destacados os docentes ‘P9’ e ‘P20’ que são os que interagem com mais pesquisadores na rede de colaboração. Quando analisamos os dados mais profundamente percebemos que os dois docentes em destaque possuem posições estratégicas no DCI/UFPE, enquanto um é o chefe do departamento, o outro, por possui formação em Tecnologia da Informação costuma participar de várias pesquisas com a finalidade de suprir os gaps que não podem ser supridos pelos profissionais de Ciência da Informação.

Gráfico 3 – Evolução da produção bibliográfica do DCI/UFPE por tipologias documentais Fonte: dados da pesquisa (2012)

O gráfico 3 apresenta o quantitativo total da produção ao longo dos anos por tipologia documental, quando aplicamos o somatório percebemos que os trabalhos completos em anais de evento são os veículos prediletos dos docentes do DCI/UFPE com 259 publicações ao longo dos anos, logo em seguida aparecem os artigos completos publicados em periódicos com 118 produções; e os capítulos de livros com 68 publicações. A tipologia documentão menos utilizada foi o resumo expandido publicado em anais de congresso com apenas 23 itens.

Gráfico 4 – Aplicações de fórmulas estatísticas no cálculo das tipologias documentais mais utilizadas nas publicações do DCI/UFPE Fonte: dados da pesquisa (2012)

É possível visualizar no gráfico 4 as tipologias documentais mais frequentes no processo de comunicação científica dos docentes do DCI/UFPE. Para entender melhor a evolução dessa produção ao longo dos anos, resolveu-se aplicar alguns conceitos da estatística capazes de gerar alguns indicadores que descrevem de modo próximo da realidade o comportamento da produção. Como se pode perceber, a média dos trabalhos completos é 22,5, a média neste caso significa a soma de todos os trabalhos dividido pela quantidade de anos estudados, a média é importante, pois reduz o comportamento de todos os anos em apenas um número, entretanto, a média muitas vezes se comporta de forma muito diferente da realidade, tomando por exemplo a produção de trabalhos completos em anais de congresso do DCI/UFPE percebe-se que no ano de 2001 apenas 5 trabalhos foram publicados, enquanto em 2011 foram publicados 45 trabalhos, o que indica que o número médio (22,5) em muitos casos se distancia bastante da realidade. Tendo em vista a problemática do parágrafo acima, resolveu-se adotar também os indicadores de Desvio Padrão (DesPAD) e Variância (VAR), que são medidas de dispersão. O DesPAD aponta a regularidade da produção ao longo dos anos, no caso dos trabalhos completos em anais de congresso, isso quer dizer que, a maior parte da amostra caminha 10,086 maior ou menor que a média, quanto maior o DesPAD, menor é a regularidade, e quanto menor o DesPAD, maior é a homogeneidade da amostra. No caso do exemplo apresentado, conclui-se que, a produção de trabalhos completos foi muito irregular ao longo dos anos, pois o valor apontado (10,086) está muito afastado de zero. Já o indicador de variância indica a variabilidade dos valores da amostra, seu intuito é apresentar através de um número positivo variações no padrão dos dados de uma amostra, a variância é calculada medindo o valor do desvio padrão ao quadrado, e o desvio padrão pode ser encontrado através da raiz quadrada da variância. Assim como no desvio padrão, quanto mais próximo de zero for a variância, menos variações podem ser encontradas na amostra, e quanto mais distante de zero mais oscilações ocorreram. Partindo para o gráfico 4 percebemos que, no caso dos capítulos de livro a oscilação da produção durante os anos foi a menor encontrada, ou seja, a produção manteve-se constante; Já no caso dos

trabalhos completos, a variabilidade da produção foi enorme, muito afastada de zero, a prova disso é o valor encontrado (101,72).

Gráfico 5 – Frequência das palavras-chave do DCI/UFPE Fonte: dados da pesquisa (2012)

O gráfico 5 aponta as palavras-chave mais citadas nas publicações em artigos periódicos dos pesquisadores do DCI/UFPE. Esse gráfico tem a pretensão de apresentar indicativos dos vieses explorados pelos docentes em suas atividades de pesquisa. O primeiro ponto que pode ser destacado é a forte presença dos estudos métricos da informação na produção do DCI/UFPE, isso pode ser percebido através da presença das palavras-chave bibliometria e cienciometria; em segundo plano percebemos a presença das palavras organização do conhecimento, conhecimento, comunicação e biblioteconomia, as duas primeiras indicam a presença de estudos mais voltados pra o tratamento do significado da informação, a busca pelo entendimento e representação dos conceitos, já as duas últimas apontam a presença de estudos de campos de aplicação social da Ciência da Informação, pois, a comunicação expressa o processo de transferência de informação e a biblioteconomia representa o espaço onde esse processo de transferência ocorre formalmente, é o espaço tradicional de tratamento e disseminação da informação registrada.

CONSIDERAÇÕES FINAIS A priori, fica explicita a importância da exposição do comportamento da produção científica de um departamento na forma de indicadores, estas informações são importantes para o planejamento institucional de uma universidade ou departamento, para prestação de contas a sociedade, e ainda como fator indutor na tomada de decisão de gestores de ciência, tecnologia e inovação e agências de fomento. Outro aspecto importante é que a metodologia utilizada pode servir para diversos campos amostrais, o único pré-requisito é que os docentes estudados possuam currículo cadastrado na PL do CNPq. Dessa forma, esse estudo pode ser replicado futuramente com outros departamentos da UFPE, e também com programas de pós-graduação, departamentos, e centros de pesquisa de todos o Brasil. A contribuição da estatística nesse trabalho foi essencial, afinal, foi a partir dela que foram identificadas as oscilações da produção do DCI/UFPE, em futuros trabalhos é possível que sejam aplicados outros conceitos provenientes dessa área, visando melhor compreender a dinâmica da produção científica através dos números. Esse trabalho identificou o forte viés do DCI/UFPE para os estudos métricos da informação, entretanto, esses estudos estão extremamente voltados para o âmbito da ciência e das bibliotecas (cienciometria e bibliometria), seria interessante que isso fosse estendido também para as organizações através de aplicações informétricas, já que o DCI/UFPE possui dois cursos de graduação que precisam formar profissionais para o mercado (Biblioteconomia e Gestão da Informação).

REFERÊNCIAS ASTON, W. B.; KLAVANS, R. A.. Keeping abreast of science and technology: technical intelligence for business. Columbus, OH: Batelle Press, 1997. 560p BRAGA, Mauro Joaquim da Costa; GOMES, Luiz Flavio Autran Monteiro; RUEDIGER, Marco Aurélio. Mundos pequenos, produção acadêmica e grafos de colaboração: um estudo de caso dos Enanpads. RAP - Revista de Administração Pública, Rio de Janeiro, v. 42, n. 1, p.133-154, jan. 2008.

BRASIL. Conselho Nacional de Desenvolvimento Científico e Tecnológico. Painel Lattes. Disponível em: . Acesso em: 11 fev. 2012. GUEDES, Vânia; BORSCHIVER, Suzana. Bibliometria: uma ferramenta estatística para a gestão da informação e do conhecimento, em sistemas de informação, de comunicação e de avaliação científica e tecnológica. In: CINFORM – ENCONTRO NACIONAL DE CIÊNCIA DA INFORMAÇÃO, 6., 2005, Salvador. Anais... Salvador: ICI/UFBA, 2005. JANNUZZI, P. M. Considerações sobre uso, abuso e mau uso de indicadores nas políticas públicas municipais. Revista de Administração Pública, Rio de Janeiro, 36(1): 51-72, 2002. OKUBO, Y. Bibliometric Indicators and analysis of research systems: methods and examples. Paris: OECD, 1997, 69 p. (STI Working Papers, 1997/1). PRICE D. J. de S. "The Structures of Publication in Science and Technology", dans H. Gruber et D.G. Marquis (éds.), Factors in the Transfer of Technology. Cambridge, Mass: The MIT Press, p. 91-104, 1969. SANTOS, R. N. M. Produção Científica: Por que medir? O que medir?. Revista Digital de Biblioteconomia e Ciência da Informação, Campinas, v. 1, n. 1, p. 2238, 2003. SANTOS, R. N. M.; KOBASHI, Nair Yumiko. Bibliometria, Cientometria, Infometria: conceitos e aplicações. Tendências da Pesquisa Brasileira em Ciência da Informação, v. 2, p. 155-172, 2009. SILVA, Fábio Mascarenhas e; SOBRAL, Natanael Vitor. ANÁLISE DE REDES SOCIAIS: um estudo sobre os Programas de Pós-Graduação em Administração do estado de Pernambuco. In: II ENCONTRO DE ESTUDOS SOBRE CIÊNCIA, TECNOLOGIA E GESTÃO DA INFORMAÇÃO, 2011, Recife. Gestão da Informação na era do conhecimento. Recife: Néctar, 2011. CD-ROM. SILVA, José Aparecido da; BIANCHI, Maria de Lourdes Pires. Cientometria: a métrica da ciência. Paidéia, Ribeirão Preto, v. 11, n. 21, 2001. SPINAK, E. Indicadores cienciometricos. Ciência da Informação, Brasília, v. 27, n. 2, p. 141-148, maio/ago. 1998 ______. Los análisis cuantitativos de la literatura cientifica y su validez pata juzgar la producción latinoamericana. Bol. Oficina Sanit. Panamer, v. 120, n. 2, p. 139-47, 1996.

TRZESNIAK, P. Indicadores quantitativos: reflexões que antecedem seu estabelecimento. Ciência da Informação, Brasília, DF, v. 27, n. 2, p. 159-164, maio/ago. 1998. URBIZAGÁSTEGUI, A. R. A. lei de Lotka na bibliometria brasileira. Ciência da Informação, Brasília, v. 31. n. 2, p. 14-20, maio/ago. 2002. WEITZEL, S. R. O. Papel dos Repositórios Institucionais e Temáticos na Estrutura da Produção Científica. Em Questão, Porto Alegre, v. 12, n. 1, p. 51-71, jan./jun. 2006.