Estudos qualitativos e o uso de softwares para análises lexicais

Estudos qualitativos e o uso de softwares para análises lexicais ¹ Ana Maria Justo Brigido Vizeu Camargo

1. Os dados qualitativos e o método clássico de análise

Na área da educação, assim como em outras áreas das ciências humanas, o principal o objeto de estudo envolve o homem e os fenômenos relativos a ele. Nesse contexto, muitas vezes não é possível, ou produtivo pesquisar a partir de modelos estabelecidos à priori, com ferramentas que visam à mensuração objetiva dos fenômenos, tal qual se dá nas ciências exatas e naturais. São de extrema validade aos estudos científicos dentro das humanidades os dados qualitativos, ou seja, aqueles dados que não são objetivamente mensuráveis e que tem como parte mais importante o seu significado, os quais só podem ganhar sentido através do olhar interpretativo do pesquisador. A partir da década de 1980 os estudos denominados qualitativos ganharam força na área da educação. Pesquisas estas que englobam um conjunto bastante heterogêneo de perspectivas metodológicas e técnicas de análise dos dados. Envolvem estudos etnográficos, pesquisas participante, estudos de caso, pesquisa ação, narrativas, estudos de memória, história de vida e história oral (André, 2001). Alguns autores, tais como Bauer, Gaskell e Allum (2013) apontam que pesquisas qualitativas e quantitativas não seriam totalmente distintas. Esses autores sugerem que não há quantificação sem qualificação, uma vez que a mensuração dos fenômenos sociais depende da categorização do mundo social. Ou seja, há que se ter uma noção das distinções qualitativas entre categorias sociais antes que se possa mensurá-las. Nesse sentido, toda pesquisa quantitativa teria embutido um sistema de categorias o qual é essencialmente qualitativo.

¹ Justo, A. M. & Camargo, B. V. (2014). Estudos qualitativos e o uso de softwares para análises lexicais. Em: Novikoff, C.; Santos, S. R. M. & Mithidieri, O. B.(Orgs.) Caderno de artigos: X SIAT & II Serpro (2014: Duque de Caxias, RJ) (p. 37-54). Duque de Caxias: Universidade do Grande Rio “Professor José de Souza Herdy” - UNIGRANRIO, Caderno digital disponível em:

Ademais,

embora

se

considere

que

os

estudos

qualitativos

sejam

necessariamente interpretativos, sabe-se que em última instância não há análise estatística sem interpretação. Por mais que os dados tenham sido processados e se chegue a modelos estatísticos sofisticados, eles por si mesmo nada falam, necessitando da interpretação do pesquisador, e nesse sentido não se distanciam radicalmente dos dados qualitativos (Bauer et al., 2013). Tradicionalmente, esta era considerada unicamente na fase exploratória e inicial do delineamento das pesquisas, com o objetivo de sensibilizar o pesquisador com o campo de pesquisa explorar distinções qualitativas a fim de desenvolver mensurações. Num segundo momento, as pesquisas qualitativas passaram a ser consideradas também importantes após o levantamento quantitativo, para auxiliar na análise e interpretação dos dados. Mais recentemente, entretanto, a pesquisa qualitativa passa a ser considerada uma estratégia de pesquisa independente, um empreendimento autônomo, que prescinde de qualquer conexão com outra pesquisa quantitativa. O que se observou nas últimas décadas é que a pesquisa qualitativa tem trazido uma desmistificação do fato de que a sofisticação estatística seria o único meio de se atingir resultados expressivos (Bauer, et. al, 2013). Os dados qualitativos são essencialmente significativos e também bastante diversificados, incluindo qualquer forma de comunicação humana escrita, auditiva ou visual. Pode se trabalhar a partir de imagens, vídeos, falas ou produções textuais, sejam elas naturalmente existentes, ou produzidas pelo pesquisador. Apesar da pluralidade de possibilidades disponível à pesquisa qualitativa, considera-se que os materiais textuais tem sido o tipo de dado qualitativo mais comumente utilizado (Gibbs, 2009). Estudos documentais, métodos etnográficos, de levantamento de dados por meio de entrevistas ou questionários, produção de redações ou de grupos de discussões são algumas possibilidades de recolher dados que tem uma característica em comum: tem uma produção de material verbal (escrito ou oral e posteriormente transcrito) como resultado. Em última instância trata-se de textos, dados que são compostos essencialmente pela linguagem. Estes se mostram relevantes aos estudos sobre pensamentos, crenças, opiniões – conteúdo simbólico produzido em relação a

¹ Justo, A. M. & Camargo, B. V. (2014). Estudos qualitativos e o uso de softwares para análises lexicais. Em: Novikoff, C.; Santos, S. R. M. & Mithidieri, O. B.(Orgs.) Caderno de artigos: X SIAT & II Serpro (2014: Duque de Caxias, RJ) (p. 37-54). Duque de Caxias: Universidade do Grande Rio “Professor José de Souza Herdy” - UNIGRANRIO, Caderno digital disponível em:

determinado fenômeno. O objeto de estudo não é a realidade objetiva, mas o mundo enquanto experienciado e conhecido pelo homem, o mundo representado e constituído por meio dos processos de comunicação (Berger & Luckmann, 2011), o qual é simbólico e expresso por meio da linguagem. A técnica clássica para analisar materiais textuais remonta ao início do século XX, e teve seu início marcado pelas análises de materiais jornalísticos, sendo posteriormente transportada às mais diversificadas áreas de conhecimento. A análise de conteúdo, conforme Bardin (2009) é uma técnica que tem por finalidade a descrição objetiva, sistemática e quantitativa do conteúdo manifesto da comunicação. A partir da década de 1970 essa técnica ganhou força, passando a ser amplamente utilizada nas pesquisas das ciências humanas e sociais que se debruçam sobre os dados qualitativos. A análise de conteúdo surgiu como uma possibilidade interessante da sistematização de dados subjetivos, ou qualitativos, fornecendo um arcabouço formal para a interpretação dos dados qualitativos (Oliveira, Ens, Andrade & Mussis, 2003). Ela passou a subsidiar as interpretações dos dados, a partir do estabelecimento de etapas específicas a seguir e parâmetros para que se realizem as análises dos materiais. Conforme apontam Lebart e Salem (1994), a análise de conteúdo opera em dois tempos. O analista começa por definir um conjunto de classes de equivalência – categorias que podem ser definidas à priori ou à posteriori, as quais terão suas ocorrências identificadas ao longo do texto a ser analisado. Em um segundo momento, é feita a contagem de cada uma dessas categorias e a construção de tabelas que sistematizam a análise. Bardin (2009) aponta que “não se trata de um instrumento, mas de um conjunto de técnicas que viabilizam a análise das comunicações e que utiliza procedimentos sistemáticos e objetivos de descrição do conteúdo das mensagens” (p. 40).

Este

conjunto de técnicas envolve um grau de complexidade, o que chama atenção para uma característica importante da análise de conteúdo: a necessidade de treinamento do pesquisador, visto que é este quem interpreta os dados a partir de uma grade de leitura que necessita de rigor teórico e metodológico ao passar pelo crivo da classificação e interpretação dos dados. Assim, embora tenha contribuído significativamente à ampliação do escopo das

¹ Justo, A. M. & Camargo, B. V. (2014). Estudos qualitativos e o uso de softwares para análises lexicais. Em: Novikoff, C.; Santos, S. R. M. & Mithidieri, O. B.(Orgs.) Caderno de artigos: X SIAT & II Serpro (2014: Duque de Caxias, RJ) (p. 37-54). Duque de Caxias: Universidade do Grande Rio “Professor José de Souza Herdy” - UNIGRANRIO, Caderno digital disponível em:

pesquisas, valorização da subjetividade nos estudos científicos, o que tem considerável contribuição às áreas, sociais e humanas, as análises de dados das pesquisas qualitativas têm sido criticadas por falta de rigor metodológico, propensão à influência da subjetividade do pesquisador e por vezes basear-se em pequenos casos ou evidências limitadas (Reis et al, 2013). André (2001) destaca o quão tem se mostrado frágeis as pesquisas na área da educação, em termos metodológicos. Pela falta de domínio dos pressupostos, métodos e técnicas de coleta e análise dos dados, nos quais por vezes a análise de conteúdo é realizada sem clareza metodológica. Por vezes os trabalhos apresentam nada mais que recortes de alguns trechos das falas dos participantes, sem explicitar os critérios de escolha dos mesmos. Outra limitação da análise de conteúdo refere-se ao volume do material analisado. Considera-se que existem alguns tipos de dados que dificultam a análise de conteúdo, por se tratarem de bancos de dados demasiado extensos, os quais as equipes de pesquisadores teriam dificuldade em analisar de modo coeso e fidedigno, ou mesmo que este trabalho dispenderia de um tempo que é incompatível com os atuais prazos relativos aos estudos de mestrado, doutorado ou editais de pesquisa. Nesse ínterim, apresenta-se outro tipo de análise de dados qualitativos que pode ser útil e relevante aos estudos qualitativos: a análise lexical de dados textuais.

2. Análise lexical de dados textuais

As análises lexicais se constituem de uma família de técnicas que permitem utilizar métodos estatísticos aos textos. Esse tipo de análise permite explorações poderosas dos materiais textuais, especialmente porque viabilizam a construção de categorias naturais, a partir do uso de algumas técnicas estatísticas no campo dos dados qualitativos (Lahlou, 1994). Lahlou (1994) considera que as análises lexicais viabilizam a superação da dicotomia clássica entre quantitativo e qualitativo na análise de dados, na medida em que a partir delas se torna possível quantificar e empregar cálculos estatísticos sobre variáveis essencialmente qualitativas - os textos. Torna-se possível, a partir da análise

¹ Justo, A. M. & Camargo, B. V. (2014). Estudos qualitativos e o uso de softwares para análises lexicais. Em: Novikoff, C.; Santos, S. R. M. & Mithidieri, O. B.(Orgs.) Caderno de artigos: X SIAT & II Serpro (2014: Duque de Caxias, RJ) (p. 37-54). Duque de Caxias: Universidade do Grande Rio “Professor José de Souza Herdy” - UNIGRANRIO, Caderno digital disponível em:

lexical, descrever um material produzido por determinado produtor, seja individual ou coletivamente (um indivíduo ou um grupo), como também pode ser utilizado este tipo de análise com a finalidade comparativa, relacional, comparando produções textuais diferentes em função de variáveis específicas que descrevem quem produziu o texto. O objetivo é, a partir dessas técnicas, combinar vantagens dos enfoques quantitativos e qualitativos sem acumular as suas limitações. Mas em que uma análise lexical se diferencia da análise de conteúdo? Na análise de conteúdo, anteriormente citada, os dados são inicialmente interpretados e categorizados pelo pesquisador e só então organizados, quantificados e sistematizados. A análise parte dos significados identificados nos textos considerados, para posterior organização e quantificação. Diferentemente, a análise lexical não tem como unidade de análise o conteúdo semântico dos textos, mas sim o seu vocabulário, ou seja, as palavras neles presentes. Estas são identificadas e quantificadas em termos de frequência e até mesmo posição dentro do corpo do texto, em alguns casos. O material lexical é submetido a cálculos estatísticos, por vezes apresentado graficamente e só posteriormente é interpretado pelo pesquisador. Ou seja, se na análise de conteúdo se dá primeiro a interpretação e depois a sistematização dos dados, na análise lexical o caminho é inverso: primeiro os dados textuais são sistematizados a partir da identificação e organização do seu vocabulário para depois serem interpretados. E qual a noção por traz de uma análise lexical? Parte-se da ideia de que ao identificar um conjunto de palavras que caracteriza determinado objeto, pode-se identificar o sentido desse objeto para um determinado grupo. A descrição de um objeto se faz por meio de uma combinação de palavras e cada objeto é descrito por um número limitado de palavras (Lahlou, 1994). Assim, o propósito dos métodos de análise lexical é de comparar os objetos em função das características de suas descrições sob a forma de combinações de palavras, o que se dá com o auxílio das estatísticas descritiva e relacional. Foi na década de 1960 que as ciências sociais passaram a interagir com a matemática no que se refere às técnicas de análises de dados (Vergès, 2001). A arte dos estatísticos consiste em distinguir entre os iguais e os diferentes. A partir daí, agrupa-se

¹ Justo, A. M. & Camargo, B. V. (2014). Estudos qualitativos e o uso de softwares para análises lexicais. Em: Novikoff, C.; Santos, S. R. M. & Mithidieri, O. B.(Orgs.) Caderno de artigos: X SIAT & II Serpro (2014: Duque de Caxias, RJ) (p. 37-54). Duque de Caxias: Universidade do Grande Rio “Professor José de Souza Herdy” - UNIGRANRIO, Caderno digital disponível em:

o que é igual e separa-se o que é diferente. A estatística usada nas análises de material textual consiste em identificar e contabilizar o vocabulário presente no texto e a partir disso fazer análises multivariadas encima de um número indeterminado de variáveis selecionadas à priori e que caracterizam quem produziu o texto (Lahlou, 1994). As análises lexicais são valiosas técnicas para explorar os dados (Lahlou, 2012) fornecendo ao pesquisador um panorama do vocabulário referente ao objeto de pesquisa. E em alguns casos, as técnicas permitem também relacionar variáveis, comparar grupos, com validade e significância estatística, o que pode contribuir aos avanços dos estudos qualitativos. O diferencial é que o método e as técnicas de análise não são sensíveis à arbitrariedade de quem o codifica (Lahlou, 1994), o que diminui o subjetivismo nas análises dos textos e padroniza-os.

3. O uso de softwares na análise de dados textuais

Os computadores contribuíram ao aprimoramento das análises de dados como um todo e propiciaram também o aprimoramento das análises lexicais. Como a unidade de análise é o vocabulário diretamente envolvido na produção textual, a sistematização dos dados pode ser em grande parte processada por pacotes específicos de análise de dados, os quais tem a capacidade processar grandes volumes de texto em um curto espaço de tempo, fornecendo ao pesquisador informações diversas, as quais poderão ser interpretadas. A interface entre os dados textuais a informática não é novidade e remonta à década de 1960. No entanto, embora o acesso aos softwares para analisar dados textuais já estivesse disponível cerca vinte anos antes, é na década de 1980, a partir da chegada dos computadores de uso pessoal, que a situação modificou-se completamente e os pesquisadores qualitativos passaram a utilizar estas ferramentas, as quais tem se desenvolvido a cada ano. Atualmente já estão disponíveis no mercado mais de 20 diferentes softwares desenvolvidos especialmente para auxiliar os pesquisadores em seus trabalhos com material textual (Kelle, 2013).

¹ Justo, A. M. & Camargo, B. V. (2014). Estudos qualitativos e o uso de softwares para análises lexicais. Em: Novikoff, C.; Santos, S. R. M. & Mithidieri, O. B.(Orgs.) Caderno de artigos: X SIAT & II Serpro (2014: Duque de Caxias, RJ) (p. 37-54). Duque de Caxias: Universidade do Grande Rio “Professor José de Souza Herdy” - UNIGRANRIO, Caderno digital disponível em:

É principalmente a partir da década de 1980 que se questionam os problemas de validade e generalização dos achados obtidos qualitativamente. A partir de uma discussão a respeito da transparência e rigor dos resultados, surge o uso de computadores como uma possibilidade de aprimorar as pesquisas (Reis, et al, 2013). Os computadores poderiam auxiliar no fornecimento de análises mais estáveis, objetivas e fidedignas, com menor interferência da subjetividade ou viés do pesquisador. No Brasil, é na década de 1990 que se inaugura o uso mais frequente de softwares para análises de textos, tais como o Ethnograph, o Nud*ist e o Atlas TI, os quais tem por objetivo principal auxiliar

a realização de

análises de conteúdo

(Camargo, 2005). Atualmente esses pacotes fazem parte de um grupo de ferramentas importantes ao desenvolvimento dos estudos qualitativos, denominados “Softwares de Análises de Dados Qualitativos” (SADQ), que auxiliam no gerenciamento das análises de conteúdo, num conjunto de informações coerentes e sistemáticas (Gibbs, 2009). Predominam nesses softwares as funções de codificação, e recuperação das informações. Os mais conhecidos e utilizados são o Atlas TI (www.atlasti.com), o MAXqda (www.maxqda.com) e o NVivo (www.qsrinternational.com). Na França a tradição do uso de programas informáticos para análises de dados textuais, também chamada análise quantitativa de dados textuais, desde o início foi mais voltada para o uso de cálculos estatísticos. Alguns dos softwares pioneiros foram Tri Deux Mots (Cibois, 1990); SPAD (Lebart e Salem, 1994; SPAD, 2008); Evocation e Similitude (Vergès, Scano, & Junique, 2002; Vergès,

Junique,

Barbry, Scano &

Zeliger, 2002), os quais realizam tanto análises estatísticas clássicas, quanto multivariadas, sobre dados textuais, e possibilitam que se relacione as palavras encontradas na produção textual, com variáveis categoriais caracterizadoras dos produtores do texto. O softwares Evocation (Ensemble de Programmes Permettant l’Analyse d’ Evocations) e Similitude (Ensemble de Programmes Permettant l’Analyse de Similitude de Questionnaires et de Données Numeriques), desenvolvidos por desenvolvidos por P. Vergès (Vergès, Scano, & Junique, 2002; Vergès, Junique, Barbry, Scano & Zeliger, 2002) são dois programas complementares especificamente criados para a análise de

¹ Justo, A. M. & Camargo, B. V. (2014). Estudos qualitativos e o uso de softwares para análises lexicais. Em: Novikoff, C.; Santos, S. R. M. & Mithidieri, O. B.(Orgs.) Caderno de artigos: X SIAT & II Serpro (2014: Duque de Caxias, RJ) (p. 37-54). Duque de Caxias: Universidade do Grande Rio “Professor José de Souza Herdy” - UNIGRANRIO, Caderno digital disponível em:

evocações livres1. O primeiro viabiliza o processamento e a análise lexicográfica das palavras evocadas, fornecendo informações quantitativas sobre frequência e ordem de aparecimento das palavras (Reis et al., 2013), enquanto o segundo constrói matrizes de coocorrências entre os elementos, trazendo indicação da conexidade entre as palavras. Já os softwares Tri Deux Mots, desenvolvido por P. Cibois (1990) e o SPAD (Système Portable pour l'Analyse des Données), desenvolvido por L. Lebart (Lebart e Salem, 1994; SPAD, 2008) realizam análises multivariadas do tipo análise fatorial de correspondência com dados textuais. A partir dessa análise, é possível identificar um número relativamente pequeno de fatores que podem ser usados para apontar relações entre variáveis, podendo identificar muitas variáveis inter-relacionadas entre si. Utilizase de técnicas da estatística descritiva multivariada que evidenciam as afinidades entre certas linhas e colunas de uma matriz de dados e se baseiam na independência entre as linhas e colunas da tabela. O resultado final é a representação gráfica simultaneamente de várias variáveis em torno de um mesmo objeto. Nos softwares até então mencionados a unidade de análise era obrigatoriamente a palavra, e todos os cálculos estatísticos possíveis envolviam o cruzamento de variáveis descritivas com as palavras. Também na França, no final da década de 1980, foi desenvolvido um programa informático inovador no que se refere à complexidade das análises textuais. M. Reinert (Reinert, 1990; IMAGE, 2009) desenvolveu um software denominado ALCESTE (Analyse Lexicale par Context d'un Ensemble de Segments de Texte - www.image-zafar.com), que se diferenciou dos demais, uma vez que tornou possível recuperar o contexto em que as palavras ocorriam. A partir dele, passaram a serem considerados nas análises estatísticas, além do vocabulário, os segmentos de texto 1

Este tipo de técnica consiste em solicitar ao respondente que evoque (escreva ou fale) livremente algumas palavras relacionadas a um tema específico (termo indutor). É usada majoritariamente por pesquisadores que utilizam a teoria das representações sociais e seu objetivo é descrever a estrutura de uma representação. Entretanto, pode-se utilizar evocações livres para realizar outros tipos de pesquisa, uma vez que essa técnica possibilita a apreensão de projeções mentais de maneira descontraída e espontânea, revelando conteúdos implícitos que podem ficar mascarados nas produções discursivas. Além disso, é um modo de obter o conteúdo semântico de forma rápida e objetiva (Oliveira, Marques, Gomes & Teixeira, 2005).

¹ Justo, A. M. & Camargo, B. V. (2014). Estudos qualitativos e o uso de softwares para análises lexicais. Em: Novikoff, C.; Santos, S. R. M. & Mithidieri, O. B.(Orgs.) Caderno de artigos: X SIAT & II Serpro (2014: Duque de Caxias, RJ) (p. 37-54). Duque de Caxias: Universidade do Grande Rio “Professor José de Souza Herdy” - UNIGRANRIO, Caderno digital disponível em:

em que esse vocabulário estava inserido, o que trouxe contribuições importantes no que se refere à fidedignidade das interpretações das análises lexicais.

O ALCESTE

viabiliza a execução de uma análise de Classificação Hierárquica Descendente (CHD), que, além de permitir uma análise lexical do material textual, oferece contextos (classes lexicais), caracterizados por um vocabulário específico e pelos segmentos de textos que compartilham este vocabulário (Camargo, 2005). Este software foi introduzido no Brasil em 1998 (Veloz, Nascimento-Schulze & Camargo, 1999), e passou a ser utilizado, sobretudo entre os pesquisadores da área de Representações Sociais. Recentemente foi desenvolvido um novo software, alternativa para realização de análises textuais tão ou mais sofisticadas que o software ALCESTE. O IRAMUTEQ (Interface de R pour les Analyses Multidimensionnelles de Textes et de Questionnaires – www.iramuteq.org), incorpora, além da CHD proposta por Reinert (1990), outras análises lexicais (Lahlou, 2012). Trata-se de um software gratuito e com fonte aberta, desenvolvido pelo Prof. Dr. Pierre Ratinaud, do Laboratoire d'Études et de Recherches Appliquées en Sciences Sociales (Laboratório de Estudos e Pesquisas Aplicadas em Ciências Sociais), da Universidade de Toulouse III, que utiliza do mesmo modelo algorítmico do ALCESTE (Reinert, 1990) para realizar análises estatísticas de textos. A partir de 2013 este software teve adaptação à língua portuguesa e começou a ser utilizado também no Brasil (Camargo & Justo, 2013a). Todos estes softwares mencionados vieram facilitar o processamento das análises de texto, sobretudo dos grandes corpora de dados. Concomitantemente com o desenvolvimento dessas ferramentas, a difusão da comunicação via internet viabiliza acessar muitas informações e bancos de dados textuais diversos, os quais estão facilmente acessíveis aos pesquisadores. Este acesso facilita a análise de conteúdo em massa, a fim de encontrar grandes problemas, pontos salientes, evoluções ao longo do tempo (Lahlou, 1994). Apesar de processar cálculos estatísticos que se dão por trás das interfaces de análises, os softwares necessitam ser manejado por um analista que domine tanto a pesquisa em andamento, no que se refere aos seus objetivos e características dos dados, bem como as técnicas de análise a serem empregadas. O analista comanda as decisões

¹ Justo, A. M. & Camargo, B. V. (2014). Estudos qualitativos e o uso de softwares para análises lexicais. Em: Novikoff, C.; Santos, S. R. M. & Mithidieri, O. B.(Orgs.) Caderno de artigos: X SIAT & II Serpro (2014: Duque de Caxias, RJ) (p. 37-54). Duque de Caxias: Universidade do Grande Rio “Professor José de Souza Herdy” - UNIGRANRIO, Caderno digital disponível em:

que vão orientar o tratamento dos dados, assim como orientará as suas interpretações (Vergès, 2001). Dentre as decisões que o pesquisador toma ao proceder a uma análise textual em softwares específicos, algumas importantes referem-se a uma etapa preliminar à analise: a construção dos corpora. Os materiais de um corpus devem ter apenas um foco temático e devem ser tão homogêneos quanto possível. Imagens, textos, entrevistas individuais e com grupos focais podem ser partes de um mesmo projeto de pesquisa. No entanto, devem ser separados em diferentes corpora na análise de dados e comparados posteriormente (Bauer & Aarts, 2013). É preciso atentar também às características linguísticas dos corpora. Uma parte deles é proveniente de documentos previamente escritos, os quais podem ser mais ou menos institucionalizados (desde documentos oficiais, leis, até diários sites ou blogs). Usualmente estes documentos são utilizados em sua forma quase que original, cabendo apenas algumas adaptações de formatação textual. A comunicação oral, por sua vez tem características distintas da comunicação escrita. Usualmente é menos estruturada, mais redundante, há repetições literais e recursos mnemônicos. Por vezes, transcrever da linguagem oral para a escrita – a qual será analisada com auxílio do software - implica em reescrever certas palavras ou frases, de modo a clarificar o texto e coloca-lo na norma culta da língua. As decisões acerca de como será a limpeza do corpus nas transcrições são bastante importantes e podem ter interferências diretas nos resultados (Brugidou et al, 2000).

4. Uma proposta inovadora em análise textual: O software IRAMUTEQ

Este software, recentemente desenvolvido e facilmente acessível aos pesquisadores, poderá contribuir ao campo de estudos que envolvem análises textuais. O IRAMUTEQ é um programa informático que viabiliza diferentes tipos de análise de dados textuais, desde aquelas bem simples, como a lexicografia básica, que abrange a lematização e o cálculo de frequência de palavras; até análises multivariadas como classificação hierárquica descendente, análise pós-fatorial de correspondências e

¹ Justo, A. M. & Camargo, B. V. (2014). Estudos qualitativos e o uso de softwares para análises lexicais. Em: Novikoff, C.; Santos, S. R. M. & Mithidieri, O. B.(Orgs.) Caderno de artigos: X SIAT & II Serpro (2014: Duque de Caxias, RJ) (p. 37-54). Duque de Caxias: Universidade do Grande Rio “Professor José de Souza Herdy” - UNIGRANRIO, Caderno digital disponível em:

análises de similitude. Por meio desse software, a distribuição do vocabulário pode ser organizada de forma facilmente compreensível e visualmente clara com representações gráficas pautadas nas análises lexicográficas. No IRAMUTEQ essas análises podem ser realizadas tanto a partir de um grupo de textos a respeito de uma determinada temática (corpus) reunidos em um único arquivo de texto; como a partir de tabelas com indivíduos em linha e palavras em coluna, organizadas em planilhas, como é o caso dos bancos de dados construídos a partir de testes de evocações livres. Uma das suas grandes vantagens deste software é a de que ele é uma ferramenta gratuita, desenvolvida sob a lógica open source - ou código aberto, que consiste num modelo colaborativo de produção intelectual, que permite que softwares sejam livremente utilizados, modificados em compartilhados. É licenciado por GNU GPL (v2), quem permite que os usuários, além de terem acesso aos softwares sem qualquer custo, estejam também autorizados a modifica-los ou compartilha-los, uma vez que esses são livres. Para processar os cálculos estatísticos, o IRAMUTEQ ancora-se no ambiente estatístico do software R (pacote gratuito para realizar análises estatísticas) e na linguagem de programação python (www.python.org), também de livre utilização. O software IRAMUTEQ foi desenvolvido inicialmente em língua francesa, onde estudos já o empregam como ferramenta de análise de dados (Marchand & Ratinaud, 2012; Ratinaud & Marchand, 2012) e também já possui os dicionários completos nas línguas inglesa e italiana. Ele começou a ser utilizado no Brasil em 2013, atualmente o dicionário em língua portuguesa encontra-se em fase experimental e trabalha-se no seu aprimoramento. Mesmo assim, nos processamentos de dados já realizados nessa fase experimental, observou-se que o atual dicionário já permite o processamento de análises suficientemente precisas, o que torna o software IRAMUTEQ útil para análises de dados em língua portuguesa.

Encontram-se também em fase experimental os

dicionários nas línguas alemã, sueca, espanhola e grega.

4.1.Tipos de análises possíveis com o IRAMUTEQ

¹ Justo, A. M. & Camargo, B. V. (2014). Estudos qualitativos e o uso de softwares para análises lexicais. Em: Novikoff, C.; Santos, S. R. M. & Mithidieri, O. B.(Orgs.) Caderno de artigos: X SIAT & II Serpro (2014: Duque de Caxias, RJ) (p. 37-54). Duque de Caxias: Universidade do Grande Rio “Professor José de Souza Herdy” - UNIGRANRIO, Caderno digital disponível em:

O IRAMUTEQ oferece a possibilidade de diferentes tipos de análise de dados textuais, das mais elementares por meio da lexicografia básica, às multivariadas. Cada uma das possibilidades de análise desse programa será descrita a seguir: I) Análises lexicográficas clássicas – Permitem identificar e reformatar as unidades de texto, identificar a quantidade de palavras, frequência média e hapax (palavras com frequência um), pesquisar o vocabulário e redução das palavras com base em suas raízes (em formas reduzidas, de modo a neutralizar as flexões de gênero e número, superlativos e diminutivos), criar do dicionário de formas reduzidas, identificar as palavras que entrarão ou não nas análises. II) Especificidades – Associa os elementos textuais com variáveis descritivas, ou seja, possibilita a análise da produção textual em função das variáveis de caracterização dos seus produtores. Trata-se de uma análise de contrastes entre grupos, na qual o corpus textual é dividido em função de uma variável escolhida pelo pesquisador. Por exemplo, é possível comparar a produção textual de homens e mulheres, ou de diferentes grupos etários em relação a determinado tema. É possível visualizar os resultados em modelo de análise de contrastes (comparativa) das modalidades das variáveis e também a apresentação em plano fatorial. III) Método da Classificação Hierárquica Descendente (CHD) – Este é o método proposto por Reinert (1990) e utilizado também pelo software ALCESTE. Ele classifica os segmentos de texto em função dos seus respectivos vocabulários, e o conjunto deles é repartido com base na frequência das formas reduzidas. A partir de matrizes cruzando segmentos de textos e palavras (em repetidos testes do tipo ᵡ2), aplica-se o método de Classificação Hierárquica descendente e obtém-se uma classificação estável e definitiva (Reinert,1990). Esta análise visa obter classes de segmentos de texto que, ao mesmo tempo, apresentam vocabulário semelhante entre si, e vocabulário diferente dos segmentos de texto das outras classes (Camargo, 2005). A partir dessas análises em matrizes, o software organiza a análise dos dados em uma

¹ Justo, A. M. & Camargo, B. V. (2014). Estudos qualitativos e o uso de softwares para análises lexicais. Em: Novikoff, C.; Santos, S. R. M. & Mithidieri, O. B.(Orgs.) Caderno de artigos: X SIAT & II Serpro (2014: Duque de Caxias, RJ) (p. 37-54). Duque de Caxias: Universidade do Grande Rio “Professor José de Souza Herdy” - UNIGRANRIO, Caderno digital disponível em:

representação gráfica (dendograma da CHD), que ilustra as relações entre as classes. O programa executa cálculos e fornece resultados que nos permite a descrição de cada uma das classes, principalmente, pelo seu vocabulário característico (léxico) e pelas variáveis características. O programa fornece também outra forma de apresentação dos resultados, através de uma análise pós-fatorial de correspondência feita a partir da CHD. Com base nas classes escolhidas, o programa calcula e fornece os segmentos de texto mais característicos de cada classe permitindo a contextualização do vocabulário típico de cada classe. Em nível do programa informático, cada classe é composta de vários segmentos de texto em função de uma classificação segundo a distribuição do vocabulário destes segmentos de texto. Em nível interpretativo Reinert (1990), ao estudar a literatura, utilizou a noção de "mundo", enquanto um quadro perceptivo com certa estabilidade temporal associado a um ambiente complexo. No campo da linguística e comunicação estas classes são interpretadas como campos lexicais (Cros, 1993) ou contextos semânticos. Em pesquisas sobre representações sociais, tendo em vista o estatuto que elas conferem às manifestações linguísticas, estas classes podem indicar teorias ou conhecimentos do senso comum ou campos de imagens sobre um dado objeto, ou ainda apenas aspectos de uma mesma representação (Veloz, Nascimento-Schulze e Camargo, 1999). Esse tipo de análise é um método interessante para exploração e descrição dos dados. Seu objetivo é identificar semelhanças e dessemelhanças estatísticas das palavras, a fim de identificar padrões repetitivos de linguagem.

E sua principal

vantagem é a de o pesquisador poder obter uma visão geral de um volumoso corpus de dados em um curto espaço de tempo (Kronenberg & Wagner, 2013), identificando as possíveis associações do material textual com variáveis descritivas previamente identificadas. IV) Análise de similitude – Esse é um método de análise de dados alternativo ou complementar às análises fatoriais clássicas, ou às classificações (Vergès, 2001). Baseia-se na teoria dos grafos (Marchand & Ratinaud, 2012) e é utilizada comumente

¹ Justo, A. M. & Camargo, B. V. (2014). Estudos qualitativos e o uso de softwares para análises lexicais. Em: Novikoff, C.; Santos, S. R. M. & Mithidieri, O. B.(Orgs.) Caderno de artigos: X SIAT & II Serpro (2014: Duque de Caxias, RJ) (p. 37-54). Duque de Caxias: Universidade do Grande Rio “Professor José de Souza Herdy” - UNIGRANRIO, Caderno digital disponível em:

por pesquisadores da área de representações sociais. É o mesmo tipo de análise processada pelo software Similitude, que possibilita identificar as coocorrências entre os elementos e seu resultado traz indicações da conexidade entre as palavras, auxiliando na identificação da estrutura de um corpus textual. Permite também identificar as partes comuns e as especificidades do vocabulário em função das variáveis descritivas identificadas na análise (Marchand & Ratinaud, 2012). V) Nuvem de palavras – Agrupa as palavras e as organiza graficamente em função da sua frequência. É uma análise lexical mais simples, porém graficamente interessante, pois possibilita rápida identificação das palavras-chave de um corpus.

Para instalar o software IRAMUTEQ gratuitamente é necessário fazer primeiramente o download do software R em www.r-project.org e instalá-lo; e em seguida fazer o download do software IRAMUTEQ em www.iramuteq.org, e também instalá-lo. É necessário que antes de instalar o IRAMUTEQ se instale o R, pois o IRAMUTEQ se utilizará do software R para processar suas análises estatísticas. Estão disponíveis no site www.iramuteq.org/documentation tutoriais em língua francesa (Baril & Garnier, 2013; Loubère & Ratinaud, 2014) e portuguesa (Camargo & Justo, 2013b), os quais ilustram passo a passo as etapas para montar um corpus e realizar as análises textuais com o IRAMUTEQ. O IRAMUTEQ apresenta rigor estatístico e permite aos pesquisadores utilizarem diferentes recursos técnicos de análise lexical. Além disso, sua interface é simples e facilmente compreensível, e, sobretudo seu acesso é gratuito e é do tipo open source. Por estas características acredita-se que o mesmo possa trazer contribuições ao campo de estudo das ciências humanas e em especial à área da educação. Com o auxílio desse programa informático se pode utilizar das análises lexicais, sem que se perca o contexto em que as palavras aparecem, tornando possível integrar níveis quantitativos e qualitativos na análise, trazendo maior objetividade e avanços às interpretações dos dados de texto. Entretanto ressalta-se que o IRAMUTEQ, assim como todos os demais

¹ Justo, A. M. & Camargo, B. V. (2014). Estudos qualitativos e o uso de softwares para análises lexicais. Em: Novikoff, C.; Santos, S. R. M. & Mithidieri, O. B.(Orgs.) Caderno de artigos: X SIAT & II Serpro (2014: Duque de Caxias, RJ) (p. 37-54). Duque de Caxias: Universidade do Grande Rio “Professor José de Souza Herdy” - UNIGRANRIO, Caderno digital disponível em:

softwares que envolvem análises lexicais pode ser muito útil se acompanhado de um estudo sobre o significado e forma adequada de empregar as diversas técnicas de análise, além de um bom domínio do estado da arte que envolve o tema específico de cada pesquisa.

5. Algumas considerações sobre o uso de software para análise de textos

As análises lexicais com auxílio de softwares são recomendadas e podem ser muito produtivas aos estudos que envolvem representações sociais (Lahlou, 2012) - e este aproveitamento se estende igualmente para outros estudos que têm materiais verbais como dados principais. Elas adaptam-se a grandes montantes de dados, com aporte social e com grandes números de participantes. Vale lembrar que o uso de recursos informáticos e estatísticos na análise de textos não tem o intuito de dar à pesquisa qualitativa um enfoque puramente quantitativo, mas visa potencializar seu alcance. O uso dos softwares de análise lexical permite analisar bancos de dados maiores e de maior complexidade, ao mesmo tempo que pode fornecer maior detalhameno aos pesquisadores no momento de explorar, descrever e comparar os dados. Contudo, destaca-se que os programas informáticos não passam de ferramentas, e as decisões do pesquisador são imprescindíveis em todas as etapas da análise.

Assim, embora as análises lexicográficas forneçam evidências

numéricas que dão suporte à interpretação dos dados, o pesquisador interfere em diversas etapas do processo analítico e há que se ter cuidado, inclusive para que as representações do pesquisador não se sobreponham à leitura que o mesmo faz dos dados (Lahlou, 2012).

Além disso, a análise produzida é inseparável das condições de

produção dos dados e do conjunto de escolhas operadas pelo pesquisador ao longo de todas as etapas do estudo (Brugidou et al, 2000). Apesar de apresentar vantagens aos estudos qualitativos, o uso de softwares para análise de textos tem sido alvo de algumas críticas. Chartier e Meunier (2011) apontam que o uso de programas informáticos, ao facilitar o processamento de grandes volumes ou número de textos, acaba possibilitando ao pesquisador negligenciar seu papel na

¹ Justo, A. M. & Camargo, B. V. (2014). Estudos qualitativos e o uso de softwares para análises lexicais. Em: Novikoff, C.; Santos, S. R. M. & Mithidieri, O. B.(Orgs.) Caderno de artigos: X SIAT & II Serpro (2014: Duque de Caxias, RJ) (p. 37-54). Duque de Caxias: Universidade do Grande Rio “Professor José de Souza Herdy” - UNIGRANRIO, Caderno digital disponível em:

análise dos dados textuais. Nestes casos ocorre certo esvaziamento das relações do material textual com o contexto, além de descrições mecânicas do conteúdo estudado. Salienta-se o quanto é importante ao analisar material verbal considerar também o que não é explicitamente expresso. Muitas vezes a linguagem expressiva não é capaz de evidenciar algumas ideias ou opiniões acerca de um objeto, seja por dificuldades de expressão ou por tratar-se de algo politicamente incorreto, fora dos padrões de desejabilidade social. Entretanto, essas ausências fazem parte dos dados, e apenas o conhecimento externo do pesquisador acerca do tema é que possibilita a interpretação dos dados. Isso significa que o conhecimento que o pesquisador tem acerca dos dados, da linguagem, do tema de pesquisa e do software é capaz de ampliar ou limitar a realização da análise (Lahlou 2012). Lahlou (2012) aponta mais um equívoco bastante comum quando se processa análises textuais com auxílio informático. Segundo o autor, em muitos casos confundese o software utilizado com um método, confusão presente em uma série de publicações que envolviam o uso do ALCESTE. O mesmo autor aponta ainda que por alguns anos houve carência de publicações em língua inglesa sobre as análises envolvendo estatísticas textuais; sendo a maior parte delas publicadas exclusivamente em língua francesa, portanto de difícil acesso a grande parte dos pesquisadores. No Brasil pode-se observar fenômeno similar. Há poucas de referências em língua portuguesa e a isso se soma o “fascínio” que os softwares de análise textual exercem nos pesquisadores e a grande agilidade no tratamento dos textos. Como resultado observa-se inúmeras publicações que citam o próprio software como se fosse a técnica de análise dos dados, e algumas vezes como se fosse o próprio método da pesquisa. Observa-se também que há trabalhos que restringem a análise dos dados às informações presentes nos outputs dos softwares, o que está o aquém do exercício necessário ao pesquisador. Este exercício requer no mínimo que se explore o material de texto e interprete os resultados apresentados pelo software, criando uma nova forma de apresentação dos dados que tenha passado pela leitura analítica do pesquisador e que leve em consideração inclusive aqueles dados que não foram diretamente ilustrados pelo processamento informático.

¹ Justo, A. M. & Camargo, B. V. (2014). Estudos qualitativos e o uso de softwares para análises lexicais. Em: Novikoff, C.; Santos, S. R. M. & Mithidieri, O. B.(Orgs.) Caderno de artigos: X SIAT & II Serpro (2014: Duque de Caxias, RJ) (p. 37-54). Duque de Caxias: Universidade do Grande Rio “Professor José de Souza Herdy” - UNIGRANRIO, Caderno digital disponível em:

Assim como um software não é um método, seus outputs não são, em si, a análise dos dados (Lahlou, 2012). Os gráficos em si não dizem nada à priori, e só podem ser compreendidos em termos de seu conteúdo, a partir de uma compreensão analítica do pesquisador. Reitera-se as afirmações de Chartier e Meunier (2011) e de Lahlou (2012) de que além do manejo do software é importante que os pesquisadores conheçam as técnicas de processamento dos dados empregadas, a forma de recuperação dos materiais analisados e o método de pesquisa empregado no estudo que utiliza destes recursos. Os softwares são instrumentos, ferramentas utilizadas para facilitar a exploração dos dados tornando-a mais transparente e fidedigna. Mas não são eles os responsáveis pela análise de dados. O objetivo é realizar análise de dados qualitativos e, portanto, não se pode esquecer que o foco das análises é sempre o sentido que as palavras adquirem no seu contexto. A apreensão desse sentido requer a interpretação fundamentada e contextualizada do pesquisador, a qual se inicia no momento da transcrição das informações durante a construção banco de dados e acompanhará todas as etapas subsequentes de qualquer análise lexical.

Referências André, M. (2001). Pesquisa em educação: buscando rigor e qualidade. Cadernos de Pesquisa, 113, 51-64. Bardin, L. (2009). Análise de Conteúdo: edição revista e actualizada. Lisboa: Edições 70. Baril, E. & Garnier, B. (2013). IRaMuteQ 0.6: Interface de R pour les Analyses Multidimensionnelles de Textes et de Questionnaires. Institut National d’Etudes Démographiques. Disponível em: http://www.iramuteq.org/documentation/fichiers/Pas%20a%20Pas%20IRAMUTEQ_0. 6.pdf Bauer, M. B.; Gaskell, G. &Allum, N. C. (2013). Qualidade, quantidade e interesses do conhecimento – Evitando confusões. In: M. Bauer & G. Gaskell (orgs.) ¹ Justo, A. M. & Camargo, B. V. (2014). Estudos qualitativos e o uso de softwares para análises lexicais. Em: Novikoff, C.; Santos, S. R. M. & Mithidieri, O. B.(Orgs.) Caderno de artigos: X SIAT & II Serpro (2014: Duque de Caxias, RJ) (p. 37-54). Duque de Caxias: Universidade do Grande Rio “Professor José de Souza Herdy” - UNIGRANRIO, Caderno digital disponível em:

Pesquisa qualitativa com texto, imagem e som: um manual prático (pp. 17-36). Petrópolis: Vozes. Berger, P. L. & Luckmann, T. (2011). A construção social da realidade: Tratado de sociologia do conhecimento. Petrópolis: Vozes. Brugidou, M. et al. (2000). Les facteurs de choix et d’utilisation de logiciels d’Analyse de Données Textuelles. JADT 2000 : 5es Journées Internationales d’Analyse Statistique des Données Textuelles. Camargo, B. V. (2005). ALCESTE: Um programa informático de análise quantitativa de dados textuais. In Moreira, A. S. P.; Camargo, B. V.; Jesuíno, J. C.; Nóbrega, S. M. (Eds.) Perspectivas teórico-metodológicas em representações sociais (pp. 511-539). João Pessoa: Editora da UFPB. Camargo, B. V. & Justo, A. M. (2013a). IRAMUTEQ: Um software gratuito para análise de dados textuais. Temas em Psicologia, 21 (2). Camargo, B. V. & Justo, A. M. (2013b). Tutorial para uso do software de análise textual IRAMUTEQ. Laboratório de Psicologia Social da Comunicação e Cognição,

Universidade

Federal

de

Santa

Catarina.

Disponível

em:

http://www.iramuteq.org/documentation/fichiers/tutoriel-en-portugais Cibois, P. (1990). L'analyse des données en sociologie. Paris: P.U.F. Chartier, J-F.; Meunier, J-G. (2011). Text Mining Methods for Social Representation Analysis in Large Corpora. Papers on Social Representations, 20 (37), 1-47 Cros, M. (1993). Les apports de la linguistique: langage des jeunes et sida. In ANRS (Agence Nationale de Recherche sur le Sida). Les jeunes face au Sida: de la recherche à l'action (pp. 50-61). Paris: ANRS. Gibbs, G. (2009). Análise de dados qualitativos. Porto Alegre: Artmed. IMAGE (2009). Alceste 2009: Um logiciel d’analyse de données textuelles (Manuel d’utilisateur). Toulouse: Sociétè Image.

¹ Justo, A. M. & Camargo, B. V. (2014). Estudos qualitativos e o uso de softwares para análises lexicais. Em: Novikoff, C.; Santos, S. R. M. & Mithidieri, O. B.(Orgs.) Caderno de artigos: X SIAT & II Serpro (2014: Duque de Caxias, RJ) (p. 37-54). Duque de Caxias: Universidade do Grande Rio “Professor José de Souza Herdy” - UNIGRANRIO, Caderno digital disponível em:

Kelle, U. (2013). Análise com auxílio de computador. In: M. Bauer & G. Gaskell (orgs.) Pesquisa qualitativa com texto, imagem e som: um manual prático (pp. 393-415). Petrópolis: Vozes. Kronenberg, N. & Wagner, W. (2013). Palavras-chave em contexto: análise estatística de textos. In: M. Bauer & G. Gaskell (orgs.) Pesquisa qualitativa com texto, imagem e som: um manual prático (pp. 416-442). Petrópolis: Vozes. Lahlou, S. (1994). L’analyse lexicale. Variances (3), 13-24. Lahlou, S. (2012). Text Mining Methods: An answer to Chartier and Meunier. Papers on Social Representations, 20 (38), 1.-7. Lebart, L. & Salem, A. (1994). Statistique textuelle. Paris: DUNOP. Loubère, L. & Ratinaud, P. (2014). Documentation IRaMuTeQ 0.6 alpha 3 version 0.1. Disponível

em:

http://www.iramuteq.org/documentation/fichiers/documentation_19_02_2014.p df Marchand, P.; P. Ratinaud. (2012). L'analyse de similitude appliqueé aux corpus textueles: les primaires socialistes pour l'election présidentielle française. Em: Actes des 11eme Journées internationales d’Analyse statistique des Données Textuelles. JADT 2012. (687–699). Presented at the 11eme Journées internationales d’Analyse statistique des Données Textuelles. JADT 2012., Liège, Belgique. Nascimento-Schulze, C. M.; Camargo, B. V. (2000). Psicologia social, representações sociais e métodos. Temas de psicologia. Ribeirão Preto, 8 (3), 287-299. Oliveira, E.; Ens, R. T.; Andrade, D. B. S. F. & Mussis, C. R. (2003). Análise de conteúdo e pesquisa na área da educação. Diálogo Educacional, 4(9), 1-17. Oliveira, D. C., Marques, S. C., Gomes, A. M. T., Teixeira, M. C. T. V. (2005). Análise das Evocações Livres: uma técnica de análise estrutural das representações sociais. In A. S. P. Moreira, B. V. Camargo, J. C. Jesuíno, & S. M. Nóbrega

¹ Justo, A. M. & Camargo, B. V. (2014). Estudos qualitativos e o uso de softwares para análises lexicais. Em: Novikoff, C.; Santos, S. R. M. & Mithidieri, O. B.(Orgs.) Caderno de artigos: X SIAT & II Serpro (2014: Duque de Caxias, RJ) (p. 37-54). Duque de Caxias: Universidade do Grande Rio “Professor José de Souza Herdy” - UNIGRANRIO, Caderno digital disponível em:

(Org.), Perspectivas teórico-metodológicas em representações sociais (pp. 573603). João Pessoa: Editora da Universidade Federal da Paraíba. Ratinaud, P., & Marchand, P. (2012). Application de la méthode ALCESTE à de “gros” corpus et stabilité des “mondes lexicaux” : analyse du “CableGate” avec IraMuTeQ. Em: Actes des 11eme Journées internationales d’Analyse statistique des Données Textuelles (835–844). Presented at the 11eme Journées internationales d’Analyse statistique des Données Textuelles. JADT 2012, Liège. Reinert, M. (1990). ALCESTE, une méthodologie d'analyse des données textuelles et une application: Aurélia de G. de Nerval. Bulletin de méthodologie sociologique, (28) 24-54. Reis, A.O. A. et al. (2013). Algumas considerações sobre pesquisa de natureza qualitativa. Em: A. O. A. Reis, V. Sarubbi Junior, M. M. Berolino Neto & M. L. R. Neto (orgs). Tecnologias computacionais para auxílio em pesquisa qualitativa: Software evoc (p.13-31). São Paulo: Schoba. SPAD (2008). Guide de l’utilisateur. Courvoie: Coheris SPAD. Veloz, M.C.T.; Nascimento-Schulze, C.M.; Camargo, B.V. (1999). Representações sociais do envelhecimento. Psicologia: Reflexão e Crítica, 12 (2), 479-501. Vergès, P. (2001). L’analyse des donnéespar les graphes de similitude. Sciences Humaines, Juin 2001. Vergès, P., Scano, S., & Junique, C. (2002). Ensembles de programmes permettant l’analyse des evocations: Manuel. Aix-en-Provence: Université d’Aix em Provence.

¹ Justo, A. M. & Camargo, B. V. (2014). Estudos qualitativos e o uso de softwares para análises lexicais. Em: Novikoff, C.; Santos, S. R. M. & Mithidieri, O. B.(Orgs.) Caderno de artigos: X SIAT & II Serpro (2014: Duque de Caxias, RJ) (p. 37-54). Duque de Caxias: Universidade do Grande Rio “Professor José de Souza Herdy” - UNIGRANRIO, Caderno digital disponível em: