Tradução automática: histórico e perspectivas

Tradução automática: histórico e perspectivas 1. Introdução

A ciência conhecida como linguística computacional surgiu no final da década de 1940, a reboque dos primeiros computadores, como forma de se estudar a linguagem por meio de processamento de dados. Desde então, a área testemunho u o surgimento

de novas abordagens para o estudo da língua e também o

desenvolvimento de vários sistemas para processamento da linguagem natural. Neste trabalho, traçamos um breve histórico da área, perpassando suas várias fases, tomando por base a divisão proposta por Sparck Jones (1994): fase 1, do fim da década de 1940 ao fim da década de 1960; fase 2, até o fim da década de 1970; fase 3, até o fim da década de 1980; fase 4, anos 1990. O foco de nossa abordagem será a tradução automática no contexto da linguística computacional e, especificame nte, o estado atual da TA em vista do grande desenvolvimento tecnológico das últimas duas décadas.

2. Histórico

Fase 1: a tradução automática como objetivo Sparck Jones e outros autores consideram como “certidão de nascimento” da linguística computacional o memorando Translation, publicado pelo matemático Warren Weaver em 1949. Nesse texto, Weaver analisa diversos aspectos relacionados à possibilidade de fazer “tradução por meio do uso de computadores eletrônicos de grande capacidade, flexibilidade e velocidade” (Weaver, 1949: 1), discutindo estratégias linguísticas, estatísticas e computacionais para a tradução automática de textos. Ao discorrer sobre o período inicial das pesquisas em PLN, Martin Kay (2003) reconhece duas grandes motivações dos estudiosos: uma teórica, que

acreditava que os avanços em sistemas de computação teriam como frutos “importantes avanços na teoria linguística”, outra prática, cujo objetivo era criar uma tecnologia

baseada em preceitos científicos

que pudesse atender às

necessidades específicas de processos de “tradução, extração de informações, sumarização, verificação gramatical, entre outros”. Sparck Jones (1994) observa, em revisão histórica da disciplina, que a principal linha de trabalho da primeira fase da LC começa com a “tradução como pesquisa, com processamento palavra-porpalavra baseado em dicionários” e tentativas de resolver ambiguidades semânticas e sintáticas, entre outras tarefas. Entretanto, havia um descompasso entre a magnitude dos desafios práticos enfrentados pelos pioneiros da TA, que, para Sparck Jones, usavam uma nova ferramenta, os computadores, “com o objetivo de processar dados não-numér icos quando o próprio processamento de dados ainda não estava bem estabelecido”, e as expectativas geradas para o processamento de linguagem natural. O pressuposto geral era de que havia uma lógica inerente à linguagem humana, considerada um sistema formal passível de ser processado automaticamente. Faltava, apenas, na visão corrente à época, “traduzir” matematicamente o processo da linguagem. Nos Estados Unidos, tanto o governo quanto empresas privadas investira m muitos recursos no desenvolvimento

da tradução automática. Os cientistas

envolvidos no projeto IBM-Georgetown, de 1954, que traduziu automaticame nte mais de sessenta sentenças do russo para o inglês, acreditavam que “o problema da tradução automática estaria solucionado em três ou cinco anos” (Hutchins, 20051 ). A impossibilidade de cumprir metas como essa acabou por criar uma sensação generalizada de que a tradução automática “não estava à altura dos desafios apresentados pela tecnologia”, (Kay, 2003). Insatisfação refletida no relatório de 1966 da ALPAC – Comitê consultivo em processamento automático de lingua ge m do governo dos Estados Unidos –, que concluiu que a TA ainda estava muito distante de ser uma possibilidade real, embora recomendasse a manutenção do apoio à linguística computacional. O resultado foi uma queda vertiginosa nos investimentos em pesquisa, o que praticamente interrompeu os estudos com tradução automática.

1

Hutchins, J. (2005). "The history of machine translation in a nutshell" .

2

Fase 2: foco na inteligência artificial Com o corte de fundos, teve início uma nova fase nas pesquisas voltadas para a linguística computacional, voltada para os sistemas de inteligência artificial (IA), com “muito mais ênfase no conhecimento do mundo e seu papel na construção e manipulação da representação de sentido” (Sparck Jones, 2001: 4). Logo, o interesse maior é na construção e manipulação de grandes bases de conhecime nto para compreender como a linguagem representa esse conhecimento. A ideia de um conhecimento

puro ensejou a expectativa de se criar sistemas gerais de

processamento da linguagem, que pudessem se adaptar com sucesso a distintos idiomas, campos de conhecimento ou demandas. Podemos citar como exemplos deste posicionamento teórico as tentativas de “programar as gramáticas transformacionais de Chomsky para analisar sentenças” (Wilks, 2014). Este tipo de sistema se baseava em ferramentas de conhecime nto profundo, como gramáticas internas, analisadores linguísticos ou processadores lógicos para fazer o processamento da linguagem natural. Entretanto, apesar de todos esforços de modelagem lógica da linguagem, os sistemas conseguiam analisar muito pouco “além das sentenças para as quais haviam sido projetados” (idem). Aos sistemas de conhecimento profundo se contrapunham os chamados “toy systems”, que faziam a correspondência a partir de padrões superficiais, sem qualquer tipo de análise linguística. O objetivo era modelar situações específicas, com base em padrões e em uma linguagem procedural que permitisse a interação entre o sistema e seres humanos. Esses sistemas viriam a se tornar a tecnologia hoje conhecida

como

extração

de informações,

que “extrai

automaticame nte

informações estruturadas de documentos não-estruturados ou apenas parcialme nte estruturados”2 .

Fase 3: gramáticas, dicionários eletrônicos, corpora Já estava claro, no início da década de 1980, que era “muito mais difíc il projetar sistemas robustos para processamento de linguagem natural [...] do que se acreditava” (Sparck Jones, 2001: 6). Uma nova tendência, de base gramáticológica, levou ao desenvolvimento de vários tipos de gramáticas, como por exemplo,

2

Em: https://en.wikipedia.org/wiki/Information_extraction. Acesso em 15/12/2016.

3

funcionais e categoriais, orientadas pelo princípio de computabilidade, que seriam usadas como base em algoritmos de análise. Sparck Jones identifica também uma renovação nos trabalhos dedicados à tradução automática no período, especialmente na Europa e no Japão, “geralme nte com ênfase em aplicações específicas” (2001: 7), enquanto Wilks (2014) destaca que vários estudos se dedicaram à extração de sentido em larga escala a partir de dicionários em formato eletrônico, notadamente aqueles voltados para estudantes do inglês como segunda língua, que têm definições mais explícitas do que dicionários monolíngues tradicionais. Os bancos de dados de definições criados a partir desses dicionários servem até hoje como referência, ao lado de tesauros, para sistemas de resolução de ambiguidade de sentido. O incremento

do volume

de dados disponíveis

e a capacidade de

processamento dos computadores na segunda metade dos anos 1980 permitiu a compilação de corpora anotados manualmente, como o Penn Tree Bank, e a criação de sistemas de anotação computadorizada. “Um curioso efeito de tudo isso foi trazer os programas, antes considerados como algo sem conexão direta com textos, para o espaço de objetos que são, em si, textos anotados” (Wilks, 2014).

Fase 4: estatística, aprendizado de máquina, avaliação Para Sparck Jones, o ramo mais impressionante da linguística computacio na l na década de 1990 foi o processamento estatístico da linguagem. A união entre a análise de dados para classificação semântica e a “aplicação direta de métodos estatísticos à PLN para análise probabilística” (2001: 8) permitiu o aprendizado de máquina a partir dados extraídos de corpora. O computador não se baseia em uma estrutura modelada para resolver um problema específico, mas extrai informações de dados de forma a lidar com situações imprevistas, aprendendo por meio de exemplos e tentativa e erro. Wilks (2001) descreve a relevância do trabalho de Jelinek e equipe na IBM no desenvolvimento de um programa de tradução automática aliado ao aprendizado de máquina. Para tanto, valeu-se de corpora paralelos, como o Hansard canadense em inglês e francês, para emular a habilidade humana de tradução. Neste caso, o material de treinamento para a máquina não foi produzido especificamente para a tarefa; pelo contrário, são textos de linguagem natural. O objetivo é que o sistema

4

tivesse “capacidade para aprender sem ser especificamente programado 3 ” para isso. A crescente capacidade de processamento de dados possibilitou uma ampla gama de abordagens para o aprendizado de máquina, tais como aprendizado baseado em exemplos e regras, entre outras. No caso da tradução automática, o processo básico de aprendizado baseado em exemplos

significa

alimentar

o sistema com exemplos

de uso para

reconhecimento de padrões que o programa tentará reconhecer ao realizar a operação de tradução. Esses exemplos são, basicamente, obtidos de corpora paralelos, que podem ser ou não traduções. No caso do aprendizado baseado em regras, o programa é alimentado com uma série de regras para dar conta de “ambiguidades lexicais e estruturais, seja no âmbito de uma língua específica (...) ou entre línguas” (Hutchins, 2003: 505). Essas regras podem ser de natureza lexical, gramatical ou relativas à tradução. A fase 4 se caracteriza também pela ênfase na aplicação, ou seja, no uso das ferramentas para objetivos práticos, como analisadores superficiais, que fazem análise semântica sem a necessidade de uma análise sintática profunda, e pelo interesse no desenvolvimento de recursos para processar grandes volumes de texto disponíveis na rede mundial de computadores. Outra tendência importante do período foi o desenvolvimento da avaliação de sistemas em termos, por exemplo, de robustez e facilidade de personalização. O interesse em avaliação estava “associado ao aumento do interesse na criação e oferta de recursos linguísticos como o British National Corpus e o WordNet” (idem) e abrange a avaliação de tecnologias e sistemas, dos dados produzidos por esses sistemas, da interface com o usuário, e também o desenvolvimento de critérios qualitativos e quantitativos de avaliação e métricas de análise.

3. Tradução automática

Estado atual

A comunicação em nível global, surgida a reboque da disseminação da internet nas últimas décadas, gerou uma crescente necessidade de gerar conteúdo

3

https://en.wikipedia.org/wiki/Machine_learning. Acesso em: 16/12/2016.

5

multilíngue e renovou o interesse na tradução automática. Embora a qualidade da tradução gerada por máquina ainda não se equipare ao produto do trabalho de um tradutor humano, a tradução automática já vem sendo consistentemente usada como ferramenta auxiliar ao tradutor humano, em processos de pós-edição, além de ocupar espaços em que a tradução humana não seria viável, seja por motivos econômicos, de tempo ou de outra natureza, como veremos adiante. De fato, nos últimos anos, a TA se tornou um produto de grande interesse comercial pela capacidade de gerar economia em processos tradutórios tradiciona is e, mais ainda, por seu custo zero em aplicações destinadas a usuários finais, como a tradução automática do conteúdo de sites ou o reconhecimento de caracteres ópticos via câmera de celular seguido por tradução automática de elementos do mundo real, como placas de sinalização 4 . Barreiro destaca que as décadas de esforço de pesquisa e desenvolvimento de aplicações voltadas para a TA permitiram a invenção e o aperfeiçoamento de métodos estatísticos para o “desenvolvimento de ferramentas e de recursos linguísticos de melhor qualidade” (2015: 207). A tendência mais recente aponta para a combinação de diversos tipos de sistemas de TA para melhoria da qualidade da tradução, “na medida em que sistemas de natureza diferente abordam desafios de tradução diferentes, completando-se na resposta às dificuldades” (idem).

Sistemas de TA Distintos sistemas foram desenvolvidos para abordar a TA nas última s décadas. Os mais relevantes são os sistemas baseados em regras (RBMT) e em estatística (SBMT). Os sistemas RBMT usam uma série de regras linguísticas para converter os segmentos de texto em representações abstratas da língua- fonte e, em seguida, gerar representações abstratas da língua-alvo que, por fim, vão gerar o texto alvo. A desvantagem deste tipo de sistema é a impossibilidade de se valer de exemplos de uso da língua no processo de tradução, como corpora bilíngues e monolíngues. A única forma de se aprimorar os resultados produzidos seria “criar e atualizar manualmente as regras de transferência do sistema” (Leal et al, 2014: 3) com base em regras lexicais, sintáticas e semânticas.

4

Em: https://en.wikipedia.org/wiki/Word_Lens . Acesso em 17/01/2017.

6

Os sistemas SBMT, por sua vez, não se valem de regras, mas sim da análise estatística de corpora bilíngues, monolíngues e paralelos. O funcionamento é baseado no cálculo da probabilidade de que determinada palavra do texto fonte seja traduzida por outra do texto alvo. O sistema analisa, por exemplo, as possíveis combinações de, por exemplo, três palavras (3-grams), comparando-as ao corpus da língua-alvo. “O modelo calcula a probabilidade de cada uma das traduções possíveis com base na análise estatística do corpus da língua-alvo” (Depraetere, 2012: 102). Por não se basear em regras linguísticas, o desempenho do sistema está diretamente ligado ao volume e à qualidade dos dados linguísticos disponíveis nos corpora. Para superar as dificuldades dos sistemas baseados em regras e em estatística, muitos pesquisadores vêm trabalhando no desenvolvimento de sistemas híbridos, que combinam as regras de análise e a aquisição de conhecimento típicas dos sistemas RBMT aos métodos estatísticos dos sistemas SBMT. Entretanto, apesar da maior qualidade dos resultados obtidos pelos sistemas híbridos, a tradução automática, via de regra, ainda necessita da intervenção humana para garantir a qualidade final de textos para publicação, isto é, que exijam uma qualidade profissional em termos gramaticais, de estilo e de adequação das informações traduzidas. Este processo, conhecido como pós-edição, já é explorado comercialme nte por várias agências de tradução, por conta dos menores custos envolvidos e do menor tempo demandado no processo de se gerar um texto traduzido. Em um estudo controlado de produtividade e qualidade de pós edição, Green et al (2013) demonstraram que os resultados fornecidos por sistemas de tradução automática impactaram positivamente a qualidade e o tempo gasto para tradução. Embora os tradutores contratados tenham demonstrado, de início, contrariedade em relação a traduções prévias feitas por máquinas, ao final do experimento, 56% consideraram úteis as sugestões de TA exibidas na interface criada para o projeto. Barreiro (2015) apresenta também uma estratégia de pré-edição que está começando a ser usada para aprimorar a qualidade de traduções automáticas: o parafraseamento do texto da língua- fonte. A autora apresenta, em seu estudo, uma estratégia de paráfrase baseada em construções com verbos-suporte. “Por exemplo, a construção com verbo-suporte Fazer uma apresentação (de) é morfossintática e semanticamente equivalente ao verbo apresentar” (2015: 211). No estudo, a

7

construção de paráfrases semelhantes a esta “foi formalizada em dicionários e gramáticas desenvolvidos no ambiente linguístico NooJ e utilizados em várias tarefas de processamento de língua natural”. O artigo relata um aumento de 31% na qualidade dos resultados de tradução automática do inglês para o português avaliados e de 21% do português para o inglês. Barreiro defende, por fim, que o desenvolvimento de sistemas que reconheça construções com verbos-suporte e outras unidades lexicais multipalavra seria de grande benefício para o desenvolvimento de sistemas de tradução automática mais eficientes, e afirma que o envolvimento de tradutores humanos especializados será determinante neste processo.

Avaliação em TA Além da pós e da pré-edição, uma tarefa de grande importância para a tradução automática é a avaliação. Vários estudos recentes discutem técnicas de avaliação e como podem impactar o projeto de sistemas de tradução automática. Depraetere (2012) apresenta técnicas de avaliação por tradutores humanos e por máquinas para classificar a produção de sistemas RBMT e SMT. Para a avaliação humana, foram considerados dois aspectos: 1) adequação, ou seja, se todas as informações do texto fonte foram mantidas no texto alvo e 2) fluência, se o texto final parecia ter sido escrito por um nativo do idioma. A métrica de avaliação adotada foi a da DARPA — Agência de Projetos em Pesquisa Avançada da Defesa dos EUA, que prevê pontuação de um a cinco para o sentido do texto, sendo que a maior nota significa que todo o sentido original aparece na tradução, e a menor, que nada do sentido original aparece na tradução. No caso da fluência, a escala vai de um (muito ruim) a cinco (excelente). Depraetere também cita uma avaliação comum no mercado de tradução que une os conceitos de fluência e adequação em uma só métrica de com quatro escalas, de ruim a excelente. A métrica prevê que o revisor leia a tradução, depois o texto original, e avalie se a leitura do segundo melhorou a compreensão do texto ou não. A pontuação máxima (excelente) significa que a TA transmitiu as informações necessárias, mesmo que precise de ajustes de estilo. A segunda nota (bom) signif ica que houve necessidade de correções gramaticais, que puderam ser feitas sem necessidade de consulta ao texto original. A terceira e a quarta notas (mediano e ruim) estão ligadas ao entendimento

do texto. Na avaliação

mediana, o

8

entendimento é melhorado após a leitura do original, na avaliação ruim, só é possível entender o texto após a leitura do texto fonte. Depraetere comprovou em números que a customização das ferramentas de MT — seja pela compilação e inclusão de dicionários ou de treinamento de máquina pela adição de novos corpora bilíngues — aprimora consideravelmente a qualidade do produto final de TA. Ambas são tarefas que necessitam de intervenção humana para ser realizadas a contento. A autora alerta, no entanto, que a avaliação humana de TA em um contexto comercial é muito cara, pois exige corpora de tamanho considerável e vários profissionais “para obter resultados de avaliação confiáveis e refletir um julgamento objetivo” (2012: 113). As limitações econômicas da avaliação humana ensejaram a criação de sistemas de avaliação automatizada de TA, baseadas na premissa de que, quanto mais próxima da tradução humana for a TA, melhor ela será. Um dos sistemas de pontuação mais utilizados da indústria é o BLEU, uma métrica estatística que calcula o número de co-ocorrências de palavras entre o resultado da tradução automática e uma referência de tradução da alta qualidade. Depraetere alerta, porém, que avaliações

automatizadas

são mais

úteis

nos processos de

desenvolvimento das ferramentas de TA, porque seus resultados são difíceis de se interpretar em termos práticos, embora sejam bastante claros para desenvolvedores. Em seu estudo, Green et al (2013) também mencionam processos automatizados

de avaliação,

baseados na prática dos tradutores humanos

contratados para revisar o texto produzido pelo Google Tradutor. Os autores criaram uma interface online a ser usada pelos tradutores para edição da tradução, e criaram limites de tempo para conclusão da tarefa e também para ociosidade — nenhum tradutor poderia ficar mais de três minutos sem fazer nada, ou o documento seria automaticamente enviado de volta para os responsáveis pelo estudo. O uso do teclado e do mouse e a navegação pela internet, por exemplo, foram registrados. O tempo de digitação e o período em que os tradutores mantinham o cursor sobre cada palavra serviram para marcar os momentos de reflexão antes da tradução, de escrita da primeira versão do texto traduzido e, por fim, da revisão. O objetivo eram perceber como esses três momentos distintos ocorriam na pós-edição, já que são divididos muito claramente no processo normal de tradução. O estudo percebeu que, na pós-edição, os três processos se alternam muito mais. Além disso, com base nos movimentos de mouse, foi possível perceber quais termos

9

demandavam maior atenção e reflexão de cada tradutor, o que permitiu avaliar, gramaticalmente, quais classes de palavras requerem maior atenção dos sistemas de tradução automática.

4. Conclusão

Os sistemas de tradução automática já são uma realidade no dia-a-dia da tradução em todo o mundo. E o uso de TA em projetos de tradução é um caminho sem volta, por mais que muitos tradutores ainda se neguem a reconhecer este fato. Um discurso muito comum na área é a de que, um dia, as máquinas (isto é, a tradução automática) vão tomar o lugar dos tradutores humanos no mercado. A verdade é que, como vimos nos exemplos de diversos autores, o mercado sempre terá lugar para humanos, seja na tradução propriamente dita, seja na pré ou pósedição de sistemas de TA, seja no desenvolvimento de novas abordagens para o aprimoramento desses sistemas. Assim, o que há, de fato, é uma reorientação do mercado de tradução em torno das novas tecnologias, e existem nichos ocupados pela TA que simplesmente não seriam ocupados por tradutores de carne e osso. Silvio Picinini, responsável pelo departamento de conteúdo gerado pelo usuário do eBay, publicou um texto no blog eMpTy Pages5 , de Kirti Vashee, especializado em TA. Em sua postagem, Picinini conta que usuários do eBay geram milhões de títulos e descrições para produtos anunciados no site todos os dias. São textos que precisam ser traduzidos para que usuários que falam outros idiomas possam adquirir produtos. E argumenta que contratar profissionais para traduzir esse volume de texto em um curto espaço de tempo seria economicame nte inviável para qualquer empresa, até mesmo um gigante do setor de vendas. Logo, é uma tarefa que simplesmente jamais seria realizada por tradutores humanos, mas que pode perfeitamente ser produzida por sistemas de tradução automática aprimorados por tradutores humanos. E como o eBay, muitas empresas de alcance mundial se valem da TA para produzir conteúdo multilíngue, como Amazon, Airbnb, Google e Microsoft, para citar apenas algumas. É preciso ressaltar que apenas uma parte do conteúdo gerado 5

Em: http://kv-emptypages.blogspot.com.br/2016/07/when-mt-does-not-take-translatorsjobs.html. Acesso em 18/11/2017.

10

por empresas como essas é tradução automática; para outros departamentos, a tradução humana é imprescindível. O interesse comercial pela tradução automática só aumenta, por conta da economia e dos lucros gerados por ela. É fundamental que a comunidade profissional e acadêmica de tradutores se dê conta deste processo e passe a trabalhar pelo desenvolvimento da TA, pois esse é o caminho que leva ao futuro da profissão.

Referências Amazon Mechanical Turk. Em: https://www.mturk.com/mturk/welco me. Acesso em 15/01/17. Barreiro, A. “Tradução automática,

ma non troppo”. In. Linguística,

Informática e Tradução: Mundos que se cruzam. Oslo Studies in Language 7(1), 207–222, 2015. Crouch, R., Gaizauskas, R. J., Netter, K. Interim report of the study group on assessment and evaluation, 2005. Depraetere, I. “A Contrastive Analysis of MT Evaluation Techniques”. In. Depraetere, I. (org.). Text, Translation, Computational Processing [TTCP]: Perspectives on Translation Quality. Berlin/Boston, DE: De Gruyter Mouton, 2012. Dillinger, M. “Introduction”. In: Balling et al (orgs.). Post Editing of Machine Translation: Processes and Applications. Cambridge Scholars Publishing, 2014. Green, S., Heer, J. e Manning, C. The Efficacy of Human Post-Editing for Language Translation. CHI 2013, Paris, França, 2013. Hirschman, L. “The Evolution of evaluation: Lessons from the Message Understanding Conferences”. In. Computer Speech and Language, 12, 281–305, 1998. Hutchins, J. “Machine Translation: General Overview”. In. Mitkov, R. (org.). The Oxford Handbook of Computational Linguistics. Oxford University Press, 2005. Hybrid

machine

translation.

Em:

https://en.wikipedia.org/wik i/

Hybrid_machine_translation. Acesso em 20/12/16. Kay, M. “Introduction”. In. Mitkov, R. (org.). The Oxford Handbook of Computational Linguistics. Oxford University Press, 2005. Leal, M.A. et al. Um estudo comparativo de três técnicas de tradução automática para processamento de textos. Em: http://docplayer.com.br/26613350-

11

Um-estudo-comparativo-de-tres-tecnicas-de-traducao-automatica-paraprocessamento-de-textos.html. Acesso em 16/01/17. Machine Learning.

Em: https://en.wikipedia.org/wiki/Machine_learning.

Acesso em 20/12/16. MAISE (MT). A Flexible, Configurable, Extensible Open Source Package for Mass AI System Evaluation (currently for Machine Translation).

Em:

http://cs.jhu.edu/~ozaidan/maise/. Acesso em 15/01/17. Manning, C., Schutze, H. Foundations of Natural Language Processing. Cambridge, MA: The MIT Press, 1999. Picinini, S. When MT does not Take Translators Jobs. Em: http://kvemptypages.blogspot.com.br/2016/07/when-mt-does-not-take-translatorsjobs.html. Acesso em 17/01/17. Somers, H. “Machine Translation. Latest Developments”. In. Mitkov, R. (org.). The Oxford Handbook of Computational Linguistics. Oxford Univers ity Press, 2005. Sparck Jones, K. “Natural Language processing: a historical review”. Current Issues in Computational Linguistics: in Honour of Don Walker. Amsterdã: Kluwer, 1994, 3-16. Voigt, R., Jurafsky, D. “Towards a Literary Machine Translation: The Role of Referential

Cohesion”.

Em:

http://nlp.stanford.edu/pubs/voigtandjura fsk y

12.pdf. Acesso em 19/12/16. Weaver, W. “Translation”. Rockfeller Foundation, 1949. Wilks, Y. The History of Natural Language Processing and Machine Translation. In: Encyclopedia of Language and Linguistics. Amsterdã: Kluwer, 2005. Word Lens. Em: https://en.wikipedia.org/wiki/Word_Lens.

Acesso em

10/01/17.

12