See discussions, stats, and author profiles for this publication at: https://www.researchgate.net/publication/228735499
Especificação e interpretação de gestos faciais em um agente inteligente e comunicativo ARTICLE
CITATIONS
READS
2
49
4 AUTHORS, INCLUDING: Magalí Longhi
Luciana Nedel
Universidade Federal do Rio Grande do Sul
Universidade Federal do Rio Grande do Sul
13 PUBLICATIONS 9 CITATIONS
144 PUBLICATIONS 763 CITATIONS
SEE PROFILE
SEE PROFILE
Rosa Maria Vicari Universidade Federal do Rio Grande do Sul 259 PUBLICATIONS 942 CITATIONS SEE PROFILE
All in-text references underlined in blue are linked to publications on ResearchGate, letting you access and read them immediately.
Available from: Luciana Nedel Retrieved on: 03 February 2016
Especificação e Interpretação de Gestos Faciais em um Agente Inteligente e Comunicativo Magalí Teresinha Longhi1, Luciana Porcher Nedel2, Rosa Maria Viccari2, Margarete Axt3 1
Centro Nacional de Supercomputação – Universidade Federal do Rio Grande do Sul Av. Osvaldo Aranha, 99 – 90.035-190 – Porto Alegre – RS – Brasil 2
Instituto de Informática – Universidade Federal do Rio Grande do Sul Caixa Postal 15.064 – 91.501-970 – Porto Alegre – RS – Brasil
3
Faculdade de Educação – Universidade Federal do Rio Grande do Sul Caixa Postal 15.064 – 91.501-970 – Porto Alegre – RS – Brasil
[email protected], {nedel,rosa}@inf.ufrgs.br,
[email protected]
Abstract. Studies on autonomous and intelligent agents with recognition and generation of verbal and non-verbal capabilities in a 3D body are recent and can be very important in the Education context. The evaluation of existing systems shows that conversational agents with a convincing graphical representation contribute to the user attachment to the virtual environment proposed tasks. This article presents some studies about Embodied Conversational Agents (ECA) and a development proposal. The agent called Maga Vitta is being developed to inhabit the CIVITAS, an environment conceived to be used by children to allow the interactive construction of virtual cities. Resumo. Estudos sobre agentes autônomos, inteligentes, com capacidade para reconhecer e produzir comunicação verbal e não-verbal, personificados em um corpo 3D ainda são recentes e podem ser importantes no contexto da Educação. As avaliações de aplicações já desenvolvidas mostram que os agentes que possuem as características de conversação e que sejam graficamente convincentes conseguem envolver o usuário nas tarefas propostas no ambiente virtual. Este artigo apresenta estudos e uma proposta de desenvolvimento de um Embodied Conversational Agents (ECA) conhecido por Maga Vitta que habitará o ambiente CIVITAS na construção de cidades virtuais visando interagir com alunos do Ensino Fundamental.
1. Introdução A tecnologia digital está propiciando a fabricação de sistemas e organismos sintéticos com capacidade adaptativa e vida autônoma. São exemplos de indivíduos criados sinteticamente: os robôs de novo tipo (Aibo da Sony – robô cachorrinho e Asimo da Honda - robô humanóide), as interfaces bióticas que tentam reconhecer os sentidos humanos (escrita, voz, gestos, tato e odores), os agentes inteligentes que decidem e realizam tarefas pelos humanos e os “clones” humanos virtuais reconhecidos em diversos filmes cinematográficos, propagandas ou programas de TV.
O conjunto de processos que leva à criação de interfaces ou engenhocas que “imitam” o comportamento humano e animal é referenciado em uma nova ciência: Vida Artificial (ou Alife). É o termo proposto por Christopher G. Langton [Langton 1989] para especificar uma área do conhecimento que nasce da interdisciplinaridade de diversas ciências como: Biologia, Química, Matemática, Física, Ecologia, Antropologia, Filosofia, Psicologia e da Ciência da Computação. A Vida Artificial tem por objetivo estudar a vida natural tentando reproduzi-la por meios artificiais. Ao contrário da Biologia que individualiza os organismos para entender seu funcionamento, a Vida Artificial tenta agrupar sistemas que se comportam como organismos vivos. Assim, por definição, a Vida Artificial trata das formas de “vida” fabricadas tecnologicamente pelo homem. Esses organismos de tipo sintético e digital (agentes, avatares) ou mesmo físico (robôs) têm a particularidade de poderem se desenvolver autônoma e independentemente; e de imitarem, no seu comportamento, algumas das leis da vida tais como as conhecemos. Com eles, pode-se: simular computacionalmente sistemas vivos através de agentes inteligentes, sintéticos e animados (2D ou 3D); construir interfaces inteligentes; construir robôs com habilidades humanas e decisão própria; criar ambientes virtuais (realidades virtuais) imersivos utilizando canais multisensoriais que provoquem sensações de presença e dos sentidos humanos; e realizar clonagem virtual de seres humanos (humanos virtuais ou sintéticos). Desde os anos 70, técnicas de modelagem e animação de humanos virtuais vêm sendo aprimoradas, especialmente no que se refere às expressões faciais, gestos e o caminhar. Entretanto, essas técnicas ainda não são suficientes para “enganar” o olho crítico de um observador, pois a figura humana é muito familiar e o seu movimento é influenciado por diversos fatores (genética, cultura, estado emocional, etc.). Assim para simular realidades, vários sistemas povoam seus ambientes virtuais com um ou vários agentes (que podem ter alguma autonomia e inteligência) animados e graficamente antropomórficos. Isto é, são atribuídas características humanas a objetos não-humanos, com a finalidade de conferir credibilidade às suas ações e às maneiras de se comunicar (perguntando, respondendo ou apresentando gestos). Por outro lado, os ambientes virtuais 3D ainda apresentam problemas de usabilidade e interação [Bowman 1999] devido à falta de objetividade ou de entendimento das tarefas a serem realizadas. Embora avanços tecnológicos venham acontecendo em dispositivos multisesoriais, as interfaces continuam voltadas para atender usuários com experiência em dispositivos tradicionais. (Mesmo porque muitos destes dispositivos continuam em experimentação ou ainda são muito caros.) Este trabalho tem por objetivo apresentar a proposta de desenvolvimento de um agente inteligente e comunicativo personificado em uma figura feminina 3D denominado por ECA Maga Vitta. Um agente ECA incorpora, além dos padrões tradicionais de um agente inteligente, a capacidade de comunicação com usuário. O ECA Maga Vitta deve ser capaz de expressar emoções ou sentimentos ao acompanhar, auxiliar, aconselhar, deliberar tarefas e memorizar ações dos usuários durante a construção de uma cidade virtual em desenvolvimento no projeto CIVITAS [Axt 2003] para fins pedagógicos. Na próxima seção, é feita uma revisão sobre o conceito ECA e são estabelecidas definições sobre a técnica abordada neste trabalho. Já na Seção 3, são apresentados os
trabalhos relacionados à proposta. O projeto CIVITAS é introduzido na Seção 4. Na Seção 5, é feita uma descrição do ECA Maga Vitta. Finalmente, na Seção 6, são apresentados resultados até então obtidos, e feitas algumas considerações a respeito dos desafios enfrentados e os que serão encontrados em trabalhos futuros.
2. Visão Geral sobre ECA O grupo de pesquisa Gesture and Narrative Language do Media Lab do MIT [Cassel 2003] estuda como humanos sintéticos podem ser construídos baseados em agentes inteligentes que incorporam aspectos da psicologia humana, cognição e sociabilidade da qual se inclui, além das representações verbais, a capacidade de reconhecer e reproduzir uma comunicação não-verbal. Esses humanos sintéticos são conhecidos por Embodied Conversational Agents (ECA). Um ECA é um agente essencialmente comunicativo que imita o ser humano na forma como usa o corpo durante uma conversação, como reage emocionalmente e como mantém um diálogo. Os ECAs podem se apresentar na forma de (a) um sistema de diálogos como Eliza [Weizenbaum 1983]; (b) agentes autônomos animados, com personalidade, exibindo emoções, apresentando comportamento social e reagindo ao ambiente como os woggles inseridos no projetos projeto OZ [Loyall 1997]; (c) avatares falantes como Ramona (KurzweilAI.net) e talking heads da Oddcast Company (vhost.oddcast.com) [Plantec 2003]; ou (d) numa interface multimodal, onde as modalidades de entrada de dados são aquelas naturais para uma conversação humana considerando as falas, os movimentos faciais, os gestos do corpo e mãos como REA [Cassel 2001, Stronks 2002] e MAX [Kopp 2003] a serem descritos na próxima seção. Introduzido pela Inteligência Artificial, o termo Agent define uma entidade que percebe seu ambiente através de sensores e age através dos efeitores [Silveira 2001]. O ambiente pode ser real (agente-robô) ou artificial (agente-software). A definição de agente inteligente é discutível e na literatura não existe um consenso sobre o que realmente caracteriza um agente inteligente. Um agente considerado inteligente para uma pessoa pode ser apenas um agente esperto. Por outro lado, um agente atualmente considerado inteligente pode não o ser no futuro [Silveira 2001]. Diz-se que um agente inteligente é um Conversational Agent quando possui a capacidade de manter uma conversa “humana”, face-a-face, com o usuário humano, através do reconhecimento da fala e dos gestos envolvidos durante uma conversação. Por sua vez, um Embodied Agent é a representação gráfica do agente inteligente no mundo virtual. Isto é, o agente-software é personificado através de um corpo virtual. O corpo pode ser um objeto animado não-humanóide, uma cabeça falante ou uma representação humana completa em 3D que incorpora atributos humanos como sentimentos e linguagem. Portanto, um Embodied Conversational Agent – ECA é um agente autônomo, inteligente, que tem uma representação gráfica (embodied) em um mundo virtual e é capaz de manter alguma forma de conversação com o usuário. O agente “fala” (conversa) com o usuário e tem uma forma gráfica personificada no mundo virtual. Alguns termos sinônimos de ECA são utilizados nas áreas de Inteligência Artificial e Computação Gráfica: agentes virtuais, humanóides virtuais, humanos virtuais e humanos sintéticos. Entretanto, um Avatar não deve ser confundido com ECA. Um avatar está associado à representação gráfica do usuário humano em um
mundo virtual e não à de um agente autônomo e inteligente que age de acordo com suas crenças, desejos e intenções no ambiente virtual. Segundo Justine Cassel, um ECA deve incluir algumas características humanas necessárias para uma conversa face-a-face [Cassel 2000] como habilidades para: (a) reconhecer entrada verbal e não-verbal e decidir por uma resposta verbal e/ou nãoverbal; (b) gerar saída verbal e/ou não-verbal; (c) tratar funções de conversação (retomar e realimentar a conversa, esperar a vez para responder, etc.); e (d) dar sinais indicativos do estado da conversação, tanto quanto contribuir com novas proposições de diálogo. Cassel (2001, 2000) propõe um modelo conversacional, conhecido como modelo FMBT (leia-se fembot - Functions, Modalities, Behaviors e Time), que incorpora as principais características presentes numa conversação. O modelo FMBT é caracterizado por: (1) funções proposicionais e funções interacionais que correspondem, respectivamente, ao conteúdo da conversa (inclui fala, entonação da voz e gestos corporais) e as “deixas” que regulam o processo de conversação, as quais compreendem tanto comportamentos sonoros, como hã?, óóó!, hem?, iiih, quanto não-sonoros, como movimento de ombros, mãos e face para expressar dúvida, alegria, etc.; (2) modalidades de comunicação, responsáveis por construir as funções proposicionais e interacionais, podem ser verbais (palavra, canto, sons, etc.) e não-verbais (gestos manuais, faciais e corporais, piscar os olhos, olhar fixo, etc.); (3) comportamentos na conversação, onde a mesma função de comunicação pode assumir vários significados, por exemplo, baixar a cabeça pode denotar concordância, saudação ou ênfase em uma palavra; (4) tempo e sincronização da conversação, na medida em que a duração excessiva de emissão da fala ou de um sinal pode, eventualmente, indicar diferentes sentimentos como ansiedade, nervosismo e tédio, e atrasos na resposta podem ser entendidos como nãocooperação, desatenção, desacordo, dúvida, desistência, etc. Ressalva-se que o modelo não representa as interações como se fossem mímicas do usuário humano [Cassel 2001]. Por outro lado, mantém aspectos do humano para representar as interpretações do ECA. As formas de comportamento durante uma conversação podem variar de pessoa para pessoa e entre culturas diferentes. Dessa forma, é importante identificar e entender quais os elementos estruturais da conversação para que os comportamentos gerados sejam interpretados no contexto. O modelo conversacional apresentado revela consistência e capacidade de prever vários tipos de ações e comportamentos a serem tomados pelo ECA.
3. Trabalhos Relacionados É bastante conhecido o uso de interfaces que apresentam agentes personificando humanos. Por exemplo, o assistente do MS Office: clipe de papel, que muitas vezes se torna inconveniente por ter um comportamento insistente ao querer interagir com o usuário. Desde 1999, a Internet conta com uma apresentadora virtual de notícias conhecida por Ana Nova. E, mais recentemente, destaca-se Eva Byte como apresentadora virtual de um programa de TV. Tanto Ana Nova quanto Eva Byte não são capazes de interagir com o usuário. E isto mostra claramente as diferenças entre um “agente personificado” e a “representação gráfica de uma pessoa”.
Na área de ECA, destaca-se o trabalho pioneiro de Lester e Stone [Lester 1997] que criou um agente animado pedagógico com aparência de inseto que voa, caminha, deita, se encolhe e se expande num ambiente 3D conhecido por DESIGN-A-PLANT, um ambiente de aprendizado baseado na botânica dirigido a crianças onde podem plantar e acompanhar o crescimento e sobrevivência de uma árvore conforme determinadas condições ambientais. Os comportamentos verbal e não-verbal do inseto são planejados, isto é, o gesto da mão sempre confere com uma determinada fala. O presente trabalho destaca os projetos REA, desenvolvido pelo grupo de pesquisa Gesture and Narrative Language do Media Lab do MIT, EUA [Cassel 200], e MAX [Kopp 2003], desenvolvido pelo grupo de Inteligência Artificial e Laboratório de Realidade Virtual da Universidade de Bielefeld, Alemanha. O Projeto REA - Real Estate Agent implementa o modelo FMBT apresentado na seção anterior. O REA é um ECA personificado num corpo feminino que tem por função vender imóveis e que interage na conversação mantendo um comportamento verbal e não-verbal, organizando e regulando o diálogo. Durante a conversação, REA movimenta os olhos, muda a postura do corpo, modifica os gestos das mãos e as expressões faciais. Também entende tais comportamentos quando realizados pelo usuário. O projeto MAX – Multimodal Assembly eXpert incorpora o ECA MAX que habita um ambiente virtual de simulação de tarefas de montagem. MAX realiza tarefas de forma cooperativa com o usuário. O humano é o instrutor que dá ordens ao MAX para que aja como construtor de objetos complexos. O humano interage com gestos e fala. MAX deve seguir as instruções do humano, respondendo às questões formuladas com gestos corporais e expressões faciais em sincronia com a fala. REA, em idioma inglês, e MAX, em alemão, têm suas próprias capacidades lingüísticas. Também contam com habilidades intrínsecas (vender imóveis e montar objetos, respectivamente). Os usuários utilizam dispositivos de entrada/saída de dados espaciais, como câmeras, sensores e óculos. REA e MAX, apesar de a modelagem e a animação dos agentes ainda estarem longe de uma boa qualidade gráfica, conseguem envolver o usuário numa conversação natural e com a impressão de que lida com um agente personificado (de corpo inteiro).
4. CIVITAS O projeto CIVITAS – Cidades Virtuais: Tecnologias de Aprendizagem e Simulação – em desenvolvimento no Laboratório de Estudos em Linguagem, Interação e Cognição da Faculdade de Educação/UFRGS tem como principal objetivo criar e desenvolver um ambiente CIVITAS para construção de cidades virtuais por simulação. O ambiente é baseado em interação multi-usuário e compartilhamento de conteúdos digitais em consonância com uma proposta ético-político-pedagógica e de aplicação aberta a diferentes contextos educacionais e/ou de trabalho profissional cooperativo. A expectativa é a de que, nos encontros em sala de aula, os alunos trabalhem conteúdos de forma reflexiva a partir de subsídios gerados pelo CIVITAS. Para atingir os objetivos do projeto CIVITAS no que tange à criação de ambiente digital para construção de cidades virtuais por simulação, está sendo utilizado o tipo de sistema de Realidade Virtual não-imersivo onde o mundo virtual pode ser
visualizado e manipulado simultaneamente por vários usuários dispersos geograficamente, compartilhando e interagindo com o mesmo ambiente virtual [Axt 2000; Pinho 1996; Mclellan 1996]. O CIVITAS é dividido em quatro ambientes, classificados pelas metodologias e ferramentas utilizadas para apoiar pedagogicamente a construção de conhecimento dos alunos do Ensino Fundamental: 1. o ambiente de criatividade utiliza um ferramental não-computacional como argila, papel, pintura, teatro, etc. para pensar-construir-organizar a cidade, seus sistemas vivos e não-vivos; 2. o ambiente de comunicação e integração remete às discussões dos conteúdos oferecidos no aprendizado dos sistemas que regulam uma cidade e suas relações e seus problemas através de uma ferramenta computacional desenvolvida para esta finalidade, conhecida como ForChat; 3. o ambiente de pesquisa utiliza a ferramenta computacional X-Teca (Biblioteca Virtual do CIVITAS) que organiza diversos materiais sobre os assuntos que emergem na discussão dos conteúdos escolares relacionados às cidades; 4. o ambiente lúdico (ou componente gráfico) é um sistema de Realidade Virtual não-imersivo que tenta concretizar virtualmente, de forma lúdica, o pensar-construir-organizar uma cidade a partir dos conhecimentos incorporados através das vivências experimentadas em outros ambientes. É composto pelos módulos: editor de relevos (MAPPA), construtor de cidades (CITTA), editor de objetos (EDITTORE), e agente animado com padrão ecológico regulador da construção da cidade virtual (Maga Vitta). Os módulos MAPPA [Laserra 2002] e EDITTORE [Thomaz 2003] já estão em operação, e o CITTA está em fase final de implementação (Figura 1). O agente Maga Vitta é tratado neste trabalho. Os alunos interagem com o sistema através dos clientes em rede que se comunicam com o servidor local e, se necessário, com o servidor CIVITAS (LELIC/UFRGS) para executar simulações, indicar condições e exibir resultados. Os professores das séries ou responsáveis introduzem dados de configuração das cidades a serem construídas e simuladas. A metáfora de construção da cidade virtual consiste na apresentação de histórias, lendas ou mitos da cidade. O aluno posiciona objetos, representativos das entidades físicas encontradas no mundo de uma cidade real, sobre uma superfície representando o relevo da cidade a ser modelada. Cada objeto possui, além de forma, posição, orientação e propriedades de apresentação como cor e textura, uma narrativa histórica. Isto é, ao incluir um objeto na cidade virtual, o aluno é convidado a registrar uma história sobre o objeto. De posse dessas narrativas, professores e responsáveis podem encaminhar os assuntos de discussão para o planejamento da cidade virtual. Por sua vez, os pesquisadores pedagógicos contam com material para análise e discussão do pensarconstruir-organizar aplicado na construção de conhecimento pelos alunos.
(a)
(b)
Figura 1. Módulo CITTA: (a) inserção de objetos e (b) navegação pelo ambiente virtual com presença de avatares.
O projeto de construção da cidade virtual baseia-se em regras - sociais, políticas e de construção - estabelecidas no sistema ou a serem incorporadas durante o processo de criação da cidade. A abordagem CIVITAS não é especificamente computacional. O projeto utiliza a criação de um ambiente virtual de forma a: (1) disponibilizar vivências e experiências diferenciadas de construção criativa e compartilhada de mundos possíveis, sejam imaginários ou reais, geradoras de possibilidades reflexivas e potencializadoras de processos sócio-cognitivos de construção de conhecimento; (2) avaliar efeitos do uso do ambiente CIVITAS sobre os modos de construir conhecimento válido, os modos de imaginar/criar e os modos de cooperar, bem como identificar novos modos de subjetivação emergentes da conexão das tecnologias digitais com a subjetividade; (3) avaliar, com base nos primeiros resultados da aplicação, as possibilidades de ampliação e de generalização do ambiente CIVITAS para outros contextos educativos ou de trabalho profissional cooperativo; (4) compartilhar resultados com a comunidade técnico-científica e acadêmica, com vistas a reforçar os avanços nas áreas de conhecimento implicadas. A hipótese do grupo da Educação/UFRGS é a de que os sujeitos implicados num mundo virtual e conectados por rede possam vivenciar experiências em realidade virtual, de forma a remetê-los ao sentir-interagir-aprender-cooperar, cuja resultante seja a construção de conhecimento a partir de relações de convivência que estas experiências possam provocar.
5. Proposta do ECA Maga Vitta Durante a construção da cidade virtual, o aluno contará com auxílio de um agente que estará observando suas ações no ambiente virtual. O ECA Maga Vitta não intervirá na construção da cidade, mas estará sempre atento para indagar, aconselhar, informar e provocar reflexões sobre os processos de construção da cidade. Além disso, Maga Vitta é um agente que possui como padrão interno estar eternamente preocupado com a
ecologia: ao memorizar ações contra o equilíbrio ecológico, adverte sobre possíveis tragédias ambientais. 5.1. Arquitetura O agente Maga Vitta incorpora a arquitetura padrão de agente autônomo, inteligente e as propriedades de um ECA. Tais propriedades são essenciais para que o agente Maga Vitta expresse o que “deseja” falar, bem como para que construa o plano de interação com o usuário, de forma a se revestir de credibilidade. A capacidade cognitiva do agente será baseada em conhecimento e decisão. A capacidade emotiva e de personalidade será baseada nos modelos de emoção e personalidade propostos em [Bui 2004]. O modelo conversacional FMBT será utilizado para determinar o comportamento e ações do ECA. Graficamente, será representado por uma cabeça falante e por expressões faciais. A arquitetura básica do ECA Maga Vitta é mostrada na Figura 2. Compõe-se de quatro módulos principais: Interpretador de Ações, Modelador do ECA, Organizador dos Planos de Ações do ECA e Gerador de Expressões Faciais.
Figura 2. Arquitetura do ECA Maga Vitta
Para que o ECA Maga Vitta entenda o usuário, será necessário que, preliminarmente, construa um modelo do usuário (Modelo Mental do Usuário). Este modelo mental é obtido através da interpretação das ações (Interpretador de Ações) do aluno durante a construção da cidade virtual. O Interpretador de Ações é composto pelos módulos: avaliação da ação, aprendizado (o agente deve ser capaz de aprender com as modificações do ambiente e personalidade do aluno) e geração do estado mental do usuário. O modelo mental manterá informações da personalidade do aluno e outras características observadas na manipulação do ambiente virtual. O Modelo Mental do Usuário é importante para que o ECA infira a “personalidade” do usuário. Algumas ações do usuário podem ser interpretadas diretamente sem que haja a construção do Modelo Mental do Usuário. São ações que requerem uma resposta imediata do agente como, por exemplo, o início de uma sessão de construção da cidade
virtual onde a Maga Vitta se apresenta, ou quando não são reconhecidas ações em um intervalo de tempo provocando o estado de fadiga ou aborrecimento do agente. O Modelador do ECA Maga Vitta terá por finalidade captar o modelo mental do aluno, decidir por qual atitude deve tomar e gerar um conjunto de características necessárias para criar uma fala e/ou um movimento facial. A fala e os movimentos faciais como resposta a uma ação são mantidos no modelo conhecido como Modelo ECA. O Organizador dos Planos de Ação utiliza o Modelo ECA para planejar o conjunto de ações e interações determinadas para o ECA Maga Vitta. Deve ser capaz de gerar a ordem e a sincronização das ações, as quais serão enviadas para o módulo Gerador de Expressões Faciais e da Fala que, por sua vez, exibirá graficamente o resultado (animação). Convém observar que a máquina ECA Maga Vitta deverá atender a mais de um aluno no ambiente virtual, simultaneamente, o que não ocorre nos trabalhos já desenvolvidos e apresentados na Seção 3. 5.2. Implementação Inicialmente, para efeitos de estudo e apresentação da idéia ECA ao grupo CIVITAS, foi desenvolvido um protótipo apenas das expressões faciais do ECA Maga Vitta. As expressões faciais, caracterizadas como uma das formas de comunicação não-verbal, são essenciais para a percepção e interpretação das emoções e do comportamento entre humano e agente, e vice-versa. Para tanto, foram consideradas as expressões faciais universais de Ekman: raiva, medo, surpresa, nojo, alegria e tristeza [Ekman 1999]. A Figura 3 ilustra os resultados da modelagem e animação de cada uma das expressões faciais consideradas. Para a modelagem e animação foi utilizado o software Maya 5.0 PLE (freeware) e utilizadas as técnicas de Cluster Deformers, que permite manipular um conjunto de pontos do objeto original, deformando-o e gerando um modelo target (Figura 4(a)), e Blend Shape que faz a ligação do modelo deformado target com o modelo original (pose neutra), isto é, gradualmente, a expressão é modificada da pose original para a target (Figura 4(b)). A máquina ECA que incorpora a arquitetura apresentada na seção anterior encontra-se em fase de construção, e está sendo desenvolvida em JAVA. O Blender3D está sendo utilizado para modelar a atual figura da Maga Vitta.
6. Considerações Finais e Trabalhos Futuros A fala é uma das habilidades primárias dos seres humanos, e a que mais cedo se aprende (ainda no berço). Além do mais, o corpo humano se comunica não apenas através dos órgãos fonadores, mas no seu todo: em seus movimentos ou em estado de repouso. Observar o corpo humano, a maneira como ele “fala” em determinadas situações são os tópicos de estudo dos grandes centros de pesquisa mundiais em Embodied Conversational Agents - ECAs. O objetivo é tentar sintetizar em um agente inteligente, autônomo e animado um comportamento mais humano possível.
em repouso
alegre
triste
raiva
surpresa ou medo
nojo
Figura 3. Expressões Faciais modeladas para a Maga Vitta
(a)
(b)
Figura 4. (a) geração de modelo target a partir do original e (b) conexão do modelo target para o original simulando a animação da expressão facial.
Este trabalho faz um estudo sobre os ECAs apresentando uma proposta para construção do agente Maga Vitta. O agente incorporará, num primeiro instante, as características de comunicação gestual facial e que, devido a sua natureza, estudos sobre psicologia social devem ser feitos para caracterizar o relacionamento, as ações e a comunicação de forma mais humana possível entre o ECA Maga Vitta, habitante do ambiente CIVITAS, e o aluno, participante das vivências-experiências proporcionadas pelo ambiente CIVITAS. Até o momento, foram despendidos esforços na modelagem dos olhos, lábios, dentes e língua da cabeça Maga Vitta e na simulação dos músculos faciais. No entanto, a anatomia facial (incluindo os seus movimentos) é muito complexa. Técnicas baseadas exclusivamente na deformação de superfícies não têm se mostrados suficientes para gerar um grau de realismo perto do verossímil. Técnicas baseadas em Física devem ser utilizadas quando o realismo é importante, pois a contração muscular e posição da língua e dentes podem ser melhores controlados.
A proposta de desenvolvimento do ECA Maga Vitta prossegue em várias direções, considerada sua natureza multidisciplinar. A decisão de qual é o melhor modelo gráfico para a Maga Vitta é objeto de discussão entre os pedagogos e psicólogos do grupo CIVITAS. Os dispositivos de entrada e saída de dados são os tradicionais (mouse, teclado, monitor e caixas de som), o que limita os inputs/outputs da máquina ECA. Posteriormente, poderá ser redirecionado para uso de dispositivos de entrada/saída de dados espaciais. Estudos estão sendo feitos para garantir ações diferenciadas do ECA Maga Vitta para usuários distintos num mesmo ambiente virtual. Examina-se também a possibilidade de verificar como o ECA poderá antecipar uma conversação quando se tratar de usuários mais tímidos e pouco confortáveis com o ambiente de construção da cidade virtual.
Agradecimentos Ao CNPq por financiar parcialmente este trabalho e ao CESUP/UFRGS pela liberação e apoio à pesquisadora Magalí T. Longhi.
Referências Bibliográficas Axt, Margarete. (2003). “CIVITAS – Cidades Virtuais: Tecnologias para Aprendizagem e Simulação”. Relatório CNPq, 2003, disponível em http://www.lelic.ufrgs.br/relatorio/civitas, Porto Alegre, RS. Axt, Margarete. (2000). “Tecnologias, Cognição e Conhecimento: um debate em aberto e interdisciplinar”. Revista Informática na Educação - Teoria & Prática. UFRGS, 3(1): 7-9. Porto Alegre, RS. Bowman, Doug A. e Hodges, Larry F. (1999). “Formalizing the Design, Evolution, and Application of Interaction Techniques for Imersive Virtual Environments”. Journal of Visual Languages and Computing. 10(1):37-53. Bui, The Duy (2004). “Creating Emotions and Facial Expressions for Embodied Agents”. Department of Computer Science, University of Twente. The Netherlands. July. (Tese de doutorado). Cassell, J. et al. (2003). Gesture and Narrative Language Group. MIT Media Lab. (http://gn.www.media.mit.edu/groups/gn/ - acessado em nov/2003). Cassell, J. (2001). "Embodied Conversational Agents: Representation and Intelligence in User Interface". AI Magazine, 22(3): 67-83. Cambridge, MA. Cassell, J., Bickmore, T., Campbell, L., Vilhjalmsson, H. e Yan, H. (2000). “Human Conversation as a System Framework: Designing Embodied Conversational Agents”. In: Embodied Conversational Agents. MIT Press, Cambridge, MA. USA. Ekman, Paul. (1999). “Facial Expressions”. Handbook of Cognition and Emotion. New York: John Wiley & Sons Ltd. Chapter 16. (http://www.paulekman.com - acessado em jan/2004). Kopp, Stefan. (2003) “MAX, The multimodal Assembly Expert”. Bielefeld University. German. (http://www.techfak.uni-bielefeld.de/~skopp/max.html - acessado em dez/2003).
Langton, Chris G. (1989). “What is Artificial Life?”. “Artificial Life”. Addison-Wesley, Redwood City, California, USA. (http://www.biota.org/papers/cglalife.html acessado em dez/2003). Lassera, Marcelo, Longhi, Magali e Axt, Margarete. (2002) “Digital Technologies of Learning and Simulation of Virtual Cities”. Proceeding of SIBGRAPI 2002. XV Brazilian Symposium on Computer Graphics and Image Processing. Poster Session. Fortaleza, CE, Brazil, p. 7-10. October. Lester, James et al. (1997). “The persona effect: affective impact of animated pedagogical agents.”. Proceeding of CHI97. Conference of Human Factors in Computing Systems. (http://www.acm.org/sigchi/chi97/proceedings/paper/jl.htm acessado em nov/2003). Loyall, A. Bryan. (1997) “Believable Agents: Building Interactive Personalities”. School of Computer Science, Computer Science Department, Carnegie Mellon University, Pittsburg, USA. May. (Tese de Doutorado). Pinho, Márcio. (1996). “Realidade Virtual como Ferramenta de Informática na Educação”. (http://grv.inf.pucrs.br/Pagina/Educa/educa.htm - acessado em nov/2003). Plantec, Peter. (2004) “Virtual Humans: creating the illusion of personality”. AMACOM Books. New York. USA. Silveira, Ricardo Azambuja. (2001) “Modelagem Orientada a Agentes Aplicada a Ambientes Inteligentes Distribuídos de Ensino: JADE - Java Agent framework for Distance learning Environments”. Instituto de Informática. UFRGS. Porto Alegre, RS. Janeiro. (Tese de Doutorado). Stronks, J.J.S., Nijholt, A., van der Vet, P.E., Heylen, D. e Limburg, D.O. (2002). “Friendship Relations with Embodied Conversational Agents: Integrating Social Psychology in ECA Design”. Parlevink Research Group, Faculty of Computer Science, University Of Twente, The Netherlands. January. Thomaz, Andrei Rubina, Longhi, Magali e Axt, Margarete. (2003) “EDITTORE: a Generic Objects Editor for Project CIVITAS”. Proceeding of SIBGRAPI 2003. XVI Brazilian Symposium on Computer Graphics and Image Processing. Poster Session. São Carlos, SP, Brazil, p.12-15. Weizenbaum, Joseph. (1983). “ELIZA – A Computer Program for the Study of Natural Language Communication between Man and Machine”. Communication of the ACM. 25th Anniversary Issue. 26 (1): 23-28. Cambridge, MA. USA.
