Comparação entre os métodos de avaliação de base cognitiva e semiótica Luciana Cardoso de Castro Salgado1 Sílvia Amélia Bim1,2 Clarisse Sieckenius de Souza1
[email protected] 1
[email protected]
[email protected]
Departamento de Informática / PUC-Rio
SERG – Semiotic Engineering Research Group Rua Marquês de São Vicente, 225 Rio de Janeiro, RJ, Brazil + 55 21 35271500 2
Departamento de Ciência da Computação / UNICENTRO Rua Presidente Zacarias, 875 85010-290 Guarapuava, PR, Brasil +55 42 36211069
ABSTRACT In this article we present a comparative study of three methods: Cognitive Walkthrough, Heuristic Evaluation, and Communicability Evaluation. The aim of the study is to compare costs and benefits of the three, so as to inform decisions about which one to choose when time and feedback for (re)design are the most critical factors. The study was carried out as an academic exercise by graduate students in HCI. Results suggest that, of the three methods, Communicability Evaluation produces the most informative results, whereas Heuristic Evaluation is the most costeffective.
Categories and Subject Descriptors H.5.2 [User Interfaces] Evaluation/methodology
General Terms I. Human Factors
Keywords Semiotic Engineering, Evaluation Methods, HCI Inspection Methods, Communicability Evaluation.
1. INTRODUÇÃO A avaliação de IHC (Interação Humano-Computador) é de extrema importância no processo de desenvolvimento de software. Assim como testes de funcionalidade são necessários para se verificar sua robustez de implementação, a avaliação de interface é necessária para se analisar sua qualidade de uso [10]. Este processo requer que o especialista de IHC saiba quando, como e quais métodos de avaliação podem e devem ser usados. Porém,
Permission to make digital or hard copies of all or part of this work for personal or classroom use is granted without fee provided that copies are not made or distributed for profit or commercial advantage and that copies bear this notice and the full citation on the first page. To copy otherwise, or republish, to post on servers or to redistribute to lists, requires prior specific permission and/or a fee. Conference’04, Month 1–2, 2004, City, State, Country. Copyright 2004 ACM 1-58113-000-0/00/0004…$5.00.
apesar de os bons profissionais terem consciência da relevância da etapa de avaliação, a pressão do tempo e do custo dos projetos costuma afetar sobremaneira a decisão sobre qual método usar. Assim, muitas vezes a eficácia do método não é o fator preponderante da escolha. Podemos classificar as avaliações de interface em: baseadas em teoria; e referenciadas à prática. Dentre as primeiras, destacamos as baseadas em teorias cognitivas e mais recentemente as baseadas em teorias semióticas. As fundamentadas em teorias cognitivas identificam a qualidade do sistema focando o conceito de usabilidade, fortemente centrado em fatores associados à carga cognitiva impingida ao usuário durante a interação. Já as fundamentadas em teorias semióticas identificam a qualidade do sistema focando o conceito de comunicabilidade ([9], [2]). Dentre as avaliações referenciadas pela prática, destacam-se as avaliações de cunho heurístico e as que visam conformidade com padrões estabelecidos por normas internacionais ou organizacionais. A qualidade de uso nestes casos está relacionada a fatores como: facilidade de aprendizado; facilidade de uso; eficiência de uso e produtividade; satisfação do usuário; flexibilidade; utilidade; e segurança no uso [5]. Este trabalho apresenta um estudo acadêmico cujo objetivo é contrastar o custo e o benefício de três métodos ensinados em boa parte dos programas de formação de profissionais de IHC no Brasil: Avaliação Heurística (AH), Percurso Cognitivo (PC) e Avaliação de Comunicabilidade (AC). Os dois últimos são métodos fundamentados em teoria – PC em teorias cognitivas ([8], [11]) e AC em teoria semiótica ([9], [2]). AH, por sua vez, é um método que se fundamenta na prática [6]. Seus objetivos, custos, resultados e referenciais são, portanto, diferentes. Além da base teórica ou heurística já mencionada, os métodos selecionados também se distinguem pelos seguintes fatores: participação de usuários (AC tem; AH e PC não têm) e foco (AH e PC focados em usabilidade; AC focado em comunicabilidade). Em comum, os três métodos têm a característica de serem métodos interpretativos. Um dos eixos de comparação entre os métodos é o custo de aplicação em homem/hora (H/H). O segundo, a informação para o (re)design do software que é avaliado. Ao contrário do custo, que permite utilizar uma medida quantitativa clara, a informação para o (re)design é difícil de medir. Por esta razão, enfatizamos a
variedade qualitativa da informação dos métodos, direta e indiretamente obtida, distinguindo: a presença de problemas de IHC, uma explicação sobre o processo que leva a tais problemas, e sugestões de (re)design. A contribuição esperada do estudo é oferecer um parâmetro de experiência para os (futuros) profissionais de IHC utilizarem ao ter de decidir sobre quando, por que e como utilizar cada um dos três métodos em questão. No restante deste artigo apresentaremos sumariamente o perfil dos métodos comparados, e em seguida nossa metodologia e experiência ao aplicá-los na avaliação do Real Player™1. Ao final do artigo, formularemos nossa conclusão crítica sobre os resultados encontrados com este estudo.
2. AVALIAÇÃO HEURÍSTICA AH é provavelmente o método mais utilizado quando se trata de avaliação de interfaces. Ele foi criado como uma alternativa rápida e de baixo custo para encontrar problemas de usabilidade em um projeto de interface, especialmente durante um ciclo iterativo de desenvolvimento de software ([6], [10]). Trata-se de um método de inspeção de usabilidade em que especialistas utilizam um conjunto de heurísticas (princípios e orientações práticas) e avaliam se a interface do software inspecionado as obedece ou não. Para cada heurística infringida, o avaliador julga a gravidade das conseqüências da infração, sinalizando assim a necessidade ou conveniência de se alterar a interface para torná-la (mais) usável. A avaliação é realizada preferivelmente por 3 a 5 avaliadores, que inspecionam a interface individualmente. Tipicamente a interface é examinada pelo menos duas vezes. Da primeira vez, uma navegação através do sistema visa dar ao avaliador um sentimento de como é o fluxo da interação e o escopo geral do sistema. Da(s) outra(s) vez(es), o avaliador pode focar em elementos específicos da interface. O resultado da avaliação individual é uma lista de problemas de usabilidade da interface com referência aos princípios de usabilidade não observados no design. Quando todas as avaliações estão completas, os avaliadores se reúnem para discutir e consolidar suas descobertas. Um relatório consolidado é gerado a partir das avaliações individuais. Nele são apresentados os problemas levantados, comentários sobre o quanto o sistema apóia as tarefas dos usuários, sobre sua consistência global, bem como recomendações de projeto e caminhos de interação primários e alternativos. Feito isto, cada avaliador individualmente atribui graus de severidade a estes problemas. Esta informação pode ser usada para se definir a prioridade de correção. Em geral, este método leva de uma a duas horas para cada avaliador [6]. Sessões longas podem ser necessárias para interfaces muito complicadas, mas nestes casos o melhor a fazer é dividir a avaliação em sessões menores, cada uma se concentrando em uma parte da interface. As heurísticas utilizadas em AH são regras genéricas que descrevem propriedades comuns a interfaces usáveis, normalmente compiladas por especialistas. Em adição a elas, o avaliador pode considerar qualquer princípio de usabilidade ou resultados que venham à sua mente e sejam relevantes para algum elemento particular da interface. Vale notar que é possível efetuar este tipo de avaliação em interfaces de usuários que só existam em papel e ainda não tenham sido implementadas.
1
Real Player V 10.5, RealNetworks, Inc. © 1995-2004
AH não oferece um princípio gerador de soluções para problemas de usabilidade ou de aumentar a qualidade de (re)design. Entretanto, como esta avaliação tem como objetivo a indicação e subseqüente justificativa de cada problema de usabilidade identificado pelo avaliador, freqüentemente será possível gerar um design revisado de acordo com as diretrizes oferecidas pelo princípio que no caso foi violado [6]. Conflitos surgem quando é impossível seguir dois ou mais princípios ao mesmo tempo, e é preciso escolher qual deles seguir. Para isto, a AH carece de conhecimentos mais abrangentes e fundamentados que são oferecidos por métodos baseados em teoria. As decisões, como as próprias avaliações, são feitas em termos de fatores práticos. Os pontos fortes deste método são o baixo custo, a rapidez e a sua facilidade de uso ([3], [4]). Entretanto o sucesso do método depende da disponibilidade de vários avaliadores experientes e da sua competência ao decidir priorizar uma entre várias heurísticas conflitantes, se for o caso. Além disto é interessante que os avaliadores conheçam bem o tipo de aplicativo que está sendo avaliado, pois na ausência de uma teoria de IHC para embasar o método, os conhecimentos contingentes da prática desempenham um papel preponderante.
3. PERCURSO COGNITIVO PC é um método de inspeção de usabilidade que tem como foco principal a facilidade de aprendizagem, particularmente por exploração ([8], [11]). Ele está alinhado com a teoria da Engenharia Cognitiva [7], segundo a qual a complexidade de uma tarefa é proporcional às dificuldades de entendimento, aprendizado e execução de uma atividade. Como método de inspeção, ele irá avaliar justamente o quanto a interface facilita a exploração e aprendizado do software por parte do usuário. Está sintonizado com a idéia de que as pessoas devem poder descobrir, aprender e memorizar sozinhas como um sistema funciona, fato constatado em estudos empíricos [1]. PC pode ser usado em fases iniciais do processo de design e desenvolvimento. O procedimento é normalmente feito por especialistas, desenvolvedores, grupos de designers e representantes de outras áreas (como marketing e treinamento). Na fase de preparação os analistas definem quem são os usuáriosalvo, as tarefas a serem inspecionadas, a seqüência das ações para cada tarefa e a interface que será objeto de análise. Esta decisão pode ser tomada tanto a partir de uma navegação geral pelo sistema (tal como em AH), quanto de modelos, documentação ou decisões de projeto apresentadas à equipe. A avaliação por PC é feita sobre uma ou mais tarefas do usuário. O conhecimento do usuário com relação à tarefa e à interface é sempre levado em consideração. A questão crítica é como selecionar as tarefas. Esta escolha deve ser feita com base em estudos de mercado, análise das necessidades e análise dos conceitos envolvidos nos requisitos. A fase de análise tem como objetivo identificar o conhecimento do usuário, seus objetivos e o entendimento do processo que provavelmente o levará a “adivinhar” o que deve ser feito para manejar o software corretamente. O avaliador deve redigir uma história plausível mostrando por que o usuário iria escolher a ação prevista pelo design. Toda vez que há uma história plausível a contar, o software é tido por usável; quando não há, identifica-se não apenas um problema de usabilidade, mas também a sua causa (a razão de não se poder “adivinhar” o que fazer). Durante a avaliação é aconselhado o registro de toda a informação gerada. Propõem-se perguntas que devem ser sistematicamente
levantadas e respondidas pelos avaliadores durante o processo. Assim, as seguintes informações podem ser registradas: o conhecimento esperado do usuário, as suposições sobre a população de usuários, recomendações para mudanças de design, e histórias plausíveis que explicam e justificam o julgamento do avaliador. É importante ressaltar que o método enfoca apenas aprendizado e memorização da interface. O uso de PC como único método pode, portanto, conduzir o design a privilegiar a facilidade de aprendizagem em detrimento de outros fatores que podem ser relevantes. Um dos resultados esperados é a descoberta dos conflitos entre a concepção do designer e a concepção do usuário [7]. São identificados problemas nas escolhas das palavras, dos menus, dos labels dos botões e respostas inadequadas sobre as conseqüências das ações. Como para o modelo de IHC da Engenharia Cognitiva a interação se dá entre o usuário e uma imagem do sistema, os conflitos são formulados como um choque entre algum modelo mental (do usuário) e uma propriedade física ou funcional do sistema. Segundo seus proponentes [11], o fato de poder ser aplicado nas fases iniciais de desenvolvimento de um software é uma das vantagens do método. PC ajuda os desenvolvedores a definir as metas e suposições sobre os usuários a quem o software se destina. Outra vantagem advém do papel da teoria cognitiva, que permite a um avaliador trabalhar com dados da cognição do usuário, mesmo sem observá-los diretamente. Adicionalmente, os próprios desenvolvedores podem aplicar o método (não há a necessidade da participação de especialistas em usabilidade). Ainda segundo seus proponentes ([8], [11]), a seleção das tarefas é um fator limitante de PC. Por analisar apenas algumas tarefas, o método perde o contexto global do software. Por causa disto os avaliadores podem gerar soluções inadequadas. Os experimentos também indicam que os resultados podem ser comprometidos se os avaliadores tiverem níveis de conhecimento diferentes entre si: alguns falsos problemas podem ser indicados, enquanto problemas reais podem ser omitidos [3]. Embora fácil de se aplicar sobretudo quando guiado por roteiros de perguntas sistemáticas, o método muitas vezes é tedioso.
4. AVALIAÇÃO DE COMUNICABILIDADE Ao contrário de AH e PC, o principal objetivo de AC é avaliar a qualidade da comunicação do designer com o usuário, através da interface, em tempo de interação ([2], [9]). Esta comunicação se processa na medida em que o software funciona como representante, ou preposto, do designer na comunicação direta com o usuário. AC requer, ainda, uma observação de representantes dos usuários-alvo, cuja interação com o objeto da avaliação é registrada, discutida e analisada. Porém, a avaliação não se restringe ao que é observado. Em um processo semiótico exemplar de abdução (ou raciocínio por hipóteses visando a formulação de explicações e princípios gerais plausíveis), o avaliador toma os fenômenos observados como semente para hipotetizar (e averiguar) a existência de outros fenômenos problemáticos associados, mas não observados nas sessões de teste. Isto distingue AC dos testes de usabilidade tradicionalmente feitos com usuários [10]. AC tem como base teórica a Engenharia Semiótica [2], segundo a qual a atividade central do design de IHC tem como meta principal permitir que o designer se comunique com o usuário através do
software para dizer-lhe como, por que e para quê comunicar-se, ele próprio (usuário), com o software, em uma ampla gama de situações. Trata-se, pois, de uma comunicação sobre as próprias possibilidades, oportunidades e efeitos da comunicação com o software, ou seja: de uma metacomunicação. Assim, por exemplo, quando um designer utiliza um menu com várias opções, cada uma correspondendo a uma função do sistema, ele está comunicando para o usuário que o sistema pode desempenhar todas aquelas funções. Está comunicando também que para ativá-las, o usuário deve clicar na opção correspondente. Quando o sistema “responde” à interação do usuário, o designer está através do sistema dizendo ao usuário que entende que o que ele (usuário) queria fazer é o que o sistema acaba de efetuar. Se o designer tem dúvidas, o “sistema” (que o representa em tempo de interação) irá perguntar ao usuário o que exatamente ele quer. AC oferece aos avaliadores um caminho para identificação de pontos onde o designer pode ter falhado (ou vir a falhar) na comunicação da sua mensagem aos usuários. Inclui diferentes testemunhos da interação, em especial testemunhos dos participantes observados (recomenda-se 5), que juntos ilustram estratégias de interação usuário-sistema e também aspectos da metacomunicação designer-usuário. AC pode ser aplicado em diferentes estágios do design, atendendo a diferentes metas. Na avaliação formativa (realizada ao longo do processo de design), pode ajudar os designers na escolha de alternativas de design, sobretudo para a comunicação que se baseia fundamentalmente em elementos do layout das interfaces e em seqüências curtas de interação (por exemplo, navegação entre telas e efeitos instantâneos de ativação de botões, itens de menu, e e assemelhados). Na avaliação somativa (realizada nas etapas finais de cada ciclo do design), pode identificar padrões de comunicação e interpretação dos usuários motivados por regularidades e signos que aparecem em seqüências longas de interação (por exemplo, nas analogias entre atividades ou tarefas de mesma categoria e nas alternativas para evitar ou recuperar-se de erros). Nas fases iniciais de design, alguns aspectos da dinâmica de interação que o método é capaz de identificar podem passar despercebidos devido à precariedade da representação do artefato final que se utiliza (tipicamente sketchs em papel, ao invés de protótipos funcionais). AC tem três fases preliminares: a inspeção (do design) do software (tal como AH e PC); a seleção de atividades focais da inspeção (tal como PC); e a observação de usuários (potenciais ou reais) realizando tais atividades (ao contrário de AH e PC). A atividade de análise, porém, consiste em três passos principais: etiquetagem das rupturas de comunicação; interpretação dos resultados; e elaboração do perfil semiótico. Na fase de etiquetagem das rupturas de comunicação, o comportamento do usuário durante a interação é analisado e classificado por intermédio de associação de uma ou mais de treze expressões de comunicabilidade, também chamadas de etiquetas. Cada uma remete a um tipo de problema de comunicação [2]. Portanto, a presença de etiquetas denota a presença de problemas de comunicabilidade; sua ausência, a falta de evidência de tais problemas (mas não necessariamente a sua ausência – o que os avaliadores devem decidir nas etapas seguintes, gerando e averiguando hipóteses sobre o comportamento do sistema). A etiquetagem é análoga a o avaliador “colocar palavras (expressões de comunicabilidade) na boca do usuário”, tais como “Epa!”, “O que é isto?”, “Ué, o que houve?”. O avaliador assiste a
uma gravação ou a alguma reconstrução da interação do usuário com a interface (por exemplo, em sucessão de telas desenhadas e anotadas em papel), buscando identificar padrões de comportamento que possam ser associados às expressões de comunicabilidade. Assim, por exemplo, se um usuário abre vários menus procurando por uma função do sistema, usa-se a etiqueta “Cadê?”; se posiciona o mouse sobre elementos de interface aguardando uma dica, usa-se a etiqueta “O que é isto?”. O próximo passo é fazer a interpretação da etiquetagem. Este passo deve ser preferencialmente feito por um especialista em IHC. Além da observação do registro das interações, a análise de entrevistas com os participantes contribui para eliminar possíveis ambigüidades enriquecer a interpretação do processo de metacomunicação. A análise das etiquetas de comunicabilidade, que é baseada em teoria que explica IHC como um todo, oferece ao avaliador indicações sobre as causas dos problemas identificados, bem como, provavelmente, sobre as soluções possíveis. AC se completa com a elaboração do perfil semiótico, que consiste de um diagnóstico aprofundado sobre o processo de metacomunicação designer-usuário, feito por um especialista em Engenharia Semiótica. Os itens examinados para tal diagnóstico correspondem cinco perguntas gerais. (1) Quem são os destinatários da metacomunicação do designer (i.e. qual sua concepção sobre os usuários)? (2) Quais de suas necessidades e desejos foram contemplados e por quê? (3) Quais formas de comunicação foram julgadas preferenciais e por quê? (4) Como funciona, o que realiza e não realiza, a comunicação usuáriosistema, e por quê (i.e. qual a lógica do software)? (5) Qual a visão e razão do design (i.e. qual o valor do software)? O perfil semiótico é uma reconstrução do significado da metacomunicação designer-usuário. Uma análise dos códigos de comunicação da interface e de como eles são usados em tempo de interação oferece elementos para se elaborarem várias possibilidades para o (re)design do software em questão [2]. Dentre as principais vantagens do método, está o fato de que ele visa apreciar não apenas a comunicação de como operar o software (que em linhas gerais corresponde a aspectos cobertos por critérios de usabilidade), mas também de por que usar o software (fator não contemplado por PC, e avaliado apenas parcial e marginalmente pela maior parte das heurísticas usadas em AH, em especial nos quesitos “produtividade” e “satisfação” do usuário). O método apresenta, contudo, algumas limitações. Justamente por envolver observações de uso, requer mais esforço, tempo e infraestrutura para se completar. Por Engenharia Semiótica ser uma teoria muito mais recente do que as teorias cognitivas que embasam PC, AC ainda não atingiu massa crítica suficiente para traduzir-se em procedimentos que por si só expressam e transmitem o conhecimento técnico necessário para o avaliador (por exemplo, na forma de questionários ou de roteiros de análise pré-estabelecidos). Portanto, AC requer dos avaliadores estudo e conhecimento geral de Engenharia Semiótica, não atingindo eficiência se for aplicado sem um entendimento seguro de que IHC é um processo de metacomunicação.
5. ESTUDO COMPARATIVO DOS MÉTODOS DE AVALIAÇÃO O estudo comparativo teve cunho acadêmico. Foi realizado por duas avaliadoras com perfil de estudantes de pós-graduação em
IHC, cujo domínio dos três métodos pode ser considerado médio – menor que o de profissionais experientes (limite superior), porém maior que o de alunos ou profissionais que tenham cursado apenas uma cadeira introdutória geral de IHC durante a sua formação (limite inferior). O software escolhido para servir de base de comparação entre resultados foi o Real Player™. Este software se destina primariamente à reprodução de filmes e músicas, tanto a partir de CD’s, DVD’s e arquivos armazenados nos discos de um computador pessoal, quanto a partir de transmissões (streaming) de estações de rádio, TV e entretenimento digital na Internet. Por isto, é um software bastante representativo das aplicações que determinam atualmente o grau de alfabetismo digital dos usuários. Os parâmetros de comparação entre os métodos foram essencialmente dois: o tempo gasto para se atingir a conclusão da avaliação (uma medida quantitativa); e a informação para o (re)design (uma medida qualitativa). Ao início do estudo comparativo entre os três métodos de avaliação escolheu-se a porção do Real Player™ a ser contemplada. Por se tratar de um trabalho acadêmico, não optamos por cobrir toda a extensão de funcionalidades do software, que é bastante sofisticado. Ao contrário, restringimo-nos a fazer dele um uso bastante conservador. A porção de interesse foi: (a) a reprodução de músicas de CD’s; e (b) a criação e edição de listas de músicas selecionadas de um ou mais CD’s. Em seguida, como PC e AC envolvem tarefas selecionadas, identificamos duas tarefas típicas para serem examinadas por ambos os métodos: Tarefa 1 – criar uma lista de músicas com duas músicas, uma de cada um dos (CDs) fornecidos para um participante da expeiência; e Tarefa 2 – renomear a lista de músicas com um outro nome qualquer, substituindo uma das duas músicas por outra qualquer de um dos CDs. Em uma terceira etapa, estabeleceu-se a ordem de aplicação dos métodos, a saber: PC, AH e AC. PC foi o primeiro por promover uma inspeção cognitiva detalhada do artefato; em seguida veio AH, por ser um método que visa a usabilidade, tal como PC; e por último veio AC, por ser um método que trabalha com comunicabilidade. AH é um método que explicitamente recomenda etapas de avaliação individual e em grupo. AC, por sua vez, requer pelo menos dois avaliadores durante as sessões de observação dos usuários. Por esta razão, AH e AC foram realizados pelas duas avaliadoras cujo perfil se descreveu acima. A avaliação por PC neste estudo foi realizada por apenas uma das avaliadoras, pois a outra não teria, como recomendado, um perfil diverso (de desenvolvedora, designer, ou membro da equipe de marketing), e não deveria acrescentar uma perspectiva diferente na avaliação. Os participantes do teste para avaliação com o método AC foram quatro, selecionados por não terem experiência na criação de lista de músicas. Mas, todos conheciam superficialmente o Real Player e outros softwares de reprodução de mídias. Com este perfil, manteve-se uma certa homogeneidade com as condições de avaliação privilegiadas pelo método PC (que justamente focaliza a facilidade/dificuldade de se aprender e memorizar como usar o software). Um dos testes de AC foi usado como teste-piloto, uma exigência de métodos qualitativos em geral, e portanto os seus resultados não foram tabulados e interpretados.
5.1 Tempo necessário para a avaliação Para a avaliação pelo método PC, foram necessárias aproximadamente três horas de trabalho. Já para o método AH, realizado por duas avaliadoras, foram gastas uma hora e meia de trabalho individual (de cada uma) e cerca duas horas (conjuntas) para a consolidação das avaliações e produção de um relatório final. Para a avaliação pelo método AC, cada teste com usuário levou em média trinta minutos (4 x 30 min = 120 min), o mesmo que a consolidação da entrevista pós-teste. Portanto para os quatro participantes foram necessárias quatro horas (240 min) de trabalho somente na fase de aplicação do teste. A fase de etiquetagem demandou, para cada avaliador, em média quarenta minutos totalizando quatro horas (2 * 3 * 40 min = 240 min). A fase de consolidação das etiquetagens feitas pelas duas avaliadoras levou duas horas e a interpretação das etiquetagens e consolidação do perfil semiótico, três horas. Portanto a avaliação de comunicabilidade consumiu no total treze horas. O resumo do tempo gasto nas avaliações pode ser verificado na Tabela 1. Tabela 1 – Comparação do tempo gasto nas avaliações Métodos Percurso Cognitivo Características A Nº de 1 Avaliadores B Tempo com 0 aplicação do Teste C Tempo 3 horas Trabalho individual D Tempo 0 Consolidação
E Tempo Total (B + (C*A) + D)
3 horas
Avaliação Heurística
Avaliação de Comunicabilidade
2
2
0
4 horas
1 hora e meia
2 horas na fase de Etiquetagem
2 horas
2 horas para consolidação das etiquetagens + 3 horas para Interpretação e Perfil Semiótico 13 horas
5 horas
5.2 Informações para o (re)design O estado inicial para o processo de inspeção (e testes) do Real Player™ para todos os métodos comparados foi o que se apresenta na Figura 1: interface em língua inglesa, já posicionada em My Library, onde as tarefas relevantes para PC e AC se iniciam. A seguir descreveremos os resultados obtidos em cada método de avaliação.
Figura 1 – Tela inicia dos testes
5.2.1 Avaliação Heurística Na avaliação heurística foram utilizadas as 10 heurísticas propostas por Nielsen [6]. O resultado da AH costuma ser tabulado (Tabela 2) e mostra que, com exceção de duas heurísticas, todas as outras foram violadas. Entretanto o grau de severidade ficou entre 1 e 3 em uma escala até 5. Tabela 2 – Resultado da Avaliação Heurística Número de Severidade Problemas Média encontrados
Heurísticas de Usabilidade Visibilidade do estado do sistema Correspondência entre o sistema e o mundo real
2
2
2
2
Controle e liberdade do usuário
1
1
Consistência e Padronização Ajude os usuários a reconhecerem, diagnosticarem e se recuperarem de erros
2
1,5
1
2
Prevenção de erros Reconhecimento em memorização
2
2
2
3
2
1
13
1,8
vez
de
Flexibilidade e eficiência de uso Projeto estético e minimalista Ajuda e Documentação Total
Como exemplo de resultado, pode-se citar que logo na primeira tela da interação (Figura 1) os avaliadores acusaram uma violação à heurística do Projeto estético e minimalista – há repetição de elementos de interface sobre o mesmo tema e o uso de ícones diferentes para “My Library Home”. Também violou-se a heurística de Reconhecimento em vez de memorização – não há dicas nos ícones da barra lateral.
Terceiro, após clicar em “Browse My Computer” uma tela com as trilhas do CD é exibida, conforme mostra a Figura 6. Ao clicar nas trilhas e logo em seguida clicar em “Open” nada acontece e conclui-se que a heurística Visibilidade do status do sistema é desrespeitada.
Figura 2 – My Library em destaque
Figura 3 – My New Playlist em destaque Dentre os resultados mais informativos para (re)design, podemos citar três. Primeiro, ao se criar uma Nova Playlist não há uma indicação clara de que ela foi de fato criada. A única mudança na interface é que no lugar de “My Library” aparece o nome da playlist, conforme ilustram as figuras 2 e 3. Neste cenário os avaliadores indicaram o desrespeito à heurística Visibilidade do status do sistema.
Figura 6 – Import Files and Playlist
5.2.2 Percurso Cognitivo Ao contrário de AH, uma avaliação por PC é mais difícil de tabular, exceto em termos bastante gerais. A Tabela 3 indica as respostas para as principais perguntas de uma aplicação de PC, ao nível da TAREFA/META, e os respectivos passos para sua conclusão. As tarefas examinadas neste estudo e apresentadas anteriormente foram desdobradas nos seguintes passos: o
Figura 4 - Add Clips Segundo, ao clicar em “Yes” para a pergunta “Would you like to add clips to this playlist now?” – pergunta apresentada logo após a criação de uma nova playlist (Figura 4), o sistema apresenta a tela ilustrada na Figura 5. A heurística Reconhecimento ao invés de memorização foi violada pois ao responder “Yes” o avaliador julga que o usuário esperaria encontrar a opção de inserir músicas do CD. Porém, a opção oferecida é a partir das trilhas que já estão na biblioteca. É possível pesquisar no computador pelo botão “Browse my Computer”, mas esta opção não está em destaque, além de não ser adequada para a tarefa, conforme mostram os próximos resultados.
Figura 5 – Add Clips From My Library
o
Tarefa 1: o Passo1: Criar uma lista de músicas o Passo2: Adicionar 2 músicas de um dos CD's à lista de músicas o Passo3: Adicionar 2 músicas do outro CD's à lista de músicas Tarefa 2: o Passo1: Renomear a lista de músicas o Passo2: Substituir uma das músicas por uma nova Tabela 3: Resultado do Percurso Cognitivo Atividades
Questões do Percurso Cognitivo
Tarefa 1 Passo1 Passo2
Tarefa 2 Passo3 Passo1 Passo2
A ação correta será evidente para o usuário?
sim
não
não
sim
sim
O usuário notará que a ação correta está disponível?
sim
não
não
não
sim
O usuário interpretará a reação do sistema corretamente?
não
não
não
sim
sim
Os resultados mostram que no passo 1 da Tarefa 1 (criação das listas de músicas) não há dificuldades de aprendizado, execução ou memorização identificados. Na opinião da avaliadora, o usuário saberá o que fazer, pois logo na tela inicial (Figura 1, no início da seção) ele encontrará a opção Playlist e sua respectiva descrição. Na visão da avaliadora ela também considerou que o usuário
saberá como fazer, pois ao acessar Playlists o sistema oferecerá a opção NewPlaylist. Em seguida o usuário entenderá o feedback do sistema se a ação estava correta ou não, pois logo após o click no botão “OK” o Real Player™ pergunta se o usuário quer adicionar músicas à Playlist. Os resultados mais informativos para (re)design, porém, estão no segundo passo da Tarefa1. Como se vê na Tabela 3, a avaliadora respondeu “Não” a todas as perguntas representadas. Na sua interpretação, o usuário não saberá o que fazer, pois logo depois da criação da Playlist quando o sistema pergunta se ele deseja adicionar músicas à playlist (Figura 4) ele não terá como antecipar que deve recusar a oferta do sistema, tendo em vista que precisa copiar suas músicas para a biblioteca de músicas antes de poder incluí-las na playlist. O usuário provavelmente também não terá como saber que deve ir até a opção CD/DVD para ver as músicas do CD e selecionar as desejadas. Uma vez que o usuário tenha selecionado as trilhas o usuário verá que o status das músicas mudou de pendente para salvo, mas não saberá que as músicas foram salvas na sua biblioteca (veja as Figuras 7 e 8).
Figura 7 – Status “Pending”
Figura 8 – Status “Saved”
5.2.3 Avaliação de Comunicabilidade Os participantes da avaliação com o método AC foram solicitados a realizar as seguintes tarefas (derivadas da Tarefa 1 e da Tarefa 2 mencionadas no início desta seção): i. ii. iii. iv. v.
Criar playlist Adicionar 1 música do CD1 Adicionar 1 música do CD2 Renomear a playlist Substituir 1 música da playlist por outra qualquer
Após a etiquetagem os dados foram tabulados (Tabela 4) e verificaram que em um total de 51 etiquetas há predominância de: “Cadê?”, com 11 ocorrências, e “Epa!”, com 8 ocorrências. Estas últimas decorrentes de lapsos ocorridos durante a busca do usuário para encontrar a opção desejada (“Cadê?”). As tarefas iii e v não aparecem na Tabela 4 pois nenhum usuário conseguiu realizar todas as tarefas. Apenas um usuário conseguiu chegar à tarefa iv, e no seu caso nenhuma ruptura foi identificada na tarefa iii. Também pode ser visto na Tabela 4 que 43 das 51 rupturas estão concentradas na tarefa ii (Adicionar uma música do CD 1). Como mencionado anteriormente, isto aconteceu porque, com exceção de
um usuário, todos os outros ficaram presos na tarefa ii. A tarefa ii se subdivide em: ii.1 ii.2 ii.3 ii.4
Colocar o CD no drive; Selecionar trilha para salvar; Ir até a playlist criada e pedir para adicionar a trilha; Selecionar a música que deseja na biblioteca e pedir para adicionar à playlist;
São informativos para o (re)design da interface os seguintes resultados. Embora a primeira tarefa dada aos usuários fosse criar a playlist, todos os usuários começaram o teste colocando o CD no drive (primeira etapa da tarefa ii). Com isto a configuração inicial mudou para a imagem ilustrada na Figura 9. Tabela 4: Etiquetagem por tarefa Tarefa
i
ii
iv
Total
Cadê?
-
9
2
11
E agora?
-
5
5
O que é isto?
-
4
4
Epa!
-
6
Onde estou?
1
1
2
Ué, o que houve?
-
4
4
Assim não dá.
-
3
3
Por que não funciona?
-
5
P’ra mim está bom...
-
-
Desisto.
-
2
Vai de outro jeito.
-
-
-
Não, obrigado.
-
4
4
Socorro!
-
-
1
1
Total de etiquetas por tarefa
1
43
7
51
Etiqueta
2
1
8
6 -
1
3
Como conseqüência, a maioria dos participantes ficou procurando a opção da primeira tarefa, que era a criação da playlist. E neste processo de busca várias rupturas etiquetadas como “Cadê?” são identificadas porque os usuários não conseguem encontrar o elemento adequado para o que desejam fazer. A ausência de hints nas opções de menu, assim como o não entendimento imediato dos signos da interface faz com que os participantes entrem em caminhos inapropriados, os quais os participantes conseguem identificar como errados e logo retornando para o ponto de partida, caracterizando a ruptura etiquetada por “Epa!”.
difíceis de se expressarem através de AH, ao contrário do que ocorre com PC ou AC. Um dos pontos importantes para a comparação entre AC e PC é que apesar de termos uma seqüência de tarefas em ambos os métodos, a participação dos usuários no método AC revelou vários caminhos alternativos seguidos pelos participantes e imprevistos pelos avaliadores, dando uma demonstração clara do comportamento oportunista dos seres humanos em situações contingentes. Este último fator é difícil de ser endereçado por uma avaliação que utilize PC, mesmo com vários avaliadores, pois um avaliador – embora represente e defenda os interesses dos usuários – não é um usuário. Portanto, como informação para o (re)design, AC traz um ingrediente de realidade diretamente fornecido por usuários (potenciais ou reais) que PC não traz.
Figura 9 – Lista de músicas do CD Mas após um significativo período de tempo os usuários conseguem criar a playlist. Entretanto, em seguida, entram novamente em um processo de busca para inserir uma música à playlist. A razão para isto é que a maioria dos usuários não tinha o conhecimento prévio de que deveriam salvar as músicas na biblioteca antes de salvá-las na playlist, conforme observado na interação e confirmado na entrevista pós-teste. Nesta fase surgem as rupturas etiquetadas por “E agora?” e “Por que não funciona?”. No primeiro caso o processo interpretativo do usuário está temporariamente parado (e conseqüentemente a comunicação interrompida) porque ele não sabe o que deve fazer. No segundo caso o usuário escolhe a opção “Browse my computer”, pois acredita que pode buscar suas músicas no CD e como esta opção abre as trilhas do CD, o usuário insiste em selecioná-las e não entende porque o sistema não permite que as músicas sejam adicionadas na playlist. A interpretação errada desta opção faz com que o usuário repita a operação (acionando a opção Browse my computer) várias vezes. Em ambos os casos a falha é temporária. Quando o usuário consegue solicitar que a música seja salva na biblioteca, através da opção Save my tracks, se ele muda de janela, ele perde o feedback da música sendo salva. Isto faz com que haja uma repetição do acionamento da opção Browse my computer (localizada na caixa de diálogo Add Clips From My Library, acionada pela opção Add Clips – veja Figura 5) porque o feedback do sistema não revela que o processo de salvar a música ainda estava pendente. É importante ressaltar que nenhum dos participantes conseguiu completar as tarefas no tempo dado para o teste (10 minutos). Isto implicou na ocorrência da etiqueta “Desisto.” que é justificada pelo fim do recurso tempo.
5.3 Comparação dos resultados Os diferentes resultados reforçaram nosso conhecimento sobre a diferença de objetivos dos métodos analisados neste estudo. Identificamos tanto com AC quanto com PC que o problema central da porção analisada do software estava na tarefa de incluir uma música do CD na Playlist. Entretanto olhando os resultados da AH não se vêem tarefas, e sim características de interface. Assim, do ponto de vista de informação para (re)design, está claro que problemas associados não apenas a um procedimento específico, mas a um padrão ou lógica de procedimento que se replique em mais de um ponto da interação com o software são
Além disto, mesmo quando uma informação sobre um problema de design é dada por mais de um dos métodos, a qualidade da informação varia. Por exemplo, o designer é informado a partir de dois dos métodos empregados que existe um problema no botão “Browse My Computer” (Figura5) na tela de adicionar clipes na playlist. O resultado de AH dá conta de um problema de memorização (carga cognitiva mais elevada) decorrente do uso errado desta opção de design. Curiosamente, na avaliação com o método PC, a atenção da avaliadora não se voltou para esta questão, não sendo portanto identificado nenhum problema. A provável razão desta omissão é que o método inspeciona caminhos de interação baseados no modelo de tarefas do design, correndo-se o risco de não perceber descaminhos que uma inspeção menos dependente do modelo de tarefas (como em AH) ou inspirada por dados de observação de usuários (como em AC) pode identificar. Na AC, não apenas o designer é informado de que um usuário efetivamente fez uso deste signo da interface (“Browse My Computer”), mas também de como (e possivelmente por que) ele interpretou de forma diferente aquilo que foi idealizado pelo designer. Esta apropriação errada da significação do elemento da interface pode levar o designer a repensar não apenas localmente a sua decisão de design, mas também globalmente (supondo-se que ele á capaz de responder por que ele utilizou esta alternativa de design e em que outros pontos da interface a mesma lógica de decisão foi empregada). Este tipo de reflexão, motivada por questões levantadas na fase de perfil semiótico de AC, não deverá surgir (senão fortuitamente) a partir da verificação de que uma heurística de usabilidade foi violada quanto ao design deste elemento específico de interface. Finalmente, é completamente discrepante o tempo gasto com o método AC quando comparado aos métodos AH e PC. A necessidade de se realizarem sessões de observação de usuários, mesmo que de poucos usuários, como o que é comum em exercícios acadêmicos tais como o deste estudo, sempre multiplica o tempo gasto por métodos que dispensam esta observação. Resta saber se o fator de benefícios que o método oferece compensa o seu custo. Este é o assunto da próxima e última seção deste trabalho.
6. CONCLUSÃO Este estudo tem um fator original interessante: tanto quanto se saiba, é o primeiro em que AC é comparado a outros métodos. Tal como ele, os outros dois métodos deste trabalho têm em comum o fato de serem interpretativos. Entretanto, distinguem-se uns dos outros por serem ou não baseados em teorias (PC e AC são; AH não) e por focalizarem questões centrais de usabilidade (PC e AH) ou comunicabilidade (AC). Em nível mais detalhado, distinguemse todos uns dos outros, como mostraram as seções anteriores. A
despeito disto, dois critérios podem ser utilizados para ajudar um profissional a decidir quando, como e se utilizar um e/ou outro: tempo gasto com a avaliação e informação resultante para o (re)design. Além destes, deve-se ressaltar que AC requer um especialista em Engenharia Semiótica, ao passo que PC pode ser realizado por não-especialistas. Já AH deve ser realizado por especialistas em IHC (o que é mais fácil de encontrar do que especialistas em Engenharia Semiótica). Um desafio metodológico importante para estudos comparativos é a própria comparabilidade dos resultados. Fatores como a experiência e o número de avaliadores, a aplicação de um ou mais métodos por cada um dos avaliadores (e a ordem de aplicação), a natureza do objeto de análise de cada método, são criticamente importantes, sobretudo quando se objetiva atingir resultados científicos. Quando o objetivo é de ordem prática ou heurística, porém, estes desafios embora persistentes ganham outra perspectiva. No caso do estudo comparativo reportado neste trabalho, o objetivo é contrastar o custo e o benefício de três métodos ensinados em boa parte dos programas de formação de profissionais de IHC no Brasil. Espera-se que os resultados aqui apresentados possam ser adicionados e aprimorados em atividades de ensino, dando aos alunos elementos consistentes para futuras decisões profissionais. As avaliações deste estudo foram realizadas por pessoas com perfil acadêmico – não por profissionais. Dentre as dificuldades metodológicas que se teria de enfrentar se fossem envolvidos profissionais podemos destacar duas: a dificuldade de encontrar profissionais com disponibilidade de tempo (também reportado em [4]); e a escassez de profissionais treinados e experientes com o método AC (em geral os profissionais trabalham com AH e alguns com PC). Nestas condições, um estudo comparativo entre avaliações realizadas por alunos de pós-graduação especializados em IHC pareceu a melhor entre as opções viáveis. As avaliações foram realizadas por somente duas pessoas para AC e AH; uma pessoa para PC. A dificuldade de se utilizarem mais avaliadores torna-se grande quando temos em conta inicialmente a mera questão de gerência do tempo. Como, por motivos éticos, uma atividade desta natureza tem de ter participação voluntária dos avaliadores (o que impede por exemplo que esta atividade seja parte de um curso avançado de IHC) e o trabalho é intenso (somadas, são mais de 20 horas de trabalho em média, para cada avaliador), é difícil dobrar ou triplicar este número de avaliadores mantendo-se a homogeneidade de competência entre os avaliadores. Considerados estas limitações de caráter prático, resta saber o valor da comparação traçada na seção 5. Quanto ao tempo despendido com cada método, estima-se que se o método PC tivesse sido realizado não pelo número mínimo viabilizante de suas etapas (um), mas pelo número mínimo para haver algum contraste de resultados (dois, ou idealmente três), o número de homens/hora necessário para cumpri-lo poderia ser superior ao dobro do que foi, aproximando-se do método AC e distanciando-se do método AH. É indiscutível que AH é o método de menor custo em H/H dentre os três métodos, para um mesmo número de avaliadores. Enquanto os próprios proponentes do método aconselham que ele seja realizado por uma equipe de 3 a 5 avaliadores, os proponentes dos dois outros métodos não sugerem a mesma coisa. De fato, embora para AC seja necessário por motivos práticos ter ao menos 2 avaliadores ao menos até as sessões de observação, não há
nenhum motivo intrínseco para que se utilizem mais do que 2, tendo em vista que a variação de perspectivas é introduzida pelo próprio testemunho dos usuários (e não pela interpretação alternativa dos avaliadores). Já em PC tal como em AH, uma pluralidade de avaliadores pode compensar o viés de interpretação de um único avaliador. Assim, enquanto o fator crítico de aumento de H/H em AC é o número de participantes das sessões de avaliação, em PC e AH é o número de avaliadores. Assim, basta olhar para a fração das atividades dependentes destes fatores para perceber que AC será sempre muito mais custosa do que os demais métodos, por causa do tempo gasto com a realização de testes e a etiquetagem dos registros de interação. Ou seja, mesmo nas condições especiais em que este estudo se realizou, seus resultados parecem indicar com alguma segurança um padrão de ordenação dos métodos analisados no que diz respeito ao custo em H/H. Em termos dos benefícios – informações para (re)design – deve-se começar a comparação por traçar considerações sobre as diferenças entre usabilidade e comunicabilidade. Tomando-se apenas os ingredientes básicos de usabilidade (facilidade de entender, memorizar e manejar um software, acompanhada de satisfação e produtividade do usuário) e comunicabilidade (facilidade de comunicar a lógica de funcionamento do software, bem como as motivações e razões para as escolhas expressas pela visão de design), fica evidente que a comunicabilidade contribui para a usabilidade (embora não possa garanti-la, se não fizer parte da visão de design, por exemplo, tornar o usuário mais produtivo). Entretanto, a comunicabilidade endereça fatores (como a visão de design e a comunicação de seu valor percebido, por parte do designer) que passam ao largo das questões típicas de usabilidade. Tais questões são particularmente interessantes em um cenário de competitividade comercial, em que produtos de uma mesma categoria perdem ou ganham faixas de mercado justamente na medida em que seus usuários percebem e reagem positivamente ao seu valor. Dito isto, o método de AC amplia o espectro de informações para o (re)design de software, comparativamente aos métodos de AH e PC. Pode-se questionar se quando PC é realizado por profissionais de marketing esta perspectiva emerge. Acreditamos que não, ou ao menos não da mesma forma explícita e destacada que em AC, porque o método PC tem um questionamento sistemático fixo que não inclui dimensões do valor da tecnologia. Em termos dos resultados ilustrados no reduzido escopo deste estudo, nota-se que os métodos baseados em teoria podem lançar mão de um modelo do processo de IHC, coisa que métodos heurísticos não podem fazer. Assim, tanto PC quanto AC podem oferecer aos designers, por intermédio de suas teorias de base, explicações, e no caso de PC oferecer também previsões, sobre o efeito de certas opções de design. Como as teorias cognitivas de IHC são tipicamente preditivas, ao contrário da Engenharia Semiótica, a teoria permite ao avaliador que a domina prescindir da presença de usuários reais, e ainda assim alcançar resultados consistentes pautados na teoria. Como a Engenharia Semiótica não é uma teoria preditiva, o método AC se vale do testemunho factual de sessões de interação para oferecer dados concretos a partir dos quais os avaliadores, tal como os que utilizam o método PC, farão suas inferências e formarão seu parecer. Se por um lado AC é um método mais custoso do que PC, por outro, justamente por focar a comunicabilidade, ele amplia o espectro de informações para o (re)design, como argumentado no parágrafo anterior. Além disto, o método traz ingredientes “surpresa” da realidade dos usuários, captados durante a etapa custosa de testes. Como visto na seção 5, houve casos em que o método AC, e mesmo o AH, identificaram
problemas que passaram explicavelmente despecebidos à avaliação por PC, por ser ela bastante influenciada pela lógica de um modelo de tarefas contemplado no design. O elemento “surpresa” de caminhos alternativos e inesperados é muito raro neste contexto. É interessante notar que o método AH pode chegar a este elemento “surpresa” por perseguir apenas a presença ou ausência de certas características gerais de design. É possível, como se verificou no estudo, que no caminho da inspeção o avaliador descubra e explore alternativas que não estão explicitamente marcadas em um modelo de tarefas. A questão para AH é que a presença ou ausência destas características não se enquadra em (ou contribui para) uma explicação geral do processo de interação que o design teria por objetivo promover e apoiar. Há na literatura de IHC outros trabalhos que comparam métodos de avaliação de interfaces ([3], [4]). O estudo apresentado neste artigo se assemelha a eles tanto no que diz respeito ao objetivo de verificar e comparar seus custos e benefícios, quanto no que se refere à busca de um melhor entendimento sobre quando um método é mais adequado a uma dada situação. A grande diferença com relação a estes trabalhos é que a comparação apresentada neles é em geral quantitativa, reportando-se o número de problemas encontrados por método, por exemplo. O fato deste trabalho analisar a avaliação de comunicabilidade, que é um método qualitativo, dificulta uma comparação quantitativa entre os métodos. O número de problemas é bem menos importante do que a sua natureza. Outra diferença é que neste trabalho englobamos problemas de comunicabilidade além dos de usabilidade. Uma questão importante para este estudo foi a ordem de aplicação dos métodos, já que se tratava dos mesmos avaliadores. O primeiro método aplicado foi PC, para que as avaliadoras tivessem segurança sobre os passos necessários para execução de uma determinada tarefa. Em seguida foi usado o método AH, para verificar quais heurísticas de usabilidade eram violadas no caminho de execução de uma tarefa. E por fim, a utilização do método AC possibilitou que se observasse se os problemas levantados pelos dois métodos anteriores também seriam identificados durante a interação de usuários com o aplicativo. Este fator contrabalançou o aprendizado das próprias avaliadoras ao longo do processo, atenuando os efeitos de sua maior compreensão das características do objeto de avaliação sobre o diagnóstico dos problemas encontrados. Além disto, como este último método falava de comunicabilidade e não de usabilidade, este desvio também contribuiu para equalizar o grau de “surpresa” (um olhar tão inocente e desprendido quanto possível sobre o objeto) que os aplicadores de métodos qualitativos devem manter. As conclusões deste trabalho apontam para a necessidade ou oportunidade de trabalhos futuros que possam (des)confirmar e/ou aprofundar os resultados aqui apresentados. Uma é a realização de um novo estudo comparativo entre os três métodos, desta vez com avaliadores mais experientes. As dificuldades já apontadas para fazê-lo, no entanto, poderão tornar esta uma meta de médio a longo prazo. A curto prazo, pode-se realizar um outro estudo para verificar se os resultados serão confirmados caso os métodos sejam aplicados por grupos de avaliadores diferentes ou por grupos iguais mas em uma ordem diferente. Uma terceira e interessante oportunidade é utilizar como base de comparação a avaliação de um software a cujos designers tivéssemos acesso, a
fim de envolvê-los no estudo, para que eles próprios possam analisar os resultados gerados pelos métodos. A avaliação neste último caso poderia ser somativa ou formativa, sendo que esta última, apesar de mais custosa, seria bem mais valiosa. AGRADECIMENTOS As autoras deste artigo – Luciana, Silvia e Clarisse – agradecem a CAPES e o CNPq por suas bolsas de, respectivamente, mestrado, doutorado e produtividade em pesquisa. Agradecem também aos usuários, que se disponibilizaram para a realização dos testes, e aos revisores anônimos do IHC2006, cujas sugestões e críticas à versão inicial ajudaram-nas a melhorar a apresentação deste trabalho.
REFERÊNCIAS [1] Carroll, J. M., and Rosson, M.B. (1987) The paradox of the active user. In J. M. Carroll (ed.) Interfacing Thought: Cognitive Aspects of Human-Computer Interaction. Cambridge: Bradford Books/ The MIT Press. [2] de Souza, C.S. (2005) The Semiotic Engineering of HumanComputer Interaction. Cambridge. The MIT Press. [3] Jeffries, R., Miller, J. R., Wharton, C. and Uyeda, K. M. (1991) User Interface Evaluation in the real world: a comparison of four techniques. In Proceedings of CHI’91, (New Orleans, LA, April 28-May3, 1991), New York, ACM. 119-124. [4] Karat, C. M., Campbell, R., and Fiegel, T. (1992). Comparison of empirical testing and walkthrough methods in user interface evaluation. In Proceedings of CHI’92, (Monterrey, CA, 1992), New York, ACM. 397-404. [5] Nielsen, J. (1993) Usability Engineering. New York. Academic Press. [6] Nielsen, J. (1994) Heuristic evaluation. In Nielsen, J., and Mack, R. L. (Eds.), Usability Inspection Methods. New York. John Wiley & Sons. 25-64. [7] Norman, D.A. (1986). Cognitive Engineering. In D. A. Norman and S. W. Draper (Eds.) User Centered System Design. 1986. Hillsdale. 31-61. [8] Polson, P., Lewis, C., Rieman, J., and Wharton, C. (1992). Cognitive walkthroughs: A method for theory-based evaluation of user interfaces. International Journal of ManMachine Studies, 36 (5). 741-773. [9] Prates R., de Souza, C.S., Barbosa, S. (2000). A Method for Evaluation the Communicability of User Interfaces. Interactions, 7 (1), Jan.-Feb. 2000. 31-38. [10] Preece, J., Rogers, Y. and Sharp, H. (2005). Design de Interação – Além da interação humano-computador. Porto Alegre. Bookman. [11] Wharton, C., Rieman, J., Lewis, C., and Polson, P. (1994). The cognitive walkthrough method: A practitioner's guide. In Nielsen, J., and Mack, R. L. (Eds.), Usability Inspection Methods. New York. John Wiley & Sons. 105-140.
