Teste de Usabilidade em Produtos de Software Adaptação do Cognitive Walkthroughs e Heuristic Evaluation

Teste de Usabilidade em Produtos de Software Adaptac¸a˜ o do Cognitive Walkthroughs e Heuristic Evaluation Lilian M. Ohira1 , Rodrigo Galvan1 , Glauco Gomes1 1

Centro Internacional de Tecnologia de Software – (CITS) Rua do Semeador, 702 - CEP 81270-050 - Curitiba - Paran´a - Brasil Abstract. This article describes an approach tailored to evaluate the usability of software products that are already in acceptance phase, the proposed method is the result of studies conducted by the institute of research and development, which given that achieving results, describes disseminates the technique by applying it to a pilot test in a mobile application presented here. Two basic strategies for usability testing, Cognitive Walkthroughs and Heuristic Method, are combined and adapted to the phase and aiming to attend the main objective of the technique: identifying the application compliance with the usability principles. Resumo. Este artigo descreve uma abordagem customizada para avaliac¸a˜ o da usabilidade de produtos de software que j´a se encontram em fase de aceitac¸a˜ o, o m´etodo proposto e´ resultado dos estudos efetuados por instituto de pesquisa e desenvolvimento, que dada obtenc¸a˜ o de resultados, descreve e difunde a t´ecnica atrav´es da sua aplicac¸a˜ o em um teste piloto que utilizou uma aplicac¸a˜ o para dispositivo m´ovel. Duas estrat´egias b´asicas de teste de usabilidade, Cognitive Walkthroughs e Heuristic Method, s˜ao combinadas e adaptadas a` fase e ao objetivo principal da t´ecnica: identificar a conformidade da aplicac¸a˜ o com os princ´ıpios de usabilidade

1. Informac¸o˜ es Gerais E´ poss´ıvel identificar trˆes abordagens b´asicas para avaliac¸a˜ o da usabilidade em produtos de software, s˜ao elas: • Avaliac¸a˜ o Centrada no Usu´ario Descric¸a˜ o:Este tipo de avaliac¸a˜ o busca analisar a usabilidade do produto atrav´es do acompanhamento da realizac¸a˜ o de tarefas representativas por usu´arios representativos. Detalhes: Durante o ciclo de design/teste/desenvolvimento do software, dois tipos de avaliac¸a˜ o comp˜oe essa abordagem: Avaliac¸a˜ o Formativa e Somativa. A avaliac¸a˜ o formativa e´ respons´avel por coletar informac¸o˜ es sobre os conceitos e design almejados para um software. E a avaliac¸a˜ o somativa por sua vez e´ a respons´avel por identificar os problemas de usabilidade atrav´es da realizac¸a˜ o de tarefas por usu´arios representativos em um contexto de uso realista. • Avaliac¸a˜ o baseada em Especialista Descric¸a˜ o: Este tipo de avaliac¸a˜ o disp˜oe de um especialista da a´ rea para avaliac¸a˜ o dos problemas de usabilidade do software em quest˜ao. Detalhes: Existem diferentes estrat´egias utilizadas para avaliac¸a˜ o de usabilidade baseada em um especialista da a´ rea, s˜ao descritas abaixo trˆes estrat´egias e suas particularidades:

– Guideline and Standard Review - Revis˜ao de Padr˜oes e Guias: a avaliac¸a˜ o e´ realizada com base em guias, checklists, e padr˜oes definidos para o software – Cognitive Walkthroughs - An´alise Cognitiva: a avaliac¸a˜ o e´ realizada por especialistas em usabilidade atrav´es da utilizac¸a˜ o dos recursos que estar˜ao dispon´ıveis no sistema para cumprimento de tarefas predeterminadas. Esta estrat´egia em geral e´ aplicada durante a fase de desenvolvimento de modo a identificar a melhor disposic¸a˜ o de conte´udos e recursos. Durante a execuc¸a˜ o dos passos para cumprimento das tarefas s˜ao realizadas avaliac¸o˜ es cognitivas para cada uma das opc¸o˜ es dispon´ıveis objetivando a finalizac¸a˜ o da tarefa com sucesso. E´ indicado, todavia pela literatura, que este m´etodo seja utilizado em conjunto a outras t´ecnicas de avaliac¸a˜ o de usabilidade. – Heuristic Evaluation - Avaliac¸a˜ o Heur´ıstica: esta e´ a t´ecnica mais utilizada atualmente, a avaliac¸a˜ o e´ realizada com base em princ´ıpios de usabilidade (heur´ısticas). E´ indicado pela literatura cinco avaliadores que julguem as heur´ısticas listadas para o software. • Avaliac¸a˜ o baseada em Modelos Descric¸a˜ o Este tipo de avaliac¸a˜ o e´ realizado com base em dados advindos de pesquisas de psic´ologos acerca da percepc¸a˜ o, cognic¸a˜ o e mem´oria humana. Os modelos definidos por estas pesquisas disponibilizam predic¸o˜ es de performance que viabilizam pesquisadores da interac¸a˜ o humano-computador avaliarem as interfaces. Detalhes: Um dos modelos existentes e´ o GOMS - Goals, Operators, Methods and Selection rules - Metas, Operadores, M´etodos e Regras de Selec¸a˜ o: Um m´etodo e´ um conjunto de operadores que viabilizam o cumprimento de uma meta. As regras de selec¸a˜ o por sua vez, dizem respeito e´ selec¸a˜ o de um m´etodo, uma vez que um mesmo m´etodo vai alcanc¸ar o mesmo resultado/meta. Este m´etodo e´ utilizado para analisar a forma mais eficiente para se atingir um objetivo na interface. Outro modelo dispon´ıvel e´ o NGOMSL - Natural Goals, Operators, Methods and Selection rules Language - Metas, Operadores, M´etodos e Regras de Selec¸a˜ o na Linguagem Natural: este modelo de avaliac¸a˜ o e´ uma extens˜ao do GOMS de modo que com ele seja poss´ıvel tamb´em analisar o tempo de aprendizado do software em quest˜ao. Ambos os m´etodos exigem a definic¸a˜ o de tarefas de An´alise para identificac¸a˜ o das metas, operadores, m´etodos e regras de selec¸a˜ o.

2. Proposta de Adaptac¸a˜ o de Estrat´egias de Avaliac¸a˜ o da Usabilidade Como abordagem para avaliac¸a˜ o da usabilidade de aplicativos para dispositivos m´oveis, prop˜oe-se a combinac¸a˜ o e adaptac¸a˜ o das estrat´egias Cognitive Walkthroughs e Heuristic evaluation. 2.1. Cognitive Walkthroughs Esta metodologia teve sua origem em 1990, e evoluiu gradativamente desde ent˜ao [John and Packer 1995], sua estrat´egia e´ a de identificar atrav´es da explorac¸a˜ o das funcionalidades, a facilidade de aprendizado proporcionada pela interface do software em quest˜ao, ou seja, a teoria da aprendizagem explorat´oria. O desenvolvimento desta t´ecnica

se d´a atrav´es da aplicac¸a˜ o de um conjunto de quest˜oes sobre os aspectos individuais de uma interface nos momentos de decis˜ao que se apresentam na realizac¸a˜ o de tarefas. Respostas positivas a` s perguntas individuais sustentam a concepc¸a˜ o de que a interface ser´a f´acil de aprender e as respostas negativas para os passos relacionam um procedimento operacional que pode ser dif´ıcil de aprender [Lewis and Rieman 1994]. Para seu desenvolvimento s˜ao identificados cen´arios ver´ıdicos os quais seriam certamente vivenciados por um usu´ario iniciante e analisados para os passos realizados, os aspectos relacionados a` s quest˜oes[Abowd 1995]: 1) O recurso que o usu´ario necessita para realizar a ac¸a˜ o est´a presente? 2) Est´a evidente para o usu´ario o correto acesso a este recurso? (refere-se sobre a visibilidade/disponibilidade do bot˜ao, menu, etc.) 3) O usu´ario ir´a reconhecer que a ac¸a˜ o efetuada e´ a correta neste momento? (o t´ıtulo e´ adequado? A imagem associada remete e´ funcionalidade acessada?) 4) O usu´ario ir´a interpretar a resposta advinda do sistema? Ele vai saber quando a ac¸a˜ o selecionada est´a correta ou incorreta? Esta estrat´egia de teste de usabilidade e´ aplicada em geral no momento de concepc¸a˜ o do software como forma de determinar os fluxos e recursos que dever˜ao estar dispon´ıveis na interface em projeto. Nesta abordagem, todavia, prop˜oe-se que esta seja utilizada no momento da identificac¸a˜ o de cen´arios de teste, viabilizando j´a neste momento uma avaliac¸a˜ o pr´evia quanto a` intuitividade e facilidade de aprendizado atual da aplicac¸a˜ o. Este trabalho utilizou como teste piloto um aplicativo para dispositivos m´oveis de modo a ressaltar sua aplicabilidade neste contexto, todavia, a identificac¸a˜ o de cen´arios de teste e pr´e-avaliac¸a˜ o da interface por meio desta t´ecnica e´ eficiente tamb´em para aplicac¸o˜ es web e desktop. A abordagem busca trabalhar o especialista da a´ rea de usabilidade como um explorador que avaliar´a cognitivamente a interface, bem como realizar´a o mapeamento dos passos para efetivac¸a˜ o das funcionalidades principais relacionadas para verificac¸a˜ o. A aplicac¸a˜ o desta t´ecnica e´ descrita e seus resultados apresentados em sec¸o˜ es subsequentes. 2.2. Heuristic Evaluation E´ uma das estrat´egias de inspec¸a˜ o da usabilidade mais utilizadas, desenvolvido por [Nielsen and Molich 1990] busca analisar a conformidade de uma interface com o usu´ario ou de um sistema em relac¸a˜ o a um conjunto de princ´ıpios conhecidos por ”heur´ısticas” [Seffah 2005]. A nomenclatura ”heur´ıstica” adv´em do fato de que o conjunto de princ´ıpios tem sua base mais voltada a dados emp´ıricos do que em guias espec´ıficas de usabilidade. Esta abordagem em geral e´ aplicada por designers ou especialistas em usabilidade, sendo o mais indicado especialistas em usabilidade que possuem maior dom´ınio t´ecnico sobre o conte´udo. Existem diversas heur´ısticas de usabilidade relacionando princ´ıpios para design de interfaces, onde os problemas identificados s˜ao classificados de acordo com sua severidade/gravidade, Segundo [Nielsen and Mack 1994], a severidade consiste na combinac¸a˜ o de trˆes elementos: frequˆencia, impacto e persistˆencia.

Um exemplo de Checklist de Avaliac¸a˜ o Heur´ıstica contemplaria as heur´ısticas: 1) Visibilidade de Status do Sistema: o sistema deve apresentar e manter dispon´ıvel a informac¸a˜ o sobre o status do sistema atrav´es de ”feedback” apropriado em tempo razo´avel. 2) Acordˆancia entre sistema e mundo real: o sistema deve utilizar palavras, frases, e conceitos conhecidos pelo usu´ario em contraposic¸a˜ o ao uso de conte´udos baseados em termos t´ecnicos do sistema. 3) Controle do Usu´ario e liberdade: deve haver a possibilidade de que os usu´arios optem por quando e como realizar suas atividades tendo assegurado para si a opc¸a˜ o de interrupc¸a˜ o de qualquer ac¸a˜ o sendo desempenhada sem maiores perdas. 4) Consistˆencia e Padr˜oes: deve-se manter o padr˜ao e consistˆencia de conte´udos apresentados evitando necessidade de adivinhac¸a˜ o ou maiores esforc¸os cognitivos para compreens˜ao de funcionalidades. 5) Aux´ılio ao reconhecimento, diagn´ostico e recuperac¸a˜ o de erros: mensagens de erros devem apresentar informac¸o˜ es completas para garantir a compreens˜ao do ocorrido e formas para recuperac¸a˜ o. 6) Prevenc¸a˜ o de Erros: em conjunto a mensagens de erro informativas deve estar o design preventivo como forma a evitar a ocorrˆencia de erros. 7) Reconhecer e´ prefer´ıvel a recordar: objetos, ac¸o˜ es e recursos dispon´ıveis devem estar vis´ıveis e acess´ıveis (incluindo instruc¸o˜ es de uso) ao usu´ario evitando maiores esforc¸os para utilizac¸a˜ o. 8) Flexibilidade e design minimalista: recursos que acelerem e viabilizem customizac¸a˜ o da interac¸a˜ o devem estar dispon´ıveis para usu´arios mais experientes possibilitando melhor aproveitamento do sistema por este perfil de usu´ario, mas sua adequac¸a˜ o tamb´em e´ usu´arios inexperientes. 9) Est´atica e design minimalista: a apresentac¸a˜ o de informac¸o˜ es irrelevantes ou pouco utilizadas deve ser avaliada de modo a n˜ao prejudicar a visualizac¸a˜ o de conte´udos importantes. 10) Ajuda e documentac¸a˜ o: em conjunto a uma interface intuitiva e autoexplicativa, a documentac¸a˜ o e ajuda prover´a maiores informac¸o˜ es. As informac¸o˜ es apresentadas devem ser leg´ıveis, de f´acil localizac¸a˜ o, objetivas e centradas nas tarefas do usu´ario. 11) Habilidades: o sistema deve apoiar, ampliar, complementar as experiˆencias e competˆencias do usu´ario, aprimorar as habilidades e n˜ao substitu´ı-las. 12) Interac¸a˜ o agrad´avel e respeit´avel com o usu´ario: a interac¸a˜ o do usu´ario com o sistema deve ser mediada com respeito, a interface deve ser esteticamente agrad´avel combinando design e funcionalidade, garantindo a qualidade do trabalho/atividade desenvolvida. 13) Privacidade: o sistema deve viabilizar recursos para protec¸a˜ o de informac¸o˜ es privadas do usu´ario. Cada uma das heur´ısticas, princ´ıpios de usabilidade, enumeradas acima rela-

cionam diversos itens de verificac¸a˜ o. Na abordagem proposta por este trabalho, os pontos de verificac¸a˜ o de cada um dos princ´ıpios descritos acima s˜ao aplicadas a` s principais funcionalidades que foram inicialmente mapeadas pelo Cognitive Walkthroughs, viabilizando desta forma a an´alise e medic¸a˜ o da aderˆencia da usabilidade pra cada uma das heur´ısticas apresentadas.

3. Identificac¸a˜ o de Cen´arios de Teste com a aplicac¸a˜ o do Cognitive Walktroughs Para a aplicac¸a˜ o do teste piloto do Cognitive Walkthroughs como estrat´egia para mapeamento de funcionalidades e validac¸a˜ o da intuitividade e facilidade no uso da aplicac¸a˜ o foi selecionada uma tarefa representativa de uso comum e constante para usu´arios de dispositivos m´oveis: ”Adicionar novo contato”: Objetivando manter o sigilo quanto ao fabricante, o equipamento e configurac¸o˜ es utilizadas n˜ao ser˜ao explicitadas no decorrer deste teste piloto e a semelhanc¸a de comportamento com o funcionamento de quaisquer dispositivos m´oveis n˜ao sugerem o uso de qualquer aparelho em espec´ıfico ou sua referˆencia neste trabalho. Com a abordagem explorat´oria, identificou-se 4 diferentes caminhos ou menus de acesso para efetivac¸a˜ o da tarefa: ”Adicionar Novo Contato”: • • • •

1a - Via Contatos 2a - Via Discador 3a - Via Contatos no Menu 4a - Via ligac¸a˜ o recebida/efetuada

Ap´os determinar as vias de acesso a` funcionalidade, foram determinados os passos necess´arios para efetivac¸a˜ o da tarefa para cada um dos caminhos definidos. Na execuc¸a˜ o deste segundo passo, constatou-se que o percurso definido para realizac¸a˜ o da tarefa para a 1a e 3a via de acesso s˜ao ”semelhantes” e, portanto, a 3a via receber´a os mesmos valores da avaliac¸a˜ o realizada para a 1a nos passos que se seguirem, ver Figura 1.

Figure 1. Tabela da 1a via de Acesso para a funcionalidade ”Adicionar novo Contato”

3.1. Resultados do Cognitive Walkthroughs Al´em do mapeamento das vias de acesso e´ funcionalidade definida para o teste piloto, da identificac¸a˜ o dos casos de teste (passos e resultado esperados) para realizac¸a˜ o da tarefa, obteve-se como esperado para o Cognitive Walkthroughs a an´alise quanto a` intuitividade e facilidade de uso para realizac¸a˜ o da tarefa na interface, ver Figura 2.

´ Figure 2. Grafico da Intuitividade e Facilidade de Aprendizado da tarefa ”Adicionar Novo Contato”

4. Avaliac¸a˜ o de Heur´ısticas nos Cen´arios identificados Tendo como base os casos de teste identificados pelo Cognitive Walkthroughs para a tarefa representativa: ”Adicionar novo contato”, foram aplicados para validac¸a˜ o do princ´ıpio de usabilidade: ”Visibility of System Status”, cuja traduc¸a˜ o: ”Visibilidade do Status do sistema”, abordando o contexto: ”O sistema deveria manter o usu´ario informado sobre o estado atual da ac¸a˜ o atrav´es de feedback apropriado dentro de tempo adequado.”, 29 pontos de verificac¸a˜ o, ver Figura 3.

˜ do Princ´ıpio Visibilidade do Status do Sistema Figure 3. Pontos de Verificac¸ao

4.1. Resultado do Heuristic Evaluation Como resultado da verificac¸a˜ o do princ´ıpio de usabilidade ”Visibilidade do Status do Sistema”, dentre os 29 itens verificados, 2 n˜ao foram atendidos, 4 n˜ao eram aplic´aveis e consequentemente 23 foram atendidos, ver Figura 4.

5. Conclus˜ao A avaliac¸a˜ o da usabilidade de um produto de software e´ em geral uma an´alise subjetiva, todavia, a utilizac¸a˜ o de t´ecnicas que fornec¸am os principais pontos de verificac¸a˜ o, requisitos, guias e orientac¸o˜ es acerca dos aspectos a serem contemplados na aplicac¸a˜ o permite maior seguranc¸a do avaliador e consequentemente maior confiabilidade quanto a` conformidade da aplicac¸a˜ o com as necessidades do usu´ario.

´ ˜ ao Princ´ıpio ”Visibilidade do Status do Sistema” Figure 4. Grafico de adesao

Este trabalho apresenta a possibilidade de adaptac¸a˜ o e combinac¸a˜ o de t´ecnicas de avaliac¸a˜ o de usabilidade existentes atualmente como forma de suprir necessidades espec´ıficas de um indiv´ıduo ou organizac¸a˜ o.

References Nielsen, J. and Molich, R. (1990). Heuristic evaluation of user interfaces in Proceedings ACM CHI’90 Conf. Seattle, WA, 1-5 April, 249-256. Seffah, Ahmed (2005). User Interfaces and User-Centered Design for Software Engineers: Techniques, Tools and Applications in COMP6751 Human Computer Interface Design Website, Department of Computer Sciences, Concordia University http://hci.cs.concordia.ca/www/hcd/ Lewis, C., and Rieman, J. (1994). Task-Centered User Interfhace Design A Practical Introduction. in http://www.cs.ut.ee/ jaanus/hcibook/chap-1.v-1. Abowd, G.(1995). Performing a Cognitive Walkthrough in Georgia Institute of Technology, College of Computing, 1995. John, B.E., and Packer, H. (1995) Learning and Using the Cognitive Walkthrough Method: A Case Study Approach. in Proceedings CHIU95. http://www.acm.org/sigchi/chi95/Electronic/documnts /papers/bej1bdy.html. Nielsen, J., and Mack, R.L. (Eds.) Usability Inspection Methods John Wiley and Sons, New York, NY. http://www.useit.com/jakob/inspectbook.html