Anãlise comparativa de heurísticas para avaliação de jogos digitais

Análise comparativa de heurísticas para avaliação de jogos digitais Thiago Schumacher Barcelos 1,2, Thiago Carvalho 1, Juliano Schimiguel 2, Ismar Frango Silveira 2 1 Instituto Federal de Educação, Ciência e Tecnologia de São Paulo – IFSP 2 Universidade Cruzeiro do Sul – UNICSUL {tsbarcelos, tdcarvalho}@ifsp.edu.br, {ismar.silveira, juliano.schimiguel}@cruzeirodosul.edu.br

ABSTRACT

Heuristic evaluation can potentially identify issues related to the interface and playability of digital games, as long as an adequate set of heuristics is used. However, heuristic sets proposed in the literature have an excessive number of items and some are not specific enough to reveal issues. In this work, we propose a set of compiled heuristics for digital game evaluation. We compared the performance of the novel set with a set from the literature and conclude that, even though the novel set has roughly half the items, it allowed the identification of the same number of issues in two games. The description of the identified issues was slightly more specific. RESUMO

A avaliação heurística apresenta potencial para identificar problemas na interface e jogabilidade de jogos digitais, desde que seja utilizado um conjunto de heurísticas adequado. Entretanto, as propostas apresentadas na literatura têm um número excessivo de heurísticas, e algumas não são específicas o suficiente para a identificação de problemas pontuais. Neste trabalho, propomos um novo conjunto compilado de heurísticas para a avaliação de jogos digitais, e comparamos o seu desempenho com uma das propostas da literatura. Os resultados mostram que, apesar de conter menos da metade do número de itens, o conjunto proposto permitiu a identificação da mesma quantidade de problemas em dois jogos, com uma descrição ligeiramente mais específica. Keywords

Heuristic evaluation, digital games, playability INTRODUÇÃO

O desenvolvimento de jogos digitais atualmente se posiciona como uma área da indústria de software bastante promissora e rentável. De acordo com a ABRAGAMES (Associação Brasileira das Desenvolvedoras de Jogos Eletrônicos), o mercado brasileiro está em constante Permission to make digital or hard copies of all or part of this work for personal or classroom use is granted without fee provided that copies are not made or distributed for profit or commercial advantage and that copies bear this notice and the full citation on the first page. To copy otherwise, or republish, to post on servers or to redistribute to lists, requires prior specific permission and/or a fee.

evolução positiva, tendo apresentado crescimento a taxas superiores a 25% ao ano [1]. À medida que, para a indústria, a criação de novos jogos para abastecer esse crescente mercado torna-se uma atividade intensiva, cresce o desafio de garantir a qualidade do produto. Em particular, a qualidade da interação com o usuário em jogos assume um papel fundamental. Se a interface do jogo permite o controle do usuário para superar os desafios e obstáculos propostos, a percepção de qualidade do ponto de vista do usuário pode aumentar. Entretanto, a definição tradicional de usabilidade parece não ser suficiente para caracterizar a qualidade da interação em jogos digitais. Tomemos como exemplo a facilidade de uso, um dos aspectos frequentemente associados à usabilidade; no contexto de jogos, torna-se difícil definir sua aplicabilidade. Um jogo “fácil”, que não oponha obstáculos ao cumprimento dos seus objetivos, rapidamente se tornará desinteressante. Por outro lado, o jogo deve ainda permitir que o usuário aprenda os mecanismos de controle e configuração de forma rápida e fácil. Para considerar os aspectos de qualidade da interação que se aplicam especificamente ao domínio de jogos, vários autores propuseram a definição do conceito de jogabilidade. Federoff [8], a partir de revisão da literatura e pesquisa de campo com designers de jogos, definiu um conjunto de quarenta critérios de qualidade, divididos nas categorias interface, jogo e mecânica. Desuvire et al [5] compilaram uma lista similar à de Federoff; Falstein e Barwood [2] desenvolveram um projeto colaborativo com o objetivo de coletar todas as regras utilizadas na prática do design de bons jogos tendo sido coletadas, até o momento, cento e doze regras. Apesar de não haver um consenso sobre uma definição geral de jogabilidade, as propostas definidas até agora tem sido utilizadas como parâmetros para avaliação da qualidade da interação em jogos, através de testes de usabilidade e avaliações heurísticas. Em particular, a avaliação heurística se apresenta como uma técnica promissora se for possível transferir para o domínio de jogos digitais algumas vantagens já constatadas como, por exemplo, a identificação de problemas de usabilidade mais cedo no processo de desenvolvimento e a menor

© ACM, 2011. This is the author’s version of the work. It is posted here by permission of ACM for your personal use. Not for redistribution. The definitive version was published in: Proceedings of the 10th Brazilian Symposium on Human Factors in Computing Systems & 5th Latin American Conference on Human-Computer Interaction. ISSN 2178-7697

dependência do recrutamento de usuários “reais” para a avaliação [10]. Por outro lado, parece haver uma relação entre a eficácia da aplicação da avaliação heurística em jogos e o conjunto de heurísticas utilizado. Nos últimos quinze anos, o uso mais popular e bem-sucedido da avaliação heurística em software comercial se deu com o uso das dez heurísticas de Nielsen. Mesmo considerando a maior diversidade de formatos e objetivos que os jogos apresentam, acreditamos que o uso de conjuntos de heurísticas com muitos itens ou com itens pouco específicos pode não se adequar às características da avaliação heurística. Assim, este artigo apresenta a construção de um conjunto de heurísticas, abrangendo aspectos de usabilidade e jogabilidade em jogos digitais a partir de uma revisão da literatura. A partir dos resultados de experimento com a participação de avaliadores voluntários temos o objetivo de avaliar a eficiência das heurísticas definidas em comparação com uma proposta da literatura. A avaliação levará em consideração a quantidade e tipo de problemas identificados com cada conjunto de heurísticas. TRABALHOS RELACIONADOS

A tentativa de se definir critérios para predizer ou explicar o envolvimento do usuário com o jogo não é nova. Em 1982, Malone [16] conduziu um estudo com crianças em idade escolar, a partir do qual definiu três categorias de heurísticas: desafio, que envolve a presença de um objetivo explícito no jogo e resultados incertos ao se atingir os objetivos; fantasia, relacionada à presença de apelo emocional e de metáforas com sistemas físicos que o usuário já conheça; e curiosidade, relacionada à presença de elementos visuais e sonoros, humor e aleatoriedade. Federoff [8], em sua dissertação, efetuou uma revisão da literatura sobre a qualidade da interação em software em geral (e de jogos em particular, apesar da maioria dos trabalhos até aquele momento se remeterem ao conceito “tradicional” de usabilidade e ao trabalho pioneiro de Malone). A partir dessa revisão e de entrevistas com desenvolvedores, produtores e diretores de arte de uma empresa em São Francisco, foi definida uma lista de quarenta heurísticas, agrupadas em três categorias: interface, mecânica e jogo. A autora apresenta algumas heurísticas como pertencentes a mais de uma categoria – por exemplo, a heurística “Faça com que o jogador se envolva de forma rápida e fácil” (tradução nossa) é enquadrada nas categorias mecânica e jogo. Desuvire et al [5] apresentam um conjunto de quarenta e três heurísticas de avaliação, que parecem revisar as apresentadas no trabalho de Federoff, porém agrupadas em quatro categorias disjuntas: jogo, história, mecânica e usabilidade. Assim, as características de usabilidade são consideradas como um subconjunto da jogabilidade, ou seja, aspectos como os controles, ações, gráficos, cenários, tutoriais e câmeras são situados como parte de um contexto

mais amplo. O conjunto de heurísticas apresentado é validado a partir da quantidade de falhas identificadas em uma avaliação heurística conduzida com um protótipo estático de um jogo. Pinelle et al [18] defendem o uso da avaliação heurística como um método eficaz para a identificação de falhas de usabilidade em jogos durante o seu processo de desenvolvimento. São propostas dez heurísticas, definidas a partir da revisão de análises de jogos feitas por um site da web especializado em entretenimento digital. Porém, nesse trabalho, as heurísticas são focadas apenas nos aspectos clássicos de usabilidade, como aprendizagem e eficiência. Em outro trabalho, Teixeira et al [21] defendem a necessidade de um processo estruturado de verificação da qualidade de jogos que envolva a jogabilidade, interface e mecânica. São discutidos aspectos relacionados a cada uma das três categorias que, segundo os autores, levaram à criação de um checklist, não divulgado no artigo. Já Febretti e Garzotto [7] discutem comparativamente a influência da usabilidade e jogabilidade no envolvimento do usuário, especialmente em jogos de longa duração. Foi utilizado um conjunto de trinta e sete heurísticas, divididas nas categorias de usabilidade e jogabilidade, para executar a avaliação heurística em oito jogos populares e bem avaliados pela imprensa especializada. Os jogos foram, posteriormente, testados por quarenta e sete usuários para avaliar como o seu envolvimento com o jogo seria possivelmente afetado pelas falhas encontradas na avaliação heurística. Os resultados preliminares indicaram que a influência das falhas de usabilidade não chega a ser tão crítica quanto a das falhas de jogabilidade no envolvimento dos usuários. Trabalhos mais recentes mostram tentativas de consolidar a identidade do conceito de jogabilidade e da avaliação heurística como técnica de avaliação em jogos. Koeffel et al [12] criticam a baixa especificidade de heurísticas propostas na literatura e a não consideração de aspectos como o desafio, definindo a partir da literatura um conjunto de vinte e oito heurísticas. A validação foi feita através da comparação da análise de cinco jogos populares por dois especialistas com avaliações dos mesmos jogos publicadas na imprensa especializada. As heurísticas do trabalho original de Desuvire et al são revisadas em [6], chegando a um conjunto de cinquenta heurísticas. As autoras conduziram uma pesquisa com participantes de uma conferência sobre jogos que indicaram a adequação de jogos considerados “bons” e “ruins” pela imprensa especializada às heurísticas propostas. Livingston et al [15] propõem um critério para atribuição do grau de severidade dos problemas encontrados que leva em consideração o gênero do jogo, conforme os tipos de problemas mais freqüentes identificados em [19]. É utilizado o conjunto de dez heurísticas de Pinelle [18], que não leva em consideração a jogabilidade. Os autores justificam essa

© ACM, 2011. This is the author’s version of the work. It is posted here by permission of ACM for your personal use. Not for redistribution. The definitive version was published in: Proceedings of the 10th Brazilian Symposium on Human Factors in Computing Systems & 5th Latin American Conference on Human-Computer Interaction. ISSN 2178-7697

Heurística

Fonte

H1: Os controles devem ser claros, customizáveis e fisicamente confortáveis; suas respectivas ações de resposta devem ser imediatas

Pinelle et al [18]; Federoff [8]; Desuvire e Wiberg [6]

H2: O jogador deve poder customizar o áudio e o vídeo do jogo de acordo com suas necessidades

Pinelle et al [18]

H3: O jogador deve conseguir obter com facilidade informações sobre tudo à sua volta

Pinelle et al [18]; Federoff [8]; Desuvire e Wiberg [6]

H4: O jogo deve possibilitar que o jogador desenvolva habilidades que serão necessárias futuramente

Federoff [8]; Desuvire e Wiberg [6]

H5: O jogador deve encontrar um tutorial claro de treinamento e familiarização com o jogo

Pinelle et al [18]; Federoff [8]; Desuvire e Wiberg [6]

H6: Todas as representações visuais devem ser de fácil compreensão pelo jogador

Pinelle et al [18]; Desuvire e Wiberg [6]

H7: O jogador deve ser capaz de salvar o estado atual para retomar o jogo posteriormente

Federoff [8]; Desuvire e Wiberg [6]

H8: O layout e os menus devem ser intuitivos e organizados de forma que o jogador possa manter o seu foco na partida

Pinelle et al [18]; Federoff [8]

H9: A história deve ser rica e envolvente criando um laço com o jogador e seu universo H10: Os gráficos e a trilha sonora devem despertar o interesse do jogador H11: Os atores digitais e o mundo do jogo devem parecer realistas e consistentes H12: O objetivo principal do jogo deve ser apresentado ao jogador desde o início H13: O jogo deve propor objetivos secundários e menores, paralelos ao objetivo principal H14: O jogo deve possuir vários desafios e permitir diferentes estratégias

Federoff [8]; Desuvire e Wiberg [6]

H15: O ritmo do jogo deve levar em consideração a fadiga e a manutenção dos níveis de atenção H16: O desafio do jogo pode ser ajustado de acordo com a habilidade do jogador H17: O jogador deve ser recompensado pelas suas conquistas de forma clara e imediata H18: A inteligência artificial deve representar desafios e surpresas inesperadas para o jogador Tabela 1 - Lista de heurísticas definida

opção pelo tamanho reduzido do conjunto de heurísticas e sua especificidade. A opção por um conjunto reduzido de heurísticas encontra subsídio no trabalho de Korhonen et al [14], que utilizou dois conjuntos diferentes de heurísticas na avaliação de um mesmo jogo para telefones celulares e encontrou indícios que os resultados da avaliação podem ser afetados pela clareza e especificidade das heurísticas, bem como pela quantidade de heurísticas definidas. Hollingsed e Novick [10], em uma revisão bibliográfica abrangendo quinze anos da pesquisa em técnicas de inspeção de usabilidade, identificaram que a avaliação heurística mostrou maior potencial para a identificação de defeitos pontuais de usabilidade do que falhas globais. Entretanto, no domínio específico de jogos digitais, a maior variedade de gêneros e formas de interação pode ter levado à definição de conjuntos de heurísticas mais numerosos de forma a tentar abranger os aspectos de qualidade presentes nessa maior variedade. Assim, essa tendência pode prejudicar o seu uso em uma avaliação focada e rápida, conduzida por especialistas, como se caracteriza a avaliação heurística. DEFINIÇÃO DAS HEURÍSTICAS

Nas propostas de critérios de avaliação para jogos encontradas na literatura, identificamos duas tendências: (i)

conjuntos de critérios extensos, com trinta a quarenta itens; (ii) granularidade muito variável dos aspectos propostos. Por exemplo, em [6] e [8] encontramos como critérios de avaliação desde aspectos muito específicos como “os controles são mapeados de uma maneira natural” até aspectos muito gerais, como o fato do jogo ser “fácil de aprender e difícil de dominar” (frase atribuída a Nolan Bushnell, um dos fundadores da Atari). Acreditamos que essas duas tendências podem tornar os conjuntos de critérios propostos adequados para uso como guidelines para o projeto de jogos, mas que ao mesmo tempo apresentem limitações para seu uso como direcionadores de uma avaliação heurística. Nielsen e Molich [17] apontam uma questão semelhante no seu artigo original sobre a avaliação heurística, produzido em um momento histórico particular do desenvolvimento de técnicas de projeto de interfaces em que as únicas recomendações de qualidade disponíveis eram os documentos de guidelines, contendo centenas de itens. Dessa forma, o conjunto de critérios proposto neste trabalho foi definido a partir das seguintes diretrizes: (i) conter um número menor de heurísticas do que as propostas já apresentadas; (ii) evitar referências a aspectos de qualidade globais ou genéricos; (iii) descrever, na máxima extensão possível, aspectos de qualidade identificáveis

© ACM, 2011. This is the author’s version of the work. It is posted here by permission of ACM for your personal use. Not for redistribution. The definitive version was published in: Proceedings of the 10th Brazilian Symposium on Human Factors in Computing Systems & 5th Latin American Conference on Human-Computer Interaction. ISSN 2178-7697

pontualmente. O uso dessas diretrizes na construção das heurísticas teve como objetivo facilitar a compreensão do avaliador e a identificação de problemas no processo de avaliação heurística. Para definir o conjunto de heurísticas, nos baseamos nos trabalhos de Federoff [8], Desuvire e Wiberg [6] e Pinelle et al [18]. Em cada heurística dos trabalhos analisados foi identificada a ideia principal expressa a partir do destaque das palavras ou expressõeschave do seu texto; então, as expressões com significado equivalente foram agrupadas, e a partir desse agrupamento foi escrito o texto da heurística proposta. Essa estratégia foi utilizada para uniformizar o nível de especificidade da descrição das heurísticas. Na Tabela 1, é apresentada a lista de heurísticas definida, juntamente com as referências utilizadas na definição de cada item.

a comparação de problemas encontrados, ambos os jogos pertencem à categoria de Estratégia em Tempo Real. Em análises publicada pelo site GameSpot [9], os jogos obtiveram notas medianas, variando entre 5 e 7 em uma escala de 0 a 10, o que consideramos como um indício de que uma quantidade razoável de problemas seria encontrada em uma avaliação heurística. O jogo Earth 2160 (Figura 1) se baseia em uma temática futurista: após a destruição da Terra em 2150, os sobreviventes da raça humana colonizam Marte e devem combater os perigos presentes no novo planeta. As principais funções do jogador são a coleta de recursos para expandir seu potencial, conquista de território, combate contra inimigos e manutenção da segurança.

Obtivemos, assim, um conjunto de dezoito heurísticas, onde procuramos manter o equilíbrio entre critérios de usabilidade também aplicáveis a outros domínios, tais como personalização e facilidade de aprendizagem, e critérios que se referem especificamente à jogabilidade, com aspectos como a história e o comportamento dos atores digitais. As primeiras oito heurísticas referenciam critérios tradicionais de usabilidade com uma redação contextualizada ao domínio de jogos, e as demais se referem especificamente a aspectos de jogabilidade. AVALIAÇÃO EXPERIMENTAL

Dificilmente se encontram na literatura análises comparativas do desempenho de diferentes conjuntos de heurísticas no domínio de jogos digitais. Em [14], Korhonen et al comparam o uso do conjunto de heurísticas de Desuvire [5] com um conjunto de heurísticas específicas para jogos em dispositivos móveis [13] na avaliação de um jogo para telefones celulares. Os autores concluem, de forma esperada, que as heurísticas específicas para jogos móveis apresentam um melhor desempenho, em termos da quantidade de defeitos encontrados. Outro trabalho recente [3] compara o desempenho de diferentes técnicas de inspeção, incluindo a avaliação heurística, mas no domínio de aplicações móveis.

Figura 1 - Tela do jogo Earth 2160 em execução

Sem descartar a validade de heurísticas para domínios específicos, a avaliação experimental proposta nesse trabalho tem o objetivo de responder a duas questões de pesquisa: 

A quantidade de heurísticas utilizadas na avaliação influi na quantidade e cobertura dos problemas encontrados?



Como a quantidade de heurísticas utilizadas influi no formato e especificidade dos problemas reportados pelos avaliadores?

Jogos selecionados

Como objeto da avaliação, selecionamos os jogos Earth 2160 e Outlive, disponibilizados livremente na Internet em versões de demonstração que, no entanto, permitem a livre exploração da interface e jogo. Com o objetivo de permitir

Figura 2 - Tela do jogo Outlive em execução

O jogo Outlive (Figura 2) também apresenta uma história baseada na sobrevivência da humanidade no futuro. Com a explosão populacional, os já escassos recursos minerais

© ACM, 2011. This is the author’s version of the work. It is posted here by permission of ACM for your personal use. Not for redistribution. The definitive version was published in: Proceedings of the 10th Brazilian Symposium on Human Factors in Computing Systems & 5th Latin American Conference on Human-Computer Interaction. ISSN 2178-7697

estão prestes a se exaurir. O jogador participa de um plano para o restabelecimento da ordem mundial e a garantia da sobrevivência da espécie humana e assume tarefas similares às apresentadas no Earth 2160. Formato da avaliação

Participaram do experimento como avaliadores trinta e quatro alunos que cursam a disciplina Interação HumanoComputador em um Curso Superior de Tecnologia em Jogos Digitais. Os participantes preencheram um questionário prévio para delimitação do seu perfil, onde declararam possuir experiência mediana em inspeções de software (média de 2,5 em uma escala de 1 a 5) e também experiência mediana em conceitos de usabilidade (média de 2,7) e em projeto de interface humano-computador (média de 2,5). Quanto à utilização de jogos digitais, 53% dos participantes declararam que jogam todos os dias, enquanto que outros 41% declararam jogar de duas a cinco vezes por semana. Foram produzidos dois modelos de formulários, onde cada heurística foi exibida juntamente com espaços para o preenchimento de problemas identificados, juntamente com o nível de criticidade do problema (em uma escala de 0 a 5, onde problemas críticos ou impeditivos do uso do jogo recebem a escala 5). O primeiro modelo de formulário apresentava as dezoito heurísticas definidas neste trabalho (a partir deste ponto, denominado Conjunto A) e o segundo, as quarenta heurísticas de Federoff [8] (Conjunto B). Os avaliadores formaram duplas e receberam um dos modelos de formulário. A atribuição dos modelos de formulário para as duplas foi feita de forma aleatória, sendo que oito duplas receberam o formulário com o Conjunto A e nove duplas receberam o formulário com o Conjunto B. Foi distribuída ainda uma tabela de página inteira com o conjunto de heurísticas utilizadas para facilitar a visualização das mesmas durante a avaliação. Inicialmente, todos preencheram o questionário para caracterização do perfil e receberam instruções sobre a atividade. A atividade foi dividida em três momentos de 45 minutos cada, onde em cada momento um dos jogos foi explorado e os problemas identificados foram registrados no formulário. Os avaliadores formam orientados a associar cada problema encontrado com a heurística que melhor o descrevesse; o próprio layout do formulário sugeria essa estratégia, apresentando espaços para preenchimento de problemas junto a cada heurística. Ao final da atividade oito participantes, selecionados por amostragem, foram entrevistados com o objetivo de compreender a estratégia utilizada para a avaliação com os dois conjuntos de heurísticas, bem como eventuais dificuldades enfrentadas na associação de problemas com as heurísticas. Resultados

A quantidade média de erros encontrados pelas equipes não apresentou diferenças significativas entre os conjuntos de

heurísticas. Na avaliação do jogo Earth 2160, as equipes que utilizaram o Conjunto A encontraram, em média, 8,0 problemas e as equipes que utilizaram o Conjunto B encontraram uma média de 8,33 problemas. Na avaliação do jogo Outlive, constatamos uma tendência semelhante, com média de 5,75 problemas para o Conjunto A e 5,77 problemas para o Conjunto B. Nas Tabelas Tabela 2 e Tabela 3 apresentamos as medidas-resumo dos dados. Média

Desvio Padrão

Conjunto A

8,0

4,47

Conjunto B

8,33

5,14

Tabela 2 - Problemas encontrados no jogo Earth 2160

Média

Desvio Padrão

Conjunto A

5,75

3,65

Conjunto B

5,77

5,86

Tabela 3 - Problemas encontrados no jogo Outlive

Os valores do desvio padrão mostram uma grande variabilidade no número de problemas encontrados entre as equipes, se acentuando particularmente nos avaliadores que utilizaram o Conjunto B na avaliação do Outlive. Uma possível explicação pode estar no nível de experiência dos avaliadores, declarado como mediano por praticamente todos os participantes. Para melhor compreender o desempenho dos conjuntos de heurísticas com base no formato e especificidade dos problemas encontrados, foi realizada a análise da descrição dos problemas registrados pelos avaliadores nos formulários. Para tanto, procuramos destacar na análise a relevância dos problemas encontrados por várias equipes, pois presumidamente esses problemas afetaram com maior intensidade a experiência do usuário durante a avaliação. Foram selecionados para análise os problemas identificados por três ou mais equipes, que aqui denominamos problemas de consenso. Para cada problema de consenso foi redigida uma descrição compilada, com base no texto escrito pelos avaliadores. Essa descrição é exibida nas Tabelas 4 e 5. Na avaliação do jogo Earth 2160, foram identificados 12 problemas de consenso entre os avaliadores que utilizaram o Conjunto A e 11 problemas de consenso entre os avaliadores que utilizaram o Conjunto B. Em ambos os conjuntos, o problema mais apontado está relacionado aos controles, que foram tidos pelas equipes como “desconfortáveis”, “fora dos padrões de outros jogos do gênero” e “não claros”. Os avaliadores que usaram o Conjunto A associaram esse problema à heurística H1: Os controles devem ser claros, customizáveis e fisicamente confortáveis; suas respectivas ações de resposta devem ser imediatas. Já os avaliadores que usaram o Conjunto B apontaram o problema vinculado a duas heurísticas: Os controles devem ser customizáveis e dentro dos padrões da

© ACM, 2011. This is the author’s version of the work. It is posted here by permission of ACM for your personal use. Not for redistribution. The definitive version was published in: Proceedings of the 10th Brazilian Symposium on Human Factors in Computing Systems & 5th Latin American Conference on Human-Computer Interaction. ISSN 2178-7697

Conjunto A Muitos controles, desconfortáveis, não claros, não customizáveis (7) Informações não disponíveis e confusas (3) Tutorial não visível ou não encontrado, não familiariza o jogador (5) Ícones, botões e menus sem associação direta, difícil entendimento (4) Menus confusos e escondidos (4) História confusa, fatos não ficam claros, não aparece no começo do jogo (4) Gráficos simples, pouco chamativos (3) Objetivo não fica claro (5) Não se identificam objetivos secundários (4) O jogo é entediante, demorado, lento (4) O jogo não oferece recompensas (3) Inteligência Artificial não apresenta variações (3) Conjunto B Controles escondidos, mal identificados, o jogo não mostra as associações com os comandos (3) Controles não intuitivos, difíceis de aprender (7) Muitas opções desnecessárias (4) Não apresenta a pontuação da partida (3) Estruturas confusas, aprendizado demorado, muitos comandos (3) Poucas instruções básicas, necessário o uso de manual (3) Objetivos não mostrados, falta de clareza (3) Difícil de aprender e de dominar (3) Inteligência Artificial fraca, inimigos usam sempre a mesma estratégia (4) Tutorial fraco, não familiariza o jogador (6) Não ensina habilidades necessárias, o jogador deve descobri-las sozinho (3) Tabela 4 - Problemas de consenso identificados no jogo Earth 2160. Entre parêntesis é indicada a quantidade de equipes que apontou o problema

indústria e Os controles devem ser intuitivos e mapeados naturalmente, cujos conceitos estão relacionados ao mesmo aspecto da interação e, provavelmente por esse motivo, levaram à identificação do mesmo tipo de problema em duas heurísticas diferentes. O segundo problema mais apontado também apresentou coincidência entre os conjuntos de heurísticas: a deficiência do tutorial do jogo, apontado como “incapaz de adaptar o jogador”, “confuso” e que “deveria ser mais chamativo”. Esse problema foi apontado por cinco equipes que utilizaram o Conjunto A e seis equipes que utilizaram o Conjunto B. Esse problema pode ser constatado pelo formato do tutorial: uma legenda, apresentada no alto da tela nos primeiros momentos do jogo que, no entanto, tem baixo contraste e fontes pequenas. A legenda sugere ações que o jogador deva tomar ao iniciar o jogo (Figura 3). Na análise das equipes que identificaram o problema, essas ações não incluem habilidades que serão necessárias posteriormente no jogo, dificultando a familiarização do jogador. Os demais problemas identificados com o Conjunto B foram também apontados, com conceito semelhante, com o

Conjunto A Rolagem da tela muito rápida, impossível configurar a velocidade (4) História fraca e pouco envolvente (4) Gráficos simples, sem atrativos para o jogador (5) Não há objetivos secundários (3) O jogo é repetitivo e linear, os desafios se repetem (4) Não é possível visualizar as recompensas (3) Conjunto B Não há opção para customizar os controles (4) Não há indicação dos status do jogo, a menos que o objeto em questão seja selecionado (3) Pouco interessante, desestimulante, não aplica pressão ao jogador (3) Apenas um objetivo é identificado no jogo e no tutorial (3) Não apresenta dicas / as dicas não são claras (3) Gráficos ruins, não despertam interesse (4) Tabela 5 – Problemas de consenso identificados no jogo Outlive. Entre parêntesis é indicada a quantidade de equipes que apontou o problema.

uso do Conjunto A. Houve, entretanto, a exceção em dois problemas, que foram apontados apenas com o Conjunto B. Eles apontam que o jogo “não apresenta a pontuação da partida” e é “difícil de aprender e dominar”. A questão da pontuação está presente explicitamente no Conjunto B na heurística O jogador deve sempre ser capaz de identificar sua pontuação e status durante o jogo. No Conjunto A, a heurística mais próxima desse conceito é H3: O jogador deve conseguir obter com facilidade informações sobre tudo à sua volta. Essa redação, entretanto, pareceu não ser suficiente para que os avaliadores apontassem o problema em questão. No outro caso, o problema está vinculado à heurística Um bom jogo deve ser fácil de aprender e difícil de dominar do Conjunto B. É possível afirmar que a generalidade do problema encontrado pode limitar sua utilidade enquanto saída de um processo de avaliação heurística.

Figura 3 - Problema encontrado no jogo Earth 2160. O tutorial é a legenda com instruções no topo da tela.

© ACM, 2011. This is the author’s version of the work. It is posted here by permission of ACM for your personal use. Not for redistribution. The definitive version was published in: Proceedings of the 10th Brazilian Symposium on Human Factors in Computing Systems & 5th Latin American Conference on Human-Computer Interaction. ISSN 2178-7697

Por outro lado, três problemas identificados com o Conjunto A não foram encontrados a partir do uso do Conjunto B. São questões relacionadas ao difícil entendimento dos ícones, botões e menus, desorganização e dificuldade de localizar os menus e a falta de objetivos secundários no jogo. Na avaliação do jogo Outlive, foram encontrados seis problemas de consenso com a utilização do Conjunto A e a mesma quantidade com o Conjunto B. O problema mais apontado com a utilização de ambos os conjuntos está relacionado aos gráficos, que foram apontados como “simples” e que “não despertam interesse”. Essa impressão dos avaliadores é até esperada, se consideramos que não se trata de um jogo de última geração. O segundo problema mais citado foi associado a heurísticas vinculadas aos controles do jogo. No caso do Conjunto A, trata-se novamente da heurística H1, e no caso do Conjunto B, da heurística Os controles devem ser customizáveis e dentro dos padrões da indústria. Nesse aspecto, o jogo apresenta uma falha visível de usabilidade: a rolagem da tela para exibir outras partes do território é feita movendose o cursor do mouse para as extremidades da tela, porém a velocidade da rolagem é extremamente rápida, deslocando a visualização quase que imediatamente para os limites do cenário. A interface do jogo até apresenta um item de menu que permitiria a personalização da velocidade da rolagem da tela, mas essa funcionalidade não produz nenhum efeito. Esse problema foi citado especificamente pelas equipes que utilizaram o Conjunto A, enquanto que as equipes que utilizaram o Conjunto B mencionaram apenas a impossibilidade de customização dos controles. O terceiro problema apresentado com base em conceitos presentes nos Conjuntos A e B foi a questão da falta de objetivos secundários no jogo. Esse problema foi associado pelos avaliadores à heurística H13: O jogo deve propor objetivos secundários e menores, paralelos ao objetivo principal do Conjunto A, e à heurística Deve haver múltiplos objetivos em cada nível do Conjunto B. Um indício que justifica essa análise dos avaliadores vem de uma opção de menu da interface do jogo que explicitamente exibe um único objetivo atual na sequência da história. Para atingir esse objetivo (o primeiro deles, exibido na Figura 4, é “Infiltrar o agente secreto na Central de Comunicações”) o jogador deve construir pelo menos uma base de operações e um extrator de minérios para obter recursos, mas essa necessidade parece não ter ficado clara para os avaliadores. O jogo foi apontado como “repetitivo e linear” com base na heurística H14: O jogo deve possuir vários desafios e permitir diferentes estratégias. No Conjunto B, essa característica foi indicada como “pouco interessante e desestimulante”, com base na heurística Mantenha o jogador envolvido com rapidez e facilidade. Nesse caso, ambos os conjuntos de heurísticas produziram descrições de problemas que podem ser considerados como vinculados à experiência global do jogador. Porém, a heurística

aplicada do Conjunto A está vinculada a aspectos identificáveis do jogo – estratégia e variedade de desafios – enquanto que a heurística aplicada do Conjunto B está vinculada a um aspecto da experiência global do usuário – o envolvimento, que por sua vez pode ser definido e avaliado mais amplamente, a partir de diversos fatores do design do jogo [7]. Um problema identificado especificamente com o Conjunto A relacionou-se com a história, tida como “fraca” e “pouco envolvente” pelos avaliadores. A heurística utilizada para associação foi H9: A história deve ser rica e envolvente criando um laço com o jogador e seu universo. Esse fato foi citado por avaliadores que usaram o Conjunto B, associado à heurística Crie uma grande história. Porém apenas dois avaliadores o apontaram e, por essa razão, não foi exibido na consolidação feita. O Conjunto A ainda permitiu identificar que o jogo não oferece uma visualização clara das recompensas oferecidas, em associação com a heurística H17: O jogador deve ser recompensado pelas suas conquistas de forma clara e imediata. Esse problema não foi identificado em consenso pelos avaliadores que usaram o Conjunto B, porém chegou a ser citado por um avaliador que indicou que em sua concepção “o jogo não tem recompensas”.

Figura 4 - Visualização do objetivo da missão no jogo Outlive. Para o jogador, parece não haver objetivos secundários.

Os avaliadores com o Conjunto B identificaram que “não há indicação do status do jogo”, a menos que os objetos construídos sejam selecionados com o mouse. Novamente identificamos um aspecto particular identificado com a heurística O jogador deve sempre ser capaz de identificar sua pontuação e status durante o jogo, de forma semelhante ao ocorrido com o Earth 2160. Esse problema não foi identificado em consenso com o Conjunto A, mas dois avaliadores identificaram como problemas a “dificuldade em obter informações” e que “a quantidade de energia do jogador deveria se exibida”, ambos vinculados à heurística H3: O jogador deve conseguir obter com

© ACM, 2011. This is the author’s version of the work. It is posted here by permission of ACM for your personal use. Not for redistribution. The definitive version was published in: Proceedings of the 10th Brazilian Symposium on Human Factors in Computing Systems & 5th Latin American Conference on Human-Computer Interaction. ISSN 2178-7697

facilidade informações sobre tudo à sua volta. Essa é uma evidência adicional de que uma redação mais clara dessa heurística poderia colaborar com a identificação do problema. Os avaliadores com o Conjunto B identificaram especificamente que “o jogo não apresenta dicas” e que “as dicas não são claras”, utilizando a heurística O jogo deve dar dicas, mas não muitas. Esse problema não foi mencionado em consenso pelos avaliadores que utilizaram o Conjunto A. Alguns aspectos que possivelmente poderiam ser associados à falta de dicas foram mencionados, como “dificuldade em obter informações”, “apresentação confusa do objetivo” e “história não fica clara no começo do jogo”. Apesar de identificarem problemas mais específicos do que a falta de dicas, esses itens não foram associados em consenso a uma única heurística. ANÁLISE

Considerando a quantidade e cobertura dos problemas encontrados, o desempenho de ambos os conjuntos de heurísticas se mostrou bastante semelhante. Esse fato é relevante ao consideramos que as equipes que utilizaram o Conjunto A ou o Conjunto B tiveram o mesmo tempo para explorar os jogos e que a quantidade de heurísticas do Conjunto A totaliza menos da metade das heurísticas do Conjunto B. A partir da análise da descrição dos problemas registrados, identificamos uma tendência dos avaliadores em descrever os problemas em função do texto da própria heurística. Essa tendência foi confirmada a partir das entrevistas conduzidas ao final do experimento, quando vários avaliadores mencionaram ter utilizado as heurísticas como uma lista de perguntas a serem respondidas a partir de características do jogo. Assim, raramente identificamos nos registros gerados a descrição de problemas mais específicos e pontuais vinculados, por exemplo, a um momento do jogo ou a um item da interface. Nesse ponto, deve-se levar em consideração o perfil dos avaliadores (ampla experiência pessoal como jogadores, experiência razoável com técnicas de avaliação) e o fato de ter sido o primeiro contato com ambos os conjuntos de heurísticas. Entretanto, como esse fator teve a mesma influência em todos os resultados, não impediu a análise comparativa da especificidade dos problemas identificados. Na avaliação do jogo Earth 2160, o conjunto de heurísticas proposto nesse trabalho permitiu a identificação de três problemas mais específicos nos aspectos de interface e jogo do que as heurísticas de Federoff [8]. O único aspecto identificado apenas por aquele conjunto de heurísticas vincula-se a visualização da pontuação do jogo, mencionado explicitamente em um item. A ausência da pontuação na tela é um aspecto muito presente no jogo Earth 2160, e a redação dessa heurística pode ter colaborado para a identificação desse problema pontual.

Quanto ao jogo Outlive, ambos os conjuntos de heurísticas permitiram a identificação de seis problemas, dos quais quatro são vinculados a conceitos presentes de forma equivalente tanto em um quanto em outro conjunto. Em dois desses casos, os problemas vinculados às heurísticas do conjunto proposto neste trabalho fazem menção a aspectos mais específicos do jogo (customização da rolagem da tela e estratégia). Dois problemas relacionados respectivamente à história e às recompensas oferecidas foram identificados por ambos os conjuntos de heurísticas, mas foram mencionados por três equipes ou mais no nosso conjunto de heurísticas e por duas equipes que utilizaram o outro conjunto. Essa diferença pode estar relacionada à variabilidade individual dos avaliadores e assim não é possível afirmar que o problema não seria identificado em consenso através do outro conjunto. O único problema associado a um conceito não presente no nosso conjunto de heurísticas foi a ausência de dicas. Considerando que os avaliadores tenderam a reconhecer problemas a partir do texto das heurísticas, o conceito de dica presente nas heurísticas de Federoff permitiu a identificação de um problema adicional no Outlive. Clanton [4] discute que quando o jogador descobre dicas, ferramentas ou obstáculos, ele antecipa atitudes que serão necessárias mais adiante, se mantendo engajado ao jogo. No caso do Outlive, claramente é apresentado um objetivo inicial (infiltrar um agente secreto) que não apresenta relação perceptível com as ações que o jogador deve inicialmente tomar, como construir edifícios. Não se trata apenas de permitir que o jogador aprenda habilidades necessárias futuramente (como descrito na heurística H4), mas mantê-lo engajado no objetivo principal, que deve parecer possível – e essa sensação pode ser mantida se o design do jogo oferece dicas que sinalizem na direção e no contexto do objetivo principal. Dessa forma, a evidência trazida com a avaliação do Outlive indica que, adicionando ao nosso conjunto a heurística O jogo deve dar dicas, mas não muitas, o problema associado poderia ser encontrado. A redação da heurística H3: O jogador deve conseguir obter com facilidade informações sobre tudo à sua volta foi deficiente na identificação de um problema no Earth 2160. O jogo não apresenta a pontuação, problema que pôde ser identificado através da heurística O jogador deve sempre ser capaz de identificar sua pontuação e status durante o jogo. Para o jogador, identificar o status do jogo implica identificar o estado dos objetos, cenários e personagens manipuláveis na interface – ou seja, o estado do sistema apresentado através de sua interface. Esse é um conceito presente em definições clássicas de usabilidade (por exemplo, Shneiderman et al [20]) e que, se incorporado à heurística H3, pode deixar sua redação mais clara, potencializando a identificação de eventuais problemas. CONCLUSÃO

Desde sua definição por Nielsen e Molich nos anos 1990, a avaliação heurística tem se mostrado útil na identificação de

© ACM, 2011. This is the author’s version of the work. It is posted here by permission of ACM for your personal use. Not for redistribution. The definitive version was published in: Proceedings of the 10th Brazilian Symposium on Human Factors in Computing Systems & 5th Latin American Conference on Human-Computer Interaction. ISSN 2178-7697

problemas de usabilidade. Seu formato, baseado na análise por especialistas, permite que problemas sejam encontrados no projeto da interface antes da sua utilização por usuários finais. Entretanto, para que essas vantagens sejam transferidas para o domínio de jogos eletrônicos, é necessária a definição de um conjunto adequado de heurísticas. Verificamos que as propostas já apresentadas na literatura podem ser comparadas aos guidelines de projeto de interfaces, que procuram enumerar exaustivamente as características gerais e específicas que devem estar presentes em um “bom” projeto. Considerando que um conjunto de heurísticas adequado deve apresentar um número menor de itens e fazer referência a aspectos pontuais de qualidade, construímos um conjunto de dezoito heurísticas. Tomando com base dois jogos, demonstramos a partir de um experimento com a participação de avaliadores que os mesmos problemas foram encontrados com o uso das heurísticas de Federoff [8] e com as heurísticas descritas neste artigo. Essa conclusão foi tomada considerando-se os problemas identificados por três equipes ou mais, de forma a tornar a análise semelhante àquela que seria feita em uma avaliação heurística real. O conjunto de heurísticas de Federoff não permitiu a identificação de problemas relacionados ao difícil entendimento de elementos da interface e dos objetivos secundários do jogo no Earth 2160. Um problema no Outlive, relacionado à excessiva linearidade e ausência de diferentes estratégias foi descrito de forma menos específica a partir desse conjunto. A clareza e especificidade do texto das heurísticas pode ser um aspecto crítico para a identificação de problemas, e isso também se aplica ao conjunto de heurísticas aqui proposto: a partir dele, dois problemas pontuais, um em cada jogo, não foram identificados em consenso pelos avaliadores. Entretanto, com a adição de uma heurística, relacionada à existência de dicas para o jogador [4] e a modificação da redação de outra, relacionada à visualização do estado do jogo através de sua interface, o problema potencialmente seria identificado. Ainda assim, se mantém preservadas as vantagens identificadas neste estudo. Nas entrevistas após a realização do experimento, os avaliadores que utilizaram o nosso conjunto de heurísticas indicaram que lembrar-se dos itens e utilizá-los ficou mais fácil ao longo do tempo da avaliação. Todos os avaliadores indicaram não terem encontrado dificuldades em associar os problemas encontrados às heurísticas, porém alguns avaliadores que utilizaram o conjunto B acharam o conjunto muito extenso e que alguns itens não são claros, dificultando a associação dos problemas a uma heurística. Por questões de logística do experimento, ambos os grupos de avaliadores tiveram o mesmo tempo para realizar a atividade; apesar disso, apenas um entrevistado, que utilizou o Conjunto B, indicou que o tempo teria sido insuficiente.

As impressões pós-experimento fornecidas pelos avaliadores e a análise dos problemas identificados indicam que o conjunto de heurísticas proposto apresenta potencial para uma adaptação mais rápida do avaliador e para uma maior produtividade no processo de avaliação heurística, mantendo a cobertura dos problemas identificados. Uma avaliação heurística que seja executada de forma mais rápida e pontual pode oferecer feedback constante sobre problemas de usabilidade e jogabilidade no jogo durante várias fases do seu desenvolvimento, viabilizando a incorporação da técnica a diferentes modelos de processo para desenvolvimento de jogos, em especial métodos ágeis [11]. Assim, em trabalhos futuros, pretendemos analisar como a avaliação a partir do conjunto de heurísticas proposto pode ser incorporada ao processo de desenvolvimento de jogos e suas implicações. A construção das heurísticas propositalmente considerou aspectos de qualidade presentes em todos os tipos de jogos tais como desafio, aprendizagem e recompensa. Alguns aspectos, porém, não estão presentes em alguns jogos – por exemplo, jogos casuais ou puzzles podem não ter história ou o uso de Inteligência Artificial, sem que isso necessariamente caracterize um problema. Dessa forma, pretendemos esclarecer de que forma a cobertura de problemas pelas heurísticas pode ser generalizada para outros tipos de jogos. Além disso, a estratégia utilizada pelos avaliadores e a sua experiência com avaliação podem influir nos resultados. Verificamos que a maioria dos avaliadores entrevistados indicou ter utilizado as heurísticas como uma lista de perguntas, porém alguns indicaram ter inicialmente encontrado os problemas e depois associado às heurísticas. Assim, a influência da estratégia cognitiva e da experiência dos avaliadores nos resultados se constitui em uma terceira linha de investigação. AGRADECIMENTOS

Thiago Carvalho foi apoiado por uma bolsa institucional do IFSP. Agradecemos ao apoio do aluno Marcelo José do Nascimento na consolidação dos dados do experimento, e ao apoio institucional do suporte aos laboratórios da UNICSUL e da Coordenadoria de Informática e Pesquisa do IFSP – Campus Guarulhos. REFERÊNCIAS

1. Associação Brasileira das Desenvolvedoras de Jogos Eletrônicos. A indústria brasileira de jogos eletrônicos. 2008. http://www.abragames.org/docs/AbragamesPesquisa2008.pdf. 2. Barwood, H. e Falstein, N. The 400 Project. http://theinspiracy.com/400_project.htm. 3. Bonifácio, B., Viana, D., Vieira, S., Araújo, C., e Conte, T. Aplicando técnicas de inspeção de usabilidade para avaliar aplicações móveis. Anais do IX Simpósio Brasileiro em Fatores Humanos em Sistemas Computacionais, SBC (2010), 189-192.

© ACM, 2011. This is the author’s version of the work. It is posted here by permission of ACM for your personal use. Not for redistribution. The definitive version was published in: Proceedings of the 10th Brazilian Symposium on Human Factors in Computing Systems & 5th Latin American Conference on Human-Computer Interaction. ISSN 2178-7697

4. Clanton, C. An interpreted demonstration of computer game design. CHI 98 conference summary on Human factors in computing systems, ACM (1998), 1–2. 5. Desurvire, H., Caplan, M., e Toth, J.A. Using heuristics to evaluate the playability of games. CHI ’04 extended abstracts on Human factors in computing systems, ACM (2004), 1509-1512. 6. Desuvire, H. e Wiberg, C. Game Usability Heuristics (PLAY) for Evaluating and Designing Better Games: The Next Iteration. In A.A. Ozok e P. Zaphiris, orgs., Online Communities, LTCS 5621. Springer-Verlag, 2009, 557-566. 7. Febretti, A. e Garzotto, F. Usability, playability, and long-term engagement in computer games. CHI ’09: Proceedings of the 27th international conference extended abstracts on Human factors in computing systems, ACM (2009), 4063–4068. 8. Federoff, M. Heuristics and usability guidelines for the creation and evaluation of fun in video games. Master of Science Thesis, Indiana University, 2002. 9. GameSpot. http://www.gamespot.com/. 10. Hollingsed, T. e Novick, D.G. Usability inspection methods after 15 years of research and practice. SIGDOC ’07: Proceedings of the 25th annual ACM international conference on Design of communication, ACM (2007), 249–255. 11. Kasperavicius, L.C.C., Bezerra, L.N.M., Silva, L., e Silveira, I.F. Ensino de desenvolvimento de jogos digitais baseado em Metodologias Ágeis: o Projeto Primeira Habilitação. Anais do XXVIII Congresso da SBC, SBC (2008). 12. Koeffel, C., Hochleitner, W., Leitner, J., Haller, M., Geven, A., e Tscheligi, M. Using Heuristics to Evaluate the Overall User Experience of Video Games and Advanced Interaction Games. In Evaluating User Experience in Games. Springer, 2009. 13. Korhonen, H. e Koivisto, E.M.I. Playability heuristics for mobile games. Proceedings of the 8th conference on

Human-computer interaction with mobile devices and services, ACM (2006), 9–16. 14. Korhonen, H., Paavilainen, J., e Saarenpää, H. Expert review method in game evaluations: comparison of two playability heuristic sets. Proceedings of the 13th International MindTrek Conference: Everyday Life in the Ubiquitous Era, ACM (2009), 74-81. 15. Livingston, I.J., Mandryk, R.L., e Stanley, K.G. Criticproofing: how using critic reviews and game genres can refine heuristic evaluations. Proceedings of the International Academic Conference on the Future of Game Design and Technology, ACM (2010), 48–55. 16. Malone, T.W. Heuristics for designing enjoyable user interfaces: Lessons from computer games. Proceedings of the 1982 conference on Human factors in computing systems, ACM (1982), 63–68. 17. Nielsen, J. e Molich, R. Heuristic evaluation of user interfaces. CHI ’90: Proceedings of the SIGCHI conference on Human factors in computing systems, ACM (1990), 249–256. 18. Pinelle, D., Wong, N., e Stach, T. Heuristic evaluation for games: usability principles for video game design. CHI ’08: Proceeding of the twenty-sixth annual SIGCHI conference on Human factors in computing systems, ACM (2008), 1453–1462. 19. Pinelle, D., Wong, N., e Stach, T. Using genres to customize usability evaluations of video games. Proceedings of the 2008 Conference on Future Play: Research, Play, Share, ACM (2008), 129-136. 20. Shneiderman, B., Plaisant, C., Cohen, M., e Jacobs, S. Designing the User Interface: Strategies for Effective Human-Computer Interaction. Addison-Wesley Publishing Company, USA, 2009. 21. Teixeira, C., Daldon, K., Buede, O., e Silveira, M. Avaliando a usabilidade de um jogo através de sua jogabilidade, interface e mecânica. Proceedings of the VI Brazilian Symposium on Computer Games and Digital Entertainment, SBC (2007).

© ACM, 2011. This is the author’s version of the work. It is posted here by permission of ACM for your personal use. Not for redistribution. The definitive version was published in: Proceedings of the 10th Brazilian Symposium on Human Factors in Computing Systems & 5th Latin American Conference on Human-Computer Interaction. ISSN 2178-7697