Modelo para Avaliação do Grau de Novidade de Jogos Digitais

June 15, 2017 | Autor: Felipe Calado | Categoria: Game Design, Criatividade, Jogos Digitais, Inovação
Share Embed


Descrição do Produto

SBC – Proceedings of SBGames 2015 | ISSN: 2179-2259

Art & Design Track – Full Papers

Modelo para Avaliação do Grau de Novidade de Jogos Digitais Luis Vasconcelosc

Felipe Caladoab

André M. Nevesa

Francisco Nartod

Mirela Guimarãesa

a

Universidade Federal de Pernambuco, Dept. de Design, Brasil Universidade Católica de Pernambuco, Dept. de Jogos Digitais, Brasil c University of Cambridge, Dept. of Engineering, United Kingdom d Faculdade Estácio iDez, Dept. de Jogos Digitais, Brasil

b

Resumo A indústria de jogos digitais é uma das mais rentáveis do mundo. Empresas criam conceitos de novos jogos com diversos objetivos, dentre eles, que se tornem bem-sucedidos comercialmente. No entanto, avaliar qual conceito criado tem maior potencial para atingir este objetivo é um desafio. Nos últimos anos, estudiosos do campo de design vem pesquisando como a inovação pode contribuir com o desenvolvimento de produtos com este potencial. Muitas destas pesquisas relacionam o grau de novidade de um artefato ao seu potencial mercadológico. Neste trabalho, propomos um método que define e avalia o grau de novidade de um artefato no contexto de jogos digitais. Para isso, nos baseamos no modelo Function – Behavior – Estructure (FBS) e o confrontamos com duas estruturas de descrição e análise de jogos digitais, nomeadamente o Game Ontology Project (GOP) e o modelo Mechanics – Dynamics – Aesthetics (MDA). Em seguida, ilustramos a aplicação do método na avaliação de três jogos existentes. Com esta proposta, esperamos fornecer uma base para o desenvolvimento de um método de avaliação do grau de novidades de jogos digitais mais robusto, além de contribuir com a indústria e o campo de pesquisa em game design. Palavras-chave: Inovação, Novidade, FBS, Jogos Digitais Contato dos autores: {felipemcosouza,andremneves,mirelacguimar aes}@gmail.com [email protected] [email protected]

1. Introdução Empresas de inteligência mercadológica apontaram que o total de receitas da indústria de jogos digitais em 2014 estaria entre 60 e 80 bilhões de dólares, com previsão para superar os 100 bilhões nos próximos anos1,2. Existem inúmeras empresas de jogos, de diversos tamanhos, desde grandes corporações, até empresas indies, compostas por poucas pessoas. Todas 1

http://www.gamesindustry.biz/articles/2014-06-25-gamesoftware-market-to-hit-usd100-billion-by-2018-dfc 2 http://www.gamasutra.com/blogs/TimMerel/20150121/ 234638/100B_games_revenue_forecast_revised_with_24B_e xits_last_year.php

XIV SBGames – Teresina – PI – Brazil, November 11th - 13th, 2015

elas criam conceitos de novos jogos digitais, por diversos motivos, mas pode-se dizer que a razão mais comum é a esperança em produzir-se um jogo bemsucedido comercialmente. Logo, identificar dentre os conceitos criados qual tem maior potencial de mercado é um desafio importante. Nos últimos anos, acadêmicos do campo de design vem investigando este problema sob a ótica da inovação, por esta relacionar ideias criativas ao potencial de empreendimento, como é possível perceber através da definição de Schumpeter [1947]: “A inovação é o uso da criatividade por um inventor para criar novas ideias, denominadas invenções. Uma vez que essas invenções são implementadas, o inventor se torna um empreendedor e a invenção se torna uma inovação”. Com o passar dos anos, esta definição foi incrementada com a condição de que tais invenções implementadas devem ter sucesso e gerar ganhos comerciais [Thompson & Lordan 1999; Howard et al. 2008]. Com a popularização da internet e a crescente globalização no início da década de 90, a inovação adquiriu um papel central no funcionamento das empresas e na economia mundial, pois com o aumento do acesso à informação, tais empresas e economias descobriram novos mercados para se expandir, e como consequência, passaram a enfrentar uma competição maior [Oslo Manual 2005]. Grande parte dos estudos desta área são em relação ao impacto econômico das atividades ligadas à inovação. Por outro lado, a investigação de como se dá o processo ainda carece de maior atenção. Para Cruickshank [2010], o design é elo entre a criatividade e a inovação, pois dispõe de métodos e técnicas para desenvolver uma ideia criativa, que possa ser implementada e que gere ganhos comerciais. Dentre os trabalhos acadêmicos de design neste campo, alguns tem como objetivo classificar o nível de inovação de um produto, caso de Rampino [2011], Howard et al. [2008] e Sarkar & Chakrabarti [2011]. Outros relacionam tais classificações com o risco envolvido na produção do conceito criado. Por exemplo, Wylant [2008] e Montagna [2008] afirmam que quanto menor o grau de inovação, menor é o risco oferecido por lançar um produto no mercado e, por conseguinte, menores as chances de tal produto alterar fortemente as finanças de uma empresa. Howard et al. [2008], propõem um método de avaliação do grau de criatividade de um produto que

564

SBC – Proceedings of SBGames 2015 | ISSN: 2179-2259

utiliza o modelo FBS – Function, Behavior and Structure (Função, Comportamento e Estrutura), aplicado na área de engenharia de sistemas, como base para a avaliação. O FBS afirma que todo produto satisfaz uma função, através de um determinado comportamento, possibilitado por uma estrutura [Qian & Gero 1996; Gero & Kannengiesser 2004], e estes três níveis são a base da avaliação. Sarkar & Chakrabarti [2011] também fazem uso do FBS, com esta mesma finalidade, aplicando-o no campo de desenho de produtos. Os dois métodos dividem a avaliação do nível de inovação do produto em duas partes, a avaliação do grau de novidade, relacionada ao ineditismo da solução, e a avaliação do grau de utilidade, relacionada a efetividade do produto em desempenhar a tarefa proposta e sua relação com os usuários. Nosso artigo se propõe a avaliar o grau de novidade de jogos digitais. A avaliação do grau de utilidade, portanto, foge ao escopo deste trabalho. Estes trabalhos poderiam ser aplicados para avaliar o potencial mercadológico de novos conceitos de jogos digitais, sob a ótica da inovação e da novidade. No entanto, por não possuírem um segmento de produtos específico, eles se mostram insuficientes para avaliar um jogo digital em toda sua complexidade. Na busca por trabalhos acadêmicos que relacionam jogos digitais com inovação, encontramos os trabalhos de Hernández & Volter [2014] e Alha [2011], que se baseiam no conceito de inovação incremental e radical para avaliar jogos. Segundo tal conceito, inovação incremental é o ato de se fazer algo novamente, de maneira melhor, enquanto inovação radical é fazer algo nunca antes feito [Norman & Verganti 2014]. Existem dois problemas com esta definição. O primeiro é que o conceito de inovação radical se baseia no ineditismo de uma solução, mas no caso de um novo conceito de jogo digital, como ele pode ser avaliado como algo completamente novo? O método não esclarece como isso pode ser avaliado. O segundo problema é que categorizar todo tipo de produto não inédito como inovação incremental coloca diversos conceitos, com diferentes níveis de inovação e novidade, sob apenas uma classificação. Por este motivo, seguiremos um caminho similar aos tomados por Howard et al. [2008] e por Sarkar & Chakrabarti [2011], e utilizaremos o FBS como referência para criar um modelo para avaliação do grau de novidade de jogos digitais. Para isso, confrontaremos os conceitos do FBS com duas referências de avaliação de jogos digitais que são o Game Ontology Project (GOP)3 e o modelo Mechanics – Dynamics – Aesthetics (MDA). Após a análise destas duas referências, isolamos seis conceitos que compõem um jogo digital, e os confrontamos com o FBS, relacionando cada conceito 3

https://sites.google.com/site/gopmirror/

XIV SBGames – Teresina – PI – Brazil, November 11th - 13th, 2015

Art & Design Track – Full Papers

com uma das três entidades do FBS, e dessa forma criamos nosso modelo de avaliação. Em seguida, ilustramos a aplicação do modelo gerado para avaliar três jogos digitais existentes: Defence of the Ancients (DotA), Jelly Splash, e Frets on Fire. Este artigo é parte de um projeto em andamento e divide-se em seis seções. A primeira é esta introdução; a segunda apresenta as referências de avaliação da inovação e criatividade; a terceira traz as referências de jogos digitais; a quarta apresenta nosso modelo; a quinta exemplifica a análise dos jogos de acordo com o modelo, e por fim; a sexta traz as conclusões e desdobramentos deste trabalho.

2. Métodos de avaliação da inovação e da novidade Segundo o Manual de Oslo [2005], existem quatro tipos de inovação, que são (1) Inovação de Produto – quando se cria ou melhora um produto; (2) Inovação de Processos – quando se gera um novo modo de produção de algo; (3) Inovação de marketing – novo método de vender algo, e; (4) Inovação organizacional – novos métodos e práticas no cotidiano de uma empresa. As referências de design utilizadas neste trabalho estão englobadas no primeiro tipo. Como dito previamente, Howard et al. [2008] e Sarkar & Chakrabarti [2011] utilizam o FBS como base de seus métodos de avaliação e classificação. Norman & Verganti [2014] propõem uma avaliação da inovação de produto baseada em inovação radical e inovação incremental. Rampino [2011] evoluiu o conceito de Norman e Verganti4 e desenvolveu uma classificação de quatro tipos de inovação de produto, que são: (1) Inovação Estética – o quanto o produto desenvolvido difere dos concorrentes, na forma e na estética; (2) Inovação de Uso – quando se modifica a usabilidade, adicionando novas características, comportamentos e funções a um determinado produto; (3) Inovação de Significado – quando se altera a função simbólica de um produto, e; (4) Inovação de tipo – quando a inovação estética é tão radical que o novo produto deixa de ser identificado como o que deveria se tornar, e se torna algo novo (por exemplo, um projeto de uma cadeira apresentou uma inovação de tipo, e se criou um novo tipo de mobiliário, os puffs). Neste novo modelo, as inovações incrementais são as estéticas e de uso, e as radicais são as de significado e a de tipo. A figura 1, retirada de Rampino [2011], ilustra bem esta classificação.

4

Apesar do artigo citado neste trabalho datar de 2014, Norman e Verganti já haviam publicado outros trabalhos sobre o mesmo tema, como o livro Design Driven Innovation, de 2009. Por este motivo, Rampino pôde se basear nestes autores para desenvolver seu método.

565

SBC – Proceedings of SBGames 2015 | ISSN: 2179-2259

Art & Design Track – Full Papers

Figura 1 - Pirâmide da Inovação, retirada de Rampino [2011].

Ao analisar estas referências, decidimos nos focar nas avaliações que utilizam como base o modelo FBS neste momento da pesquisa, pois para utilizar o modelo de Rampino, teríamos que aprofundar nossa investigação sobre como uma inovação de significado se aplicaria para jogos digitais e como se daria uma inovação de tipo, já que antes de julgar se um jogo definiu um novo tipo, temos que estabelecer como iremos compará-lo com seus predecessores, o que esperamos tornar possível com a relação entre o modelo FBS e os jogos digitais. 2.1 O modelo Structure (FBS)

Function



Behaviour



No design, é possível formular a descrição de um artefato através do modelo função, comportamento e estrutura (FBS) [Qian & Gero 1996]. Estas três entidades possuem as seguintes definições, retiradas de Gero e Kannengiesser [2004]:   

Função – Define para que serve o artefato; Comportamento – Define o que o artefato faz; Estrutura – Define o que o artefato é.

Em resumo, o designer transforma as premissas de um projeto, expressas como sua função, e as transforma em um comportamento que irá permitir tal função; em seguida, ele projeta uma estrutura capaz de desempenhar tal comportamento. Não há, portanto, uma conexão direta entre função e estrutura [Quian & Gero 1996; Gero & Kannengiesser 2004]. Em relação ao nível de abstração, a função é a entidade com nível mais alto, e como consequência é a mais distante do usuário. O comportamento está um nível abaixo e por último está a estrutura, sendo esta a entidade mais próxima ao usuário [Sarkar & Chakrabarti 2011]. Estas são as definições e relações básicas do modelo FBS. Por fim, todas as entidades possuem subclassificações próprias, que serão apresentadas a seguir. 2.1.1 Estrutura (Structure) A estrutura especifica quais elementos compõem o artefato, quais são os atributos destes elementos e como eles se relacionam [Qian & Gero 1996]. Ela é subdividida em quatro características, a saber: (1) Elementos, (2) Atributos, (3) Relacionamento, e, (4) Operações e processos. Seguem as definições dadas por estes autores:

XIV SBGames – Teresina – PI – Brazil, November 11th - 13th, 2015

Elementos - Toda estrutura de um artefato é composta por elementos. Esta característica é dividida em dois tipos. Se o elemento não pode ser dividido, ele é um elemento primitivo, que pode ser tanto lógico – que nós substituiremos a partir de agora pelo termo digital – ou físico. Um exemplo de um elemento primitivo físico é um botão de uma letra de um teclado. Um exemplo de elemento primitivo digital é um ícone em uma interface visual de um smartphone. Um teclado, por sua vez, se for analisado como parte de um computador, se torna um elemento estrutural, pois é composto de elementos primitivos. Atributos - A característica atributos está relacionada à característica elementos. Como o nome já deixa claro, cada elemento, seja ele primitivo ou estrutural, possui atributos como cor, material, tamanho, forma, dentre diversos outros possíveis. Relacionamentos – Esta característica também está ligada à característica elementos, pois mostra como eles interagem entre si para desencadear um determinado comportamento. Os autores classificam tais relações em dois tipos, que são as fixas e as mutáveis. As fixas, como o nome deixa claro, são relações entre elementos que não podem ser alteradas pelo usuário final, como por exemplo a posição (não a angulação) de um espelho retrovisor na porta de um automóvel. Já nas mutáveis o usuário possui influência, como uma chave e uma fechadura. Operações e Processos - Uma operação é uma ação de um elemento desencadeada pelo recebimento de uma informação oriunda de outro elemento, que tem como finalidade desencadear o comportamento esperado da estrutura. Já o processo é formado por uma sequência de operações. Utilizando novamente o exemplo da chave da fechadura, temos: o ato de enfiar a chave na fechadura configura uma operação, o ato de girar a chave dentro da fechadura configura outra operação, e a junção dos dois configura um processo que resulta no comportamento de movimentar as travas do artefato, trancando ou destrancando uma porta. 2.1.2 Comportamento (Behaviour) O comportamento é uma das maneiras em que o significado da estrutura é inferido por um designer ou usuário [Qian & Gero 1996]. Os autores dividem o comportamento em duas classes e dois tipos, embora não esteja claro qual foi o critério para a seleção destes dois termos classificatórios nem sua distinção. Eles também falam sobre a ação de efeitos externos no comportamento de um artefato. Seguem as definições: Classes de comportamentos - O comportamento de um artefato pode ser divido em dois tipos, o Temporal e o Espacial. O temporal, como o nome indica, é um comportamento que possui alguma relação com o tempo, alterando o estado do artefato. Eventos que acontecem simultaneamente, em sequência, em um

566

SBC – Proceedings of SBGames 2015 | ISSN: 2179-2259

determinado momento, com uma duração específica, ou qualquer outra relação temporal possível caracterizam este tipo de comportamento. Podemos utilizar como exemplo a ativação automática de um despertador ou a liberação da passagem de um automóvel via uma cancela automática. Já o comportamento espacial não sofre mudanças com o tempo, permanecendo estático. Uma cadeira, parede ou copo são exemplos de artefatos que possuem um comportamento espacial. Tipos de Comportamentos - Quanto ao seu comportamento, os artefatos podem ser divididos em Estruturais (Diretos) e os Exógenos (Indiretos). Os estruturais são comportamentos que dependem apenas da estrutura, como por exemplo uma parede ou um teto. Já os artefatos de comportamento exógeno dependem de alguma influência externa para se comportarem da maneira como foram projetados. Tal influência pode ser um usuário ou algum objeto / material. Por exemplo, um copo necessita tanto interagir com um material / objeto (água), como de um usuário para se comportar da maneira esperada. Efeitos Externos – Este conceito, como o nome deixa claro, trata como efeitos externos influenciam no comportamento de um artefato. A influência externa é a relação do objeto com o ambiente em que será inserido. Por exemplo, uma das funções de uma parede pode ser isolar a temperatura interna da temperatura exterior. Se o projeto de tal parede não levar em consideração o ambiente em que ela será inserida, ela pode não servir ao seu propósito (por exemplo, uma parede muito fina para isolar um ambiente que deve ser quente de um exterior muito frio). 2.1.3 Função (Function) A função de um artefato normalmente é demonstrada através de palavras-chave que representam seu propósito [Qian & Gero 1996]. É o relacionamento entre a entrada (input) e saída (output) de energia, material ou informação, ou até mesmo a manipulação de fluxos de energia, material e informação [Wirth & O’Rorke 1993]. Outra possível definição para função é simplesmente realizar uma ação para atingir objetivos, (to verb objectives), em que o verbo descreve uma ação e o objetivo aponta sua relação com algum material, informação ou energia [Qian & Gero 1996]. 2.2 Modelos que utilizam o FBS para mensurar a inovação e a novidade Com o FBS descrito, este tópico irá abordar os métodos que o utilizam para avaliar o grau de inovação e novidade de produtos. Uma maneira de acessar o grau de ineditismo de produtos é comparar suas características com as dos outros produtos disponíveis no mercado na época de seu lançamento [Sarkar & Chakrabarti 2011]. O FBS é utilizado para descrever estas categorias, nos modelos apresentados a seguir.

XIV SBGames – Teresina – PI – Brazil, November 11th - 13th, 2015

Art & Design Track – Full Papers

2.2.1 Modelo de Howard et al. Howard et al. [2008] propõem um modelo de avaliação da criatividade em artefatos e sistemas. Eles definem que uma solução criativa é algo original e apropriado. O original está ligado ao ineditismo da solução, enquanto o apropriado está ligado a se a solução desempenha corretamente o que se propõe. No modelo proposto pelos autores, deve-se utilizar o FBS para analisar os artefatos, em seguida eles são categorizados em uma destas três categorias: 





Design Original – Um produto ou sistema que possui uma solução criativa em seu comportamento, para desempenhar uma função nova ou existente. Uma porta automática ou o primeiro rádio são exemplos deste tipo; Design Adaptado - Um produto ou sistema em que a solução criativa é a adaptação de uma estrutura e comportamento conhecidos para que desempenhe uma nova função. O controle do Nintendo Wii, que adaptou a tecnologia giroscópio para ser utilizada por consoles de vídeo game, é um exemplo deste tipo; Design Variante - Um produto ou sistema que possui uma solução criativa em sua estrutura, mantendo o mesmo comportamento e função. Uma poltrona com incrementos em sua ergonomia é um exemplo.

Nesta categorização, o nível mais alto de inovação está ligado ao comportamento, enquanto o mais baixo está ligado à estrutura. Não existe uma classificação diretamente ligada à função, visto que uma nova função pode estar relacionada tanto a um design original, como a um design adaptado. Se o produto ou sistema não possui uma solução criativa, em nenhum nível, o produto é apenas uma solução incremental, ou rotineira. 2.2.2 Modelo de Sarkar e Chakrabarti Sarkar e Chakrabarti [2011] propõem um método para medir o grau de novidade de produtos, como parte fundamental no processo de de avaliação da criatividade de produtos. Para avaliar o grau de novidade, os autores utilizam o FBS como base e criam quatro graus de novidade, a saber: Altíssimo grau de novidade - É um produto que desempenha uma função que não é desempenhada por nenhum outro. Por exemplo, o primeiro fogão a lenha, por ser o primeiro produto capaz de controlar a queima de um combustível para cozinhar. Alto grau de novidade – É um produto que não desempenha uma nova função, mas possui um comportamento diferente no nível do input. Por exemplo, o primeiro fogão elétrico ou o primeiro gerador de energia solar, que desempenham funções de

567

SBC – Proceedings of SBGames 2015 | ISSN: 2179-2259

produtos existentes na época de sua criação, mas usam diferentes inputs (eletricidade e raios solares) para desempenhar a mesma função. Médio grau de novidade - É um produto que não desempenha uma nova função, mas possui um comportamento diferente no nível dos efeitos físicos. Por exemplo, um forno micro-ondas tem o mesmo input de um fogão elétrico (eletricidade), mas funciona de maneira diferente para executar a mesma função. Baixo grau de novidade – É um produto que não desempenha uma nova função e não possui um novo comportamento, sendo diferente apenas na estrutura. Por fim, um produto que não se diferencia dos existentes nem na estrutura não possui grau de novidade. 2.2.3 Contribuições dos modelos de Howard et al. e Sarkar & Chakrabarti Os dois modelos são úteis para este artigo por demonstrarem como é possível utilizar o FBS para avaliar o grau de novidade de produtos e processos. No entanto, eles possuem uma diferença importante. Enquanto no modelo de Howard et al. [2008] um produto que possui uma solução criativa de comportamento é o nível mais alto de criatividade, o outro modelo utiliza a função do produto como nível mais alto de novidade. Neste trabalho nós adotamos principalmente o modelo de Sakar & Chakrabarti [2011], pois entendemos que o trabalho de Howard et al. [2008] considera o contexto de engenharia de sistemas e não do design de produtos, não levando em conta a interação com usuário, mas sim o sistema por si só. Desta forma, Howard et al. entendem que várias partes do sistema realizariam funções de maneiras independentes, consequentemente permitindo o sistema alcançar e transmitir um determinado comportamento. Tal diferenciação e perspectiva são reforçadas pelos próprios autores quando comentam que, em contextos mais distantes da engenharia, uma classificação de criatividade voltada para o usuário deveria associar o original à função do produto [Howard at al. 2008]. Por último, vamos simplificar os resultados da avaliação proposta por Sarkar & Chakrabarti [2011], unificando os resultados de alto e médio grau de novidade, pois a diferença entre os dois é particular a aspectos físicos de produtos, que não se aplica ao nosso caso. Com esta simplificação, a categorização proposta estabelece qualquer novidade no eixo função como alto grau de novidade, no comportamento como médio grau, e na estrutura como baixo grau. 2.2.4 FBS x Avaliação de jogos digitais Após o estudo das referências de avaliação de inovação e novidade e do modelo FBS, partimos para a análise do jogo digital. Na análise, surgiram questionamentos importantes. O principal deles é a respeito da função de

XIV SBGames – Teresina – PI – Brazil, November 11th - 13th, 2015

Art & Design Track – Full Papers

um jogo. Se assumirmos que todo jogo digital tem como premissa entreter, e que não é possível deixar de associar isso à função, estaríamos restringindo bastante o potencial mensurar o ineditismo de um jogo através do FBS. Está claro que jogos digitais servem para outras finalidades como socializar, educar e até mesmo se exercitar, mas nós decidimos que não deveríamos abandonar a proposta de avaliar os jogos puramente de entretenimento através do método FBS. Por este motivo, levantamos a seguinte questão. Vamos considerar que todos os jogos têm a função de entreter o usuário, mas de que maneira eles o entretém? Tal pergunta se confunde bastante com o conceito de comportamento, já que é através dele que se desempenha uma função, mas nas discussões do nosso grupo levantamos a seguinte hipótese: a função, neste modelo de avaliação de criatividade, estaria relacionada a como o jogo se propõe a divertir o usuário (e.g. através de uma luta, através de uma charada, através de um simulador esportivo), o comportamento estaria associado a como o jogo atinge o tipo de divertimento proposto, e por fim, a estrutura seriam as partes e elementos que foram utilizados para construir o jogo. Seguindo este raciocínio, se uma empresa de jogos desenvolvesse um conceito com uma mecânica que não pudesse ser relacionada a nenhuma outra, possivelmente definindo um novo gênero, seria o nível mais alto de novidade a ser atingido por um jogo digital com proposta puramente de entretenimento. Finalmente, após o levantamento desta hipótese, decidimos buscar e analisar trabalhos sobre jogos digitais que se propusessem a dividir um jogo em partes e categorias, para que pudéssemos cruzar tal categorização com os conceitos do modelo FBS.

3. Métodos de análise e descrição de jogos digitais Na busca por modelos de análise de jogos digitais que atendessem ao nosso objetivo, encontramos dois adequados, que são o Game Ontology Project, ao qual iremos nos referir a partir de agora por GOP, e o modelo Mechanics – Dinamics – Aesthetics, ao qual iremos nos referir a partir agora por MDA. Descreveremos os dois trabalhos nas seções a seguir. 3.1 MDA: Mechanics – Dynamics – Aesthetics O MDA foi desenvolvido com o objetivo de diminuir a distância entre as partes de conceito, desenvolvimento, crítica e pesquisa técnica de jogos digitais, de forma que o discurso que era distinto entre eles na época ganhasse unidade, e que todas as áreas compreendessem sua interdependência. Mesmo que seja necessário se focar em uma determinada área, todo profissional, independente da área, terá que se preocupar com fatores relativos a outras, em algum momento [Hunicke et al. 2004]. O modelo divide os jogos digitais em três partes, a saber:

568

SBC – Proceedings of SBGames 2015 | ISSN: 2179-2259

 



M - Mecânica (mechanics) – Descreve os componentes do jogo quanto à representação de dados e algoritmos; D - Dinâmica (dynamics) – Descreve como os elementos da mecânica se relacionam durante o funcionamento de jogo, respondendo aos comandos do usuário e às demais respostas do jogo. A - Estética (aesthetics) – Descreve as respostas emocionais que se desejam evocar no usuário durante sua interação com o jogo.

A hierarquia desta classificação e sua relação com os designers, que inicia na mecânica e vai até a estética, e os usuários, que percorrem o caminho contrário, pode ser vista abaixo na figura 2.

Figura 2 - Perspectiva do usuário e do designer, retirada de Hunicke [et al. 2004].

3.2 Game Ontology Project (GOP) O GOP é uma estrutura que descreve, analisa e estuda jogos através de uma hierarquia de conceitos em constante crescimento e mudança, devido à análise frequente de novos jogos [GOP 2015]. O trabalho é desenvolvido pelo pesquisador P. J. Zagal desde 2005, em diversos artigos. A referência utilizada neste artigo foi o site do GOP, citado como [GOP 2015], em que estão todos os conceitos e subdivisões de jogos. Como o site é em formato Wiki, ele está em constante mudança através da adição, remoção e edição de conceitos. Por isto a referenciamos no ano de 2015, por ser a versão que estamos nos baseando neste momento.

Art & Design Track – Full Papers

com que o usuário vença o jogo, e os menores são os que impõem barreiras à progressão do usuário e devem ser superados. Alguns objetivos podem ser definidos pelo próprio usuário, como por exemplo, vencer um campeonato de futebol com a pior equipe disponível. Regras (Rules) – As regras do jogo definem o que pode e o que não pode ser feito para se atingir os objetivos. Elas regulam o desenvolvimento do jogo e definem as interações existentes. Manipulação de Entidades (Entity Manipulation) – É a capacidade do usuário de alterar atributos ou habilidades de alguma entidade dentro do jogo. As habilidades são as ações que uma entidade pode desempenhar, enquanto os atributos são as propriedades da entidade. Por exemplo, a habilidade “mudar de tamanho” faz com que ao atributo “tamanho” adquira um novo valor, sempre que for utilizada. Uma habilidade também pode fazer com que uma entidade altere um atributo de outra. Interface – É a categoria que se relaciona diretamente com o usuário. É dividida em apresentação e em entrada. A apresentação é o conjunto de todos os elementos de jogo que estimulam os sentidos do usuário, ou seja, todos os elementos gráficos (e.g. menus, cenários, sprites de personagens), sons e interações táteis (e.g. um joystick que treme, por exemplo). Já a entrada, por sua vez, é dividida em aparelhos de entrada (e.g. Joysticks) e método de entrada (e.g. que comandos são realizados em aparelhos de entrada). Neste trabalho, não iremos nos aprofundar nas subdivisões de cada uma das quatro categorias, utilizando apenas os conceitos apresentados para relacioná-los com o modelo FBS, junto com a classificação do MDA.

4. Modelo Proposto

O GOP divide os jogos em quatro principais categorias, cada uma contando com subdivisões que vão se tornando cada vez mais específicas. Por exemplo, uma das quatro categorias primárias é interface, e uma de suas ramificações é:

Após a análise das referências de design e de jogos digitais, vamos apresentar nosso modelo de avaliação do grau de novidade de jogos digitais neste capítulo.

 Interface o Apresentação o Entrada  Aparelhos de entrada  Métodos de entrada Neste trabalho, não nos aprofundaremos em todas as ramificações disponíveis das quatro categorias, nos atendo apenas a seus conceitos e em algumas ramificações específicas. As categorias são:

Considerando que no FBS a entidade mais abstrata é a função, seguida do comportamento e finalmente pela estrutura, sendo esta a entidade mais relacionada com o usuário, devemos também definir uma hierarquia entre os conceitos de jogos digitais, partindo do mais abstrato para o mais concreto na relação com o usuário. Propomos a seguinte hierarquia:

Objetivos (Goals) – Os objetivos são as condições que o usuário deve cumprir se deseja ser bem-sucedido no jogo. Eles podem ser encontrados em vários níveis de granularidade, sendo o mais alto o objetivo que fará

XIV SBGames – Teresina – PI – Brazil, November 11th - 13th, 2015

4.1. FBS x GOP e MDA

(1) Objetivos (2) Regras (3) Estética (4) Mecânica (5) Dinâmica (Manipulação de Entidades) (6) Interface Em nossa análise, entendemos que tudo parte do objetivo do jogo. Em seguida, as regras para tal desafio

569

SBC – Proceedings of SBGames 2015 | ISSN: 2179-2259

Art & Design Track – Full Papers

são estabelecidas e os componentes do jogo (mecânica, como descrito no MDA) são definidos. Então, a relação entre o usuário e os componentes do jogo acontece, seguindo a regra proposta, o que caracteriza a dinâmica descrita no MDA e a manipulação de entidades no GOP (entendemos que estas duas classificações têm muito em comum). Na sequência, estas ações despertam um sentimento no usuário (estética) que por ser um resultado da mecânica e da dinâmica, identificamos que ela está acima na hierarquia, ocupando a terceira posição, mesmo que sua descrição se encaixe melhor neste momento. Por fim, o usuário se relaciona diretamente com o jogo através da interface. Uma discussão mais abrangente sobre a hierarquização da estética acontecerá mais a frente neste trabalho.

Por último, entendemos que a estrutura está ligada à interface por possuir o nível de abstração mais baixo e porque as subdivisões da entidade estrutura (elementos, atributos e relacionamentos) podem ser facilmente exemplificadas por uma interface gráfica de qualquer jogo. A subdivisão Operações e Processos também pode se relacionar com as entradas de comando aparelho e método. Esta divisão da interface será dividida no modelo de avaliação. O mapeamento entre os modelos FBS x MDA e GOP pode ser visualizado na Tabela 1 abaixo.

O passo seguinte é relacionar esta hierarquia ao modelo FBS. Vamos definir quais conceitos de jogos digitais se encaixam na entidade função, em seguida na entidade comportamento e por fim na entidade estrutura. Como foi dito anteriormente, a função de um produto está ligada às premissas do projeto, e também ao nível de abstração mais alto em relação ao usuário. Por este motivo, consideramos que esta entidade engloba as categorias de Objetivo e Regras. Além disso, entendemos que a entidade função também engloba a categoria estética por ela ser um dos resultados das demais categorias, estar num nível de abstração alto e por também existir a chance de que ela seja uma premissa (e.g. um jogo que cause medo no usuário). Esta categorização vai de encontro à proposta original da estética no MDA, na qual ela é o nível mais próximo do usuário e distante dos designers. Porém, como o objetivo deste trabalho é relacionar tais conceitos com o FBS, entendemos que a estética está conceitualmente mais próxima da entidade função do que das demais.

Comportamento

A entidade comportamento está relacionada a como o produto atinge suas funções, e também ao resultado das operações e processos descritos na entidade estrutura. Por este motivo, identificamos que a mecânica e a dinâmica (manipulação de entidades) devem estar associadas a esta entidade. Seguindo a definição de mecânica proposta no MDA, de que ela descreve todos os elementos do jogo, podemos associála aos tipos de comportamento apresentados anteriormente. Tais componentes do jogo podem ter um comportamento estrutural, no qual não sofrem modificações ao longo do uso, ou exógeno, quando tem que se relacionar ou algum outro componente, se modificando, para desempenhar o comportamento desejado. Tais mudanças e modificações resultantes do comportamento exógeno caracterizam a dinâmica (manipulação de entidades) presente no jogo. Pode-se questionar que a dinâmica de jogo poderia estar relacionada às operações e processos, descritos como uma subdivisão da entidade estrutura, mas a dinâmica é justamente o resultado das operações e processos feitos pelo usuário, o que caracteriza o comportamento.

XIV SBGames – Teresina – PI – Brazil, November 11th - 13th, 2015

Tabela 1 - Relação FBS x MDA & GOP

FBS Função

Estrutura

MDA & GOP Objetivos Regras Estética Mecânica Dinâmica Interface de apresentação Entrada (inputs)

4.2. Método de Avaliação Utilizando a associação apresentada na Tabela 1, propomos nosso método de avaliação. Nele, os avaliadores devem julgar se o jogo traz alguma novidade em alguma categoria do MDA & GOP. Nesta análise, só há dois possíveis resultados: (1) apresenta novidade; e (2) não apresenta novidade. Tais resultados julgam o ineditismo da solução, e eles não são interdependentes. Por exemplo, um jogo pode apresentar novidade nas categorias Objetivos, Regras e Estética, mas não apresentar nas demais. No fim da avaliação, se há novidade em alguma das categorias Objetivos, Regras ou Estética, dizemos que o conceito possui alto grau de novidade, pois ela está a nível da função. Se não apresentou novidade a nível da função, mas sim na categoria Mecânica ou Dinâmica, dizemos que o conceito apresentou médio grau de novidade, pois a novidade foi a nível de comportamento. Finalmente, se não apresentou novidade a nível de função ou comportamento, mas sim a nível de interface, ou seja, estrutura, dizemos que o conceito possui baixo grau de novidade. A última diretriz de avaliação diz respeito ao conjunto de jogos ao qual o novo conceito será comparado. Um conceito que possui ineditismo no nível da função deve ser comparado com todo o conjunto de jogos disponíveis no mercado. Por outro lado, tivemos dificuldade em avaliar ineditismos no nível do comportamento e estrutura. A questão que levantamos é até que ponto precisamos ser criteriosos com o grau de novidade de uma mecânica, dinâmica ou elementos de interface inédita. Por exemplo, um jogo temático de algum filme provavelmente utiliza elementos em sua estrutura que são oriundos do filme. Se esta mesma franquia decide lançar outro jogo, provavelmente os elementos vão ser os mesmos, ou

570

SBC – Proceedings of SBGames 2015 | ISSN: 2179-2259

muito similares. No entanto, se estes dois jogos tiverem objetivos, regras, mecânica e dinâmica completamente diferente, apenas o lançado primeiro terá ineditismo em sua estrutura? Ampliando esta discussão, nos questionamos então qual seria um jogo que utiliza elementos completamente inéditos em sua estrutura. Por este motivo, decidimos que os conceitos Objetivos, Regras e Estética devem ser comparados com todos os jogos digitais disponíveis no mercado, e os conceitos Mecânica, Dinâmica e Interface devem ser comparados apenas com jogos de mesmo gênero.

5. Exemplo de aplicação do método De maneira a ilustrar o modelo proposto com avaliações de casos reais, iremos aplicar nosso método de avaliação em três jogos existentes que são: Defence of the Anciets (DotA), Jelly Splash e Frets on Fire. 5.1. Avaliação do Jogo 1 – DotA: Allstars

Art & Design Track – Full Papers

Na função, a forma como novas regras de campo foram construídas alteram os objetivos e as regras do gênero estratégia em tempo real, gênero do jogo de origem, Warcraft III. Isso afeta o comportamento do jogo, pois a mecânica e dinâmica são alteradas de acordo com a troca de foco, que antes era construir coletores de recursos, unidades militares e estruturas de produção e passou a se controlar uma unidade especial com poderes únicos e jogar em equipe com elementos de ação. Tais fatores configuraram uma nova dinâmica de jogo, e deram origem a um novo gênero, o MOBA. Na estrutura, o DotA herdou todos os elementos do Warcraft III por ser um mod. A interface de apresentação e os inputs permaneceram iguais ou muito semelhantes aos do jogo original. Esteticamente, o jogo também não trouxe nenhuma novidade, pois desperta no usuário as mesmas sensações que diversos jogos de aventura e estratégia. Por estes motivos, consideramos que o jogo possui alto grau de novidade.

Defense of the Ancients: AllStars, ou DotA: Allstars5, é um mod6 do jogo Warcraft III, baseado no mapa "Aeon Strife" para o jogo Starcraft, que surgiu em 2003 e se popularizou em 2004. Ele é o predecessor do gênero MOBA, Multiplayer Online Battle Arena, sendo um mapa retangular competitivo em que duas equipes, de até 5 membros cada, se enfrentam até que alguma seja derrotada através da destruição de sua base. Os jogadores controlam um dos até 5 personagens de sua equipe e tem sua base nos cantos inferior esquerdo ou superior direito do mapa.

5.2. Avaliação do Jogo 2 – Jelly Splash

Para chegar até a base inimiga é preciso ir por um dos 3 caminhos disponíveis: a rota que segue a margem superior, a do meio (diagonal cruzando o mapa entre as bases) ou que segue a margem inferior. No percurso, deve-se derrotar as torres inimigas, creeps (soldados que são gerados constantemente por quarteis), e os quarteis. A Tabela 2 abaixo apresenta a avaliação para o grau de novidade do jogo em questão:

O jogo foi lançado em um mercado que já possuía diversos jogos do gênero match-3 como Bejeweled Blitz, Candy Crush Saga e Diamond Dash. Dentre seus concorrentes de mercado, o que mais se assemelhava era o jogo Dots8, por também ser um jogo de associação de elementos através da formação de um percurso entre eles. O diferencial do Jelly Splash em relação a seus concorrentes era a possibilidade de associação de elementos adjacentes do grid em posição diagonal, junto com a presença de alguns obstáculos com comportamento incomum nos jogos do gênero. A Tabela 3 abaixo apresenta a avaliação para o grau de novidade do jogo em questão:

Tabela 2 - Avaliação do jogo DotA

FBS Função

MDA & GOP Objetivos Regras Estética

Comportamento

Mecânica Dinâmica

Estrutura

5 6

Interface de apresentação Entrada (inputs)

Ineditismo Apresenta novidade Apresenta novidade Não apresenta novidade Apresenta novidade Apresenta novidade Não apresenta novidade Não apresenta novidade

https://en.wikipedia.org/wiki/Defense_of_the_Ancients modificação; derivado de.

XIV SBGames – Teresina – PI – Brazil, November 11th - 13th, 2015

Jelly Splash7 é um jogo do gênero Match-3 lançado pela desenvolvedora Wooga em agosto de 2013, para dispositivos iOS, e na sequência pra Facebook e Android. No jogo, o usuário vê um grid repleto de criaturas de cores diferentes, e deve associar as de mesma cor formando percursos de a partir 3 criaturas em posições adjacentes, tanto verticais, horizontais e diagonais. Cada partida possui um determinado objetivo a ser cumprido, sem tempo limite.

Tabela 3 - Avaliação do jogo Jelly Splash

FBS Função

MDA & GOP Objetivos Regras Estética

Comportamento

Mecânica Dinâmica

7 8

Ineditismo Não apresenta novidade Não apresenta novidade Não apresenta novidade Apresenta novidade Apresenta

http://www.wooga.com/games/jelly-splash/ http://weplaydots.com/dots.html

571

SBC – Proceedings of SBGames 2015 | ISSN: 2179-2259

Estrutura

Interface de apresentação Entrada (inputs)

novidade Não apresenta novidade Não apresenta novidade

O jogo possui objetivos e estética iguais às de qualquer concorrente do gênero match-3, e regras similares. Consideramos que a existência da associação entre elementos posicionados de maneira adjacente diagonal está relacionada à dinâmica, e não à regra. Dessa forma, o jogo possui novidade em sua dinâmica, e pela presença de inimigos que se comportavam de maneira incomum, também apresentava novidades em sua mecânica. Por fim, o jogo não trouxe nenhuma novidade em relação aos inputs e também da interface de apresentação, que seguia o mesmo estilo de diversos outros jogos do gênero. Por estes motivos, o jogo possui médio grau de novidade. 5.3. Avaliação do Jogo 3 – Frets on Fire A terceira e última avaliação é relativa à primeira versão do jogo Frets on Fire9, lançado em 2006. Ele é um jogo online cujo objetivo é selecionar as cores correspondentes as notas musicais em um tempo e ritmo determinando, para simular o ato de tocar uma guitarra, até completar uma música. Cada cor é associada a uma tecla do teclado, seu método de entrada, em várias músicas que podem ser escolhidas como desafio. Frets on Fire foi uma alternativa para as pessoas que gostariam de jogar o Guitar Hero, seu jogo de referência, mas possuíam apenas computador. Desta forma, ambos possuem características muito semelhantes, mas com mudanças na estrutura. A Tabela 4 abaixo apresenta a avaliação para o grau de novidade do jogo em questão: Tabela 4 - Avaliação do jogo Frets on Fire

FBS Função

MDA & GOP Objetivos Regras Estética

Comportamento

Mecânica Dinâmica

Estrutura

Interface de apresentação Entrada (inputs)

Ineditismo Não apresenta novidade Não apresenta novidade Não apresenta novidade Não apresenta novidade Não apresenta novidade Não apresenta novidade Apresenta novidade

O jogo não apresenta novidades em sua função, que se assemelha a Guitar Hero em todos os aspectos, pois 9

Art & Design Track – Full Papers

os objetivos e regras são os mesmos e as respostas emocionais também são similares, como agitação e euforia, ao simular a atividade de um guitarrista. Em relação ao comportamento, também não há novidades. A mecânica é a mesma, pois os componentes são iguais aos de Guitar Hero, assim como a dinâmica, pois se relacionam do mesmo modo. A estrutura apresentou novidade, pois enquanto a entrada de Guitar Hero é uma guitarra ou um joystick, a de Frets on Fire é o teclado do computador. Esta mudança fez com que o jogo atingisse um público diferente do de seu concorrente. Por estes motivos, o jogo possui baixo grau de novidade, pois apresentou novidade apenas a nível de estrutura. 5.4. Avaliação de Novos Conceitos Para se avaliar um novo conceito através do modelo proposto neste trabalho, é preciso primeiramente conhecer diversos jogos, de diversos gêneros e de períodos variados. Caso o jogo concebido faça parte de algum gênero existente, configurando possível concorrência, é preciso conhecer a linha do tempo de criação destes produtos concorrentes, e identificar suas características [Sarkar & Chakrabarti 2011]. Desta forma, a avaliação poderá ser feita corretamente, pois todas as informações importantes serão conhecidas.

6. Conclusão e Desdobramentos Neste trabalho, adaptamos o modelo FBS para permitir a avaliação de jogos digitais, e dessa forma, tornar possível a avaliação do ineditismo de jogos existentes e de novos conceitos. Com isto, criamos a primeira versão de um modelo para avaliação do grau de novidade em jogos digitais, que foi aplicado em três jogos existentes de maneira a exemplificar seu uso. Acreditamos que mesmo num estágio inicial, este modelo mostrou que a adaptação do FBS para as especificidades de um jogo digital é factível e pode ser útil. Apesar da pequena amostra de casos ilustrados, percebemos na análise dos três jogos que é possível categoriza-los dessa maneira, e com isso abrimos uma ligação entre os trabalhos acadêmicos de design sobre FBS e avaliação da inovação com a bibliografia da área de desenvolvimento de jogos digitais. Entretanto, o modelo ainda não foi testado na análise de conceitos de jogos não implementados, que é o objetivo final deste modelo. Por ser a primeira publicação de um projeto em andamento, entendemos que ele pode ser incrementado de várias maneiras e fomentar diversas discussões, sendo o marco inicial para tais desenvolvimentos, tanto do nosso projeto, como de pesquisas correlatas. Até hoje, não há métodos claros para avaliar o grau de novidade de jogos e, a partir do modelo proposto, acredita-se que novas camadas de interpretação e detalhamento de

http://fretsonfire.sourceforge.net/

XIV SBGames – Teresina – PI – Brazil, November 11th - 13th, 2015

572

SBC – Proceedings of SBGames 2015 | ISSN: 2179-2259

parâmetros possam adicionar-se ao arcabouço atual para gerar um modelo cada vez mais robusto. Entendemos que é necessário expandir a pesquisa para englobar mais referencias da área de game design. Alguns conceitos como mecânica, dinâmica e regras merecem um estudo mais aprofundado, comparando e testando conceitos de outros autores para se chegar a uma definição mais robusta, de nível similar às definições do modelo FBS, que já estão consolidadas. Além disso, como resultado de uma análise expandida, outros conceitos podem ser utilizados na relação com o FBS e outros podem ser excluídos. Pretendemos envolver mais pessoas nos próximos passos deste projeto. Como a aplicação do método foi feita apenas internamente, desejamos expandi-la para que seja feita por pessoas externas ao nosso grupo. Também desejamos acompanhar alguns projetos de desenvolvimento de jogos desde o início, utilizando o método em sua fase de concepção, e medindo o desempenho de todos no mercado após o lançamento. A novidade por si só talvez não seja a razão principal do sucesso comercial de um jogo. Os próprios trabalhos que utilizamos como referência apontam que ela é apenas uma parte da avaliação do potencial de inovação de novos produtos, que por sua vez é um conceito diretamente ligado a um bom desempenho de mercado. Planejamos investigar como a novidade é vista por profissionais da indústria e de usuários de jogos, para compreender sua importância para eles. Por fim, podemos incrementar os resultados da avaliação, já que atualmente são três, mas que englobam seis conceitos de jogos digitais. Por exemplo, no estado atual do método, a entidade função está associada a 3 conceitos (Objetivos, Regras e Estética), mas ainda não há uma distinção no resultado de jogos que apresentem novidade em um, dois ou três dos conceitos avaliados. Em teoria, se um jogo apresentou novidade nos três conceitos relativos a função, e outro jogo apresentou em apenas um, o primeiro deveria ser considerado com maior grau de novidade, o que ainda não acontece.

Agradecimentos Os autores gostariam de agradecer aos revisores do SBGames ao contribuírem para a melhoria deste trabalho. Ainda, agradecemos a Marisardo Filho e à Faculdade Estácio iDez pelo convite para ministrar a disciplina de Processo Criativo que deu origem a esta pesquisa. Este trabalho não seria possível sem o apoio da CAPES (BEX 11468/13-0) e do CNPq.

Referências ALHA, K., 2011. Concepts of game innovation: a view from the history of digital games. Dissertação de mestrado, University of Tampere.

XIV SBGames – Teresina – PI – Brazil, November 11th - 13th, 2015

Art & Design Track – Full Papers

CRUICKSHANK, L., 2010. The Innovation Dimension: Designing in a Broader Context. Design Issues, 26 (2), 17-26 GERO, J.S. AND KANNENGIESSER, U., 2004. The situated function-behavior-structure framework. Design Studies, 25 (4), 373-391. GOP, 2015. Game Ontology Project. Disponível em: https://sites.google.com/site/gopmirror/. [Último acesso em 09 de outubro de 2015]. HERNÁNDEZ, M. G., VOLTER, M., 2014. Incremental digital product innovation in social mobile games: A case study of King Digital Entertainment. Dissertação de mestrado, Umea University. HOWARD, T. J., CULLEY, S. J., DEKONINCK, E., 2008. Describing the creative design process by the integration of engineering design and cognitive psychology literature. Design Studies, 29 (2), 160-180. HUNICKE, R., LEBLANC, M., ZUBEK, R., 2004. MDA: A Formal Approach to Game Design and Game Research. Disponível em: http://www.cs.northwestern.edu/~hunicke/MDA.pdf. [Último acesso em 09 de outubro de 2015]. MONTAGNA, F., 2011. Decision-aiding tools in innovative product development contexts. Research in Engineering Design, 22 (2), 64-86. NORMAN, D. A., AND VERGANTI, R., 2014. Incremental and radical innovation: design research versus technology and meaning change. Design Issues, 30 (1), 78-96. OSLO MANUAL, 2005. Oslo Manual, Guidelines for Collecting and Interpreting Innovation Data. OECD, França. QIAN, L. AND GERO, J. S., 1996. Function- behavior-structure paths and their role in analogy based design. Artificial Intelligence for Engineering, Design, Analysis and Manufacturing, 10 (4), 289-312. RAMPINO, L., 2011. The Innovation Pyramid: A Categorization of the Innovation Phenomenon in the Product-design Field. International Journal of Design, 5 (1), 3-16. SARKAR, P. AND CHAKRABARTI, A., 2011. Assessing design creativity. Design Studies, 32 (4), 348-383. SCHUMPETER, J. A., 1947. The Creative Response in Economic History. The Journal of Economic History, 7 (2), 149-159. THOMPSON, G., AND LORDAN, M., 1999. A review of creativity principles applied to engineering design. Journal of Process Mechanical Engineering, 213 (1), 1731. WIRTH, R., AND O’RORKE, P., 1993. Representing and reasoning about function for failure modes and effects analysis. Working Notes, AAAI-93 Workshop on Reasoning about Function, Washington, DC: 188-94. WYLANT, B, 2008. Design Thinking and the Experience of Innovation. Design Issues, 24 (2), 3-14.

573

Lihat lebih banyak...

Comentários

Copyright © 2017 DADOSPDF Inc.