Construção e avaliação de um programa para computador de mão para auxiliar o ensino de oftalmologia para estudantes de medicina

Construção e avaliação de um programa para computador de mão para auxiliar o ensino de oftalmologia para estudantes de medicina Vladimir Camelo Pinto1, Thiago Martini da Costa1, Anderson Diniz Hummel1, Felipe Mancini1, Alex Jaccoud Esteves Falcão1, Paulo Schor2, Ivan Torres Pisa3 1

Programa de Pós-graduação em Informática em Saúde, Universidade Federal de São Paulo (UNIFESP) 2 Departamento de Oftalmologia, UNIFESP 3 Departamento de Informática em Saúde, UNIFESP

Resumo. Os assistentes digitais pessoais (PDAs) se popularizaram na última década entre profissionais da área da saúde e estudantes de medicina, sendo estes dispositivos considerados como um valioso recurso educacional no ensino médico. O objetivo deste artigo é apresentar a construção e avaliação de um programa, denominado MDFluxo, para ensino de oftalmologia em computadores de mão. Para atingir tais objetivos foi escolhida uma literatura acadêmica em oftalmologia, os fluxogramas dessa literatura foram reestruturados e armazenados em formato XML. O MDFluxo foi desenvolvido utilizando MobileVB com o Microsoft Visual Basic. A avaliação foi realizada apresentando casos clínicos a estudantes de medicina e a usabilidade foi avaliada segundo as heurísticas de Nielsen. Foram reestruturados 15 fluxogramas da literatura escolhida, sendo desenvolvidas 22 versões antes das avaliações. O programa obteve 82,5% de aceitação entre os voluntários que participaram dos experimentos. Os estudantes que utilizaram o MDFluxo foram melhor na solução da etiologia e conduta do que estudantes que não utilizaram nenhum material. Conclui-se que o MDFluxo se mostrou útil na solução dos casos clínicos sendo equivalente ao uso do livro. Palavras-chave. Computadores de mão, estudantes de medicina, oftalmologia, fluxogramas, avaliação heurística. Abstract. On the last decade the personal digital assistants have been popularized among health professionals and medicine students, being these devices an important resource on medical teaching. The aim of this paper is to present a program, called MDFluxo, development and evaluation. To achieve this objective, it was selected na academic literature and it was restructured, stored on XML format. MDFluxo was developed using MobileVB integrated to Microsoft Visual Basic. The evaluation was performed presenting clinical cases to medicine students and usability was assessed following Nielsen heuristics. It was restructured 15 of 55 flowcharts on the selected literature, before the evaluations 22 versions were developed. The program had 82,5% of acceptance between voluntaries who participated on the experiences Students Who used MDFluxo had better performance on conduct and etiology solution than those didn’t use any material. We conclude MDFluxo is useful on clinical solution, equivalent to book use. Keywords: Handheld computers, medical students, ophthalmology, flowcharts, heuristics inspection.

Introdução Os assistentes digitais pessoais (personal digital assistants - PDAs), também conhecidos como computadores de mão, foram disponibilizados em meados de 1993 e se popularizaram na última década entre profissionais da área da saúde e estudantes de medicina [1] por apresentarem boa capacidade de armazenamento, acesso rápido a informações, possibilitando maior flexibilidade em ambiente hospitalar se comparado ao uso do computador pessoal (PC) [2]. Os programas utilizados por profissionais de saúde e estudantes de medicina mais citados na literatura médica são: calculadoras médicas [3], referências bibliográficas [4], banco de dados de medicamentos [5], programas para observação de imagens médicas [6] e outros. Segundo Grasso [7] aproximadamente 60% a 70% dos estudantes de medicina e médicos residentes nos EUA utilizam computadores de mão para propósitos educacionais, sendo estes

dispositivos considerados como um valioso recurso educacional no ensino de práticas médicas [8]. Embora sejam itens importantes na compreensão dos conteúdos disponibilizados em computadores de mão, a estruturação das informações clínicas [9] e características de usabilidade [10] geralmente são negligenciadas no desenvolvimento de programas para educação em saúde com o uso de computadores de mão. No livro Guia de Oftalmologia de Schor [11] é apresentado um conjunto de informações clínicas estruturadas. Cada capítulo apresenta uma descrição das lesões mais comuns em cada segmento do olho humano e sua localização anatômica. Ao final de cada capítulo, um fluxograma 1 resume o conhecimento médico discutido, oferecendo um processo mnemônico de maneira a auxiliar o leitor a fixar o conteúdo do texto de forma prática e objetiva. 1

Definição do Houaiss para fluxograma: diagrama para representação de um algoritmo; diagrama de fluxo. 1

Disponibilizar estes fluxogramas do livro de Schor [11] por meio dos computadores de mão possibilita uma utilização rápida e de forma interativa destas informações, auxiliando a prática clínica diária dos profissionais da área da saúde e para educação médica entre estudantes de medicina [9]. O objetivo deste artigo é apresentar a construção de um programa, aqui denominado Modelo Digital de Fluxogramas em Oftalmologia (MDFluxo), para computadores de mão Palm®, com os fluxogramas do livro de Schor [11] estruturados e representados em formato digital. Adicionalmente serão apresentados os resultados da avaliação do desempenho do programa na solução de casos clínicos de oftalmologia por estudantes de medicina e a avaliação heurística do programa. Métodos Os métodos para condução desta pesquisa serão divididos em três subseções: preparação dos fluxogramas, construção do MDFluxo, avaliação por estudantes de medicina e avaliação heurística da usabilidade. Preparação dos fluxogramas O primeiro passo na construção do MDFluxo foi analisar os fluxogramas do Guia de Oftalmologia de Schor [11] e construir um modelo para que pudessem ser representados digitalmente em formato XML (eXtensible Markup Langague). Além da análise os fluxogramas necessitaram ser reestruturados para adequar-se ao modelo logico. A reestruturação foi realizada com a colaboração de 2 médicas residentes do Departamento de Oftalmologia da UNIFESP: a Drª Kátia Matovani Bottós e a Drª Juliana Matovani Bottós, que observaram as estruturas lógicas de formatação de cada fluxograma adequando-as ao modelo proposto nesta pesquisa. Construção do MDFluxo Foram definidos os casos de uso e as especificações desses diagramas foram implementadas utilizando o MobileVB® 4.0 integrado ao Microsoft (MS) Visual Basic® 6. Para o armazenamento dos fluxogramas em formato XML foi utilizado o banco de dados MS Access® 2003 – necessário como requisito do MobileVB –, sendo este convertido para arquivos no formato Portable Database (PDB), banco de dados aceito para computadores de mão. O processo de desenvolvimento de software adotado foi o modelo espiral [12]. Neste modelo o processo de construção foi dividido em 4 fases com base nas práticas da metodologia XP,

sendo estas: planejamento, design / projeto, codificação e testes / validação. A cada ciclo do modelo espiral que era completado uma versão do sistema era apresentada a um especialista em oftalmologia e às médicas residentes que colaboraram na fase de reestruturação dos fluxogramas. As críticas, correções e sugestões propostas pelo especialista e pelas médicas eram anotadas e implementadas em novas versões do programa. Com base nestas propostas foram construídas 22 versões, sendo a versão 0.22 utilizada na avaliação do desempenho do programa e na avaliação heurística. Avaliação por estudantes de medicina A partir da validação da versão 0.22 do programa iniciou-se a fase de avaliação de desempenho do programa com alunos de graduação voluntários do 4º e 5º ano de medicina da UNIFESP e FCMSUNILUS no período de abril a maio de 2007. Foram apresentados aos alunos três diferentes casos clínicos, equivalentes entre si, totalizando 60 avaliações. Os casos clínicos foram elaborados pelo professor Livre-docente Paulo Schor com experiência no ensino em graduação em medicina. Nas avaliações os estudantes responderam questões referentes à hipótese diagnóstica, etiologia e conduta e foram divididos e alternados em 3 grupos: Grupo 1: utilizou o computador de mão com o programa MDFluxo para responder às questões; Grupo 2: utilizou o livro de Schor et al. (2004); Grupo 3: não utilizou qualquer material de apoio. Após as avaliações, as provas foram analisadas pelo mesmo professor e os dados tabulados em uma planilha eletrônica para aplicação do teste estatístico. Além disso, os estudantes que utilizaram o computador de mão com o programa MDFluxo responderam um questionário de avaliação com 14 questões sobre os seguintes assuntos: questões gerais (Q1-Q4), questões sobre eficácia (Q5), eficiência (Q6), confiabilidade (Q7), consistência (Q8), funcionalidade (Q9), facilidade de uso (Q10), navegabilidade (Q11), agilidade (Q12), objetividade e qualidade das informações fornecidas. Para cada questão os estudantes atribuíram notas de satisfação com o uso do programa MDFluxo nos itens apresentados. As notas são: (1) péssimo, (2) ruim, (3) satisfatório, (4) bom e (5) ótimo.

2

Avaliação heurística da usabilidade Na versão 0.22 do programa também foi realizada a Avaliação Heurística proposta por Jacob Nielsem [13] para identificar problemas de usabilidade no MDFluxo. A avaliação heurística no programa MDFluxo foi realizada com a colaboração de 5 estudantes, voluntários, de Informática Biomédica da USP-RP.

Resultados Nesta seção os resultados serão apresentados nas seguintes subseções: preparação dos fluxogramas, construção do MDFluxo, avaliação por estudantes de medicina e avaliação heurística da usabilidade. Preparação dos fluxogramas A partir da análise dos fluxogramas do Guia de Oftalmologia [11] e da observação de sua diversidade, construiu-se um modelo para a representação do conhecimento com o auxílio de especialistas do Departamento de Oftalmologia da UNIFESP, para que com base neste modelo fosse possível reestruturar estes fluxogramas de maneira que seguissem um padrão lógico único de formatação. O modelo definido para a representação de fluxogramas em oftalmologia é formado por um conjunto de itens e subitens, sendo os principais itens: condição clínica, características clínicas, cenários clínicos, hipótese diagnóstica, ação. Conforme ilustrado na Figura 1 no modelo proposto o fluxograma inicia com uma condição clínica. Após a condição clínica é apresentada a história clínica e com base nesta história pode ou não ser apresentado os fatores associados. Neste fluxograma não foram incluídas as evidências, diagnóstico clínico primário e características clínicas distintivas. Após os fatores associados é apresentada a hipótese diagnóstica e por último a ação médica. Construção do MDFluxo As críticas, correções e sugestões propostas pelo especialista e pelas médicas residentes eram anotadas e implementadas em novas versões do programa. Com base nestas propostas foram construídas 22 versões, sendo a versão 0.22 utilizada na avaliação do desempenho do programa e na avaliação heurística. A apresenta as telas do programa MDFluxo versão 0.22 no emulador Palm OS Simulator 5.0.1. Este emulador é utilizado para simular um equipamento Palm em um computador pessoal, realizando todas as suas funções como um equipamento real.

Figura 1 – Modelo de fluxograma proposto no MDFluxo

Parte dos fluxogramas do livro de Guia de Oftalmologia [11] foi representada em formato XML e os arquivos XML foram armazenados na base de dados do programa MDFluxo. O conversor de banco de dados para ambiente Palm do MobileVB realizou a conversão das tabelas do MS Access para PDB. Foi desenvolvida uma funcionalidade denominada Expandir Fluxogramas que realiza a leitura dos arquivos XML armazenados no arquivo PDB. A expansão do arquivo XML permite acessar de forma rápida suas informações; de outro modo, a leitura no XML seria realizada a cada acesso do usuário ao programa. Avaliação por estudantes de medicina As provas que os estudantes realizaram foram analisadas pelo mesmo professor que as elaborou e os dados tabulados em uma planilha eletrônica para aplicação do teste estatístico. A Tabela 1 apresenta as porcentagens de acerto dos casos clínicos de acordo com o grupo. Cada um dos 20 estudantes resolveu um caso clínico em cada grupo, resultando um total de 60 avaliações. Porcentagem de acertos dos alunos Hipótese Somatória Condudiagnós- Etiologia dos ta tica resultados G1 60,00% 35,00% 45,00% 46,67% G2 65,00% 32,50% 42,50% 46,67% G3 47,50% 5,00% 12,50% 21,67% Tabela 1. Porcentagem de acerto dos estudantes de medicina na avaliação dos casos clínicos. Grupos

3

O teste estatístico de Friedman [14] foi aplicado nos dados obtidos nas avaliações com os estudantes de medicina para observar se houve diferença estatisticamente significante entre o desempenho dos alunos dependendo do material de apoio que utilizaram para resolução do caso clínico, conforme apresentado na Tabela 2. Teste estatístico de Friedman Hipótese Etiologia Conduta diagnóstica = 1,720 = 9,140 = 6,140 (p = 0,42) (p = 0,01) (p = 0,05) Não apresentou diferença G1 & G2 ≠ G3 G1 ≠ G2 ≠ G3 entre os grupos Tabela 2. Resultado do teste estatístico aplicado nos dados obtidos na avaliação do programa.

Foram analisados também os dados do questionário de avaliação de satisfação do usuário com o uso do programa MDFluxo. A Tabela 3 apresenta a média das notas atribuídas (valores entre 0 e 5) pelos estudantes de medicina para avaliar o programa e suas respectivas porcentagens. Média das notas nas questões avaliadas Questões Notas Porcentagem Q5 Eficácia 3,25 65,00% Q6 Eficiência 3,60 72,00% Q7 Confiabilidade 3,70 74,00% Q8 Consistência 3,70 74,00% Q9 Funcionalidade 3,30 66,00% Q10 Facilidade 3,65 73,00% Q11 Navegabilidade 3,70 74,00% Q12 Agilidade 3,70 74,00% Q13 Objetividade 3,75 75,00% Q14 Qualidade 3,30 66,00% Tabela 3. Média das notas atribuídas pelos estudantes de medicina para avaliar o desempenho do programa MDFluxo e suas respectivas porcentagens.

Avaliação heurística da usabilidade A avaliação heurística [13] realizada na versão 0.22 do programa MDFluxo identificou diversos problemas de usabilidade, tais como: 9 Utilização no programa do ícone com o símbolo de ponto de exclamação (“!”) para visualizar informações sobre o autor responsável; 9 Cor vermelha utilizada em textos explicativos; na tela de escolha do tipo de segmento não era claro para os usuários que a figura do “segmento do olho” deveria ser clicada para continuar o processo de navegação; erros de gramática e ortografia; 9 Na descrição dos itens que os usuários selecionam nas telas do programa MDFluxo é pos-

sível clicar na área de texto apresentada e escrever ou mesmo apagar esta descrição, mas não existe uma opção que possibilite ao usuário salvar a alteração realizada; 9 Durante o processo de avaliação do programa MDFluxo apareceram várias vezes mensagens de erro como “form was unable to load” e “subscript out of range” finalizando o programa durante a avaliação, confundindo os avaliadores; 9 Nos itens “sexo” e “idade” na tela do questionário inicial foi utilizado o componente select box que não segue o padrão Window Icon Menu Pointer (WIMP); 9 As “instruções de uso” na tela do meu principal não oferecem um manual de instruções de uso do programa MDFluxo, mas uma explicação sobre as funcionalidades dos botões utilizados nas diferentes telas. Em geral os problemas de usabilidade tiveram severidade que variaram de nível 1, por exemplo na heurística do projeto minimalista e estético, até o nível 3, em ajuda e documentação e casamento entre o mundo real e o programa. Discussão Dos 55 fluxogramas da literatura médica escolhida [11], 15 foram reestruturados e destes 3 fluxogramas foram revisados. A necessidade da reestruturação surgiu devido a itens que se apresentavam em um mesmo nível, mesmo sendo distintos como fatores associados, evidências (sinais e sintomas) e história clínica. Esta estrutura dificultava sua representação em formato digital, pois apresentar itens de tipos diferentes em um mesmo nível dificulta a implementação do programa MDFluxo e possivelmente o entendimento pelo usuário. Mesmo não sendo um modelo genérico que permita estruturar qualquer tipo de informação clínica, o modelo proposto se mostrou útil para a reestruturação dos fluxogramas da literatura médica escolhida [11]. A partir do teste estatístico de Friedman [14] aplicado nos dados da avaliação do desempenho dos alunos utilizando o programa MDFluxo (G1), ou o livro (G2) ou nenhum material de referência (G3) pôde-se verificar que para a hipótese diagnóstica e para a soma dos resultados não houve diferenças significativas entre os grupos comparados, conforme apresentado na Tabela 2. O grupo que utilizou o computador de mão com o programa MDFluxo (G1) e o grupo que utilizou o livro (G2) apresentaram diferenças estatisticamente significativas na avaliação da etiologia, conduta e tempo para finalizar o caso clínico quando comparados ao grupo que não utilizou nenhum material (G3). Não houve diferença estatisticamente significativa entre o desempenho dos alunos do grupo que utilizaram o MDFluxo (G1) e dos alunos que utilizaram o livro (G2) neste último cenário, ou seja, utilizar o livro ou utilizar o pro4

Figura 2 - Telas do programa MDFluxo versão 1.0 (final): (a) login, (b) menu principal, (c) instruções de uso, (d) modelo de fluxograma em oftalmologia, (e) informações do projeto, (f) ferramentas administrativas, (g) questionário inicial, (h) segmento anterior e posterior,

grama MDFluxo com referência para resolução de caso clínico resultou em desempenho equivalente na avaliação da etiologia, conduta e tempo para finalizar o caso clínico. Conclusão Conclui-se que o programa MDFluxo se mostrou útil na solução dos casos clínicos, porém foi equivalente ao uso do livro. O programa obteve 82,5% de aceitação entre os voluntários que participaram dos experimentos. É possível que um estudo em longo prazo, com mais informações clínicas na base de dados do programa MDFluxo, e um treinamento no uso do programa com os estudantes possa beneficiar ainda mais o ensino de oftalmologia mediado auxiliado por computadores de mão. Agradecimentos Agradecemos aos alunos de medicina que participaram da avaliação de uso do MDFluxo, aos alunos de informática biomédica que realizaram a avaliação heurística, e às médicas que colaboraram na reestruturação dos fluxogramas e nos testes que foram executados nas versões do sistema.

Referências [1] Greiver M, Drummond N, White D, Weshler J, Moineddin R. Angina on the Palm: randomized controlled pilot trial of Palm PDA software for referrals for cardiac testing. Can Fam Physician. 2005;51, pp. 382-3. [2] Matthew AG, Currie KL, Irvine J, Ritvo P, Santa Mina D, Jamnicky L, Nam R, Trachtenberg J. Serial personal digital assistant data capture of health-related quality of life: A randomized controlled trial in a prostate cancer clinic. Health and Quality of Life Outcomes. 2007;5(1), pp. 38. [Epub ahead of print]. [3] Sutton J, Stockton L, McCord G, Gilchrist VJ, Fedyna D. Handheld computer use in a family medicine clerkship. Acad Med. 2004;79(11), pp. 1114-9. [4] Rudkin SE, Langdorf MI, Macias D, Oman JA, Kazzi AA. Personal digital assistants change management more often than paper texts and foster patient confidence. Eur J Emerg Med. 2006;13(2), pp. 92-6. [5] Stroud SD, Erkel EA, Smith CA. The use of personal digital assistants by nurse practitioner students and faculty. J Am Acad Nurse Pract. 2005;17(2), pp. 67-75. [6] Nakata N, Kandatsu S, Suzuki N, Fukuda K. Informatics in Radiology (infoRAD): mobile 5

wireless DICOM server system and PDA with high-resolution display: feasibility of group work for radiologists. Radiographics 2005;25, pp. 273-83. [7] Grasso MA, Yen MJ, Mintz ML. Survey of handheld computing among medical students. Computer methods and programs in biomedicine, Elsevier. 2006;82:3, pp. 196-202. [8] Richard VK, Cassie LMC, Helen GM, Alice KM, Gregory WS. Use of computers and the Internet by residents in US family medicine programmes. Medical Informatics & The Internet in Medicine. 2007;32(2), pp. 149-155. [9] Grad RM, Meng Y, Bartlett G, Dawes M, Pluye P, Boillat M, Rao G, Thomas R. Effect of a PDA-assisted Evidence-based Medicine Course on Knowledge of Common Clinical Problems. Family Medicine. 2005;37, pp. 734740. [10] Costa TM, Pinto VC, Mauad RF, Afonso DLA, Silva FAB, Alves D, Schor P, Pisa IT. PDA for health professionals: can you deal with that?. AMIA 2007. Chicago, IL, 10-14 de novembro de 2007. [11] Schor P, Chamon W, Belfort R. Guia de Oftalmologia - Série Guia de Medicina Ambulatorial e Hospitalar da UNIFESP/Escola Paulista de Medicina. 1ª ed. Editora Manole, São Paulo, 2004.

[12] Filho P, Pádua W. Engenharia de Software – Fundamentos, Métodos e Padrões. 2° ed. Editora LTC, 2003 [] Nielsen J. Enhancing the explanatory power of usability heuristics. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems: Celebrating interdependence. B. Adelson, S. Dumais, and J. Olson, Eds. CHI '94. ACM Press, New York. 1994, pp.152-158. [13] Nielsen J. Enhancing the explanatory power of usability heuristics. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems: Celebrating interdependence. B. Adelson, S. Dumais, and J. Olson, Eds. CHI '94. ACM Press, New York. 1994, pp.152-158. [14] Siegel S, Castellan Jr. NJ. Nonparametric Statistics. 2ª ed. Editora McGraw-Hill Int. Ed. New York, 1988, pp. 399. Contato Os autores podem ser encontrados no Departamento de Informática em Saúde da UNIFESP, no endereço: Rua Botucatu, 862, Vila Clementino, São Paulo, SP. E-mails para contato: [email protected], [email protected], [email protected], [email protected], [email protected], [email protected], [email protected].

6