Base de Imagens para Avaliação de Algoritmos de Processamento de Imagens Marcelo dos Santos1,2 e Sérgio S. Furuie1,2 1
Unidade de Pesquisa e Desenvolvimento (UP&D) do Serviço de Informática do Instituto do Coração (InCor) – HC-FMUSP, Universidade de São Paulo, Brasil 2 Departamento de Engenharia Elétrica, Escola Politécnica da Universidade de São Paulo (EPUSP), Universidade de São Paulo, Brasil
Resumo - Este trabalho apresenta o desenvolvimento de uma base de imagens médicas de uso livre, em diferentes propósitos e, que seja capaz de armazenar imagens de diferentes modalidades para a avaliação de software e algoritmos de processamento de imagens. Estamos implementando a arquitetura de uma base de imagens médicas distribuída, incluindo ferramentas para anotação em imagens médicas e um repositório para documentos e softwares de processamento de imagens. O sistema oferece uma infraestrutura para testes/validação e outros recursos para o desenvolvimento de algoritmos de processamento de imagens médicas. Tais recursos compreendem softwares, artigos científicos, imagens gold standards e pós-processadas, tornando a comunidade que desenvolve ferramentas de processamento de imagens mais provida de recursos para tais atividades. Palavras-chave: Base de Imagens Médicas, Imagem Médica, Avaliação de Algoritmos. Abstract - This work presents the development to make available a free online, multipurpose and multimodality medical image database for software and algorithm evaluation. We have been implemented a distributed architecture for medical image database, including authoring, storage, and repository for documents and image processing software. The system offers a complete test bed and many other resources to the development of image processing algorithms. This includes software, scientific papers, gold standards and post-processed images, providing the community with a better environment for evaluation. Key-words: Medical Image Database, Medical Image, Algorithms Evaluating. Introdução Desde a descoberta do raio-X, as imagens médicas (IM) têm se tornado um recurso importante e, atualmente, são amplamente utilizadas na prática da Medicina[1]. Tais imagens oferecem, não apenas uma forma de visualizar órgãos, tecidos, ossos e outras estruturas do corpo de um paciente, mas também meios para monitorar os efeitos de tratamentos e auxiliar no planejamento de cirurgias. Os radiologistas e clínicos, por meio da compreensão dos fenômenos fisiológicos e da experiência acumulada na análise de casos similares e antagônicos, têm construído o conhecimento utilizado no diagnóstico a partir de IM. Porém, devido às limitações da percepção humana e da riqueza de dados presente nas IM[2], pode-se argumentar que várias regras passam despercebidas. Com o surgimento dos digitalizadores de IM e dos equipamentos digitais, esses problemas têm sido, em parte, minimizados[3,4]. Uma das vantagens do uso de IM em formato digital é a possibilidade de manipulação direta de seu conjunto de dados
(processamento). Tal possibilidade tem oferecido subsídios valiosos na análise de IM[5]. Atualmente, há uma grande quantidade de métodos, de diferentes abordagens e finalidades, para o processamento de IM. Uma das grandes dificuldades no desenvolvimento de software para o processamento digital de IM é a falta de bases de imagens abrangentes, capazes de oferecer meios para comparação entre os diferentes métodos, viabilizando a objetiva avaliação destes. Estamos apresentando neste trabalho o desenvolvimento de uma ampla e rica base de IM anotadas e classificadas, que pode ser utilizada para desenvolver, testar e avaliar novos algoritmos de processamento de IM. Eventualmente, esta base poderá ser utilizada na certificação de softwares de processamento de IM, bem como para atividades didáticas em Radiologia Metodologia Somente a criação da coleção de IM é insuficiente para se atingir os objetivos deste
projeto. Tais imagens devem ser arquivadas num padrão público e aberto (como DICOM – Digital Imaging and Communications in Medicine), em formato sem perdas, com calibração, anotações (como regiões de interesse e quantificações), com possibilidades de classificação por meio de diferentes critérios. Algumas bases de IM estão disponíveis e com acesso público[6,7]. Porém, tais bases são limitadas a domínios e finalidades muito específicos, o que restringe a abrangência de seu conjunto de dados. Outro aspecto é qualidade e formato das IM dessas bases que, usualmente, são convertidas para um formato nativo da Internet (GIF ou JPEG), fazendo com que se perca informações importantes obtidas durante o processo de aquisição. O requisito principal deste projeto compreende o acesso público, de forma a contemplar a manipulação de um conjunto heterogêneo e abrangente de dados clínicos. Uma vez que o espaço exigido para o armazenamento de IM não é pequeno, trabalhamos no projeto e desenvolvimento de uma arquitetura que envolve modelos de bases de dados distribuídas que suportem o armazenamento de IM de diferentes modalidades, anotações clínicas, regiões de interesse, bem como a realização de análises multi-modais e o armazenamento de algoritmos e metodologias de processamento de IM. A Figura 1 mostra os principais componentes dessa arquitetura.
U suá rios
A dm inis trad or
In te rfa ce d a B a se d e Im a g e n s M é d ica s
S e rviço d e A rm a ze n a m e n to e P ré -p ro ce ssa d o r d e O b je to s
P ro ce ssa d o r d e P e sq u isa
Índic e de IM
G eren ciador das IM e com p onen te s de IM H ie ra rq u ia d e c la ss e s d e fin id a p e lo u s u á rio
Índ ic e de O bjetos
G erenc ia dor de M eta-d ado s (A n otaçõ es)
R e p o sitó rio d e O b je to s
R e pos itó rio d e A lgo ritm os d e P ro ces sa m en to deIM
C on ju nto de g old-stan da rd s
O b je tos com p onen te s das IM
Im ag ens M é dicas
A notaç ões (m etadado s)
Figura 1 – Componentes da base de IM. Em contrapartida ao acesso público e distribuído, às informações da base de IM, esperamos que a base cresça em volume de dados, tipos e abrangência de casos clínicos. Para tanto, temos trabalhado na implementação do caso de uso mostrado na Figura 2, onde retrata, além dos usuários, a presença do colaborador (contribuinte), bem como do certificador incumbido de fazer a validação de cada caso clínico adicionado à base. Nesse caso,
a base conta com um sistema de controle de acesso e autenticação[8] que oferece diferentes níveis de acesso para cada usuário de modo a controlar “quem pode quê, quando e onde”, de acordo com suas informações cadastrais. Prontuário Eletrônico de Pacientes do InCor PEP_incor
Inserir novos casos via Web
Pesquisador
Obter via Web lista de casos, escolher, processar
Autenticar usuario
Coordenador
Cadastrar
Validar casos, corrigir, anotar Certificador Repositórios de casos Bancos de dados de: 1) imagens e dados clínicos, incluindo anotações sobre imagens: ROIs, resultados numéricos, etc 2) softwares para processamento de imagens e dados associados
Figura 2 – Caso de uso de usuários da base IM. Estamos considerando caso clínico, como sendo o estado patológico de um paciente, inicialmente descrito por meio dos sintomas (queixa e duração) e anamneses. Em função dos sintomas, anamnese, exames físicos e evolução, o diagnóstico de um caso clínico pode necessitar de recursos como exames baseados em imagens. Apesar de um caso clínico ser composto por conjunto de informações clínicas obtidas de diferentes fontes, não somente a partir das IM, para o desenvolvimento deste trabalho estamos considerando e armazenando apenas os casos clínicos com IM radiológicas, embora a arquitetura do projeto tenha condições de armazenar outras informações clínicas além de IM. Seguindo o modelo de informações proposto pelo padrão DICOM 3[9], estabelecemos que cada caso clínico é composto por estudos clínicos, os estudos compostos por séries (conjunto de imagens) e as séries compostas por imagens. Uma vez que as IM constituem um dos meios mais significativos para comunicação de informações anatômicas[10], o desenvolvimento de aplicações que manipulam IM deve considerar a necessidade de uma arquitetura capaz de tratar os diferentes contextos no que diz respeito à organização, análise e visualização das informações clínicas, considerando pelo menos a anatomia e modalidade do estudo clínico. Numa visão prática, os requisitos desses contextos compreendem um conjunto de componentes voláteis, dentre os quais destacamos: • Os atributos particulares e intrínsecos de cada modalidade; • Contexto e parâmetros de aquisição das IM;
•
A anatomia (parte do corpo objeto de estudo); • Intercambiabilidade de algoritmos para operações específicas e críticas, em função da anatomia, modalidade e tipo de exame; • Mudança de hardware, no que diz respeito à memória, capacidade de processamento e suas limitações; • Diferentes ferramentas para manipulação e visualização de IM em função da anatomia, modalidade e tipo de exame. Para suprir estes requisitos e realizar o tratamento de cada um dos componentes voláteis elencados acima, desenvolvemos uma interface para manipulação de dados sobre IM (Figura 3). Embora nos baseamos nos modelos de imagens propostos pelo padrão DICOM e CIAS(Clinical Image Access Service) [11], esta interface oferece alto nível de abstração para manipulação de IM de diferentes formatos, o que nos possibilita obter eficiência e performance em tarefas de processamento. Curves
ImageSeries 1
1..*
ImageObject
1..*
1
Graph
ImageHead
1 1..*
0..*
1 1
1
getImage() getDumpInfo() getCenterValue() getWindowValue() getImageHeight() getImageWidth() setWindowCenter() calculateAutomaticWindowCenter() setNegative() rotateLeft() rotateRight() horizontalFlip() verticalFlip()
Monochrome
Overlay
1 1
PixelData
Color
YCbCr
RGB
PalleteCol
CMYK
Figura 3 – Interface para manipulação de IM. Usualmente, as IM de um estudo clínico são acompanhadas de cálculos, medidas e informações descritivas. Tais itens compõem o laudo que, normalmente, é visto como um conjunto interpretações de um radiologista e é o produto final de um exame. Com isso, uma vez que o laudo constitui um vínculo importante entre o diagnóstico e o tratamento da patologia, estaremos armazenando para cada estudo o laudo correspondente. De modo a assegurar a longevidade e os aspectos do uso de padrões, os laudos estarão sendo armazenados como objetos DICOM Structured Reporting (DICOM SR), segundo as especificações do suplemento 23 do padrão DICOM. DICOM SR, em consonância com o padrão DICOM, é um conjunto de especificações que suporta a representação do conteúdo de imagens e gráficos, de modo a oferecer um
recurso padronizado para o compartilhamento de laudos na forma de documentos estruturados. Tal recurso possibilita vincular os achados textuais da avaliação do radiologista às imagens pertinentes. Nossa implementação, de acordo com as especificações do padrão, está baseada numa hierarquia na forma de árvore. Tal implementação tem permitido a criação de um documento capaz de armazenar texto, códigos, medidas numéricas, referência para imagens específicas, sinais, coordenadas espaciais de áreas específicas ou regiões de interesse numa IM, bem como fazer a sua referência. Outro aspecto relevante é a possibilidade de codificação dos nomes dos campos a partir de terminologias médicas padronizadas como SNOMED, LOINC, etc. Ressaltando que os casos clínicos serão inseridos na base pelos diversos usuários de diferentes regiões. A estes casos e suas fontes serão dados seus devidos créditos. Um requisito é que as informações que identificam o paciente do caso clínico deverão estar anonimizadas para inserção na base. A fim de assegurar a qualidade do conjunto de dados clínicos da base termos a figura do moderador (certificador), que tem como tarefa aceitar o rejeitar casos clínicos submetidos inseridos na base. Para cada especialidade e modalidade clínica, estará disponível um moderador para analisar e certificar os casos clínicos recém-inseridos. Atualmente, uma grande quantidade de algoritmos é utilizada nas tarefas de processamento de IM. A maioria desses algoritmos realizam tarefas como registro, compressão, segmentação e classificação. Pelo fato de haver algoritmos que implementam diferentes metodologias e abordagens disponíveis, um dos maiores desafios é a seleção racional do melhor método para a realização de uma tarefa específica. Por um lado temos os desenvolvedores e/ou pesquisadores que necessitam comparar os resultados obtidos por seus métodos e os usuários que necessitam selecionar um método adequado para realizar uma tarefa. Nesse contexto, surge a necessidade de um conjunto de dados para testes e avaliação destes algoritmos, tal conjunto é oferecido pela base de IM deste projeto. Além das IM, laudos e regiões de interesse (devidamente identificadas e segmentadas), a arquitetura da base está preparada para o armazenamento de algoritmos e softwares de processamento de IM. Juntamente com estes softwares e algoritmos poderão ser armazenados e documentados os procedimentos utilizados para teste, bem como a referência para o conjunto de dados de teste. Esta documentação tem por objetivo armazenar a avaliação dos efeitos de processamento e viabilizar a reprodução do cenário de testes. A escolha do critério apropriado para avaliação do algoritmo é um aspecto muito
importante neste processo. O usuário seleciona o critério que mais lhe apraz. Usualmente, os critério de avaliação consistem na comparação dos resultados obtidos com os resultados esperados (ground truth ou gold standards), o que se resume na determinação das mudanças ocorridas, como estas ocorreram durante o processamento e suas amplitudes. A intenção é que cada algoritmo ou software submetido à base tenha uma documentação completa do processo de teste e validação, incluindo o conjunto de dados utilizados, as imagens ground truth e os resultados obtidos. Estes softwares e algoritmos, como igualmente ocorre com os casos clínicos, também passam pelo processo de certificação do moderador, recebem nota de avaliação e são armazenados os conjuntos de dados utilizados nos testes destes. Um outro aspecto do projeto é a possibilidade de criação de referências bibliográficas a documentos que se encontram em periódicos e outras bases de dados clínicos. A implementação deste trabalho foi e está sendo totalmente realizada com o uso de padrões (RadLex, BI-RADS, DICOM, DICOM SR, etc) e ferramentas de desenvolvimento de domínio público, como é o caso da linguagem de programação Java e Java Server Pages[12], bem como o software gerenciador de banco de dados PostgreSQL[13]. A Figura 4 mostra o diagrama de desenvolvimento dos principais componentes da base de imagens. Database Server
Discussão e Conclusões
Client
Image Provider
IM Viewer Applet
Clinical Cases DB DB Server
Web Browser
MACA DB
Web Server
clínicos tidos como interessantes e de grande relevância para a comunidade acadêmica, científica e prestadora de assistência. Com esta abordagem conseguimos prever algumas vantagens em relação aos tradicionais PACS para acesso e manipulação de dados sobre IM, dentre as quais destacam-se: • A Web, dada à sua natureza onipresente, oferece uma interface de rede com funcionalidade universal e independente de plataforma; • Facilidade de instalação e manutenção do software; Outro resultado positivo é a integração de comunidades e a troca de experiências por meio da divulgação dos casos clínicos. E nesse sentido, este trabalho tem contribuído para a criação e disponibilização de um grande arquivo didático digital, para atividades de ensino e pesquisa em Radiologia. A implementação das especificações do DICOM SR tem possibilitado a criação de uma base de laudos clínicos codificados, de modo a utilizar diferentes dicionários de dados, bem como a realização de buscas semânticas [14]. Esses codificados podem ser facilmente mapeados de DICOM SR para tecnologias como XML (Extensible Markup Language) o que oferece vantagens como o acesso ao estudo clínico por meio de dispositivos móveis ou thin clients por meio de um navegador de Internet.
WWW Server
Web Pages
Figura 4 – Diagrama de Desenvolvimento. Resultados Com o desenvolvimento deste trabalho temos conseguido oferecer meios para modelagem do armazenamento de IM e algoritmos de processamento destas imagens. Adicionalmente, tal estudo e modelagem têm viabilizado estabelecer políticas para a distribuição de recursos e o acesso público, juntamente com o compartilhamento de casos
Com amplo uso e popularização dos meios de comunicação, sobretudo a Internet, é tendência mundial que as diversas comunidades trabalhem cada vez mais em conjunto no intuito de somar esforços e evitar retrabalhos. Nesse sentido, o desenvolvimento do trabalho aqui apresentado tende a contribuir para tal propósito. Há anos, diversas pesquisas têm sido fomentadas e diversos esforços têm sido despendidos no desenvolvimento de metodologias para análise dos dados clínicos. Poucas dessas metodologias têm sido amplamente testadas e utilizadas com eficiência e eficácia. Apenas como exemplo, vale lembrar da dificuldade em se reproduzir, a partir de um artigo, o cenário de testes e desenvolvimento de algoritmo de processamento de imagens e sua inserção no uso diário. Para a comunidade envolvida em atividades de desenvolvimento de algoritmos de processamento de IM, trata-se de um valioso conjunto de dados que oferece condições para novos desenvolvimentos, além da possibilidade de reconstrução de cenários e condições de testes e desenvolvimentos. Sabemos que existem bases IM que mantém conjuntos de dados com excelente
qualidade. Não é nossa intenção que este trabalho seja apenas “mais uma base de IM”. Para tanto, projetamos uma arquitetura com suporte à integração de outras bases de IM por meio de metadados. O que pretendemos e temos conseguido com êxito, no desenvolvimento deste trabalho é aproximar as diversas comunidades que utilizam as IM, cada uma em seu domínio, no sentido de contribuir e fortalecer as atividades de ensino, pesquisa e assistência.
7. MyPACS Teaching Files – Teaching File Management System. Disponível em: http://www.mypacs.net
Agradecimentos
9. Digital Imaging and Communications in Medicine Standard Committee. DICOM Version 3, parts 1-12. Rosslyn, VA.: National Electrical Manufacturers Association, 19972001.
À Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP), processos nº. 00056-1/2002 e 01/14040-7, pelo apoio e financiamento do projeto de pesquisa. Referências 1. Santos, M. (2001), Implementação de Módulos para Comunicação de Imagens Médicas em Protocolo DICOM, Dissertação de Mestrado, Programa Física Aplicada à Medicina e Biologia, FFCLRP-USP, 97p., dez. 2. Petrakis E, Faloutsos C. Similarity searching in Medical Image Databases. IEEE Trans. Knowledge and Data Eng. Vol 9(3):435-447, Nune 1997 3. Huang, H.K. (1999), PACS: Basic Principles and Applications, New York: Wiley Computer Publishing. 4. Bennet, W.F., Spigos, D.G., Tzalonikou, M.T., Terrell, J.E., Augustyn, M.A. (1999), “WebBased Viewing of Picture Archiving and Communications Systems – Part I: Optimal Personal Computer Configuration”, Journal of Digital Imaging, v. 12, n. 2, Suppl 1 (May), p 112-115. 5. Smeulder A W M, Worring M, Santini S, Gupta , Jain R. Content-based image retrieval at the end of the early years. IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 22(12): 1349-1380, December 2000. 6. RSNA Link Education Portal - Databases and Teaching Files - Medical Images. Disponível em: www.rsna.org/education/related/medicalimage s.html
8. Motta GHMB, Furuie SS, Nardon FB e Gutierrez MA. Considerações sobre o Controle de Acesso ao Prontuário Eletrônico do Paciente, CBIS’2000 – VII CONGRESSO BRASILEIRO DE INFORMÁTICA EM SAÚDE e SISIH 2000, Centro de Convenções Rebouças, São Paulo, 14-18/10/2000.
10. Carrino J.A., Digital Image Quality: A Clinical Perspective. Disponível em: http://www.scarnet.org/pdf/primer3ch3.pdf. 11. OMG (2000a) Clinical Image Access Service. Revised submission. http://www.omg.org/cgibin/doc?corbamed/00-02-01. 12. Sun Microsystems. Java 2 Platform SE v.1.4.2. http://java.sun.com/j2se/1.4.2. 13. PostgreSQL. Disponível http://www.postgresql.org.br.
em:
14. Bacic, A. S., Furuie, SS. Sharing and archiving medical knowledge through collaborative tools. Proceedings of SPIE, Vol. 5371, p. 418-427, Medical Imaging 2004: PACS and Imaging Informatics; Osman M. Ratib, H. K. Huang; Eds., ISBN 0-8194-5284X, 14-19 February 2004, San Diego, CA USA. Contato Marcelo dos Santos, MSc. Aluno de Doutorado
[email protected] Sérgio S. Furuie, EE, MSc, PhD.
[email protected] Unidade de Pesquisa e Desenvolvimento – Serviço de Informática – InCor –HC-FMUSP Av. Dr Enéas de Carvalho Aguiar, 44 CEP 05403-000 – São Paulo – SP. Fone: +55 11 3069-5548 Fax: +55 11 3069-5311
