Flexibilizando Buscas por Conteúdo em ambientes PACS

Flexibilizando Buscas por Conteúdo em ambientes PACS Josiel M. Figueiredo1, Caetano Traina Jr.2, Agma J. Traina3, Paulo M. A. Marques4 1

Departam ento de Ciência da Com putação (DCC), Instituto de Ciências Exatas e da Terra (ICET), Universidade Federal de Mato Grosso (UFMT), Brasil 1,2,3 Grupo de Bases de Dados e Im agens (GBDI), Instituto de Ciências Matem áticas e de Com putação (ICMC), Universidade de São Paulo (USP), Brasil 4 Centro de Ciências das Im agens e Física Médica do Hospital das Clínicas (CCIFM-HC), Faculdade de Medicina de Ribeirão Preto (FMRP), Universidade de São Paulo (USP), Brasil

Resumo: Este artigo apresenta um a nova arquitetura para Sistem as de Busca por Conteúdo em Im agens (CBIR) que torna esse tipo de sistem a m ais adequado para ser utilizado na área de im agens m édica, m ais especificam ente na inclusão de suas funcionalidades em am bientes PACS (Picture Archiving and Communication Systems). Nessa arquitetura são incluídas fases de decisão que perm item a inclusão de processam ento sem ântico que altera autom aticam ente o fluxo de execução. Todo processam ento é gerenciado usando um a hierarquia de dom ínios das im agens. Nessa hierarquia, cada dom ínio representa um a abstração de um a seqüência de processam ento. Os testes realizados m ostram que as inovações apresentadas abrem novas perspectivas para o tratam ento das im agens m édicas, principalm ente nos aspectos relativos ao processam ento autom atizado e à inclusão de novas funcionalidades. Palavras-chave: Im agem Médica, PACS, CBIR, Vetores de Características, Processam ento Condicional Abstract: This paper shows a new architecture that turns Content Based Im age Retrieval system s (CBIR) m ore suitable to be used in m edical im age field, m ore specifically to be integrated with PACS (Picture Archiving and Communication Systems) environm ent. Decision phases are included in this architecture which allow the inclusion of sem antic processing that autom atically changes the execution flow. The processing m anagem ent is based on a im age dom ain hierarchy. In this hierarchy, each dom ain represents an abstraction for a processing sequence. Experim ents show that new perspectives for m edical im age field are open due to the autom ated processing and the facilities for inclusion of new functionalities. Keywords: Medical Im age, PACS, CBIR, Feature Vector, Conditional Processing

Introdução A difusão das im agens m édicas usando o padrão DICOM (Digital Imaging and Communications in Medicine)[2] culm inou no desenvolvim ento dos PACS (Picture Archiving and Communication Systems) [1]. Com essa difusão a dem anda por novas funcionalidades nesses sistem as é crescente, pois som ente as funcionalidades básicas de arm azenam ento e distribuição das im agens não são suficientes. Novas funcionalidades envolvendo buscas voltadas ao tratam ento do conteúdo das im agens são necessárias. Consequentem ente, diversas form as de incorporar nos PACS as funcionalidades de busca por conteúdo estão sendo estudadas[3,4]. Nesse contexto, a form a m ais com um é incorporar os conceitos im plem entados em Sistem as de Busca por Conteúdo em Im agens (CBIR) nos PACS. Porém , independente da form a de integração entre esses dois tipos de sistem as, algum as

peculiaridades do am biente PACS não são tratadas pelos sistem as CBIR. Entre as peculiaridades im portantes, estão as inform ações contidas nos cabeçalhos dos arquivos DICOM. Essas inform ações são adicionais às inform ações pictóricas da im agem em si e são relevantes para o usuário especialista. Outra questão im portante é a da falta de tratam ento dos dom ínios das im agens que ocorre nos dois am bientes. Os sistem as CBIR norm alm ente tratam dom ínios m uito específicos ou dom ínios m uito genéricos. O dom ínio das im agens para o am biente PACS está relacionado com as diversas m odalidades m édicas e suas respectivas técnicas de aquisição. Um exem plo da falta de tratam ento de dom ínios nos PACS é que a inclusão de um a im agem de Tom ografia Com putadorizada (TC), em um conjunto de im agens de Ressonância Magnética (RM), é perm itida pelo sistem a sem que nenhum tipo de validação autom ática ocorra. Esse tipo de problem a pode ser estendido para conjuntos m ais específicos de im agens, com o o caso

da inserção de um a im agem de pélvis em um conjunto contendo apenas im agens de crânio, ou no caso de im agens com câncer em um conjunto de im agens com órgãos sadios. Para entender adequadam ente as razões desse problem a é necessário com preender a m anipulação que é feita sobre as im agens nos sistem as CBIR. A Figura 1, adaptada de [5], m ostra que após a aquisição (etapa 1) a im agem passa por um processam ento voltado para uniform izá-la (etapa 2), seguido por algoritm os de extração de características, que geram vetores que são processados (etapa 3) e indexados (etapa 4).

Este artigo tem com o enfoque principal o gerenciam ento de dom ínios de im agens através de processam entos autom atizados. O intuito principal é tornar os sistem as CBIR m ais adequados para serem utilizados em am bientes PACS. Além dos aspectos aqui explicitados, outros detalhes a respeito das influências da arquitetura aqui apresentada podem ser encontrados em [7]. O trabalho aqui descrito faz parte de um projeto m aior do qual participam os grupos de pesquisa: GBDI (Grupo de Bases de Dados e Im agens) do ICMC-USP (Instituto de Ciências Matem áticas e de Com putação) e o CCIFM-HC (Centro de Ciências das Im agens e Física Médica do Hospital das Clínicas) da FMRP-USP (Faculdade de Medicina de Ribeirão Preto) [8]. M etodologia

Figura 1 - Fluxo dos dados nas etapas de processamento de um sistema CBIR. A área destacada na figura ilustra que a fase de aquisição não é considerada pelos sistem as CBIR, ou seja, apenas a im agem em si é im portante. Com isso, inform ações sem ânticas e em butidas relativas ao processo de aquisição e construção das im agens não são usadas no processam ento. Porém , em am bientes com o dos PACS, diversas form as de a qu isição co-existem . Consequentem ente, para cada form a de aquisição é p r e c is o t r a t a r a s p e c t o s e s p e c í f ic o s d o processam ento. Um exem plo relevante é o fato de que os valores de Hounsfield (H U ) são determ inantes para os valores de cinza na im agem gerada por Tom ografia Com putadorizada (TC). Sabe-se que órgãos e patologias podem ser identificados utilizando apenas os valores de HU [6]. O uso de propriedades específicas leva à necessidade de se criar diversos tipos de configurações de processam ento, um a para cada dom ínio. O problem a é que o gerenciam ento dessas configurações tende a ficar com plexo, visto que o núm ero de dom ínios é grande. Isso ocorre porque cada dom ínio norm alm ente é dividido em sub-dom ínios m ais específicos. Por exem plo, som ente a Ressonância Magnética (RM) possui técnicas variadas de aquisição, com o spin eco, ecos de gradiente, recuperação de inversão, entre outras, sendo necessário configurações específicas para cada um a delas. Devido à esse gerenciam ento com plexo, os sistem as atuais deixam a cargo do usuário o processo de validação das im agens processadas. Contudo, o tratam ento adequado dos dom ínios da im agem deve ocorrer autom aticam ente e sua configuração ser feita nas diversas etapas de processam ento dos sistem as CBIR.

Para aplicações m édicas a divisão de dom ínios em hierarquias é com um em diversas áreas, com o o Código Internacional de Doenças (CID) e o Breast Imaging Reporting and Data Systems (BI-RADS) do Colégio Am ericano de Radiologia (ACR). A criação e organização de um a hierarquia de dom ínios dem anda ao usuário possuir conhecim ento a respeito dos aspectos sem ânticos envolvidos nas im agens. Para criação da hierarquia fornecida pelo BI-RADS foram utilizados com o aspectos sem ânticos inform ações anatôm icas e patológicas. Contudo, para sistem as CBIR os aspectos sem ânticos dos dom ínios envolvem propriedades relacionadas aos vetores de características obtidos das im agens. Além disso, com a identificação de seu dom ínio, a separação das im agens ocorrem em conjuntos que podem não ser disjuntos. Nesse sentido, a preocupação é descobrir o com portam ento do vetor de característica em determ inada situação. Por exem plo, as diferenças entre histogram as de crânio com histogram as de pélvis, ou a influência da presença de m etal no histogram a de um a im agem . O usuário especialista que trabalha diretam ente com a m anipulação das im agens tem conhecim ento sobre o com portam ento dos vetores de características utilizados. Contudo os sistem as disponíveis não perm item que esse conhecim ento possa ser facilm ente em butido no processam ento. T o rn a-se necess á rio d e te rm in a r q u a l processam ento é m ais adequado para um determ inado dom ínio, ou seja, é preciso haver um a etapa que verifique se o vetor de característica analisado obedece ao com portam ento definido para seu dom ínio. Essa verificação pode ser baseada nas propriedades dos vetores de características ou em qualquer outro parâm etro especificado. Com a verificação realizada, o sistem a decide qual a próxim a ação a ser processada.

A principal influência dessa etapa de decisão sobre os sistem as CBIR é que a seqüência de processam ento é alterada para a apresentada na Figura 2. As inovações são destacadas pelas setas finas, que m ostram que as fases 2 e 3 podem ser autom aticam ente repetidas e/ou alternadas.

Sendo im portante destacar que essa hierarquia é naturalm ente construída de form a increm ental. Além disso, m esm o com a hierarquia possuindo diversos níveis a com plexidade do gerenciam ento não é aum entada.

Figura 2 - Setas finas representam alterações no fluxo dos dados nas etapas de processamento de um sistema CBIR. O fato de que a próxim a etapa no processam ento é determ inada pelo resultado do processam ento corrente, exige que toda a arquitetura do sistem a seja alterada. A alternativa encontrada foi im plem entar todos os algoritm os em form a de com ponentes que se conectam dinam icam ente em tem po de execução. Todo esse processo facilita tam bém duas tarefas norm alm ente difíceis de serem executadas com sucesso. Um a é a integração de diversos tipos de processam ento, e outra tarefa é o isolam ento de problem as com o intuito de facilitar sua validação. A especificação de todo o processam ento pode ser expressado através de um a álgebra na qual os operadores são os diversos algoritm os utilizados nos sistem as CBIR e os operandos são os vetores de características. Outros detalhes dos com ponentes que não são relevantes para o g e renc iam ento d o s d o m ín io s p o d e m s e r encontrados em [6]. A Figura 3 ilustra o acoplam ento de vários operadores (com ponentes), inclusive do operador de Decisão. Outra influência inovadora do operador de Decisão, é a possibilidade do processam ento possuir diversas seqüências sim ultâneas ou não, conform e ilustrado na figura. As áreas tracejadas da Figura 3 ilustram o uso do operador Pipeline, que tem com o principal característica agregar um conjunto de operadores. O fato de um Pipeline ser um operador perm ite que o m esm o seja reutilizado por outros operadores. Um exem plo de reuso é ilustrado na Figura 3, na qual o Pipeline I é baseado nos outros 3 pipelines. A grande vantagem do uso do operador Pipeline é que um conjunto de operações pode ser abstraída de form a a associá-las ao dom ínio da im agem a ser processada. Essa abstração e a facilidade de reuso dos pipelines perm ite que os d o m ín io s d a s i m a g e n s s e j a c o n tr o la d o hierarquicam ente.

Figura 3 - Acoplamento de Operadores (componentes), com destaque para os novos tipos: Decisor e Pipeline. Um a m etodologia adequada para construção da hierarquia de dom ínios é o processo de Generalização / Especialização, no qual vários dom ínios podem ser generalizados em um único ou um dom ínio pode ser especializado em vários outros. Nesse aspecto, a hierarquia pode aum entar unindo duas hierarquias separadas em um a só, bem com o incluir novas especificidades no processam ento já existente estendendo um Pipeline. Um exem plo sim ples de generalização é m ostrado na Figura 4, na qual os Pipelines A e B, que são independentes, são generalizados pelo Pipeline C. O Pipeline A foi construído com o intuito de indexar os histogram as das im agens com pletas. Já o Pipeline B, faz a indexação de dados de textura de regiões de interesse (ROI) previam ente selecionadas pelo

usuário. Na construção do Pipeline C, adicionou-se um Decisor que utiliza como condição a contagem dos pixels da im agem , pois um a im agem com m enor núm ero de pixels é considerada ROI. Assim , o núm ero de pixels é utilizado pelo Decisor para determ inar se o processam ento será continuado pelo Pipeline A ou B.

tenham de ser feitas várias vezes, isto é, em cada um a das seqüências.

Figura 4 - Exemplo de Generalização de Pipelines. Dois Pipelines (A e B) independentes são generalizados pelo Pipeline C. A influência principal, nesse exem plo de generalização, é que o usuário passa a ativar apenas um processam ento com um custo com putacional adicional m uito baixo. Além disso, caso configurado, o Decisor (do Pipeline C) pode ativar os Pipelines A e B ao m esm o tem po, assim é garantido de form a autom atizada que todas as im agens sejam processadas pelos dois Pipelines. O que poderia não ocorrer se os Pipelines A e B fossem independentes, pois o usuário seria o responsável por ativar os dois Pipelines. Para o caso de Especialização de Pipelines, um exem plo é representado na Figura 5. O Pipeline A, é especializado pelos Pipelines B e C. A principal função do Pipeline A é utilizar um operador de segm entação e arm azenar a im agem segm entada em disco. Para sua especialização optou-se por arm azenar, além da im agem , o Histogram a (Pipeline B) ou inform ações de Textura (Pipeline C). Para decidir qual pipeline processar utiliza-se com o condição inform ações sobre a anatom ia da região segm entada. Nesse exem plo de especialização conseguese adicionar facilm ente novas funcionalidades ao processam ento sem nenhum a alteração das funcionalidades iniciais. Essa é um a tarefa bastante com plexa nos sistem as atuais, pois norm alm ente novas funcionalidades im plicam em criação de novas s e q ü ê n c ia s d e p ro c e s s a m e n to q u e s ã o independentes um a da outra. Isso faz com que m odificações em partes de processam entos com uns

Figura 5 - Exemplo de Especialização de Pipelines. O Pipeline A é especializado em dois outros Pipelines (B e C), sendo que suas funcionalidades permanecem inalteradas. Resultados Para realização dos testes e validação dos conceitos apresentados, o seguinte am biente foi im plantado: - servidor com sistem a operacional GNU/Linux distribuição RedHat 8; - arm azenam ento das im agens no SGBD Oracle 9i; - im plem entação na linguagem Java; - controle dos com ponentes feito pelo am biente Apache Cocoon [9] hospedado no Apache Tom Cat [10]; - m anipulação das im agens usando as funcionalidades da biblioteca Im ageJ [11]; Inicialm ente, os esforços se concentraram no uso de im agens de TC. Dessa m aneira, um Pipeline foi im plem entado buscando obter o m áxim o de resultados com todas as propriedades desse dom ínio. P ara is s o, foi u tilizad o princ ipalm ente o com portam ento das Unidades de Hounsfield com o parâm etros das decisões. Esse Pipeline foi dividido em três fases atendendo a detalhes de três subdom ínios. Na prim eira fase é feita a identificação anatôm ica da im agem , a segunda segm enta os órgãos de interesse e, a terceira faz a identificação patológica do órgão segm entado.

O Pipeline foi executado sobre um a base de 40000 im agens de TC (~20GBytes) envolvendo exam es variados e diversas anatom ias. Entre os ganhos obtidos, um relevante é que o tem po de resposta foi dim inuído em m édia em 5 vezes, em com paração com o processam ento sem Pipeline. Para validar o gerenciam ento dos dom ínios criou-se outro Pipeline, este relacionado com im agens de RM, que foi especializado por algum as de suas técnicas. Além disso, os Pipelines de TC e de RM foram generalizados em um com um denom inado Pipeline de Im agens Médicas. Nesse Pipeline m ais abrangente, as inform ações contidas no cabeçalho DICOM são utilizadas para realizar a separação dos dom ínios. A Figura 6 ilustra a hierarquia de dom ínios utilizada nos experim entos.

Figura 6 - Hierarquia de Domínios usada nos experimentos. Devido à grande quantidade de níveis e elem entos que podem ser gerados a partir dessa hierarquia, optou-se por se concentrar nos dom ínios apresentados. Contudo, é im portante ressaltar que outros (sub)dom ínios estão sendo m odelados com o intuito de identificar quais de suas propriedades que se encaixam nas necessárias para inclusão na hierarquia. Esse refinam ento está sendo feito visando atender tam bém a dom ínios m ais específicos, com o é o caso de patologias de crânio em im agens de TC, bem com o de outras patologias de pulm ão.

Um ganho obtido som ente pela divisão das técnicas foi a facilidade de indexação das em conjuntos distintos, pois em qualquer ponto da hierarquia pode ser gerado um índice. Com isso, a m anipulação desse dom ínio fica m ais adequada para am bientes com alta dem anda de dados. Discussão e Conclusões Este artigo apresenta aspectos relacionados com o gerenciam ento de im agens m édicas utilizando hierarquias de dom ínio. Com esse tipo de gerenciam ento a arquitetura proposta perm ite que a m aneira m ais intuitiva de divisão de dom ínios seja realizada em PACS. A inclusão de novos dom ínios em um a determ inada hierarquia perm ite que a adição de novas funcionalidade se torne um a atividade independente, no sentido de não afetar as configurações existentes. Nessa tarefa, diversos tipos de processam ento podem coexistir e serem executados sim ultaneam ente sem a intervenção do usuário. O uso dos operadores de Decisão perm item a inclusão de inform ações de contexto com processam ento autom atizado. Esse fato possibilita um a aproxim ação m aior entre os aspectos s e m ânticos existe n te s n a s im a g e n s e o processam ento autom atizado. O utro fato im portante é que ocorre naturalm ente um a divisão das responsabilidades dos usuários do am biente PACS. Assim , cada tipo de usuário se preocupa com tarefa que m ais com bina com seus conhecim entos e atividades. O m édico define a hierarquia de dom ínios que deseja trabalhar, o técnico em im agens faz a configuração do sistem a e o program ador se preocupa som ente com os algoritm os a serem im plem entados. A possibilidade de s ep ara r (ind ex ar) individualm ente os diferentes dom ínios criados na hierarquia, perm ite otim izar o processam ento das consultas m ais utilizadas no am biente sem influenciar o processam ento usual das im agens. Toda essa gam a de novas funcionalidades abrem novas perspectivas que perm item que as funcionalidades de busca por conteúdo nas im agens fiquem m ais propensas de serem usadas atendendo aos requisitos existentes nos am bientes PACS. Agradecimentos Os autores agradecem ao CNPq e à FAPESP pelo suporte financeiro para a realização deste trabalho.

Referências [1] Huang, H.K. (1999), PACS: Basic Principles and Applications, New York: W iley Com puter Publishing. [2] Am erican College of Radiology, National Electrical Manufacturers Association (1993), Digital Imaging and Communications in Medicine (DICOM) Part 1: Introduction and Overview., ACR-NEMA Com m itee, W ashington, DC. [3] Müller H ., Michoux N., Bandon D., Geissbuhler A. (2004), “A review of content-based im age retrieval system s in m edical applications clinical benefits and future directions”, International Journal of Medical Informatics, v.73, p.1-23. [4] Bueno J.M., Araujo M.R.B., Chino F.J.T., Traina A.J.M., Traina C., Marques P.M.A. (2002), “How to Add Content-based Im age Retrieval Capability in a PACS”. Proceedings of CBMS - IEEE International Conference on Computer Based Medical Systems, Maribor, Slovenia: IEEE, p. 321326. [5] Sm eulders A.W .M., W orring M., Santini S., Gupta A., Jain R. (2000), “Content-Based Im age Retrieval at the End of the Early Years”, IEEE Transactions on Patterns Analysis and Machine Intelligence, v 22, n. 12, p. 1349-1380. [6] S perb e r, M . (2 0 0 1 ), “C o m puted tom ography of the thorax: Lungs and m ediastinum ”. In Radiologic Diagnosis of Chest Disease, London :Springer Verlag, 2th edition, p.56–77. [7] Traina C., Traina A.J.M., Figueiredo J.M.,(2004) “Including Conditional Operators in Content-Based Im age Retrieval in Large Sets of Medical Exam s”. Proceedings of 17th CBMS - IEEE Conference on Com puter Based Medical Systems, Bethesda, MD: IEEE; July. [8] Araujo M.R.B., Traina C., Traina A., Marques P.M.A. (2002), “Recuperação de Exam es em Sistem as de Inform ação Hospitalar com Suporte a Busca de Im agens Baseada em Conteúdo”, Anais do CBIS2002 - VIII Congresso Brasileiro de Informática em Saúde, Natal - RN: Sociedade Brasileira de Inform ática em Saúde. [9] Apache Cocoon (2004), Disponível na URL: http://cocoon.apache.org . [10] Apache Tom Cat (2004), Disponível na URL: http://jakarta.apache.org .

[11] Im ageJ - Im age Processing and Analysis in Java (2004), Disponível na URL: http://rsb.info.nih.gov/ij/. Contato 1,2, 3

Instituto de Ciências Matem áticas e de Com putação – Universidade de São Paulo – ICMC/USP Av. Trabalhador São-Carlense, 400 - CEP:13560970 São Carlos (SP) e-m ail:[josiel|caetano|agm a]@ icm c.usp.br 4

Centro de Ciências das Im agens e Física Médica – FMRP/USP Rua Marechal Deodoro, 2253 – CEP: 14025-210 – Ribeirão Preto (SP) e-m ail:pm arques@fm rp.usp.br