Sintigrafik Böbrek Görüntüleri için İçerik Tabanlı Arama Sistemi A Content Based Retrieval System for Renal Scintigraphy Images 1
Fatih NAR, 1Erkan Mumcuoğlu, 1Umut Koçak, 2Ömer Uğur, 2Fani Bozkurt, 2Mehmet Aslan, 1 Kutay Güneştepe, 1Mert Cerrahoğlu 1
Enformatik Enstitüsü Ortadoğu Teknik Üniversitesi, Ankara 2 Nükleer Tıp Anabilim Dalı Hacettepe Üniversitesi Tıp Fakültesi, Ankara
[email protected]
Özetçe
b) a)
Artan tıbbi görüntü hacmi, içerik tabanlı sorgulamaların ve tanı karar verme destek sistemlerinin önemini daha çok artırmıştır. Artan donanım kapasitesi ve gelişen yöntemler ise bu sistemlerin oluşturulmasını daha mümkün kılmıştır. Bu çalışmada tıbbi böbrek görüntüleri için, içerik tabanlı arama sistemi geliştirilmesi hedeflenmiştir. Bu amaçla, problemin analizi, yayın taraması, veri toplanması, işlenmesi ve içerik tabanlı görüntü arama (İTGA) motoru prototip uygulaması geliştirilmiştir.
d) c)
Abstract Increasing amount of image data raises the importance of content based query systems. Increasing hardware capacity and improving methods makes development of such systems more feasible. In this study, we aim to develop a content based image retrieval for renal (kidney) scintigraphy images. For this purpose, problem analysis, literature survey, data gathering / processing studies are done, and a content-based image retrieval (CBIR) engine software prototype is developed.
Şekil 1: Börek görüntüleri: a) posterior, b) posterior şablon c) sol posterior oblik, d) sağ posterior oblik Sintigrafik görüntüler nükleer tıp uzmanları tarafından böbreklerin boyut, şekil ve yerleşimleri başta olmak üzere her bir böbrek parankiminde radyoaktivite dağılım özelikleri (düzenli yada düzensiz dağılım), tutulum parlaklığı özellikleri (azalmış tutulum vb) ve böbrek korteksinin yapısal özellikleri (kortikal devamlılığın bozulması, kortikal düzensizlik izlenmesi vb) bazında değerlendirilmektedir. Ayrıca semikantitatif analiz ile her bir böbreğin total fonksiyona katkı değeri % olarak hesaplanmaktadır. Geliştirdiğimiz sistemin temel amaçları şunlardır:
1. Giriş Kortikal böbrek sintigrafisi (Şekil 1) temel olarak böbreğin fonksiyonel parankiminin morfolojik özelliklerinin belirlenmesi amacı ile kullanılmaktadır. Bu yöntemle böbreğin boyut, şekil ve yerleşim yeri ile ilgili ayrıntılı bilgi edinmek mümkün olmaktadır. Kortikal böbrek sintigrafisi sıklıkla idrar yolu enfeksiyonlarının böbrek fonksiyonel parankiminde oluşturduğu hasarın belirlenmesi, böbreğe ait her türlü doğumsal gelişim anomalilerinin tesbiti, travma sonrası böbrek fonksiyonel parankiminin değerlendirilmesi gibi değişik amaçlar için kullanılmaktadır. Kortikal böbrek sintigrafisi Tc-99m DMSA’nın intravenöz enjeksiyonunu takiben 2-3. saatte yapılmaktadır. Görüntüleme Tc-99m izotopu için uygun olan peak enerji düzeyi % 20’lik pencere aralığında 140 kEv’a ayarlanmış düşük enerjili yüksek çözünürlüklü kollimatörle donatılmış gama kameralar (Adac Cirrus, Mediso Corp., ve Siemens e-cam) ile yapılmıştır. Her hastadan posterior, sağ-posterior-oblik ve sol-posterior-oblik pozisyonlarda 256x256 matrikste 200 kcount sayımlık statik görüntüler alınması standarttır.
• Verilerin işlenmesini otomatik hale getirmek, dolayısıyla doktora vereceği karar konusunda destek olmak (tanı sürecini hızlandırmak) • Doktorlar arası yorum farklılıgını azaltmak ve tek bir doktor için yorum tekrarlığını sağlamak • İçerik tabanlı sorgulamalar yapılabilmesini sağlamak • Araştırma ve tez çalışmalarında kolaylık sağlamak • Uzman eğitimine yardımcı olmak Geliştirilen sistem doktorun yerini almayı değil ona yardımcı olmayı hedeflemektedir, son karar her zaman doktor tarafından verilecektir. Anomali içeren ve içermeyen böbrek görüntüleri Hacettepe Üniversitesi Tıp Fakültesi Nükleer Tıp Anabilim dalından alındı. Anomali içermeyen görüntüler doktorlar tarafından tiplerine göre gruplandırıldı. Elde edilen gruplardaki görüntüler bölütlendi ve bölütlenen her bir görüntü kendi grubu içinde birbirine çakıştırılarak şablon görüntüler oluşturuldu (Şekil 1.b). Hastalık tanısında kullanılan genel çerçeve unsurları belirlendi ve mevcut raporlar sayısal ortama aktarıldı.
2. İçerik Tabanlı Arama Sistemi 2.1. Bölütleme Görüntülerden özniteliklerin çıkarılması ve oluşturulan şablonlara yüzey tabanlı çakıştırılabilmesi için görüntülerin bölütlenmesi gerekmektedir. Bölütleme işlemi şu şekilde yapılmaktadır: • Görüntünün yatay ve dikey projeksiyonu üzerinden yaklaşık böbrek yerleşimi bulunur ve bunun dışında kalan bölgeler görüntüden çıkarılır (Şekil 2.a) [1,2] • Entropi tabanlı eşikleme ile böbrek ve arka plan ayrıştırılır [3] • Görüntü ağırlık merkezi etrafında döndürülerek dikey projeksiyonun iki böbreği en iyi ayrıştırdığı doğrusal çizgi elde edilir (Şekil 2.a, 2.c, 3)
Şekil 4 te F(Ө) fonksiyonunun örnek bir böbrek görüntüsü için grafiği verilmiştir. Şekilde de görüldüğü gibi, fonksiyon küçük yerel en iyi değerler içermekle beraber ikilenik özellik göstermektedir. Elimizdeki diğer böbrek görüntüleri için de F(Ө) fonksiyonun benzer özellikleri gösterdiği gözlenmiştir. 9.7
9.6
9.5
9.4
9.3
9.2
9.1 -30
-20
-10
0
10
20
30
Şekil 4: F(Ө) nın -30< Ө 30 θ ≤ 30
(2) (3)
: p dağılımında s ile e arasındaki entropi : Projeksiyon dizisinin eleman adedi : Projeksiyonda iki tepe arasındaki minimum nokta : Görüntünün döndürülme açısı (derece cinsinden) : Çok fazla dönmeyi engellemek için ceza terimi (theta=0 dikey ayırım çizgisine karşılık gelir) : En iyi ayrımı sağlayan açı
Brent çizgisel en iyileme yöntemi [4] kullanılarak en iyi θ * bulunur. Bulunan M ve θ * değerleri kullanılarak a) tek böbreğin doğru tarafından geçen, b) iki böbreği en iyi ayıran çizgi (y = ax + b) elde edilir. (Şekil 3).
Bölütleme işlemi yapılmış nesnelerin dış sınırlarını bulmak için: (1) bölütlenen görüntü arka-plan = 0, böbrek = 1 olacak şekilde maske haline getirilir, (2) görüntü ile aynı boyutta tamamı 0 dolu bir dizi yaratılır, (3) maskede kendisi 0 ve dört komşusundan herhangi biri 1 olan pikseller yeni yaratılan dizide 1 haline getirilir, (4) dizide 1 (gezilmemiş) olan herhangi bir noktadan başlanır ve sekiz komşuluğunda 1 olan diğer bir noktaya geçilir, üzerinde gezilen her nokta 2 (gezildi) haline getirilir ve aynı zamanda bir listeye eklenir. Oluşturulan bu liste böbrek sınırını göstermektedir. Bu şekilde elde edilen sınır bilgisi yüzey tabanlı çakıştırma [5-8] için kullanılır. Yüzey tabanlı çakıştırma yapılırken: (1) yüzeyler hedef ve kayan yüzey olarak ikiye ayrılır, (2) hedef yüzeydeki noktalar kd-tree’ye [9-10] yerleştirilir, (3) kayan yüzey üzerindeki noktaların hedef yüzey üzerindeki en yakın noktaları bulunur (kd-tree kullanarak) ve bu iki küme azarındaki mesafe Powell (directonal set) en iyileme yöntemi [4] kullanılarak en az hale getirilmeye çalışılır. Burda en iyilenen parametreler Tx, Ty, Ө ve S dir (x yönünde kayma, y yönünde kayma, döndürme ve ölçeklendirme). Tx ve Ty ye verilen ilk değer iki nesnenin ağrılık merkezlerini üst üste getirecek şekilde ayarlanır, Ө ya ilk değer olarak sıfır derece ve S ye ise 1 atanır. Powell ile en iyilenen fonksiyon Denklem 5’te verilmiştir. S≈0 için kayan yüzey orjindeki tek bir nokta haline dönüşmektedir (tüm noktalar sıfırla çarpıldığı için). Dolayısıyla S≈0 için orjindeki tek bir noktanın hedef nesnedeki bir noktaya kaymasını sağlayacak bir Tx ve Ty için Ө nın değerinden bağımısız olarak Denklem 4 “0.0” değerini üretmektedir. Bu durumu engellenmek için Denklem 4’e konulan ve kayan yüzeyin %50 den daha fazla küçülmesine engelleyen bir ceza terimi ile Denklem 5 elde edilmiştir. n
D* ( X , T (Y )) = D( X ,T (Y )) =
1 y c ∑ T ( yi ) − xic ny i 1 ny
ny
∑T i
c
2
2 (1.5 − S ) 32 − 1, S < 0.5 ( yi ) − xic + S ≥ 0.5 0,
(4) (5)
Denklem 5’te Y kayan nesne ve X ise hedef nesne iken T(Y), {Tx, Ty, Ө, S} parametreleri ile kayan nesneye uygulanan transformasyonu göstermektedir. Tc(yi) ve xci ise hedef ve kayan nesne için birbirine en yakın i. noktayı göstermektedir.
2.3. Özniteliklerin Oluşturulması
2.4. Özniteliklerin Kaydedilmesi
Bölütlenen görüntülerden (böbrek görüntüsü parlaklık değeri: I) elde edilen maske (B) kullanılarak alan, aktivite miktarı, yerleşim, yönelim, en ve boy, atnalı şekli, sınır uzunluğu, sınır düzensizliği öznitelikleri çıkarılır. B maskesinde 0 olan yerler arka planı 1 olan yerler ise böbreği göstermektedir.
Oluşturulan öznitelikler “0” ile “1.0” arasına normalize edilerek kaydedilmektedir. Normalize ederken oran (sol / (sol + sağ)), yüzde veya sigmoid fonksiyonu kullanılmıştır. Oluşturulan öznitelikler a) alan oranı, b) aktivite oranı, c) sol ve sağ böbrek ağırlık merkezinin dikey farkının sigmoid fonksiyonu ile sıkıştırılmış hali, d) sol böbrek yönelimi, e) sağ böbrek yönelimi, f) en oranı, g) boy oranı, h) atnalı olma miktarı, i) sınır uzunluğunu oranı, j) sınır düzensizliği miktarları olarak sıralanabilir. Mevcut verinin çok miktarlarda olmaması yüzünden öznitelikler sıralı olarak kaydedilmiştir. Eldeki verinin artması ile birlikte daha etkin indeksleme sistemlerinin kullanılması için gerekli çalışmalar yapılacaktır [16].
Alan: Maske üzerinde 1 olan piksellerin sayılması ile bulunur [2]
A = ∑∑ Bi , j
Aktivite miktarı: Maskelenmiş böbrek için parlaklık değerleri toplanarak bulunur.
F = ∑∑ Bi , j I i , j
Yerleşim: Maskenin ağırlık merkezi böbreğin yerleşmini gösterir [2] Yönelim: böbreğin Θ yönelimini gösterir [2] Maske ilk önce merkezine kaydırılır: ( x' = x − ~ x , y' = y − ~ y)
ağırlık
n
m
j =1 i =1 n
m
j =1 i =1
x 1 n m ~ i ~y = A ∑∑ ( Bi , j j ) j =1 i =1 x' i2 a n m b = ( Bi , j x ' i y ' j ) ∑∑ j =1 i =1 y ' 2j c
Θ=
1 b arctan 2 a −c
En ve boy: Yönelim Şekil 5.c de gösterilen uzun çizgi yönündedir, kısa çizgi ise uzun çizgiye diktir. Ağrılık merkezinden yönelim ve buna dik olarak çizilen iki çizgi sınırlara ulaşınca biter. Bu çizgilerden uzun olana boy, kısa olanına ise en demekteyiz [2] Atnalı şekli: İki böbrek alt veya üst uçlarından bitişik veya çok yakınlarsa, atnalı şekli oluşur. Bu bitişmenin miktarını bulmak için iki nesnedeki birbirine çok yakın noktaların adedi bulunur. Bu noktaların miktarı ve yönelimi böbreklerin ne kadar atnalı özelliği gösterdiğini belli eder (Şekil 7). Sınır uzunluğu: Bölüm 2.2 de anlatılan dış sınır bulma işleminden sonra bulunan sınırdaki eleman sayısı sayılarak sınır uzunluğu bulunur.
2.5. İçerik Tabanlı Arama En benzer örneklerin bulunmasi için öznitelik benzerlik kriteri kullanıldı (Denklem 6) [11]. Burada, B(q,x) fonksiyonu q ve x arasındaki benzerliği, F öznitelikleri, φ benzerlik fonksiyonunu ve wf ise her bir özniteliğin ağrılığını göstermektedir. Şu anda φ fonksiyonu Öklid uzaklığına göre yapılmakta ve tüm öznitelikler için ağırlık olarak 1 kullanılmaktadır [12-17].
B(q, x) = ∑ w f .ϕ (q f , x f ) f ∈F
(6)
Şekil 7 de atnalı özelliği gösteren bir böbreğe benzer böbreklerin aranması işleminin sonucu gösterilmiştir. 2.6. Geliştirilen Uygulama Geliştirilmiş olduğumuz uygulama ile böbrek görüntülerinin bölütlenmesi, özniteliklerin oluşturulması ve kaydedilmesi P4 2.0 Ghz işlemcili bir bilgisayarda her bir böbrek için ortalama 0.5 saniyede yapılmaktadır. Böbrek görüntülerinin izlenmesi, öznitelikler ve hasta bilgileri üzerinden (ID, isim, soyisim vb.) sorgulama yapılması işlemleri de başarı ile tamamlanmıştır. Tüm izleme ve arama sonuç ekranları HTML formatında oluşturulmakta, kolaylıkla saklanabilmekte, yazdırabilmekte veya başka biçimlere çevirilebilmektedir.
Şekil 5: a) Sol böbrek, b) Sol şablon, c)Sol böbrek maskesi Sınır düzensizliği: Böbrek görüntüsü şablon böbreklerle üstüste çakıştırılır ve en az hata üreten şablon sınır düzensizliği bulma işleminde kullanmak üzere seçilir. Daha sonra böbrek dış sınırı ve seçilen şablon dış sınırının üstüste geldiği noktalar arasında kalan bölgeler için sınır mesafeleri bulunur (Şekil 6). Bulunan bu sınır farkları eşiklenerek atlasta belirlenmiş bölgeler için sınır düzensizliği hesaplanır.
Şekil 6: Sınır düzensizliği özniteliği
Şekil 7: Uygulamadan örnek arayüz: kullanıcı tarafından seçilen atnalı şekli bir böbrek görüntüsü için (üst sıra) arama sonucu bulunan en benzer görüntü (alt sıra). (Not: Hasta isimleri başka isimlerle değiştirilmiştir)
3. Sonuçlar b) a)
Şekil 8: a) Üstte anomalisi olmayan hasta, altta ise veri tabanından getirilen en benzer görüntü, b) üstte anomalisi olan hasta, altta ise veri tabanından getirilen en benzer görüntü Şekil 8 de geliştirdiğimiz sistemde yapılmış iki adet içerik tabanlı arama örneği gösterilmektedir. Şekil 8.a da anomali içermeyen görüntüye en benzeyen görüntü olarak anomali içermeyen ve benzer özellikler gösteren diğer bir görüntü başarıyla bulunmuştur. Şekil 8.b de ise anomali içeren bir görüntüye en benzeyen görüntü araması başarısızlıkla sonuçlanmış ve arama sonucunda anomali içermeyen bir görüntü bulunmuştur. Tıbbi görüntülerde benzer aramaların yapılması daha çok patolojik özelliklere göre olup bu patolojiler ancak çok küçük detaylardan ayırt edilebilmektedir. İçerik tabanlı aramanın daha da iyileştirilebilmesi için görüntünün tümüne ait özelliklere ek olarak yerel özelliklerin de kullanılması gerekmektedir [13].
4. Tartışma Bu çalışmada tıbbi böbrek görüntüleri için, içerik tabanlı arama sistemi geliştirilmesine yönelik geliştirdiğimiz yöntemler ve sistem özetlenmiştir. Yapılan çalışmalar sonucunda, problemin analizi, yayın taraması, veri toplanması ve işlenmesi yapılmış, sonrasında tıbbi böbrek görüntüleri için bir İTGA motoru ve prototip uygulaması geliştirilmiştir. Oluşturulan sistem şu an sadece 104 anomalili, 131 normal hasta görüntüleri kullanılarak geliştirilmiş ve test edilmiştir. Doktorların böbrek verileri üzerinde tanı koymasında dikkate aldıkları dağılım düzensizliği özniteliği henüz yeterince olgunlaşmadığı için sistemimize dahil edilmemiştir (bu konudaki çalışmalarımız devam etmektedir). Ayrıca, solposterior-oblik, sağ-posterior-oblik ve anterior görüntülerine ait öznitelikler doktorlar açısından posterior görüntüler kadar önemli olmadıkları için henüz sisteme dahil edilmemiştir.
4. Kaynakça [1] John J. Russ, “The Image Processing Handbook”, Chapter 6 & 7, CRC Press, 2002. [2] Ramesh Jain, Rangachar Kasturi, Brian G. Schunck, “Machine Vision”, Chapter 3 & 6, McGraw-Hill, 1995. [3] Sankur B., and M. Sezgin, “Image Thresholding Techniques: A Survey Over Categories”, Pattern Recognition, 2001. [4] Numerical Recipies in C, www.nr.com
[5] Audette MA, Ferrie FP, Peters TM., “An Algorithmic Overview of Surface Registration Techniques for Medical Imaging”, Medical Image Analysis, 4: 201-217. 2000. [6] Nar F, Mumcuoğlu E, Yardımcı Y, Koçak U. “Simultaneous Registation of Ictal, Interictal SPECT and MR Images for Epilepsy Studies: Method and Simulations”, Proceedıngs of IASTED International Conference on Biomedical Engineering, pp. 11–16, February 2005, Innsbruck, Austria, ACTA Press, Editors: K.-P. Adlassnig, M. Bracale. [7] Erkan Ü. Mumcuoğlu, Fatih Nar, Yasemin Yardımcı, Umut Koçak, Eser Lay Ergün, Bilge Volkan Salancı, Ömer Uğur, Belkıs Erbaş, “Simultaneous TripleRegistration of Ictal SPECT, Interictal SPECT and MR Images for Epilepsy Studies: Method and Validation”, Proceedıngs of EUSIPCO 2005, ISBN: 975-00188-0-X, pp. 100-103, Antalya Turkey. [8] Erkan Ü. Mumcuoğlu, Fatih Nar, Yasemin Yardımcı, Umut Koçak, Eser Lay Ergün, Bilge Volkan Salancı, Ömer Uğur, Belkıs Erbaş, “Simultaneous Surface Registration of Ictal, Interictal SPECT and MR Images for Epilepsy Studies”, Nuclear Medicine Communication, 27(1), pp. 45-55, January 2006. [9] Sunil A, David MM, “An Optimal Algorithm for Approximate Nearest Neighbor Searching in Fixed Dimensions”, Proceedings of the Fifth Annual ACMSIAM Symposium on Discrete Algorithms, pp. 573-582. 1994. [10] ANN library, www.cs.umd.edu/~mount/ANN [11] Richard OD, Peter EH, David G.S, “Pattern Classification”, A Wiley-Interscience Publication, 373378. 2001. [12] A. W. M. Smeulders, M. Worring, S. Santini, A. Gupta, and R. Jain, “Content-Based Image Retrieval at the End of the Early Years”, IEEE Transactions on. Pattern Analysis and Machine Intelligence, vol. 22, 2000. [13] Muller H, Michoux N, Bandon D, Geissbuhler A, “A Review of Content-Based Image Retrieval Systems in Medical Applications - Clinical Benefits and Future Directions”, Int J. Med Inform. 73(1), pp.1-23. Feb 2004. [14] Thomas M. Lehmanna, Mark O. Gülda, Thomas Deselaersb, Daniel Keysersb,Henning Schubertc, Klaus Spitzera, Hermann Neyb, Berthold B. Wein, “Automatic Categorization of Medical Images for Content-Based Retrieval and Data Mining”, Computerized Medical Imaging and Graphics 29, pp. 143–155, 2004. [15] Sameer Antani, L. Rodney Long, George R. Thoma, “Content-Based Image Retrieval for Large Biomedical Image Archives”, MEDINFO, 2004. [16] S. C. Orphanoudakis, C. Chronaki, and S. Kostomanolakis, “I2C : A System for the Indexing, Storage, and Retrieval of Medical Images by Content”, Medical Informatics, Vol. 19(2), pp. 109-122, 1994. [17] El-Kwae EA, Xu H, Kabuka MR., “Content-Based Retrieval in Picture Archiving and Communication Systems”, J. Digit Imaging, 13(2), pp. 70-81, 2000.
