Blz..Classificação de padrões em imagens utilizando redes neurais artificiais LVQ André de Souza Tarallo, Deise Mota Alves, Thiago Crivelaro do Nascimento, Adilson Gonzaga Universidade de São Paulo - USP Escola de Engenharia de São Carlos Departamento de Engenharia Elétrica
[email protected],
[email protected],
[email protected],
[email protected] Abstract The goal of this work is to demonstrate the efficiency of an artificial neural network LVQ (Learning Vector Quantization) as simple method for pattern classification in digital images. The extraction process of the most important characteristics of the images will not be mentioned here, because the study has been done about databases previously constructed and available to researchers of all world. The development of the present work, therefore, will be given by means of two applications: one is the use of Winsconsin breast cancer data [2] and the another one is the use of Fisher´s iris data [2]. 1. Introdução Todo problema que envolve classificação de padrões exige um estudo detalhado do problema. Deve-se levar em consideração a quantidade e natureza dos dados, a complexidade do problema, tempo de desenvolvimento, entre outros, a fim de que se opte pelo método que requeira o menor esforço computacional e dê bons resultados, constituindo a solução ótima para o problema em análise. A base de dados de Winsconsin(1991) [2] contém 699 amostras com 9 características extraídas de imagens de células das mamas. Cada amostra, a partir da análise humana, foi classificada como pertencente a uma das duas classes possíveis: maligno ou benigno. As características observadas são: densidade do agrupamento, uniformidade do tamanho da célula, uniformidade da forma da célula, adesão marginal, tamanho das células epiteliais simples, núcleos desencapados, cromatina benigna, nucleoli normal, mitoses. A base de dados de Fisher(1936) [2], é uma coleção de 150 amostras, com 4 características cada, sendo a largura e o comprimento da pétala e da sépala. Tais amostras são classificadas em três classes: Íris Virgínica, Íris Versicolor, Íris Setosa. 2. Solução do problema Em algumas situações em que se deseja classificar padrões, uma simples rede neural artificial que seja capaz de se auto-organizar, promovendo um treinamento competitivo que detecte similaridades e conexões entre os padrões do conjunto de entrada, é suficiente para a solução do problema. As redes LVQ constituem, exatamente, estruturas deste tipo. O objetivo principal da utilização destas redes reside na divisão do espaço amostral de entrada em diversos subespaços disjuntos, sendo que cada um dos vetores de entrada (padrões) deve pertencer somente a um desses subespaços, os quais representarão as classes associadas ao problema considerado. Portanto, cada subespaço (classe) é associado a um vetor quantizador que representa todos os padrões vinculados àquela classe. Desta forma, quando um novo padrão de teste é apresentado ao
sistema, o mesmo ativa o vetor quantizador representante daquela classe a qual ele supostamente deva pertencer. Para o ajuste de seus pesos, esta rede utiliza um processo competitivo, ao término do qual tais pesos estarão representando os respectivos vetores quantizadores. Dessa forma, conhecem-se todas as N-classes associadas aos padrões de entrada do sistema. O objetivo da rede é a quantização ótima do espaço de entrada em N-subespaços. Após a rede estar treinada (treinamento este que é supervisionado), ela pode ser utilizada para classificar outros padrões de entrada entre as várias classes do sistema. Nas redes LVQ-1 considera-se que cada vetor de entrada utilizado no treinamento pertença a uma classe j. O algoritmo de aprendizagem é idêntico ao de Kohonen [15], modificando apenas o processo de ajuste dos pesos, o qual é aplicado apenas ao neurônio vencedor. Dadas as características deste tipo de rede, bem como a natureza dos dados disponíveis (possibilidade de um treinamento supervisionado), utilizou-se uma rede LVQ-1 sobre a base de Winsconsin, bem como sobre a base de Fisher. Neste último caso, entretanto, bons resultados apenas foram alcançados por meio de algumas modificações no algoritmo, podendo-se citar: • Utilização de dois neurônios para cada classe; • Inicialização dos vetores de pesos de acordo com os primeiros padrões de cada classe. Somente após tais adaptações, é que se obteve resultados satisfatórios. Há de se ressaltar ainda que a base de Fisher foi parcialmente utilizada, uma vez que apenas duas características foram apresentadas à entrada da rede. Justifica-se esta atitude pelos maus resultados obtidos em testes realizados sobre a mesma rede para as quatro características de entrada. Observou-se que a largura e o comprimento da sépala constituem características relevantes e bastam para esta arquitetura de rede. A inclusão das demais características apenas dificulta o processo de treinamento da rede. O treinamento para ambas as bases se deu sobre 50% dos dados disponíveis, o que representa prática comum dentre outros métodos publicados [1]. 3. Resultados Computacionais Os resultados finais obtidos para a correta classificação das amostras da base de dados de Winsconsin foram: • 95,6% para “benigno”; • 100,0% para “maligno”. A média aritmética fornece o resultado de 97,8%. O treinamento não atingiu valores maiores do que 20 épocas de treinamento para diversas inicializações dos pesos. Os resultados finais obtidos para a classificação dos três tipos de Flor de Íris foram: • 100% de acerto para Setosa; • 94% de acerto para Versicolor; • 98% de acerto para Virgínica. A média aritmética fornece o resultado de 97,33%. O treinamento não atingiu valores maiores do que 10 épocas de treinamento. Esses resultados podem ser melhor analisados à vista de resultados de outros métodos propostos por diversos autores para os mesmos problemas, conforme indicam as tabelas 1 e 2.
Algoritmo Resultado (%) Kwok´s SVM with gaussian kernel [3] 91,60 Kwok´s SVM with polynomial kernel [3] 93,60 Setiono´s neuro classifier [4] 93,99 MSC [5] 94,90 FEBFC [6] 95,14 IRSS [1] 95,89 Rede Neural LVQ-1 97,80 Tabela 1. Classificação da rede LVQ-1 para a base de Winsconsin em comparação a outros métodos. Padrão
Setosa (%) 100 100 100 100 100 100 100 100 100
Versicolor (%) 93.33 94.00 93.50 98.00 91.07 94.00 86.00 93.38 94.00
Virgínica (%) 94.00 94.00 91.13 86.00 90.61 92.00 100 95.24 92.72
Média (%)
Algoritmos IVSM [7] 95.78 GVS [8] 96.00 NT-Growth [7] 94.87 Dasarathy [7] 94.67 C4 [7] 93.87 FCC [9] 95.33 AFLC [10] 95.33 Wu e Chen [11] 96.21 Hong e Lee [12] 95.57 FEBFC [6] 97.12 Nozaki et al. [13] 95.57 k-vizinhos [14] 94.67 Fisher ratios [14] 96.00 IRSS [1] 100 92.00 96.00 96.00 LVQ-1 Modificada 100 94.00 98.00 97.33 Tabela 2 – Resultados de diversos métodos para a base de Fisher. 4. Conclusão Diante dos resultados obtidos, observa-se que nem sempre há uma análise detalhada do problema antes da escolha de determinada técnica a ser empregada para a solução do mesmo. Esta consciência deve existir em todos os casos. Da mesma forma, seria um exagero, por exemplo, utilizar uma rede neural artificial como aproximadora de funções quando o problema poderia ser facilmente modelado por uma equação de segundo grau. Cabe ao projetista ter discernimento para, diante de um problema, decidir pela técnica mais adequada, evitando constrangimentos e péssimos resultados. Como pôde ser visto, a solução proposta nesse artigo alcançou resultados superiores àqueles apresentados nas tabelas 1 e 2, mostrando-se como uma opção rápida e eficaz. 5. Referências Bibliográficas [1] Chatterjee, A. e Rakshit, A., “Influential Rule Search Scheme (IRSS) – A New Fuzzy Pattern Classifier”, IEEE Transactions on knowledge and Data Engineering, vol. 16, no. 8, pp. 881-893, agosto de 2004.
[2] C.L. Blake e C.J. Merz, “UCI Repository of Machine Learning Databases,” Univ. of California, Irvine, Dept. of Information and Computer Science, http://www.ics.uci.edu/~mlearn/MLRepository.html, 1998. [3] J.T-Y. Kwok, “The Evidence Framework Applied to Support Vector Machines,” IEEE Trans. Neural Networks, vol. 11, no. 5, pp. 1162-1173, setembro de 2000. [4] R. Setiono, “Extracting M-of-N Rules from Trained Neural Networks,” IEEE Trans. Neural Networks, vol. 11, no. 2, pp. 512-519, março de 2000. [5] B.C. Lovel e A.P. Bradley, “The Multiscale Classifier,” IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 18, no. 2, pp. 124-137, fevereiro de 1996. [6] H.-M. Lee, C.-M. Chen, J.-M. Chen, e Y.-L. Jou, “An Efficient Fuzzy Classifier with Feature Selection Based on Fuzzy Entropy,” IEEE Trans. Systems, Man, and Cybernetics - Part B: Cybernetics, vol. 31, no. 3, pp. 426-432, junho de 2001. [7] T.P. Hong e J.B. Chen, “Processing Individual Fuzzy Attributes for Fuzzy Rule Induction,” Fuzzy Sets and Systems, vol. 112, pp. 127-140, 2000. [8] T-P. Hong e S.-S. Tseng, “A Generalised Version Space Learning Algorithm for Noisy and Uncertain Data,” IEEE Trans. Knowledge and Data Eng., vol. 9, no. 2, pp. 336-340, março-abril de 1997. [9] I.H. Suh, J.H. Kim, e F.C.H. Rhee, “Convex-Set-Based Fuzzy Clustering,” IEEE Trans. Fuzzy Systems, vol. 7, no. 3, pp. 271-285, junho de 1999. [10] S.C. Newton, S. Pemmaraju, e S. Mitra, “Adaptive Fuzzy Leader Clustering of Complex Data Sets in Pattern Recognition,” IEEE Trans. Neural Networks, vol. 3, no. 5, pp. 794-800, setembro de 1992. [11] T.P. Wu e S.M. Chen, “A New Method for Constructing Membership Functions and Fuzzy Rules from Training Examples,” IEEE Trans. System, Man, and Cybernetics - Part B: Cybernetics, vol. 29, no. 1, pp. 25-40, fevereiro de 1999. [12] T.P. Hong e C.Y. Lee, “Induction of Fuzzy Rules and Membership Functions from Training Examples,” Fuzzy Sets and Systems, vol. 84, pp. 33-47, 1996. [13] H. Ishibuchi e T. Nakashima, “Effect of Rule Weights in Fuzzy Rule-Based Classification Systems,” IEEE Trans. Fuzzy Systems, vol. 9, no. 4, pp. 506-515, agosto de 2001. [14] S. Fahlman e C. Lebiere, “The Cascade-Correlation Learning Architecture,” Carnegie Mellon Univ., School of Computer Science, Technical Report CMU-CS-90-100, fevereiro de 1990. [15] Haykin, S. – “Neural Networks”, Prentice Hall, 1999
