Uso de Mapas Auto-Organizáveis em Classificação de Estados Mentais para Aplicação em uma Interface Cérebro-Computador

Uso de Mapas Auto-Organizáveis em Classificação de Estados Mentais para Aplicação em uma Interface Cérebro-Computador Felipe Dalvi Garcia1, Sandra Mara Torres Müller2, Teodiano Freire Bastos Filho3, Mário Sarcinelli Filho4 1,3,4

Departamento de Engenharia Elétrica Universidade Federal do Espírito Santo (UFES), Brasil 2 Departamento de Engenharia e Ciências Exatas Universidade Federal do Espírito Santo (UFES), Brasil Resumo - Com base nos avanços das pesquisas sobre interfaces cérebro-computador voltadas a aplicações em tecnologias assistivas, este trabalho visa explorar o uso dos Mapas Auto-Organizáveis de Kohonen que, apesar de sua simplicidade de implementação, apresentaram resultados satisfatórios (aproximadamente 84,86%) na classificação de estados mentais referentes à imaginação de movimento da mão esquerda ou direita. Posteriormente, pretende-se aplicar este resultado a uma cadeira de rodas robótica controlada por sinais cerebrais. Palavras-chave: Interface Cérebro-Computador, ICC, Mapas Auto-Organizáveis, Redes Neurais. Abstract – This work intends to explore the use of Kohonen’s Self-Organizing Maps that, despite its simplicity of implementation, have offered satisfactory results (about 84.86%) for the classification of mental states considering motor imagery correspondent to the movement of the left or right hand. The objective is to apply this system to a robotic wheelchair controlled by brain signals. Key-words: Brain-Computer Interface, BCI, Self-Organizing Maps, Neural Networks.

Introdução Em todo o mundo, muito se tem pesquisado sobre a utilização de sinais cerebrais como sinais de controle para dispositivos que fazem parte do cotidiano do ser humano. Esses estudos visam à criação das chamadas Interfaces CérebroComputador (ICCs ou BCIs, de Brain-Computer Interfaces). Entretanto, essa é uma área do conhecimento muito recente, que só despertou o interesse da comunidade científica no final do século XIX, quando o mapeamento das funcionalidades do cérebro começou a ser estudado [1]. Muitas idéias têm sido desenvolvidas para a implementação dessas interfaces, com o objetivo de facilitar a comunicação homem-máquina [2], principalmente no contexto de tecnologias assistivas, as quais têm por finalidade dar suporte tecnológico para a melhoria da qualidade de vida de pessoas com deficiências graves. Desde ICCs baseadas em estímulo ao usuário [3] até ICCs assíncronas [4], favorecer a inserção de pessoas com deficiência no mundo ao seu redor vem sendo uma das metas principais de seus desenvolvedores. Com a evolução dos métodos para captação da atividade neuronal, pode-se obter um registro dessa atividade por meio de métodos não-invasivos, que posicionam os eletrodos na superfície do

escalpo (couro cabeludo). Os sinais elétricos obtidos diretamente do cérebro (Sinais Eletroencefalográficos – EEG) podem ser usados como sinal de controle, desde que o paciente produza uma determinada atividade cerebral e uma interface seja capaz de adquirir, processar e interpretar esse sinal [5]. Uma vez que técnicas de processamento de sinais podem ser aplicadas aos potenciais elétricos obtidos sobre o córtex, e sabendo-se que de modo cada vez mais detalhado o cérebro tem sido funcionalmente mapeado, é possível associar as características dos sinais obtidos a padrões de ocorrências de estados mentais específicos, relacionando-se, então, cada um desses padrões a uma determinada ação. Sinais referentes ao controle dos movimentos, por exemplo, podem ser utilizados para controlar dispositivos eletromecânicos de assistência a pessoas com deficiências físicas graves, tais como Esclerose Lateral Amiotrófica (ELA) e tumores na medula espinhal. Embora essas pessoas sejam impossibilitadas de realizar praticamente qualquer tipo de movimento, em grande parte dos casos sua capacidade cognitiva permanece intacta. Desta forma é possível monitorar a atividade cortical relativa à intenção ou imaginação de movimento e extrair algum comportamento

passível de ser aplicado a uma ICC voltada ao auxílio a pessoas com tais enfermidades. Assim, o objetivo deste trabalho é apresentar um método de extração de características presentes em sinais adquiridos sobre o córtex motor, bem como classificar os estados mentais referentes a essas características, aplicando-os no controle de uma cadeira de rodas robótica [6].

2.

3. Metodologia Em classificação de padrões, o primeiro e mais importante passo é a seleção (extração) de características, a qual normalmente é realizada de uma maneira não-supervisionada. O objetivo desse primeiro passo é selecionar um conjunto razoavelmente pequeno de padrões, no qual está concentrada a informação essencial (a ser classificada) [7]. Dentre as muitas técnicas de processamento de sinais conhecidas, uma que tem se mostrado muito eficaz em aplicações referentes à mineração de dados e à extração de características, sobretudo se os dados de entrada forem gerados por um processo não-linear, são os Mapas AutoOrganizáveis. Os Mapas Auto-Organizáveis de Kohonen (Self-Organizing Maps – SOM) [8]-[9] são um tipo de rede neural artificial baseada em aprendizado competitivo e não-supervisionado, sendo capaz de mapear um conjunto de dados de um espaço de entrada contido em ℜ D em um conjunto finito de neurônios organizados em um arranjo, normalmente unidimensional ou bidimensional. Desse ponto de vista, o SOM realiza uma projeção não-linear do espaço de dados de entrada, em ℜ D , para o espaço de dados do arranjo, em ℜ P , executando uma redução dimensional quando P < D . Ao realizar essa projeção não-linear, o algoritmo tenta preservar ao máximo a topologia do espaço original, ou seja, procura fazer com que neurônios vizinhos no arranjo apresentem vetores de pesos que retratem as relações de vizinhança entre os dados. Para tanto, os neurônios competem para representar cada dado, e o neurônio vencedor tem seu vetor de pesos ajustado na direção do dado. Esta redução de dimensionalidade com preservação topológica permite ampliar a capacidade de análise de agrupamentos de dados pertencentes a espaços de dimensão elevada [10]. A Figura 1 mostra a arquitetura básica de um Mapa Auto-Organizável. Uma vez que a grade tenha sido inicializada, há três processos essenciais envolvidos na formação do mapa: 1. Competição. Para cada padrão de entrada, os neurônios da grade calculam seus respectivos valores de uma função discriminante que fornece a base para a competição entre eles.

O neurônio com o maior valor da função discriminante é declarado o vencedor da competição (Best Matching Unit – BMU). Cooperação. O neurônio vencedor determina a localização espacial de uma vizinhança topológica de neurônios excitados, sendo base para a cooperação entre neurônios vizinhos. Adaptação Sináptica. Este mecanismo permite que os neurônios excitados aumentem seus valores individuais da função discriminante, em relação ao padrão de entrada, através de ajustes adequados aplicados a seus pesos sinápticos. Os ajustes são tais que a resposta do neurônio vencedor à aplicação subseqüente de um padrão de entrada similar é melhorada.

Figura 1 – Arquitetura básica de um mapa autoorganizável [11]. Como já comentado, não apenas o neurônio vencedor é adaptado, mas também seus vizinhos, estabelecendo uma interação local entre os neurônios que, ao longo do aprendizado promove a organização geral do mapa [9]. O aprendizado, isto é, o novo valor do peso sináptico do i-ésimo neurônio no instante de tempo (t + 1), é definido por uma equação de adaptação dada por

mi (t + 1) = mi (t ) + α (t )hci (t )[mi (t ) − v n (t )]

(1)

onde t = 1, 2, 3,... é um número inteiro representando a coordenada discreta de tempo, e α (t ) define a taxa de aprendizado. O grau de adaptação do neurônio BMU e de seus vizinhos depende, portanto, da função de vizinhança, hci e da taxa de aprendizado α . A forma e o raio de vizinhança, σ , de hci, ou seja, o limite topológico que define sobre quais neurônios hci é aplicada, conforme mostrado na Figura 2, controlam a flexibilidade do mapa. Tanto a taxa de aprendizado quanto o raio de vizinhança devem decrescer com o tempo, para que ocorra a convergência do mapa.

(a)

(b)

Figura 2 – Arranjos topológicos do mapa (a) na forma retangular e (b) na forma hexagonal. Do centro ao limite mais externo os raios de vizinhança são, respectivamente, 0 (zero) e 3 [10]. O algoritmo tradicional de treinamento do SOM supõe a atualização dos pesos sinápticos dos neurônios do arranjo toda vez que um item de dados é apresentado à rede, sendo por isso conhecido como incremental ou online. O algoritmo padrão de treinamento é apresentado sucintamente a seguir [7]: 1.

2.

3.

Inicialização. Inicialize o vetor de pesos mi do neurônio i, aleatoriamente ou linearmente. Inicialize também o raio de vizinhança, σ , e a taxa de aprendizado, α . Amostragem. Retire uma amostra vn do espaço de entrada com certa probabilidade, onde o vetor vn representa o padrão de ativação que é aplicado à grade. Casamento por Similaridade. Encontre o neurônio vencedor (BMU) no espaço de tempo t, usando o critério da mínima distância euclidiana: (2) c = arg min mi − v n i

4.

5.

Atualização. Ajuste os vetores de peso sináptico de todos os neurônios usando a Equação (1), onde o raio de vizinhança e a taxa de aprendizado variam dinamicamente para a convergência do mapa. Continuação. Continue do passo 2 até que não sejam observadas modificações significativas no mapa de características.

Como se pode ver, os parâmetros que regulam o SOM são vários, podendo ser agrupados basicamente em dois conjuntos: aqueles que definem a estrutura do mapa (dimensões, vizinhança e topologia do arranjo, raio e tipo da função de vizinhança) e aqueles que controlam o treinamento propriamente dito (tipo de treinamento, taxa de aprendizado, épocas de treinamento). A escolha desses parâmetros não possui critérios mensuráveis, são propostas essencialmente heurísticas baseadas no comportamento do mapa e

em médias estatísticas de critérios de qualidade [10]. Uma informação de grande relevância são os dados de entrada que serão utilizados no treinamento da rede e que, neste caso, referem-se a informações provenientes dos sinais eletroencefalográficos. A análise dos sinais de EEG é complexa, devido à enorme quantidade de informação recebida de cada eletrodo. Diferentes tipos de ondas, assim como as muitas ondas de rádio, são categorizados pela sua freqüência e, em alguns casos, pelo aspecto de suas formas de onda. Embora nenhuma dessas ondas seja emitida sozinha, o estado de consciência dos indivíduos pode fazer uma freqüência sobressair-se mais que as outras [11]. Dessas ondas, cinco são particularmente importantes, e suas características estão resumidas na Tabela 1. Tabela 1 – Características e ocorrências dos ritmos cerebrais [12]. Ritmo Delta (δ)

Faixa de Freqüência > 0,1 Hz < 3,5 Hz

Faixa de Amplitude

Situação de Ocorrência

< 200 µV

Sono profundo

Teta (θ)

> 4,0 Hz < 7,5 Hz

> 20 µV < 100 µV

Alfa (α)

> 8,0 Hz < 13,0 Hz

< 50 µV

Mu (µ)

> 8,0 Hz < 12,0 Hz

< 50 µV

Beta (β)

> 14,0 Hz < 30,0 Hz

> 5 µV < 30 µV

Meditação, sonolência ou situações de estresse e frustração Relaxamento e pouca atividade mental Atividade motora, atenuado pela movimentação dos membros Concentração, raciocínio, intensa atividade mental

Apesar da freqüência e da amplitude do ritmo Mu serem similares às do ritmo Alfa, o ritmo Mu é topográfica e fisiologicamente diferente do ritmo Alfa, principalmente porque este último é normalmente adquirido sobre a área occipital do córtex. O fato de que pensamentos a respeito da realização de movimentos podem bloquear o ritmo Mu o tornou importante para as pesquisas em ICCs [13]. A maior parte das tentativas para controlar um computador utilizando sinais de EEG funciona pelo monitoramento das ondas Alfa e Mu, já que é possível aprender a modificar a amplitude dessas duas ondas com o devido esforço mental [11].

Para validar os estudos sobre sinais coletados sobre o córtex motor e para o desenvolvimento do classificador, foi utilizado um banco de dados de sinais de EEG disponibilizado pelo Departamento de Informática Médica do Instituto de Engenharia Biomédica da Universidade de Graz, na Áustria. Os dados foram gravados de um indivíduo normal (mulher, 25 anos) que está relaxado e sentado em uma cadeira com repouso para os braços, em frente a um monitor de vídeo. A tarefa do indivíduo é controlar uma barra apresentada na tela por meio da imaginação do movimento da mão esquerda ou direita. Uma vez iniciada a sessão, os sinais de EEG começam a ser gravados, sendo que os dois primeiros segundos são silenciosos. Em t = 2 s, um sinal sonoro indica o início do experimento propriamente dito e uma cruz (“+”) aparece na tela durante 1 segundo. No instante t = 3 s, uma seta apontando para a esquerda ou para a direita é apresentada na tela, e é então pedido ao indivíduo que mova a barra que está na tela no sentido determinado, apenas imaginando o movimento da mão referente ao sentido da seta. A Figura 3 mostra a distribuição dos eventos durante o intervalo de uma gravação [14].

Figura 3 – Distribuição temporal dos eventos ocorridos durante uma gravação. O sinal eletroencefalográfico foi adquirido por três canais em configuração bipolar (anterior e posterior) efetuando medições sobre as posições C3, Cz e C4, de acordo com o sistema 10-20, conforme visto na Figura 4. O registro do sinal foi feito por um amplificador G.tec e eletrodos de Ag/AgCl. O sinal de EEG foi amostrado a uma freqüência de 128 Hz, e filtrado entre 0.5 Hz e 30 Hz. O conjunto de dados consiste de 280 gravações de 9 segundos cada, das quais 140 foram utilizadas para o treinamento e 140 para o teste da rede, e foi salvo no formato de arquivo do Matlab®. Para as simulações referentes ao tratamento dos sinais obtidos da Universidade de Graz, foi utilizado o SOM Toolbox© [15] desenvolvido para Matlab®, adquirido sob a licença GNU General Public License.

Figura 4 – Disposição dos eletrodos bipolares sobre o escalpo de acordo com o sistema 10-20. Uma característica interessante observada nos sinais adquiridos sobre o córtex motor é que durante a imaginação de um movimento ocorre uma espécie de supressão do ritmo Mu no hemisfério contralateral, ou seja, no hemisfério do lado oposto ao lado onde se deseja realizar o movimento [16]. Na Figura 5 é possível observar que a amplitude do sinal referente ao rimo Mu adquirido sobre o lado direito do escalpo é menor que a amplitude do sinal coletado do lado esquerdo, que no exemplo da figura se refere ao lado que se deseja realizar o movimento.

Figura 5 – Análise temporal do sinal coletado pelo eletrodo da esquerda na posição C3 (em azul) e pelo eletrodo da direita na posição C4 (em verde) durante uma das gravações referentes à imaginação do movimento da mão esquerda. Em vista disso, parece razoável lançar mão de algum artifício que, de forma simplificada, represente quantitativamente essa característica observada. Assim, tomou-se o espectro de potência (Power Spectral Density – PSD) de cada uma das 140 gravações dos canais em C3 e C4, no intervalo entre t = 4 s e t = 8 s, em janelas de 1 segundo, com superposição de 94%, pelo método Welch. O valor de pico do vetor de amostras de potência por unidade de freqüência, obtida pelo método anterior, juntamente com a covariância das amostras de cada canal no mesmo intervalo de tempo, foram utilizados como entrada para o treinamento da rede; logo, o vetor de entradas tem dimensão 4.

O mapa utilizado neste trabalho consiste de uma grade retangular de dimensão 12 x 12, inicializada linearmente no espaço de dados, estando os neurônios arranjados hexagonalmente entre si, conforme mostrado na Figura 6.

Para que seja possível a classificação dos estados mentais, o mapa de características deve ser rotulado, com cada neurônio atribuído a uma classe ou a outra dependendo de como ele responde a dados de teste retirados da distribuição de entrada. Se os dados de entrada forem previamente rotulados, como é o caso neste trabalho, há a possibilidade de que dados com diferentes rótulos sejam representados pelo mesmo neurônio. Isto não é necessariamente um erro, mas uma interpretação de similaridade dos dados segundo a óptica do SOM. Dentre as possibilidades de rotulação do SOM, uma opção interessante é a de rotular o neurônio conforme o rótulo do dado mais próximo do vetor de pesos do neurônio em questão [10]. O resultado obtido para essa abordagem é apresentado na Figura 8.

Figura 6 – Projeção em 2 dimensões do mapa após inicialização. Os pontos azuis e os pontos vermelhos são respectivamente as componentes principais (PCA) referentes à imaginação do movimento da mão esquerda e da mão direita. O treinamento da rede foi dividido em duas subfases. Na primeira delas (fase de ordenação) o raio de vizinhança decresceu exponencialmente com valor inicial de 3, enquanto que a taxa de aprendizado decresceu, também de maneira exponencial, com valor inicial de 0,1. Na segunda fase (fase de convergência), o raio de vizinhança decresceu linearmente de 1 a 0 (zero), e a taxa de aprendizado foi fixada em 0,005. Nesse segundo caso, apenas o neurônio vencedor é atualizado. Em ambas as fases foi escolhida a função de vizinhança gaussiana, por ser uma escolha típica devido ao fato de evidenciar melhor os agrupamentos.

Figura 8 – Mapa bidimensional com os neurônios rotulados após treinamento. A classe esquerda está em azul (L - left) e a direita em vermelho (R - right). A Tabela 2 mostra o resultado de classificação do SOM para cinco treinamentos distintos. É muito interessante observar que para uma coleção de dados de entrada obtidos de forma muito simples, o mapa de características apresentou resultados muito satisfatórios.

Resultados Na Figura 7, o mapa é apresentado após o treinamento, e aparece já adaptado sobre os dados do espaço de entrada.

Tabela 2 – Resumo dos desempenhos de classificação realizada pelo SOM proposto. Tentativa 1 2 3 4 5 Média

Porcentagem de acerto na classificação dos estados mentais 83,57% 85,00% 85,71% 84,29% 85,72% 84,86%

Discussão e Conclusões

Figura 7 – Mapa adaptado sobre os dados após o treinamento.

Embora os resultados não pareçam expressivos sob o ponto de vista de precisão na classificação (que, por conseqüência, interferiria na confiabilidade da ICC), deve-se mencionar que

84,86% de acerto com a aplicação de um único método é um resultado bastante significativo, principalmente se for considerada a simplicidade tanto conceitual quanto de implementação do SOM. Como trabalhos futuros, sugere-se o estudo de outras variações nos parâmetros do mapa, bem como o uso do ritmo Beta como entrada da rede. Também é proposta na literatura a combinação do resultado fornecido pelo SOM com um estágio posterior de classificação, como um LVQ (Learning Vector Quantization), por exemplo [7], a fim de se obter um sistema mais robusto e confiável.

[8] Kohonen T. Self-Organized Formation of Topologically Correct Feature Maps. Biological Cybernatics. 1982; (43):59-69.

Agradecimentos

[11] Ochoa JB. EEG Signal Classification for BrainComputer Interface Applications [trabalho de conclusão de curso]. Lausanne: Ecole Poytechnique Federale de Lausanne; 2002.

Os autores agradecem ao professor Renato A. Krohling e ao FACITEC/PMV - Fundo de Apoio à Ciência e Tecnologia do Município de Vitória (Processo 061/2007) pelo financiamento concedido. Referências [1] Springer SP; Deutsch G. Cérebro Esquerdo, Cérebro Direito. 2ª Edição. São Paulo: Summus; 1998. [2] Ebrahimi T, Vesin JM, Garcia G. Brain-Computer Interfaces in Multimedia Communication. IEEE Signal Processing Magazine. 2003 jan; 20(1):14-24; [3] Wolpaw J, Birbaumer N, McFarland D, Pfurtscheller G, Vaughan T. Brain-computer Interfaces for Communication and Control. Clin. Neurophysiol. 2002; (113):767-791. [4] Millán JdR, Mouriño J. Asynchronous BCI and Local Neural Classifiers: An Overview of the Adaptive Brain Interface Project. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 2003; 11(2):159-161. [5] Keim ZA, Aunon JI. A New Mode of Communication between Man and his Surroundings. IEEE Transactions on Biomedical Engineering. 1990 dec; 37(12):1209-1214. [6] Silva RL, Bastos TF, Vassalo RF. Desenvolvimento de uma Interface Homem-Máquina para Controle de Cadeira de Rodas Robótica Através de PDA. XII Reunión de Trabajo en Procesamiento y Control (RPIC 2007). [7] Haykin S. Redes Neurais: Princípios e Prática. 2ª Edição. Porto Alegre: Bookman; 2001.

[9] Kohonen T. Self-Organizing Maps. Heidelberg; New York: Springer; 2001.

Berlin;

[10] Zuchini MH. Aplicações de Mapas AutoOrganizáveis em Mineração de Dados e Recuperação de Informações [dissertação]. Campinas (SP): Universidade Estadual de Campinas; 2003.

[12] Kugler M. Uma Contribuição ao Desenvolvimento de Interfaces Cérebro-Computador Utilizando Potenciais Visualmente Evocados [dissertação]. Curitiba (PR): Centro Federal de Educação Tecnológica do Paraná; 2003. [13] Azevedo AP. Estudo do Sinal Eletroencefalográfico (EEG) Aplicado a Interfaces Cérebro-Computador com uma Abordagem de Reconhecimento de Padrões [dissertação]. Vitória (ES): Universidade Federal do Espírito Santo; 2005. [14] Pfurtscheller G, Schlögl A. Dataset: BCI Competition; 2003 [acesso em 21 de junho de 2008]. Disponível em: http://ida.first.fraunhofer.de/projects/bci/competition_i i/. [15] Vesanto J, Himberg J, Alhoniemi E, Parhankangas J. SOM Toolbox for Matlab 5 [documentação]. Helsinki: Helsinki University of Technology; 2000 [acesso em 31 de junho de 2008]. Disponível em: http://www.cis.hut.fi/projects/somtoolbox/. [16] Pfurtscheller G, Neuper C. Motor Imagery and Direct Brain–Computer Communication. Proceedings of the IEEE. 2001 jul; 89(7):1123-1134. Contato Felipe Dalvi Garcia – Graduando do Curso de Engenharia de Computação da Universidade Federal do Espírito Santo (UFES); Bolsista de Iniciação Científica. Endereço: R. Sesquicentenário, 232, Novo México, Vila Velha, ES. Telefones: (27) 3335-2661, (27) 3399-7688. E-mails: [email protected], [email protected]