Treinamento de aprendizagens de Redes Neurais Artificiais

Perceptron - AND
Com números expressivos de neurônios, houve bastante oscilação do número final de iterações, entre 50 e 200, no entanto, a taxa de erro começou a sofrer modificações que permitiu que com 40 neurônios a mais, ela caísse 50%;

Com o número de neurônios inicial e uma taxa de aprendizado alta 10.5, ele volta a aprender muito mais rápido;
Da mesma forma que o OR, ele chega até uma taxa "aceitável" de aprendizado, se ela é muito grande, ele não aprende e cai em vale, ou começa a regredir;
Aumentar o número de neurônios, piorou a situação;
Com a taxa de aprendizado >= a 29.6 ele volta a obter bons resultados ( A observação maior é que o número de neurônios tem que ser 5, porque a maioria testada ele cai em vale);
1 neurônio a menos traz uma melhora de quase 50% ( com 3 neurônios, ele diminui mais o número de iterações (29), mas a taxa de erro aumenta e passa a ser de 0.000934. Com apenas 2 ele cai em vale;
Melhor resultado, depois de diversas modificações em taxa de aprendizado e número de neurônios, esse apresentou a menor taxa de erro, com um número baixo de iterações;

Treinamento Aprendizagem Adaline
Resultado
Desempenho
As saídas quase todas saíram pelos erro_tolerável; quanto maior o valor dos pesos sinápticos mais iterações acorreram;

As classificações são bem próximas do valor do erro_tolerável, e a medida que vai se ajustando os pesos, a reta fica perto da saída desejada;

É menos suscetível aos erros.


2
Perceptron
Perceptron – Treinamento de aprendizagem apresentando exemplos em OR e AND.
fim!!
Metodologia
Configurações:
32 exemplos testados , sendo 14 usando OR e o restante trabalhando com And.;
Nodos da Camada Escondida (5,15,4,20, 16,13,10,9,3,45,7,14)
Número de Iterações (10000-500)
Taxa de Aprendizagem (0.1, 0.0001, 30.0)
Treinamento
BackPropagation



Sem alteração no código:


Treinamento - Adaline
CENTRO UNIVERSITÁRIO INTERNACIONAL UNINTER
Campus Tiradentes
Treinamento de aprendizagens de Redes Neurais Artificiais
Adaline - Perceptron
Esp. Eleuzair Cunha Neves –
Profa. Dra. Neusa Grando
Sumário
OBJETIVOS
Verificar e comparar desempenho dos classificadores
METODOLOGIA
Processamento – Teste do algoritmo de aprendizagem
TREINAMENTO
Prático do Treinamento do Adaline
Prático do Treinamento do Perceptron
RESULTADOS
Desempenho
Gráfico da Aprendizagem





Adaline
Treinamento de aprendizagem: O neurônio deverá aprender a reconhecer as características que diferem homens de mulheres usando como referências comprimento de cabelo e frequência de voz.
1
Metodologia - Treinamento de aprendizagem Adaline
Metodologia utilizada no Estudo de Caso:
Conjuntos de amostras de treinamentos com valores aleatórios;
Atualizações na taxa de aprendizado e erro_tolerável;
Atualizações dos valores referentes ao comprimento dos cabelos e frequência tonal de voz;
Dados:
10 amostra de exemplos
Erro Médio Quadrático
Erro tolerável (0.083 ....)
Número de Iterações (350-500)
Taxa de Aprendizagem (0.001 - 0.00001)
Treinamento



Treinamento
30 Simulações (2x cada)
Média dos Resultados
Observações: encontra a reta ótima que separa o plano das duas classes (comp. Cabelo/frequência de voz).


Treinamento
80 Simulações
Média dos Resultados
minimizar aleatoriedade da rede
Observações:
Com neurônios impares (11,13,17) o número de iterações aumentava; em números pares (12,14,16) diminuía;
Acima de 57 neurônios os resultados não foram mais satisfatórios, ou seja, os números só cresceram e começaram entrar no vale;
Após 32(taxa aprendizagem) nenhum resultado conseguiu atingir um número menor de erro;
Para iteração com números maiores, basta diminuir os neurônios e aumentar a taxa de aprendizado(respeitando os valores ).

Metodologia - Perceptron
Processamento do código:
Divisão das Classificações
50% - teste com Algoritmo BackPropagation trabalhando com OR
Aleatorização dos dados
treinamento

50% - teste com Algoritmo BackPropagation trabalhando com AND;
– Aleatorização dos dados
treinamento
RESULTADOS E DESEMPENHOS
ID 1

ID 1
Iterações
Erro tolerável
Taxa de aprend.
Nº neurônios camada oculta
wkj (Peso camada entrada para oculta )
Nº. Final de Iterações
Taxa de erro
10000
0.002
0.1
5
wkj[k][j] = (double)(100-rand()%201)/100;
4605
0.001999
Como ela estava configurada no início
RESULTADOS E DESEMPENHOS
Diminuindo taxa de aprendizado e neurônios, ele aprendeu com menos erro e mais rápido. QUANTO MENOS neurônios, ELE APRENDEU MAIS RAPIDO, MAS AUMENTOU O ERRO.
TRABALHANDO COM OR


3
Considerações finais
Perceptron - AND
Diferente do OR, ele não cai em vale com 16 neurônios, embora a diferença seja pequena, ele aprende mais rápido ( Com 17 ele volta a aprender mais devagar (6628 iterações) , e o número de iterações aumenta a cada neurônio da camada oculta que é colocada a mais;
Volta a aprender mais rápido com um número maior de neurônios ( Testes feito com 21, 25, 27, 30 todos mostram a mesma taxa de erro com um número de iterações maiores);
Aumentando a taxa de aprendizado e diminuindo o erro tolerável, ele aprende mais rápido;
Com a taxa de aprendizado de 0.5 cai em mais da metade o número de iterações;
Número maior de iterações quando é tirando a função randômica;
Aumento de iterações em relação a função randômica e a 1, com 0.0001 para menos na taxa de erro;
Número de iterações bem menor com uma taxa de aprendizado triplicado (1.5)
Menos neurônios, aumentam números de iterações
Menos neurônios, mas com uma maior taxa de aprendizado volta a diminuir números de iterações
Taxa de aprendizado maior e mais neurônios, vários testes foram feitos de 5 a 10 neurônios e diferentes taxas de aprendizado ( sempre aumentando os números), mostraram resultados em que as taxas de iteração diminuíam a cada modificação.


RESULTADOS E DESEMPENHOS
Foram feitos vários testes com a taxa de aprendizado, em cada teste ela diminuía o número de iterações, ou seja, ela aprendia mais rápido...29.6 foi o limite, a partir de 29.7 ela realizou menos iterações (foram 10), mas aumentou a taxa de erro, 29.8 começa a aprender mais devagar novamente
Mesmo aumentando o erro tolerável, com 1 neurônio a menos, ela demora muito mais para aprender.
RESULTADOS E DESEMPENHOS
Mesma taxa de erro, mas aumentando neurônios na camada oculta, ela fez menos iterações
Como previsto, diminuindo a taxa de erro tolerável ele leva bem mais iterações para chegar ao resultado, mas não o dobro.
RESULTADOS E DESEMPENHOS
Mesma taxa de erro, mas aumentando neurônios na camada oculta, ela fez menos iterações.
Mudando a função randômica para 1, ele sai pelo erro, porém quase dobra as taxas de iteração.
RESULTADOS E DESEMPENHOS
0 a taxa de erros
Número pequeno de iterações, taxa de erro pequena, se diminuir a taxa de aprendizado ele faz menos iterações , mas aumenta a taxa de erro.
RESULTADOS E DESEMPENHOS
0 a taxa de erros
Número pequeno de iterações, taxa de erro pequena, se diminuir a taxa de aprendizado ele faz menos iterações , mas aumenta a taxa de erro.
RESULTADOS E DESEMPENHOS
Mudando a função randômica para 0, ele faz quase o mesmo número de iterações que a do exemplo 5, provando que a fórmula randômica é a mais eficiente.
Foram feitos vários testes com a taxa de aprendizado,
em cada teste ela diminuía o número de iterações, ou seja, ela aprendia mais rápido...29.6 foi o limite, a partir de 29.7 ela realizou menos iterações (foram 10), mas aumentou a taxa de erro, 29.8 começa a aprender mais devagar novamente.
RESULTADOS E DESEMPENHOS
Mesmo aumentando os neurônios, chega um momento em que ele não aprende mais rápido, pelo contrário, ele começa a regredir.
Taxa menor de erros, porém mais iterações

26

3

12

16

6

7

8

1
12/17/2009

nº
Clique para editar o título Mestre
Clique para editar o texto mestre
12/17/2009

nº

Clique para editar o título mestre
Clique para editar o estilo do subtítulo mestre
Clique para editar o título mestre
Clique para editar o texto mestre
Segundo nível
Terceiro nível
Quarto nível
Quinto nível
Clique para editar o texto mestre
12/17/2009

nº
12/17/2009

nº

Clique para editar o título mestre
Clique no ícone para adicionar mídia
Clique para editar o texto mestre

Clique para editar o título mestre
Clique no ícone para adicionar uma imagem
Clique para editar o texto mestre
12/17/2009

nº
Clique para editar o texto mestre
Segundo nível
Terceiro nível
Quarto nível
Quinto nível
12/17/2009

nº
Clique para editar o título Mestre
12/17/2009

nº
Clique para editar o título mestre
Clique para editar o título mestre
Clique para editar o texto mestre
Segundo nível
Terceiro nível
Quarto nível
Quinto nível
Clique para editar o texto mestre
Segundo nível
Terceiro nível
Quarto nível
Quinto nível
12/17/2009

nº
Clique para editar o título mestre
12/17/2009

nº
Clique para editar o texto mestre
Segundo nível
Terceiro nível
Quarto nível
Quinto nível

12/17/2009

nº
Clique para editar o estilo do subtítulo mestre
Clique para editar o título mestre
Clique para editar o título mestre
Clique para editar o texto mestre

nº



Clique para editar o título mestre
Clique para editar o texto mestre
Segundo nível
Terceiro nível
Quarto nível
Quinto nível
12/17/2009

nº
Clique para editar o título mestre
12/17/2009

nº
Clique para editar o texto mestre
Segundo nível
Terceiro nível
Quarto nível
Quinto nível
Clique para editar o título mestre
Clique para editar o texto mestre
Segundo nível
Terceiro nível
Quarto nível
Quinto nível
12/17/2009

nº

12/17/2009

Clique para editar o texto Mestre
Segundo nível
Terceiro nível
Quarto nível
Quinto nível

nº