O documento discute redes neurais, começando com a estrutura do cérebro e modelo de McCulloch-Pitts. Apresenta perceptrons de camada simples e multicamadas, explicando que perceptrons de camada simples são insuficientemente expressivos, ao contrário de redes multicamadas que podem representar qualquer função contínua. Descreve o algoritmo de retropropagação para treinamento de redes multicamadas.

1. Redes Neurais
Ronaldo F. Ramos, Dr.
ronaldo@cefet-ce.br

2. Roteiro
✹Cérebro
✹Redes Neurais
✹Perceptrons
✹Perceptrons multicamada
✹Aplicações de redes neurais

3. Cérebro
1011 neurônios de > 20 tipos 1014 sinapses, 1 ms-10ms de
ciclo.

4. Modelo de McCulloch-Pitts

5. Função de ativação
a) Função limiar
b) Função sigmóide 1/(1-e-x)
Mudando o bias muda a posição do limiar W[0,1]

6. Implementação de funções lógicas.
Toda função lógica pode ser implementada?
Calcular os pesos para as AND,NOT,OR, XOR?

7. Estruturas de Redes Neurais
Feed-Froward:
Perceptron de camada simples
Perceptron multi camadas
Redes Recorrentes
Redes de Hopfield (Pesos simétricos Wij=Wji)
Máquinas de Boltzman. Funções de ativação estocásticas

8. Redes Feed-Forward
•Família parametrizada de equações não lineares

9. Perceptrons
•Família parametrizada de equações não lineares

10. Expressividade dos Perceptrons
Considere g como uma fução de saída do tipo
“passo” (STEP)
Com isso poderemos representar AND, OR, NOT,
maioria, etc.
Representa um separador linear do espaço de entrada.

11. Aprendizagem nos perceptrons
Considere g como uma fução de saída do tipo
“passo” (STEP)
Com isso poderemos representar AND, OR, NOT,
maioria, etc.
Representa um separador linear do espaço de entrada.
!
!
!
!
!
!
!
!
Quantas funções com n entradas binárias = 22n
Quantas linearmente separáveis ➔?

12. Aprendizagem nos perceptrons
Erro quadrático
!
!
!
Gradiente descendente
!
!
!
!
!
Regra de ajustes dos pesos
!
!
!
α = taxa de aprendizagem

13. Aprendizagem nos perceptrons
Converge para uma função consistente para qualquer
conjunto de dados linearmente separável.

14. Perceptrons multicamada
Camadas, em geral, totalmente conectadas. Número de
unidades ocultas escolhidas empiricamente.

15. Perceptrons multicamada
Qualquer função contínua com 2 camadas ou qualquer
função com 3 camadas.

16. Aprendizagem com retroprogração (BackPropagation)
Camada de saída: Igual ao perceptron:
!
!
!
Onde:
!
Camadas ocultas “retropropagam” o erro da camada de
saída.
!
!
!
Atualização dos pesos nas camadas ocultas:
!
!
Neurocientistas afirmam que o cérebro não faz isso!

17. Comparação com árvores de decisão.

18. Exemplo dos caracteres escritos.

19. Resumindo
•Cérebros têm neurônios = cada neurônio é uma unidade de
limiar linear.
•Perceptrons de uma camada são insuficientemente
expressivos.
•Redes multicamadas são suficientemente expressivas e
podem ser treinadas por “backpropagation”.
•Existem inúmeras aplicações.
•Existem inúmeras ferramentas de trabalho
(matlab,jnns,etc).

20. Outros tipos de redes