1. O documento discute redes neurais artificiais, incluindo como funcionam, exemplos e aplicações. 2. Redes neurais são inspiradas no sistema nervoso biológico e podem resolver problemas complexos como classificação de imagens. 3. A aprendizagem em redes neurais envolve minimizar uma função de custo usando o método do gradiente e retropropagação da taxa de erro.

1. Redes Neurais Artificiais
Jonas Rocha Lima Amaro
Ricardo Solon Zalla
27-09-2016
Trabalho para a disciplina de Inteligência Artifical do 5º ano do curso de Engenharia da Computação do
Instituto Militar de Engenharia

2. Agenda
1. As redes neurais vão mudar sua vida
2. Como funcionam
3. Exemplos
4. Aplicações

3. As redes neurais já
mudam sua vida!

4. por exemplo...

5. Classificar gatinhos no Facebook!

6. Self-driving car: risco de atropelamento

7. MNIST - Com erro de 0.87%

8. Um pouco de
contexto

9. Redes Neurais Artificais
- Inspiradas pelas redes neurais biológicas
(sistema nervoso animal - cérebro)
- A abstração da topologia de rede neural geralmente é
convertida com facilidade e produto de matrizes.
- Ultimamente tem apresentado bons resultados na resolução
de problemas de alta complexidade como o CIFAR-10, MNIST
e Detecção de Expressão Facial.

10. 1. Topologia
a. Padrão de conexão entre as camadas de neurônios
2. Função de ativação
a. Conversão da entrada na camada com pesos das interconexões para
ativação no dado de saída da camada
3. Regra de aprendizado
a. Atualização dos pesos entre as interconexões
Tipicamente, são definidas por

11. Uma rede se parece com isso

12. Queremos reduzir o custo
- Função custo:
- Método Gradiente para corrigir os pesos
- Erro é propagado -> Retropropagação

13. Método gradiente

14. Retropropagação

15. - Entrada
- Intermediário
- Saída
- Retropropagação
Recapitulando

16. - Exemplos!

17. Nota na prova (Hsono, Hestudo)

18. Nota na prova (Hsono, Hestudo)

19. Nota na prova (Hsono, Hestudo)

20. Nota na prova (Hsono, Hestudo)

21. Nota na prova (Hsono, Hestudo)

22. Nota na prova (Hsono, Hestudo)

23. Nota na prova (Hsono, Hestudo)

24. Nota na prova (Hsono, Hestudo)
Modelo final

25. Nota na prova (Hsono, Hestudo)
Treinar a rede neural
=
Minimizar a função de custo

26. Nota na prova (Hsono, Hestudo)
Treinar a rede neural
=
Minimizar a função de custo

27. Minimizando o custo

28. Minimizando o custo

29. Minimizando o custo
Treinar a rede neural
=
Minimizar a função de custo

30. Minimizando o custo

31. Minimizando o custo

32. Propriedades

33. Toda rede neural tem as seguintes propriedades
- Poder computacional
- Pesos racionais tem o mesmo poder computacional de uma MT universal
- Pesos irracionais podem prover outputs não computáveis à uma MT
- Capacidade
- Quantidade de informação que a rede pode armazenar;
- Capacidade de modelar uma função de complexidade qualquer
- Convergência
- Capacidade de convergir de um mínimo local para o global;
- Depende do modelo, função de custo, método de otimização
- Generalização e estatística
- Problema de over-training -> cross validation x regularization

34. Tipos de redes
neurais

35. Existem alguns tipos...

36. - Aplicações
Focaremos em aplicações

37. Statics: perceptron
Apenas input layer e output layer
Ex: w1
I1
+ w2
I2
< t
OR perceptron: w1=1; w2=1; t=0.5
-> w1
I1
+ w2
I2
= 0.5

38. Statics: perceptron
Apenas input layer e output layer
Ex: w1
I1
+ w2
I2
< t
OR perceptron: w1=1; w2=1; t=0.5
-> w1
I1
+ w2
I2
= 0.5
Resolve problemas binários;
Não resolve o XOR

39. Statics: perceptron

40. 2 layers
Acréscimo da hidden layer possibilita um novo plano

41. Dynamic feed-forward
Acréscimo da hidden layer possibilita um novo plano

42. Em ação
Tensonflow Playground

43. Problemas

44. Nem tudo é perfeito
- Training
- Base de dados suficientemente diversificada e elevada
- Isso se torna problema para principalmente para algoritmos
supervisionados
- Theoretical
- Não modelam problemas computacionalmente difíceis
- Back propagation nega princípio forward das sinapses
- Definições dos princípios ainda não foram provadas
-> associação estatística é descrita como aprendizado
- Hardware
- Requerem levado processamento e armazenamento

45. Conclusão

46. O mais importante para
construir a sua rede neural
Escolha do modelo - dependem da representação dos dados e da aplicação
Algoritmo de aprendizado - Existem grandes trade-offs e todos funcionam, mas é
preciso selecionar o mais adequado para o treinamento de dados
Função de custo - deve ser selecionada apropriadamente para um resultado
robusto

47. - https://www.youtube.com/watch?v=0qVOUD76JOg
- https://www.youtube.com/watch?v=bxe2T-V8XRs
- http://arxiv.org/pdf/1306.0239.pdf
- https://en.wikipedia.org/wiki/Artificial_neural_network
Referências

48. Backup

49. Work by Hava Siegelmann and Eduardo D. Sontag has provided a proof that a specific
recurrent architecture with rational valued weights (as opposed to full precision real
number-valued weights) has the full power of a Universal Turing Machine[55]
using a finite
number of neurons and standard linear connections. Further, it has been shown that the use
of irrational values for weights results in a machine with super-Turing power.[56]
Hypercomputation or super-Turing computation refers to models of computation that can
provide outputs that are not Turing computable. For example, a machine that could solve the
halting problem would be a hypercomputer; so too would one that can correctly evaluate
every statement in Peano arithmetic.
Computational Power

50. Theoretical problem
“A central claim of artificial neural networks is therefore that it embodies
some new and powerful general principle for processing information.
Unfortunately, these general principles are ill defined and it is often
claimed that they are emergent from the neural network itself.”
->
This allows simple statistical association (the basic function of artificial
neural networks) to be described as learning or recognition. As a result,
artificial neural networks have a "something-for-nothing quality, one that
imparts a peculiar aura of laziness and a distinct lack of curiosity about
just how good these computing systems are. No human hand (or mind) intervenes;
solutions are found as if by magic; and no one, it seems, has learned
anything".[57]

51. Tipos de aplicações
Real-life applications
The tasks artificial neural networks are applied to tend to fall within
the following broad categories:
●Function approximation, or regression analysis, including time series
prediction, fitness approximation and modeling
●Classification, including pattern and sequence recognition, novelty
detection and sequential decision making
●Data processing, including filtering, clustering, blind source
separation and compression
●Robotics, including directing manipulators, prosthesis.
●Control, including Computer numerical control

52. Minimizando o custo