O documento introduz o conceito de deep learning e suas aplicações em neuroimagem. Ele discute o que é aprendizagem de máquina e deep learning, como as redes neurais funcionam, e exemplos de como o deep learning pode ser usado para segmentar tumores cerebrais e prever resultados para pacientes com doenças neurológicas usando imagens médicas.

1. Introdução à Deep Learning
e suas aplicações em
neuroimagem
Walter Hugo Lopez Pinaya
Universidade Federal do ABC (UFABC), SP – Brazil
walhugolp@gmail.com

2. Estrutura da aula
O que é aprendizagem de máquina?
O que é Deep Learning?
Como funciona Deep Learning?
Deep Learning para neuroimagens
2Introdução à Deep Learning - Walter Hugo Lopez Pinaya

3. Aprendizagem de máquina

4. Escrever programas que
resolvem um problema
4Introdução à Deep Learning - Walter Hugo Lopez Pinaya

5. Escrever programas que
aprendem a
resolver um problema
a partir de exemplos
5Introdução à Deep Learning - Walter Hugo Lopez Pinaya

6. O que é aprendizagem de máquina?
•Algoritmos que podem aprender dos dados e fazer
predições deles
•Estatística computacional e otimização matemática para
descobrir tendências e padrões
6Introdução à Deep Learning - Walter Hugo Lopez Pinaya

7. Aprendizado supervisionado
Classificação e regressão
7
Idade
Resposta ao tratamento
Diagnóstico
Modelo
Voxels
Dados clínicos
Caracteristicas…
Introdução à Deep Learning - Walter Hugo Lopez Pinaya

8. Aprendizado supervisionado
Classificação e regressão
8
Idade
Resposta ao tratamento
Diagnóstico
Modelo
y = f(x)
Voxels
Dados clínicos
Caracteristicas…
Introdução à Deep Learning - Walter Hugo Lopez Pinaya

9. Aprendizado supervisionado
Classificação e regressão
9
Encontrar uma função matemática que melhor transforma os dados de
entrada na saída desejada a partir de exemplos
Idade
Resposta ao tratamento
Diagnóstico
Modelo
y = f(x)
Voxels
Dados clínicos
Caracteristicas…
Introdução à Deep Learning - Walter Hugo Lopez Pinaya

10. Aprendizagem de máquina tradicional
Introdução à Deep Learning - Walter Hugo Lopez Pinaya 10
Pixel 2
Pixel1
Pixel 2
Pixel 1
Bicicleta
Não-Bicicleta
Aprendizagem de
máquina

11. Aprendizagem de máquina tradicional
Introdução à Deep Learning - Walter Hugo Lopez Pinaya 11
Pixel 2
Pixel1
Pixel 2
Pixel 1
Bicicleta
Não-Bicicleta
Aprendizagem de
máquina

12. Aprendizagem de máquina tradicional
Introdução à Deep Learning - Walter Hugo Lopez Pinaya 12
Pixel 2
Pixel1
Pixel 2
Pixel 1
Bicicleta
Não-Bicicleta
Aprendizagem de
máquina

13. Aprendizagem de máquina tradicional
Introdução à Deep Learning - Walter Hugo Lopez Pinaya 13
Pixel 2
Pixel1
Guidão
Pedais
Bicicleta
Não-Bicicleta
Aprendizagem de
máquina
Guidão
Pedais
Características

14. Características de áudio
14Introdução à Deep Learning - Walter Hugo Lopez Pinaya

15. Características de visão computacional
15Introdução à Deep Learning - Walter Hugo Lopez Pinaya

16. Engenharia de características
Necessidade de uma engenharia cuidadosa e considerável
expertise no domínio
16Introdução à Deep Learning - Walter Hugo Lopez Pinaya

17. Engenharia de características
Necessidade de uma engenharia cuidadosa e considerável
expertise no domínio
Custo substancial em termos de conhecimento e tempo
17Introdução à Deep Learning - Walter Hugo Lopez Pinaya

18. Boas características
são essenciais para o
sucesso de aprendizagem de máquina
80% ~ 90% do esforço
18Introdução à Deep Learning - Walter Hugo Lopez Pinaya

19. Boas representações?
19Introdução à Deep Learning - Walter Hugo Lopez Pinaya

21. Deep Learning

22. Vamos aprender as
características ao
invés de desenvolvê-
las manualmente

23. Representações com múltiplos níveis e complexidade crescente
23Introdução à Deep Learning - Walter Hugo Lopez Pinaya

24. O que é Deep Learning?
Algoritmos que exploram a estrutura de dados de entrada desconhecida
para extrair vários níveis de representações
Características aprendidas de nível superior como uma composição não
linear de conceitos de nível inferior
Os conceitos de alto nível são mais invariantes para a maioria das
variações que estão frequentemente presentes nos dados de entrada
24Introdução à Deep Learning - Walter Hugo Lopez Pinaya

25. Introdução à Deep Learning - Walter Hugo Lopez Pinaya 25
Fevereiro, 2015 Janeiro, 2016

26. Aplicações
• Reconhecimento de fala
• Visão computacional
• Reconhecimento de objeto
• Segmentação semântica
• Detecção de objetos
• Processamento Natural de Linguagem
26Introdução à Deep Learning - Walter Hugo Lopez Pinaya

27. Aplicações
• Reconhecimento de fala
• Visão computacional
• Reconhecimento de objeto
• Segmentação semântica
• Detecção de objetos
• Processamento Natural de Linguagem
27Introdução à Deep Learning - Walter Hugo Lopez Pinaya

28. Aplicações
• Reconhecimento de fala
• Visão computacional
• Reconhecimento de objeto
• Segmentação semântica
• Detecção de objetos
• Processamento Natural de Linguagem
28Introdução à Deep Learning - Walter Hugo Lopez Pinaya
GATO

29. Aplicações
• Reconhecimento de fala
• Visão computacional
• Reconhecimento de objeto
• Segmentação semântica
• Detecção de objetos
• Processamento Natural de Linguagem
29Introdução à Deep Learning - Walter Hugo Lopez Pinaya

30. Aplicações
• Reconhecimento de fala
• Visão computacional
• Reconhecimento de objeto
• Segmentação semântica
• Detecção de objetos
• Processamento Natural de Linguagem
30Introdução à Deep Learning - Walter Hugo Lopez Pinaya

31. Aplicações
• Reconhecimento de fala
• Visão computacional
• Reconhecimento de objeto
• Segmentação semântica
• Detecção de objetos
• Processamento Natural de Linguagem
31Introdução à Deep Learning - Walter Hugo Lopez Pinaya
CÃO CÃO GATO

32. Aplicações
• Reconhecimento de fala
• Visão computacional
• Reconhecimento de objeto
• Segmentação semântica
• Detecção de objetos
• Processamento Natural de Linguagem
32Introdução à Deep Learning - Walter Hugo Lopez Pinaya

33. Aplicações
33
The Guardian, Julho, 2016
Esteva et al., Nature, 2017
Nature Biotechnology, Agosto, 2015
Introdução à Deep Learning - Walter Hugo Lopez Pinaya

34. Aplicações
34
Detecting Mitosis in
Breast Cancer Cells
-IDSIA
Predicting the Toxicity
of new drugs
-Johannes Kepler University
Understanding Gene Mutation
to prevent Disease
- University of Toronto
Introdução à Deep Learning - Walter Hugo Lopez Pinaya

35. Como funciona?

36. Redes Neurais Artificiais
36
Neurônio artificial
𝑦 = 𝑓 ෍
𝑖
𝑤𝑖 𝑥𝑖 + 𝑏
𝒙 𝟏 𝒘 𝟏
𝒘 𝟐 𝒙 𝟐
𝒘 𝟑 𝒙 𝟑
𝒘 𝟏 𝒙 𝟏
෍
𝑖
𝑤𝑖 𝑥𝑖 + 𝑏 𝑓
axônio para neurónio
dendrito
sinapse
Corpo celular
função de
ativação
Saída do axônio
Introdução à Deep Learning - Walter Hugo Lopez Pinaya

37. Redes Neurais Artificiais
37
Neuron like unit
𝑦 = 𝑓 ෍
𝑖
𝑤𝑖 𝑥𝑖 + 𝑏
𝒙 𝟏 𝒘 𝟏
𝒘 𝟐 𝒙 𝟐
𝒘 𝟑 𝒙 𝟑
𝒘 𝟏 𝒙 𝟏
෍
𝑖
𝑤𝑖 𝑥𝑖 + 𝑏 𝑓
axon from a neuron
dendrite
synapse
cell body
activation
function
output axon
Introdução à Deep Learning - Walter Hugo Lopez Pinaya

38. Redes Neurais Artificiais
38Introdução à Deep Learning - Walter Hugo Lopez Pinaya

39. 39Introdução à Deep Learning - Walter Hugo Lopez Pinaya

40. Redes Neurais Artificiais
40Introdução à Deep Learning - Walter Hugo Lopez Pinaya

41. 41
Repete
Propagação
Retropropagação
“Tartaruga”
Computa o quanto se deve alterar
os pesos para ter mais chance de
predizer cão
Inferência
Rede neural
treinada
“Gato”
Treino
Introdução à Deep Learning - Walter Hugo Lopez Pinaya

42. O problema de redes neurais grandes
Otimização é difícil (Underfitting)
• Vanishing gradient problem
• Retropropagaão fica menos útil para passer
informações para camadas inferiores
42Introdução à Deep Learning - Walter Hugo Lopez Pinaya

43. O problema de redes neurais grandes
Overfitting
• Estamos explorando um espaço de funções complexas
• As redes profundas geralmente têm muitos parâmetros
• Ajusta os dados do treino de forma muito próxima
43Introdução à Deep Learning - Walter Hugo Lopez Pinaya

44. Avanço em 2006
Uso de pré treino não supervisionado
44Introdução à Deep Learning - Walter Hugo Lopez Pinaya

45. 45Introdução à Deep Learning - Walter Hugo Lopez Pinaya

46. Redes Neurais Profundas (2013~)
Agora podemos treiná-los sem pré-treinamento
não supervisionado:
• Melhor inicialização
• Técnicas de regularização
• Não linearidades
Pré-treino não supervisionado:
• Regularização extra
46Introdução à Deep Learning - Walter Hugo Lopez Pinaya

47. Exemplo de redes neurais

48. Redes Neurais Convolucionais
• Inspiradas no cortex visual
• Cada neurônio tem campos receptivos e são invariantes a translação
48Introdução à Deep Learning - Walter Hugo Lopez Pinaya

49. Ganhador ILSVRC 2014
GoogleLeNet: 22 Camadas
49Introdução à Deep Learning - Walter Hugo Lopez Pinaya

50. Combinação de camadas
50Introdução à Deep Learning - Walter Hugo Lopez Pinaya

51. Revolução da profundidade
Ganhador do ILSVRC 2015
• Taxa de erro do GoogleLeNet: 6.7%
• Taxa de erro da ResNet: 3.57%
51Introdução à Deep Learning - Walter Hugo Lopez Pinaya

52. Redes Neurais Recorrentes
Dados sequenciais
• Videos
• Escrita à mão
Processamento natural de
linguagem
• Modelagem de linguagem
• Tradução automática
52Introdução à Deep Learning - Walter Hugo Lopez Pinaya

53. Combinação de redes
Introdução à Deep Learning - Walter Hugo Lopez Pinaya 53

54. Deep Learning
• Deep Boltzmann Machine (DBM);
• Generative Stochastic Networks (GSN);
• Neural Autoregressive Distribution Estimator (NADE)
• Stacked Denoising Autoencoders (SdA);
• Gated Recurrent Units (GRU);
• Generative Adversarial Networks (GAN);
• Ladder Networks;
• ….
54Introdução à Deep Learning - Walter Hugo Lopez Pinaya

55. Fluxo de trabalho de implantação de Deep Learning
55Introdução à Deep Learning - Walter Hugo Lopez Pinaya

56. Deep Learning em poucas palavras
• Permite que sistemas computacionais melhorarem com a experiência e
os dados
• Grande poder e flexibilidade ao aprender a representar os dados como
uma hierarquia aninhada de conceitos
• Cada conceito definido em relação a conceitos mais simples e
representações mais abstratas calculadas em termos de menos
abstratos
• No free lunch: Tendencia para overfitting
56Introdução à Deep Learning - Walter Hugo Lopez Pinaya

58. 58

59. Efeito da profundidade da DBN em sMRI
Pacientes com esquizofrenia
• MRI estrutural (1.5T)
• 389 sujeitos (198 Controle/191 Esquizofrenia)
• 60465 voxels da massa cinzenta
Introdução à Deep Learning - Walter Hugo Lopez Pinaya 59

60. Introdução à Deep Learning - Walter Hugo Lopez Pinaya 60

61. Mapas em 2D
Introdução à Deep Learning - Walter Hugo Lopez Pinaya 61

62. Dados da doença de Huntington em grande escala
• Dataset of 3500 structural MRI scans
• 2641 were from patients and 859 from healthy
controls
• Model architecture  DBN (50-50-100)
Introdução à Deep Learning - Walter Hugo Lopez Pinaya 62

63. 63Introdução à Deep Learning - Walter Hugo Lopez Pinaya

64. Hierarchical feature representation and
multimodal fusion
Alzheimer's Disease Neuroimaging Initiative (ADNI) dataset
• MRI and 18-Fluoro-DeoxyGlucose PET (FDG-PET) data
• 93 AD subjects
• 204 MCI subjects including MCI converters and MCI non-converters
• 101 NC subject
• Downsampled GM density maps and PET images to 64×64×64 voxels
Introdução à Deep Learning - Walter Hugo Lopez Pinaya 64

65. Multimodal fusion
Introdução à Deep Learning - Walter Hugo Lopez Pinaya 65

66. Hierarchical feature representation
Introdução à Deep Learning - Walter Hugo Lopez Pinaya 66
MRI
PET

67. Comparison of classification accuracy with state-
of-the-art methods
67Introdução à Deep Learning - Walter Hugo Lopez Pinaya

68. Hierarchical feature representation and
multimodal fusion
Introdução à Deep Learning - Walter Hugo Lopez Pinaya 68

69. Medical Image Computing and Computer Assisted Intervention
• Multimodal Brain Tumor Segmentation Challenge - BRATS
• Segmentação de gliomas em scans pré operatório
• Previsão da sobrevivência geral do paciente a partir de exames pré-operatórios
Introdução à Deep Learning - Walter Hugo Lopez Pinaya 69

70. Medical Image Computing and Computer Assisted Intervention
• Multimodal Brain Tumor Segmentation Challenge - BRATS
• Native (T1)
• Post-contrast T1-weighted (T1Gd)
• T2-weighted (T2),
• T2 Fluid Attenuated Inversion Recovery (FLAIR)
Introdução à Deep Learning - Walter Hugo Lopez Pinaya 70

71. Medical Image Computing and Computer Assisted Intervention
• Multimodal Brain Tumor Segmentation Challenge - BRATS
• "enhancing tumor“
• "tumor core" (TC)
• "whole tumor" (WT)
Introdução à Deep Learning - Walter Hugo Lopez Pinaya 71

72. U-Nets
Introdução à Deep Learning - Walter Hugo Lopez Pinaya 72

73. Medical Image Computing and Computer Assisted Intervention
• Multimodal Brain Tumor Segmentation Challenge
Introdução à Deep Learning - Walter Hugo Lopez Pinaya 73

74. Conclusão
•Os métodos de aprendizagem recentemente fizeram avanços
notáveis nas tarefas de classificação e aprendizagem de
representações
•Essas tarefas podem trazer grandes avanços em tarefas que
envolvem processamento de imagens cerebrais
74Introdução à Deep Learning - Walter Hugo Lopez Pinaya

75. Obrigado
83Introdução à Deep Learning - Walter Hugo Lopez Pinaya