Democratizando o Deep Learning.
E depois ?
medium.com/@pierre_guillou Deep Learning Brasil Summer School 2018
O Deep Learning
não é uma religião.
É uma técnica ao
serviço do ser humano.
Podemos admirar o DL
e também, criticá-lo.
O Deep Learning é uma
técnica incrível.
Inteligência Artificial
(IA)
IA | Técnicas para máquinas atuarem como humanos
Fonte : A history of Deep Learning
IA | Uma definição que muda com as técnicas
1950 - 2000 1990 - 2020 Ficção-científica
IA especializada (fraca) IA geral (forte)
Futuro
Deep Learning
(DL)
DL | Treinar a aprender em vez de programar
Aprendizagem
pelo treinamento
gato =
= cachorro
Programação de uma lista
de características
DL | Rede que aprende com seus erros
rosto
rosto
corpo
pé
mão
mão
rosto
erro !
BackPropagation do
gradiente do erro.
É o método de
aprendizagem de uma
rede neural profunda :
ela vai aprender com
seus erros.
1 2 3
4
5
Comparador
DL | ConvNet, uma rede neural inspirada pelo cérebro
Fontes :
A Beginner's Guide To Understanding Convolutional Neural Networks
An Intuitive Explanation of Convolutional Neural Networks
Aplicações do DL
Visão Linguagem Dados
Carros autônomos | Ver o mundo em tempo real
Fonte : Mask R-CNN (2017)
Outros setores de aplicação :
as câmeras de segurança, as
redes sociais...
Saúde | Decodificação do câncer
Detectar
Fonte : High-Resolution Breast Cancer Screening with
Multi-View Deep Convolutional Neural Networks (2017)
Prever
Fonte : Freenome
Educação | Aprendizado personalizado
Fonte : A market for emotions
Criatividade | Da imitação para a criação
Fonte : Synthesizing Obama: Learning Lip Sync from Audio (2017) | (Video (1:47s) sobre o processo)
Aplicações do DL
Visão Linguagem Dados
Comunicação | Tradução em tempo real
Fonte : Skype Translator – How it Works (2014) | Vídeo
DL DL
Deficiência | Legendas automáticas das imagens
Correto
Fonte : Phrase-based Image Captioning (2015)
Um jogador de beisebol usando um taco
em um campo de beisebol
Falso
Um gato sentado em cima de uma mesa
com um laptop
Jornalismo | Está lendo um artigo escrito por uma IA
Fonte : Recode: The Washington Post will use robots to write stories about the Rio Olympics (2016)
Linguagem | Para cada problema, há um DL
Fonte : 7 Applications of Deep Learning for Natural Language Processing (2017)
Classificação de texto spam, idioma, género…
Modelagem de linguagem geração de título, de textos…
Reconhecimento de fala transcrever um discurso...
Geração de legendas imagens, vídeos...
Tradução em tempo real tradução....
Resumo de documentos criar um título/resumo para um documento...
Respostas a perguntas responder a perguntas sobre artigos da Wikipédia, de
notícias, papeis médicos...
Aplicações do DL
Visão Linguagem Dados
Comércio | Sem caixas, nem vendedores
Fonte : Amazon Go | Vídeo
Empresas | Obter o máximo de valor de dados
Fontes :
Fraud Detection Techniques (2015)
Machine Learning in Human Resources (2017)
4 ways how Deep Learning is revolutionizing Marketing & Sales (2017)
Indústria | Economizar e otimizar mais com os dados
Fonte : DeepMind AI Reduces Google Data Centre Cooling Bill by 40% (2016)
Com o DL, o Google reduziu
sua conta de refrigeração de
seus centros de dados em 40%
Ciência | Uma IA ajudou a descobrir um novo planeta
Fontes :
Grâce à l’intelligence artificielle, la NASA et Google identifient deux nouvelles exoplanètes (2017)
Earth to exoplanet: Hunting for planets with machine learning (2017)
As razões da
democratização do DL
DL | Tudo o mundo pode criar uma IA mas...
Computação
(GPU)
Carro Ferramentas Motor Gasolina Motorista
Modelos de DL
(ConvNet)
Open
source
Big Data
Empresas
de carros
Centros de
pesquisa
GAFAs
Institutos e
conferências
do DL
Saber e
funcionários
Cursos
universitários,
MOOCs,
Internet
Mídias
Motivação,
emoção,
desejo
Mídias
Motivação,
emoção,
desejo
Todas as
empresas e
as pessoas
Todas as
empresas e
pessoas
Processo de
aprendizagem (BP)
Concorrência
Kaggle
Geoffrey HINTON
mostrou que o algoritmo
BP é o método de
aprendizagem do DL
1986
Yann LECUN criou a
rede profunda ConvNet
inspirada pelo córtex
visual e usando o BP
1989
Geoffrey HINTON
venceu a competição
ImageNet com AlexNet,
uma rede ConvNet
2012
Yann LECUN e Yoshua
BENGIO criaram LeNet-5,
primeira ConvNet a ser
usada na vida real
1998
Andrew NG lançou o
primeiro MOOC gratuito em
Machine Learning (mais de
100 000 estudantes)
2011
DL | 30 anos de pesquisa antes do Big Bang de 2012
DL | Os GAFAs se tornam líderes do DL desde 2010
2010 O cloud se tornou disponível a todos e em particular para treinar modelos do DL (Amazon
Web Services, Microsoft Azur, Google Cloud…).
2010 Yoshua BENGIO criou o instituto MILA (Institute for Learning Algorithms) em Montreal
2011 IBM Watson ganhou o jogo Jeopardy nos Estados Unidos
2011 Andrew NG criou o Google Brain, o departamento de IA do Google
2012 Yann LECUN e Yoshua BENGIO criaram o ICLR (International Conference on Learning
Representations) para diminuir o tempo de publicação de um artigo científico no arXiv.org (o
ICLR é o DL colóquio além de ICML em 1980 e de NIPS em 1987)
2013 Geoffrey HINTON se juntou a Google Brain
2013 Yann LECUN criou o FAIR “Facebook Artificial Intelligence Research” no Facebook
2015 TensorFlow (Google) se tornou Open Source
DL | Open Source, institutos e agora Drag & Drop
2015 AlphaGo (DeepMind, uma empresa do Google) foi a primeira IA a vencer um dos melhores
jogadores profissionais do jogo GO
2016 O Google anunciou sua unidade de processamento de Tensor (TPU)
2016 Yoshua BENGIO criou Element AI em Montreal para ajudar o uso da IA nas empresas
2016 Jeremy HOWARD criou o curso online Fast.ai usando muito o Transfert Learning
2017 O Instituto “Futur of Life” publicou “ASILOMAR AI Principles” e o Google comprou o site
Kaggle (uma comunidade de 800 000 data cientistas)
2017 PyTorch (Facebook) se tornou Open Source
2017 Geoffrey HINTON criou o instituto The Vector em Toronto (novo instituto de pesquisa na IA)
2018 NVIDIA criou DIGITS e Google criou a plataforma AutoML Vision, novos serviços que
ajudam os desenvolvedores - incluindo aqueles que não possuem conhecimentos de
aprendizado de máquina (ML) - a criar modelos personalizados de DL em visão
Limites e Questões
sobre o DL
DL | Exemplo do DL nos carros autônomos
Limites técnicos
✓ Problemas de reconhecimento de situações incomuns e de lugares não
estruturados (ex : por causa da neve)
✓ Hacking do sistema de DL
Questões sociais e econômicas
✓ Responsabilidade em caso de acidente
✓ Desemprego de motoristas de caminhões
✓ Reorganização da indústria automobilística e das cidades
✓ Vida privada por causa de todos os dados gravados pelas câmeras dos
carros autônomos
DL | Limites técnicos
Dados Não há bancos de dados sobre tudo
Viés sociais nos dados
Modelo ✓ Processus empírico : até hoje, não há um processo automático
para definir os valores dos hyper-parâmetros (mas o
Learning2learn e “Transfer Learning” já começaram a ser usados)
✓ Tipo de treinamento : hoje 95% supervisionado mas a verdadeira
IA precisa de um treinamento não supervisado
✓ Caixa preta : a pesquisa universitária já começou para entender o
código gerado pelas redes neurais
Linguagem
(Python)
Apesar da plataforma de Drag and Drop do Google, a gente precisa
conhecer bem o Python para desenvolver um DL
Computação Tempo do treinamento e energia eléctrica gasta são uns problemas
Segurança Como impedir o hacking dos dados e/ou dos modelos ?
DL | Questões sociais e econômicas
Desemprego Planos de formação pelo governo e pelas empresas ?
Desigualdade Como impedir um mundo livre de todas as diferenças ?
Vida privada Como proteger nossa vida privada ?
Ética Construir uma IA ao serviço do ser humano !
Responsabilidade Um algoritmo de DL é uma caixa preta ?
Quem é responsável ?
Armas Impedir as armas autônomas !
Humanidade Fortalecer a nossa criatividade e a nossa diversidade !
Nosso futuro
com o DL
DL & Futuro | Reorganização de todos os setores
Externalização
da saúde
Uberização do
transporte
Comércio
livre
Trabalho do
homem com a
máquina
Personalização
da educação
Produção da
informação
Transformação de alguns setores a partir de 2020
DL & Futuro | Prever o futuro
Fonte : Yann LeCun - Power & Limits of Deep Learning (novembro 2017)
DL & Futuro | Uma rede neural “mais humana”
Fontes : Geoffrey Hinton talk "What is wrong with convolutional neural nets ?" (2014) | Google’s AI Wizard Unveils a New Twist on Neural Networks (2017)
DL & Futuro | Um dia : um verdadeiro neurônio artificial
Fonte : Artificial neurons compute faster than the human brain (2018)
A IA deve ficar sob o controle do ser humano para o bem
"Quando um poder é descoberto, o homem sempre recorre a ele", escreveu
William Bateson, biólogo inglês conhecido como o "Pai da Genética".
“A ciência da hereditariedade logo dará poder em uma escala estupenda e, em algum
país, em algum momento, talvez não muito distante, esse poder será para controlar
a composição de uma nação.
Se, em última análise, a instituição desse controle virá a ser um bem ou um mal
para essa nação ou para a humanidade com um todo é uma questão distinta."
Assim, anteviu o século do gene.”
Capítulo 5 do livro “O gene: Uma história íntima” (2016)
Siddhartha Mukherjee (Prêmio Pulitzer)
Obrigado, mas...
Obrigado por atuar contra as armas autônomas !!!
Stop Autonomous Weapons
Pierre GUILLOU
IA | Brasília - Paris
m.me/pierre.guillou.fr
@pierre_guillou
linkedin.com/in/pierreguillou
medium.com/@pierre_guillou

Democratizando o Deep Learning. E depois ? | Pierre GUILLOU

  • 1.
    Democratizando o DeepLearning. E depois ? medium.com/@pierre_guillou Deep Learning Brasil Summer School 2018
  • 2.
    O Deep Learning nãoé uma religião. É uma técnica ao serviço do ser humano. Podemos admirar o DL e também, criticá-lo. O Deep Learning é uma técnica incrível.
  • 3.
  • 4.
    IA | Técnicaspara máquinas atuarem como humanos Fonte : A history of Deep Learning
  • 5.
    IA | Umadefinição que muda com as técnicas 1950 - 2000 1990 - 2020 Ficção-científica IA especializada (fraca) IA geral (forte) Futuro
  • 6.
  • 7.
    DL | Treinara aprender em vez de programar Aprendizagem pelo treinamento gato = = cachorro Programação de uma lista de características
  • 8.
    DL | Redeque aprende com seus erros rosto rosto corpo pé mão mão rosto erro ! BackPropagation do gradiente do erro. É o método de aprendizagem de uma rede neural profunda : ela vai aprender com seus erros. 1 2 3 4 5 Comparador
  • 9.
    DL | ConvNet,uma rede neural inspirada pelo cérebro Fontes : A Beginner's Guide To Understanding Convolutional Neural Networks An Intuitive Explanation of Convolutional Neural Networks
  • 10.
  • 11.
    Carros autônomos |Ver o mundo em tempo real Fonte : Mask R-CNN (2017) Outros setores de aplicação : as câmeras de segurança, as redes sociais...
  • 12.
    Saúde | Decodificaçãodo câncer Detectar Fonte : High-Resolution Breast Cancer Screening with Multi-View Deep Convolutional Neural Networks (2017) Prever Fonte : Freenome
  • 13.
    Educação | Aprendizadopersonalizado Fonte : A market for emotions
  • 14.
    Criatividade | Daimitação para a criação Fonte : Synthesizing Obama: Learning Lip Sync from Audio (2017) | (Video (1:47s) sobre o processo)
  • 15.
  • 16.
    Comunicação | Traduçãoem tempo real Fonte : Skype Translator – How it Works (2014) | Vídeo DL DL
  • 17.
    Deficiência | Legendasautomáticas das imagens Correto Fonte : Phrase-based Image Captioning (2015) Um jogador de beisebol usando um taco em um campo de beisebol Falso Um gato sentado em cima de uma mesa com um laptop
  • 18.
    Jornalismo | Estálendo um artigo escrito por uma IA Fonte : Recode: The Washington Post will use robots to write stories about the Rio Olympics (2016)
  • 19.
    Linguagem | Paracada problema, há um DL Fonte : 7 Applications of Deep Learning for Natural Language Processing (2017) Classificação de texto spam, idioma, género… Modelagem de linguagem geração de título, de textos… Reconhecimento de fala transcrever um discurso... Geração de legendas imagens, vídeos... Tradução em tempo real tradução.... Resumo de documentos criar um título/resumo para um documento... Respostas a perguntas responder a perguntas sobre artigos da Wikipédia, de notícias, papeis médicos...
  • 20.
  • 21.
    Comércio | Semcaixas, nem vendedores Fonte : Amazon Go | Vídeo
  • 22.
    Empresas | Obtero máximo de valor de dados Fontes : Fraud Detection Techniques (2015) Machine Learning in Human Resources (2017) 4 ways how Deep Learning is revolutionizing Marketing & Sales (2017)
  • 23.
    Indústria | Economizare otimizar mais com os dados Fonte : DeepMind AI Reduces Google Data Centre Cooling Bill by 40% (2016) Com o DL, o Google reduziu sua conta de refrigeração de seus centros de dados em 40%
  • 24.
    Ciência | UmaIA ajudou a descobrir um novo planeta Fontes : Grâce à l’intelligence artificielle, la NASA et Google identifient deux nouvelles exoplanètes (2017) Earth to exoplanet: Hunting for planets with machine learning (2017)
  • 25.
  • 26.
    DL | Tudoo mundo pode criar uma IA mas... Computação (GPU) Carro Ferramentas Motor Gasolina Motorista Modelos de DL (ConvNet) Open source Big Data Empresas de carros Centros de pesquisa GAFAs Institutos e conferências do DL Saber e funcionários Cursos universitários, MOOCs, Internet Mídias Motivação, emoção, desejo Mídias Motivação, emoção, desejo Todas as empresas e as pessoas Todas as empresas e pessoas Processo de aprendizagem (BP) Concorrência Kaggle
  • 27.
    Geoffrey HINTON mostrou queo algoritmo BP é o método de aprendizagem do DL 1986 Yann LECUN criou a rede profunda ConvNet inspirada pelo córtex visual e usando o BP 1989 Geoffrey HINTON venceu a competição ImageNet com AlexNet, uma rede ConvNet 2012 Yann LECUN e Yoshua BENGIO criaram LeNet-5, primeira ConvNet a ser usada na vida real 1998 Andrew NG lançou o primeiro MOOC gratuito em Machine Learning (mais de 100 000 estudantes) 2011 DL | 30 anos de pesquisa antes do Big Bang de 2012
  • 28.
    DL | OsGAFAs se tornam líderes do DL desde 2010 2010 O cloud se tornou disponível a todos e em particular para treinar modelos do DL (Amazon Web Services, Microsoft Azur, Google Cloud…). 2010 Yoshua BENGIO criou o instituto MILA (Institute for Learning Algorithms) em Montreal 2011 IBM Watson ganhou o jogo Jeopardy nos Estados Unidos 2011 Andrew NG criou o Google Brain, o departamento de IA do Google 2012 Yann LECUN e Yoshua BENGIO criaram o ICLR (International Conference on Learning Representations) para diminuir o tempo de publicação de um artigo científico no arXiv.org (o ICLR é o DL colóquio além de ICML em 1980 e de NIPS em 1987) 2013 Geoffrey HINTON se juntou a Google Brain 2013 Yann LECUN criou o FAIR “Facebook Artificial Intelligence Research” no Facebook 2015 TensorFlow (Google) se tornou Open Source
  • 29.
    DL | OpenSource, institutos e agora Drag & Drop 2015 AlphaGo (DeepMind, uma empresa do Google) foi a primeira IA a vencer um dos melhores jogadores profissionais do jogo GO 2016 O Google anunciou sua unidade de processamento de Tensor (TPU) 2016 Yoshua BENGIO criou Element AI em Montreal para ajudar o uso da IA nas empresas 2016 Jeremy HOWARD criou o curso online Fast.ai usando muito o Transfert Learning 2017 O Instituto “Futur of Life” publicou “ASILOMAR AI Principles” e o Google comprou o site Kaggle (uma comunidade de 800 000 data cientistas) 2017 PyTorch (Facebook) se tornou Open Source 2017 Geoffrey HINTON criou o instituto The Vector em Toronto (novo instituto de pesquisa na IA) 2018 NVIDIA criou DIGITS e Google criou a plataforma AutoML Vision, novos serviços que ajudam os desenvolvedores - incluindo aqueles que não possuem conhecimentos de aprendizado de máquina (ML) - a criar modelos personalizados de DL em visão
  • 30.
  • 31.
    DL | Exemplodo DL nos carros autônomos Limites técnicos ✓ Problemas de reconhecimento de situações incomuns e de lugares não estruturados (ex : por causa da neve) ✓ Hacking do sistema de DL Questões sociais e econômicas ✓ Responsabilidade em caso de acidente ✓ Desemprego de motoristas de caminhões ✓ Reorganização da indústria automobilística e das cidades ✓ Vida privada por causa de todos os dados gravados pelas câmeras dos carros autônomos
  • 32.
    DL | Limitestécnicos Dados Não há bancos de dados sobre tudo Viés sociais nos dados Modelo ✓ Processus empírico : até hoje, não há um processo automático para definir os valores dos hyper-parâmetros (mas o Learning2learn e “Transfer Learning” já começaram a ser usados) ✓ Tipo de treinamento : hoje 95% supervisionado mas a verdadeira IA precisa de um treinamento não supervisado ✓ Caixa preta : a pesquisa universitária já começou para entender o código gerado pelas redes neurais Linguagem (Python) Apesar da plataforma de Drag and Drop do Google, a gente precisa conhecer bem o Python para desenvolver um DL Computação Tempo do treinamento e energia eléctrica gasta são uns problemas Segurança Como impedir o hacking dos dados e/ou dos modelos ?
  • 33.
    DL | Questõessociais e econômicas Desemprego Planos de formação pelo governo e pelas empresas ? Desigualdade Como impedir um mundo livre de todas as diferenças ? Vida privada Como proteger nossa vida privada ? Ética Construir uma IA ao serviço do ser humano ! Responsabilidade Um algoritmo de DL é uma caixa preta ? Quem é responsável ? Armas Impedir as armas autônomas ! Humanidade Fortalecer a nossa criatividade e a nossa diversidade !
  • 34.
  • 35.
    DL & Futuro| Reorganização de todos os setores Externalização da saúde Uberização do transporte Comércio livre Trabalho do homem com a máquina Personalização da educação Produção da informação Transformação de alguns setores a partir de 2020
  • 36.
    DL & Futuro| Prever o futuro Fonte : Yann LeCun - Power & Limits of Deep Learning (novembro 2017)
  • 37.
    DL & Futuro| Uma rede neural “mais humana” Fontes : Geoffrey Hinton talk "What is wrong with convolutional neural nets ?" (2014) | Google’s AI Wizard Unveils a New Twist on Neural Networks (2017)
  • 38.
    DL & Futuro| Um dia : um verdadeiro neurônio artificial Fonte : Artificial neurons compute faster than the human brain (2018)
  • 39.
    A IA deveficar sob o controle do ser humano para o bem "Quando um poder é descoberto, o homem sempre recorre a ele", escreveu William Bateson, biólogo inglês conhecido como o "Pai da Genética". “A ciência da hereditariedade logo dará poder em uma escala estupenda e, em algum país, em algum momento, talvez não muito distante, esse poder será para controlar a composição de uma nação. Se, em última análise, a instituição desse controle virá a ser um bem ou um mal para essa nação ou para a humanidade com um todo é uma questão distinta." Assim, anteviu o século do gene.” Capítulo 5 do livro “O gene: Uma história íntima” (2016) Siddhartha Mukherjee (Prêmio Pulitzer)
  • 40.
  • 41.
    Obrigado por atuarcontra as armas autônomas !!! Stop Autonomous Weapons Pierre GUILLOU IA | Brasília - Paris m.me/pierre.guillou.fr @pierre_guillou linkedin.com/in/pierreguillou medium.com/@pierre_guillou