Apresentação de trabalho aprovado no processo de submissão para o I SINS 2017 - Autores Carlos Henrique Tarjano Santos e Valdecy Pereira. Disponível em Vídeo (00:11:25)

1. Redes
Neurais
Como
Ferramenta
para
Big
Data
O
Estado
da
Arte
Carlos
Tarjano
– Valdecy
Pereira
tesserato@hotmail.com

2. Motivação
•
Volume
de
dados
crescente
•
Métodos
não
supervisionados
•
Extração
automática
de
Features (Deep
Networks)
•
Relativamente
fáceis
de
implementar
•
Poder
de
processamento
aumentando
(GPU/CPU)
•
As
principais
ferramentas
são
open
source

3. Redes
Neurais
Artificiais
Perceptron
•
Frank
Rosenblatt
– 1957
•
Pensado
como
uma
máquina
•
Limitado
a
classificações
lineares
•
Multilayer
– Precisão
arbitrária
(Hornik,
91)

4. Redes
Neurais
Artificiais
Topologias

5. Interesses:
Empresas
de
Tecnologia
que
mais
investem
em
pesquisa
•
research.google.com
Human-­‐Computer
Interaction
and
Visualization
408
PUBLICATIONS
Machine
Intelligence
865
PUBLICATIONS
Machine
Perception
396
PUBLICATIONS
Natural
Language
Processing
368
PUBLICATIONS
•
research.fb.com
Applied
Machine
Learning
Data
Science
Computer
Vision
Human
Computer
Interaction
&
UX
Natural
Language
Processing
&
Speech
•
microsoft.com/en-­‐us/research/
Artificial
Intelligence
Computer
Vision
Human-­‐Computer
Interaction
Human
Language
Technologies
•
machinelearning.apple.com/
~
10
papers
Computer
Vision
Human-­‐Computer
Interaction
•
Amazon
→
Maior
investidora
em
pesquisa
(U$
16
Bi)

6. •
Processamento
de
Linguagem
Natural
-­ A
maior
parte
dos
dados
está
armazenada
de
forma
escrita
(digital
ou
não)
-­ Computer
vision
→
reconhecimento
de
caracteres
-­ Redes
convolucionais
-­ Natural
language
processing
→
extração
de
informações
-­ redes
convolucionais
|
Redes
recorrentes
-­ Criação
de
Resumos
(abstrativamente)
-­‐ Get
To
The
Point:
Summarization
with
Pointer-­‐Generator
Networks
[Google]
-­ Interpretação
-­‐ Learning
to
Skim
Text
[Google]
-­ “Query”
→
Responder
questionamentos
-­ Generative
Adversarial
Networks
-­ Responder
perguntas
em
linguagem
natural
-­‐ Best
of
Both
Worlds:
Transferring
Knowledge
from
Discriminative
Learning
to
a
Generative
Visual
Dialog
Model
[Facebook]

7. •
Processamento
de
Fala
-­ Em
tempo
real
ou
discursos
gravados
-­ (elementos
acústicos
|
elementos
linguísticos)
-­ Cortana(Microsoft)
→
Convolucional
+
Recorrente
-­ The
Microsoft
2017
Conversational
Speech
Recognition
System
-­ Google
Home
→
Preprocessamento
+
Recorrente
-­ Acoustic
Modeling
for
Google
Home
-­ Siri
(Apple)
→
Transferência
de
aprendizado
-­ Improving
Neural
Network
Acoustic
Models
by
Cross-­‐bandwidth
and
Cross-­‐
lingual
Initialization
-­ Echo(Amazon)
?

8. Ferramentas
-­ Tensorflow
[Google]
:
Python
→
C++,
Cuda
-­ Tensorboard
-­ Operações
com
tensores
-­ Theano:
Python
→
C
(Deprecated)
-­ Operações
com
tensores
-­ Microsoft
Cognitive
Toolkit
(CNTK):
-­ Deep
Learning
-­ Keras :
Python
– High
Level
API
-­ Torch:
Lua
→
C,
Cuda
-­ Machine
Learning
-­ Scikit-­‐learn:
Python
→
C
-­ Machine
Learning

9. Referências
Lu,
Jiasen,
et
al.
"Best
of
Both
Worlds:
Transferring
Knowledge
from
Discriminative
Learning
to
a
Generative
Visual
Dialog
Model."
arXiv
preprint
arXiv:1706.01554
(2017).
https://arxiv.org/pdf/1706.01554
Xiong,
Wayne,
et
al.
"The
Microsoft
2016
conversational
speech
recognition
system."
Acoustics,
Speech
and
Signal
Processing
(ICASSP),
2017
IEEE
International
Conference
on.
IEEE,
2017.
https://arxiv.org/pdf/1708.06073
Li,
Bo,
et
al.
"Acoustic
Modeling
for
Google
Home."
INTERSPEECH-­‐2017
(2017).
https://pdfs.semanticscholar.org/95cf/535ad5abab92bf308e40112b43e2797
31893.pdf
Siri
Team.
"Improving
Neural
Network
Acoustic
Models
by
Cross-­‐bandwidth
and
Cross-­‐lingual
Initialization"