Palestra proferida em 31/08/2016 na II Semana Acadêmica de Engenharia e Tecnologia (SAET), UTFPR/Toledo.
Aprendizagem profunda (Deep Learning) baseai-se em um conjunto de algoritmos que procuram modelar abstrações de alto nível, extraindo e organizando a informações discriminativas do problema diretamente dos dados “crus”, evitando assim a necessidade de um especialista no domínio do problema. Noutras palavras, aprender a representação. Dentre as diferentes abordagens de aprendizagem profunda, destacam-se as Redes Neurais Convolucionais (Convolutional Neural Networks – CNN) que são arquiteturas profundas de redes neurais artificiais inspiradas na organização do córtex visual dos mamíferos. CNNs têm alcançado sucesso complexos problemas de reconhecimento de padrões, como identificação visual de objetos, processamento de linguagem natural, reconhecimento de fala, processamento de sinais e transferência de aprendizado. A ideia de aprendizado da representação não é nova, mas emergiu recentemente como alternativa viável com a popularização de poderosas GPUs (Graphical Processing Units) capazes de entregar alto desempenho computacional a relativo baixo custo devido a suas arquiteturas massivamente paralelas. Esta palestra tem foco na abordagem de aprendizagem profunda com CNNs, sendo apresentados os conceitos fundamentais e as recentes aplicações.
Machine Learning: Opening the Pandora's Box - Dhiana Deva @ QCon São Paulo 2019Dhiana Deva
Introducing Machine Learning is like opening the Pandora's Box - it unveils important issues in your data, metrics, and product. In order to deal with such complexity, pragmatic practices are required to obtain reliable results. In this talk, we will go through learnings gained from introducing Machine Learning in different contexts, from academia, start-ups, consulting to tech giants - covering practices for experimentation, infrastructure, planning, performance evaluation and product vision in the context of machine learning products.
Palestra proferida em 31/08/2016 na II Semana Acadêmica de Engenharia e Tecnologia (SAET), UTFPR/Toledo.
Aprendizagem profunda (Deep Learning) baseai-se em um conjunto de algoritmos que procuram modelar abstrações de alto nível, extraindo e organizando a informações discriminativas do problema diretamente dos dados “crus”, evitando assim a necessidade de um especialista no domínio do problema. Noutras palavras, aprender a representação. Dentre as diferentes abordagens de aprendizagem profunda, destacam-se as Redes Neurais Convolucionais (Convolutional Neural Networks – CNN) que são arquiteturas profundas de redes neurais artificiais inspiradas na organização do córtex visual dos mamíferos. CNNs têm alcançado sucesso complexos problemas de reconhecimento de padrões, como identificação visual de objetos, processamento de linguagem natural, reconhecimento de fala, processamento de sinais e transferência de aprendizado. A ideia de aprendizado da representação não é nova, mas emergiu recentemente como alternativa viável com a popularização de poderosas GPUs (Graphical Processing Units) capazes de entregar alto desempenho computacional a relativo baixo custo devido a suas arquiteturas massivamente paralelas. Esta palestra tem foco na abordagem de aprendizagem profunda com CNNs, sendo apresentados os conceitos fundamentais e as recentes aplicações.
Machine Learning: Opening the Pandora's Box - Dhiana Deva @ QCon São Paulo 2019Dhiana Deva
Introducing Machine Learning is like opening the Pandora's Box - it unveils important issues in your data, metrics, and product. In order to deal with such complexity, pragmatic practices are required to obtain reliable results. In this talk, we will go through learnings gained from introducing Machine Learning in different contexts, from academia, start-ups, consulting to tech giants - covering practices for experimentation, infrastructure, planning, performance evaluation and product vision in the context of machine learning products.
It’s no longer needed supercomputers and a team with PhDs from MIT to create predictive models based on data. We are witnessing innovations in machine learning that are making it an increasingly accessible field. This lecture aims to demystify machine learning through exposure to concepts and use of a number of technologies. In this talk, we will address the types of problems and the algorithms, always applied to real problems. Also, open source tools like Scikit-learn will be presented as well as a way to practice and try these ideas through competitions like Kaggle.
Estamos presenciando inovações tecnológicas que possibilitam utilizar ciência dos dados sem a necessidade de antecipar grandes investimentos. Este contexto facilita a adoção de práticas e valores ágeis que encorajam a antecipação de insights e aprendizado contínuo. Nesta palestra, iremos abordar temas como times multi-funcionais, práticas ágeis de engenharia de software e desenvolvimento iterativo, incremental e colaborativo no contexto de produtos e soluções de ciência dos dados.
QCon Rio - Machine Learning for EveryoneDhiana Deva
Já não são mais necessários supercomputadores e times de PhDs do MIT para a criação de modelos preditivos baseados em dados. Estamos presenciando inovações em Aprendizado de Máquina que estão tornando este campo cada vez mais acessível.
Esta palestra tem como objetivo desmistificar o aprendizado de máquina, através da exposição de conceitos e uso de uma série de tecnologias.
Serão abordados os tipos de problemas desta área(classificação, regressão, clusterização, redução de dimensionalidade, etc.), suas as etapas (normalização, treinamento, otimização, regularização, etc.) e seus algoritmos, desde regressão linear, k-means, passando por árvores de decisão e até redes neurais, sempre aplicadas a problemas reais.
Na palestra, também conheceremos ferramentas como Sckit-learn, Pandas, R, MATLAB e Amazon Machine Learning, além de uma forma para praticar e experimentar estas ideias através de competições como o Kaggle.
My First Attempt on Kaggle - Higgs Machine Learning Challenge: 755st and Proud!Dhiana Deva
The Higgs Machine Learning Challenge is not only a place for PhDs! As an undergraduate with a student license of MATLAB and a couple of dollars for Amazon AWS I could enter on the last 8 days of the challenge and overtake more than half of the competitors! In this talk, I'll present the challenge, my approach, and walk through the code.
It’s no longer needed supercomputers and a team with PhDs from MIT to create predictive models based on data. We are witnessing innovations in machine learning that are making it an increasingly accessible field. This lecture aims to demystify machine learning through exposure to concepts and use of a number of technologies. In this talk, we will address the types of problems and the algorithms, always applied to real problems. Also, open source tools like Scikit-learn will be presented as well as a way to practice and try these ideas through competitions like Kaggle.
Estamos presenciando inovações tecnológicas que possibilitam utilizar ciência dos dados sem a necessidade de antecipar grandes investimentos. Este contexto facilita a adoção de práticas e valores ágeis que encorajam a antecipação de insights e aprendizado contínuo. Nesta palestra, iremos abordar temas como times multi-funcionais, práticas ágeis de engenharia de software e desenvolvimento iterativo, incremental e colaborativo no contexto de produtos e soluções de ciência dos dados.
QCon Rio - Machine Learning for EveryoneDhiana Deva
Já não são mais necessários supercomputadores e times de PhDs do MIT para a criação de modelos preditivos baseados em dados. Estamos presenciando inovações em Aprendizado de Máquina que estão tornando este campo cada vez mais acessível.
Esta palestra tem como objetivo desmistificar o aprendizado de máquina, através da exposição de conceitos e uso de uma série de tecnologias.
Serão abordados os tipos de problemas desta área(classificação, regressão, clusterização, redução de dimensionalidade, etc.), suas as etapas (normalização, treinamento, otimização, regularização, etc.) e seus algoritmos, desde regressão linear, k-means, passando por árvores de decisão e até redes neurais, sempre aplicadas a problemas reais.
Na palestra, também conheceremos ferramentas como Sckit-learn, Pandas, R, MATLAB e Amazon Machine Learning, além de uma forma para praticar e experimentar estas ideias através de competições como o Kaggle.
My First Attempt on Kaggle - Higgs Machine Learning Challenge: 755st and Proud!Dhiana Deva
The Higgs Machine Learning Challenge is not only a place for PhDs! As an undergraduate with a student license of MATLAB and a couple of dollars for Amazon AWS I could enter on the last 8 days of the challenge and overtake more than half of the competitors! In this talk, I'll present the challenge, my approach, and walk through the code.
4. Redes neurais capazes de transformar
adaptativamente padrões de sinais de entrada
de dimensão arbitrária em um mapa discreto,
geralmente uni/bidimensional, e
topologicamente ordenado
5. Rede neural???
● Classe especial de redes neurais artificiais
● Inerentemente não-linear
● Baseado em aprendizado competitivo
6. A-ha! Motivação biológica!
O cérebro humano é
organizado de maneira
que diferentes entradas
sensoriais são
mapeadas em áreas no
córtex cerebral de forma
topologicamente
ordenada
7. Sim, nós temos neurônios!
● Neurônios são dispostos
como nós de uma grade
● Cada neurônio é totalmente
conectado à todos os nós
da camada de entrada
● Cada neurônio possui,
portanto, um vetor de
pesos da mesma dimensão
do espaço de entrada
10. Um número suficiente de realizações dos
padrões de entrada devem ser apresentados à
rede e passar por três processos:
● Competição
● Cooperação
● Adaptação
12. Processo #1: Competição
● Neurônios competem entre si para serem
ativados
● É identificado apenas um vencedor através
da discriminação do neurônio de máxima
correspondência em relação à entrada:
13. Processo #2: Cooperação
Determinação de uma
vizinhança topológica:
● Simétrica ao redor do
neurônio vencedor
● Decaimento suave com
distância lateral
● Adivinha??? Gaussiana!
14. Processo #3: Adaptação
● Atualização dos pesos dos neurônios
excitados aumentando a resposta deles para
apresentações futuras do mesmo padrão
(sintonização seletiva)
● Diferencia-se do aprendizado Hebbiano:
○ Taxa de esquecimento para evitar saturação
15. A formação do mapa se dá em duas fases:
● Ordenação
● Convergência
“Procurar, depois convergir!”
17. Fase #1: Ordenação
A partir de um estado inicial de completa desordem,
gradualmente é formada uma representação organizada do
espaço de entrada
A taxa de aprendizado deve
começar com um valor perto de 0.1
e diminuir gradativamente, mas
permanecer acima de 0.01
A função de vizinhança deve
inicialmente incluir quase todos os
neurônios da rede e encolher com o
tempo
18. Fase #2: Convergência
Esta fase é necessária para aperfeiçoar o
mapeamento de características, fornecendo
uma quantificação estatística precisa do espaço
de entrada.
A taxa de aprendizado deve ser
mantida em um valor baixo, da
ordem de 0.01, sem chegar a zero.
A função de vizinhança deve conter
apenas os vizinhos próximos,
reduzindo eventualmente para um
ou até nenhum vizinho.
20. Aproximação do espaço
de entrada
i(x): Projeção de um
ponto do espaço
contínuo no espaço
neural discreto
wi: Ponteiro de um
neurônio de volta ao
espaço original de
entrada.
22. Modelo codificador-decodificador
O esquema ótimo de
codificação e decodificação é
determinado variando as
funções c(x) e x’(c) de
maneira a minimizar a
distorção esperada:
28. Mapeamento em larga-escala
O Self-Organizing Map é uma poderosa
ferramenta para aplicações em larga escala,
onde a dimensão do espaço de entrada pode
ser da ordem de mil e o número de neurônios
chega à ordem de centenas de milhares
37. Referência, imagens e expressões:
Neural Networks and Learning Machines
Capítulo 9 - Self-Organizing Maps
3ª edição
Simon Haykin
Exemplos de aplicações:
www.intechopen.com, ...