BIG DATA E
INTELIGÊNCIA ARTIFICIAL
Prof. João Gabriel Lima
linkedin.com/in/joaogabriellima
SOBRE
Data Scientist na Epitack
Professor
Pesquisador em aprendizagem de
máquina e análise de dados
Doutorando em Mineração de dados e
Inteligência Artificial
MOTIVAÇÃO
Conhecimento estratégico
Apoio à tomada de decisão
Dados Estruturados
Dados Não-Estruturados
Dados Semi-Estruturados
Tipos de fontes de dados
ONDE ESSA HISTÓRIA COMEÇA?
KDD - KNOWLEDGE DISCOVERY IN DATABASES
MINERAÇÃO DE DADOS
A transformação de grandes quantidades de dados em padrões e
regras:
Direcionada e Não Direcionada
Direcionada: tentamos prever um ponto de dados em particular
◦ Ex.: preço de venda de uma casa baseado em informações sobre
outras casas à venda no bairro
Não direcionada:
◦ Tentamos criar grupos de dados, ou achar padrões em dados
existentes
“O objetivo da mineração de dados é criar um
modelo que possa melhorar o modo pelo qual
interpretamos nossos dados existentes e
futuros.
E SOBRE BIG
DATA?
O QUE NÃO É
BIGDATA?
Uma nova tecnologia
Uma nova técnica
Um novo processo
Uma nova abordagem
Um novo campo do conhecimento
Uma revolução
O QUE É BIG DATA?
Desde antes do surgimento do conceito, já éramos capazes de
trabalhar com grandes volumes de dados.
Trabalhar por amostragem era a solução mais comum
Tratamento de dados => correção ou informação valiosa
Técnicas e ferramentas para lidar com o grande volume de dados
provenientes de diversas fontes.
AGORA TEMOS MAIS NECESSIDADES
Volume
Velocidade
Variedade
Variabilidade
Complexidade
BIG
DATA
QUAIS AS
FERRAMENTAS?
Missão impossível?
…são apenas ferramentas
Mantenha o foco na solução
INTELIGÊNCIA ARTIFICIAL
Deep Insights
O QUE É?
“Capacidade da máquina em
aprender e criar novos padrões
COMO
DEFINIR?
COMO ATINGIR A INTELIGÊNCIA?
APRENDIZAGEM DE MÁQUINA?
O aprendizado de máquina (ML — Machine Learning) é
um subcampo da inteligência artificial dedicado ao
desenvolvimento de algoritmos e técnicas que
permitam ao computador aprender a partir do
reconhecimento de padrões.
APRENDIZAGEM DE MÁQUINA
COMO NÓS
APRENDEMOS?
Modelos de aprendizagem de máquina
Aprender é um processo…
1. Deep Neural Networks
2. Bayes Classifier Algorithm
3. K Means Clustering Algorithm
4. Support Vector Machine Algorithm
5. Linear Regression
6. Logistic Regression
7. Artificial Neural Networks
8. Random Forests
9. Decision Trees
10. Nearest Neighbours
Alguns dos principais modelos de ML
QUAL A
IMPORTÂNCIA
DA IA ?
Vida
Como a IA irá afetar nossa realidade?
Negócio
Como a IA irá mudar nossos negócios?
Sociedade
Quais impactos a IA irá causar
em nossa força de trabalho?
EXISTE APENAS UM TIPO DE IA?
ANI - Artificial Narrow Intelligence
- Especializada em uma única área, resolvendo problemas específicos
AGI - Artificial General Intelligence
- Especializada em diversas áreas, geralmente atual como assistentes
pessoais e sistemas de apoio ao usuário
7 Habilidades:
1. Razão 2. Plano 3. Resolver problemas 4. Pensar de forma abstrata 5.
Compreender idéias complexas 6. Aprender rapidamente 7. Aprender
com a experiência
ASI - Artificial Super Intelligence
- Mais inteligente do que os seres humanos em todos os sentidos
3 tipos de Inteligência Artificial
ANI
ESTÁ EM TODOS OS LUGARES!
PORQUE
AGORA?
UM NOVO MERCADO
ALGUNS PROJETOS BEM
INTERESSANTES…
https://github.com/pavelgonchar/colornet
COLORNET
https://github.com/hardmaru/write-rnn-tensorflow
Generative Handwriting
WaveNet: A Generative Model for Raw
Audio
https://deepmind.com/blog/wavenet-generative-model-raw-audio/
https://github.com/woodrush/neural-art-tf
Neural Art
97,35%
Our method reaches an
accuracy of 97.35% on
the Labeled Faces in the
Wild (LFW) dataset,
reducing the error of
the current state of the
art by more than 27%,
closely approaching
human-level
performance.
DeepFace
https://research.fb.com/publications/deepface-closing-the-gap-to-human-level-performance-in-face-
verification/
YOLO: Real-Time Object Detection
https://pjreddie.com/darknet/yolo/
http://cs.stanford.edu/people/karpathy/deepimagesent/
Deep Visual-Semantic Alignments for Generating Image
Descriptions
Mágica?
TUDO É MATEMÁTICA!
VISÃO GERAL
QUAL A RELAÇÃO DIRETA
ENTRE IA E BIGDATA?
Inteligência Artificial
Big DataAnalytics
AGI
ASI
BIG DATA ANALYTICS
BIG DATA STORYTELLING
O poder da narrativa sobre seus dados
BIG DATA STORYTELLING
➤ É uma forma de construir histórias com base em dados
➤ Contar histórias é, desde sempre, uma forma excelente de
transmitir experiências, sensações e pensamentos.
➤ Compreender ações e comportamentos para traçar estratégias
que possam persuadir e instigar mudanças em um público-
alvo
➤ Ponto chave: Visualização adequada da informação
➤ Criar histórias envolventes e apresentações visualmente
interessantes é o caminho para tornar os números algo mais
“concreto”
BIG DATA STORYTELLING
➤ Grande parte dessas oportunidades é perdida por conta da
falta de contextualização dos dados coletados
➤ Não basta coletar e armazenar dados para poder desenvolver
narrativas que contem a história de uma empresa ou produto.
É preciso igualmente contextualizar esses dados para que o
conteúdo se torne relevante
➤ Para obter sucesso utilizando Big Data Storytelling, analistas
com expertise precisam estar alocados no processo de
desenvolvimento
COMPONENTES DO DATA STORYTELLING
https://www.bloomberg.com/graphics/2014-america-shakes-off-oil-addiction/
Aprenda a visualizar seus dados de forma correta!
SUGESTÃO DE LEITURA
STORYTELLING WITH DATA:
A DATA VISUALIZATION
GUIDE FOR BUSINESS
PROFESSIONALS
https://goo.gl/2giAWU
E AGORA?
CASO DE SUCESSO
Uma revolução no combate à corrupção
COMBATE À CORRUPÇÃO
Um grupo de jornalistas, cientistas de
dados, estatísticos se reuniu para
combater a corrupção através da análise
dos dados públicos sobre gastos dos
parlamentares, entregando relatórios
quinzenais para a realização de
denúncias junto aos órgão competentes
para a restituição dos valores.
https://github.com/datasciencebr/
serenata-de-amor
Irio Musskopf
Data Science Brigadehttps://goo.gl/RtpO7N
ROBÔS E PLANEJAMENTO
A Rosie (https://github.com/datasciencebr/
rosie) digere os dados, aplica modelos
matemáticos. E aprende com os exemplos.
Hoje a Rosie está aplicando regras dos limites de
uso da CEAP. Em um dia foram identificados 157
notas que extrapolam os limites legais.
O Jarbas ( https://github.com/datasciencebr/
jarbas) recolhe os dados e apresentará as notas
da CEAP com um índice de suspeita de
corrupção e seus motivos.
Para as ferramentas mais comuns a várias analises,
foi criado a “caixa de ferramentas comuns” — 
https://github.com/datasciencebr/serenata-
toolbox que permite o reaproveitamento de código
entre diversos pesquisadores.
https://goo.gl/RtpO7N
POR ONDE COMEÇAR?
Seja um especialista dos dados!
“Primeiro passo: Não polarize o
conhecimento.
Estude!
COMO APRENDER DATA SCIENCE DE GRAÇA NAS MELHORES UNIVERSIDADES DO MUNDO
Open Source Society
Álgebra Linear
Cálculo de Variáveis Únicas
Cálculo de Variáveis Múltiplas
Python
Probabilidade e Estatística em R
Introdução a Data Science
Machine Learning
https://goo.gl/PD2AQ8
https://ossu.firebaseapp.com
VISÃO GERAL
Um resumo de tudo que conversamos
“Não adianta querer se especializar em
big data se não sabe trabalhar com
dados.
Premissa 1
“Problemas multidisciplinares
demandam profissionais
multidisciplinares.
Premissa 2
BIG DATA E
INTELIGÊNCIA ARTIFICIAL
Prof. João Gabriel Lima
linkedin.com/in/joaogabriellima

Big data e Inteligência Artificial