Big Data: Tomando Decisões

CONSULTORIA E TREINAMENTOS EM SQL SERVER,
BUSINESS INTELLIGENCE, BIG DATA E DATA SCIENCE
Diego Nogare | Chief Data Officer
nogare@ngrsolutions.com.br

Diego Nogare
MVP Artificial Intelligence | 2008
Chapter Leader | SQL Saturday
Regional Mentor | Board Advisor
www.diegonogare.net
www.datascienceinstitute.com.br
www.livrosdonogare.com.br
www.ngrsolutions.com.br

Big Data
Encaixando o cenário real ao
buzz do momento

Copyright © 2017 – NGR Solutions
http://pt.slideshare.net/linkedin/the-25-skills-that-could-get-you-hired-in-2016

https://www.linkedin.com/slideshare/linkedin/the-top-skills-that-can-get-you-hired-in-2017

Volume
Velocidade
Variedade
Veracidade
BigData é sobre
Volume, Velocidade,
Variedade e Veraci…
Veracidade não
é uma medida
de magnitude!!!

• Péssima qualidade dos dados
– Dados sujos
– “Valores Nulos”
– Tipos de dados inadequados
Desafios Técnicos

Vídeo completo (Canal WIRED): http://www.youtube.com/watch?v=Hi5kMNfgDS4

Data
Science
Engenharia
dos Dados
Métodos
Científicos
Matemática
Estatística
Computação
Avançada
Visualização
Pensamento
fora da Caixa
Experiência
no Business

E na econometria?
Econometria
Matemática
Ciência da
Computação
Estatística
Economia e
Negócios

https://trends.google.com/trends/
Business
Intelligence
Big Data
Data
Science
Machine
Learning

http://dilbert.com/strip/2013-02-02
Baseado no seu histórico de
internet, você deve ser estupido
suficiente para gostar de esportes
radicais.
Clique aqui para comprar um
ingresso de Base Jump da Estação
Espacial Internacional.
Acho que a
internet está
tentando me
matar.
Chamamos isso
de “Machine
Learning”.
Machine Learning?!

Algoritmos e suas abordagens
Regressão
Clusterização
Detecção de
Anomalias
RecomendaçãoClassificação

Limpeza de
Dados
Treinamento
Teste do
Modelo
Ajustes
Validação
Treinamento de um modelo preditivo
Seleção de
Features
Seleção do
Algorítmo

Equação por trás do modelo
𝛽 =
𝑖=1
𝑛
𝑥𝑖 − 𝑥′
𝑦𝑖 − 𝑦′
𝑖=1
𝑛
𝑥𝑖 − 𝑥′ 2
𝛼 = 𝑦′
− 𝛽𝑥′
𝑌 = 𝛼 + 𝛽𝑋

Base de Dados
Experiência em Anos Salário Anual (Vezes R$1.000)
3 30
8 57
9 64
13 72
3 36
6 43
11 59
21 90
1 20
16 83
x’ e y’ são as médias dos
valores de cada variável

Equação com nossos dados
𝛽 =
(3-9,1)(30-55,4) + (8-9,1)(57-55,4) + ... + (16-9,1)(83-55,4)
(3-9,1)2 + (8-9,1)2 + … + (16-9,1)2
𝛼 =
= 3,7
55,4 – (3,7)(9,1) = 21,7
Y = 21,7 + (3.7*X)

https://www.google.com/selfdrivingcar/

Azure Machine Learning
Análise preditiva com
consumo de dados em
tempo real

Descoberta do conhecimento
Dado Informação Conhecimento Insight Sabedoria

Criando o modelo no AzureML

Regressão Logística

• Database
• URL
• CSV
• etc
Entrada
• Classificação
• Regressão
• Cluster
• etc
Algoritmos
• Rest API
• Database
• etc
Saída

• Não requer código, é baseada em tarefas;
• Fornece a infraestrutura para treino dos modelo;
• Galeria com muitos exemplos;
• Fácil definição de parâmetros e de visualização
dos dados;
• Possui interface web e integração com RStudio;
• Integração com software externo através de APIs.
Azure Machine Learning

Industria 4.0
Proposta de uma solução de
ponta a ponta

Ambiente conectado
Barramento
Stream
Analytics
Consumo
Machine
Learning
Sensores Gateway

Linha de Produção
Dados de treino
Imagine um dispositivo que
coleta sinais de
funcionamento e
temperatura de uma
maquina. Este dispositivo
manda o sinal para um
armazenamento, que por sua
vez servirá de base de treino
para criar o modelo preditivo.

Montagem de baixo custo
Arduino Uno DHT11 Relê 5V

Demonstração
Solução de ponta a ponta

Obrigado
Diego Nogare
Chief Data Officer @ NGR Solutions
nogare@ngrsolutions.com.br

Big Data: Tomando Decisões

Mais conteúdo relacionado

Semelhante a Big Data: Tomando Decisões

Mais de Diego Nogare

Big Data: Tomando Decisões