1. Do BI ao
Big Data
28 de abril de 2018

2. Olá!Fabiana Ravanêda
Pós-graduando em Ciência de Dados e Big Data pela PUC
Certificação internacional em Big Data e IoT pelo MIT
MBA em Business Intelligence Master pela PUC
Especialista em Business Intelligence e Business Analytics

3. Agenda
× Um pouco da História
× Business Intelligence
× Big Data
× BI vs Big Data
× Cases de Sucesso
× Mercado de trabalho

4. Um pouco

5. Povos do Oriente Médio
cruzavam informações da
natureza, marés, etc. para
analisarem a viabilidade do
cultivo de determinadas
espécies, períodos de pesca
abundante, etc.
Idade Antiga

6. Utilizado pelo primeira vez
por Richard Miller Devens,
para descrever como o
bancário Sir Henry Firnese
lucrou ao obter
informações a respeito de
cenários da época, antes
de seus concorrentes, e
tomar atitudes com elas.
Primeira citação
A citação está no livro
“Cyclopaedia of Commercial
and Business Anecdotes”, de
1865.

7. Em 1958 Hans Peter Luhn, pesquisador da
IBM, definiu Business Intelligence como “a
habilidade de perceber as inter-relações dos
fatos presentes, para ajudar a guiar à
objetivos desejados.”
Primeiros conceitos

8. A Evolução do BI

10. Anos
70 e 80

11. As primeiras soluções
1975 – 1976
Surgem as primeiras empresas que
desenvolvem soluções de BI
1987
Lançamento da primeira versão do
Excel para Windows
1988
Howard Dresner, então futuro analista
do Gartner, define Business
Intelligence como entendemos hoje

12. Anos
90

13. O impacto da internet e das redes sociais
1994
É o início da produção e disponibilização de
conteúdo online, que irá impactar
fortemente o BI
1997
As soluções BI passam a ser amplamente
utilizadas pelas empresas
1999
Surgem as análises preditivas, que mudam a
forma como as empresas, operam, olhando
para o futuro

14. A partir
de 2000

15. O impacto da internet e das redes sociais
2001
É criada a primeira versão de uma
plataforma BI Mobile
2002
O USBank chega a 2 milhões de usuários
do seu bankline
2004 O Walmart gera 460 terabytes de dados

16. O impacto da internet e das redes sociais
2005
A consolidação das redes sociais gera um
aumento exponencial dos dados
2007
É apresentando ao mercado uma
plataforma de BI em nuvem
2009
Gartner prevê: até 2012, as empresas irão
controlar pelo menos 40% de seus
orçamentos utilizando um BI

17. A consolidação do BI
2010
35% das organizações utilizam solução BI e, 67%
das “melhores empresas”, já utilizam BI com
função self-service
Lançamento do PowerPivot
2011
Big Data / Cloud Computing / Data Visualization /
Mobile / Análises Preditivas / Experiência do
cliente online / Redes Sociais
2013 O mercado de BI cresce 22,4%

18. A consolidação do BI
2014 O mercado de BI fatura 81 bilhões de doláres
2015 Lançamento do Power BI
2016
30% das empresas começaram, monetizar seus
ativos de informação, por meio de troca ou vendas de
dados
2017
80% dos executivos de dados vão atuar na
maximização do valor de dados para minimizar riscos

20. Previsões para os próximos anos
2018
O mercado de BI espera faturar 136 bilhões de
dólares. Mais de 75% dos Diretores executivos de
dados não vão mais serem subordinados ao CIO ou
outro líder de TI
2020
As informações serão utilizadas para reinventar,
digitalizar ou eliminar 80% dos processos de
negócios e produtos, criados na década anterior

21. Histórico de BI
(Online Analytical Processing)

22. Business
Intelligence

23. “Business Intelligence
NÃO é uma ferramenta,
NÃO é um relatório,
NÃO é um banco de
dados…”

24. São conceitos e
métodos para
melhorar a tomada de
decisões empresariais
usando sistemas de
suporte baseados em
fatos
Então Business Intelligence...

26. Objetivo
É converter o volume de
dados em informações
relevantes ao negócio,
através de relatórios
analíticos

27. Arquitetura BI

28. Ciclo de vida

29. E o
... primeiro vamos a história...

30. Anos
80 e 90

31. O impacto da internet e das redes sociais
1989
Erik Larson utiliza pela primeira vez o termo
Big Data em um artigo para Harper's
Magazine
1990
A NASA utiliza o termo para descrever grandes
dados complexos
1997
Google lança seu buscador
Machine Learning começa a ganhar
importância

32. A partir
de 2000

33. 2003 Surge o Linkedln
2004
Surge o Facebook
Google implementa MapReduce para
calcular o ranking das páginas
2005 Hadoop se desenvolve
2006 Surge o Twitter

35. Armazenamento

40. “Big Data
NÃO é um produto,
NÃO é uma plataforma,
NÃO é uma solução,
NÃO é algo tangível…”

41. “é uma coleção de conjuntos de
dados tão grande e complexo
que torna-se difícil processar
usando ferramentas de
gerenciamento de banco de
dados ou aplicativos
tradicionais de dados”
Então Big Data...

42. Origens dos dados e tipos

44. Estruturados
Não estruturados
Semi-estruturados
Terabytes
Petabytes
Exabytes
Processamento de dados
históricos
Processamento de dados
em tempo real
Consistência
Confiança

45. Dados estruturados x Dados não estruturados

46. A explosão de dados é essencialmente dos
dados não estruturados

47. Arquitetura Big Data

48. Exemplo Arquitetura Big Data Microsoft

49. × Encontrar profissionais habilitados
× Compreender as plataformas e
ferramentas
× Coletar, armazenar e analisar dados de
diferentes fontes, em diferentes formados
e gerados em diferentes velocidades
× Migrar do sistema tradicional de coleta e
armazenamento de dados
Desafios
Qual a importância do Big Data?

50. O trabalho de refino e
análise por algoritmos e
softwares de alta
capacidade processual,
damos o nome de
Big Data Analytics

51. Evolução do BI / Analytics

52. Componentes e ferramentas da Ciência
de Dados

54. Principais do mercado

56. Isso sem falar na IoT

57. BI
vs
Big Data

59. Business
Intelligence
+
Big Data
=
Sucesso!

60. Vamos recapitular :
BI interpreta as informações existentes na
realidade e rotina da empresa, definindo
assim as melhores hipóteses. Já Big Data, ou
melhor dizendo, Big Data Analytics, aponta
para novos caminhos a partir da busca e
estruturação de dados, que vão tornar o
primeiro processo mais rico e eficiente.

61. Afinal, quais as diferenças
entre Big Data e BI?
BI e Big Data são de certa forma
complementares, mas não idênticos
Além disso, em geral, Big Data é uma fase posterior ao
amadurecimento de um trabalho com BI

62. Business Intelligence (BI) Big Data
Focado na coleta, transformação e
disponibilização de dados estruturados
para a tomada de decisões
Focado no processamento de dados
estruturados e não estruturados, bem como
nas correlações e descobertas que desse
processamento podem advir
Analisa o que já existe, definindo as
melhores hipóteses
Analisa o que já existe e o que está por
vir, apontando novos caminhos
Ideal para quando já se conhece as
perguntas
Ideal para quando se quer explorar
novas possibilidades, descobrir novos
padrões e explorar perguntas que ainda
não haviam sido feitas
Mais específico, voltado apenas para
negócios
Mais amplo, voltado não apenas para
negócios, mas para qualquer
área/segmento, como saúde,
entretenimento, educação

65. Big Data Analytics & Business Intelligence

66. Alguns Cases
de Sucesso

67. Business Intelligence

69. Grupo Pão de Açúcar
Problema: descobrir os produtos favoritos dos consumidores
Solução: programas de recompensas para os clientes dos seus mercados — Cliente Mais
para os mercados Pão de Açúcar e Clube Extra para os mercados Extra.
Cenário Atual: além de contribuir para a fidelização dos clientes, o sistema dá à empresa
e aos fornecedores dados precisos sobre os produtos mais comprados, favorecendo
principalmente as operações de estoque e logística.
Big Data

70. UPS (empresa de Logística)
Problema: demora e desperdício de tempo e dinheiro nas rotas de entrega
Solução: tecnologia para otimizar as rotas de entrega, cruzando os dados dos sensores
nos veículos, requisitos das encomendas e dados de mapas e geolocalização
Cenário Atual: reduziu em 85 milhões o número de milhas percorridas por ano, gerando
aumento de qualidade de vida para os funcionários e economia expressiva de combustível.
NIKE
Problema: marketing direcionado, fidelização do cliente
Solução: investir em aplicativos e dispositivos vestíveis (wearables), reunindo informações
sobre os praticantes de corrida (velocidade, locais, rotas preferidas...)
Cenário Atual: como conhece melhor os hábitos e comportamento do seu público, cria
produtos cada vez mais alinhados a essas características

71. Mercado de
Trabalho

72. TECNOLOGIAS SKILLS FOCO
Business
Intelligence
ETL/SQL
Banco de Dados relacionais
Relatórios
Dashboards
Programação
Análise de Dados
Modelagem de Dados
Desenvolvimento de Relatórios
Estatística Básica
Técnicas de Arquitetura
Análise de Negócio e Estratégia
Apresentação
Entrega de Informações e
Relatórios
Visualização de Dados
Estatística Descritiva
Integração e consolidação dos
Dados
Business
Analytics
Software de Modelagem de Dados
Software de Diagrama
Documentação
Software
SQL
Software de criação de perfi de
dados
Modelagem de Dados
Análise de Negócio
Manipulação dos Dados
Estatística Básica
Regras de Negócios
Definição de Dados
Relacionamento de Entidade
de Dados
Atributo dos Dados
Estrutura dos Dados
Fontes e Targets de Dados
Qualidade dos Dados
Data Science
Softwate Estatístico
Dados colunares
Map-Reduce
NoSQL
Linguagens de Programação
Software de criação de gráficos
Estatística Avançada
Programação
Análise de Negócio
Gerenciamento de Dados
Modernos
Tecnologias e Arquiteturas
Modelagem Preditiva
Análise e Estatística Avançada
Data Mining
Gerenciamento de Dados não
estruturados
Grandes volumes de dados
Pesquisa

73. Arquiteto de BI
Identificar os requisitos
para criação do data
warehouse, definir a
arquitetura, os processos
de ETL, staging, data
quality, desenvolver
modelos de dados que
suportem os relatórios,
otimizar a performance e
resolver problemas
técnicos relacionados a BI
Desenvolvedor ETL
Desenvolver e gerenciar
rotinas de extração,
transformação e carga para
o ambiente de DW, prover
suporte analisando os
resultados dos processos de
ETL e gerar documentação
dos procedimentos
realizados
Analista de
Relatórios
Gerar relatórios, KPIs e
dashboards consolidando
dados de negócio, financeiros
e econômicos para consulta
de executivos, gerentes e
clientes

74. Desenvolvedor
Big Data
Desenvolver aplicações
de Big Data aplicando
conhecimentos de Java,
Pig, Hbase, Hive, NoSQL,
processamento paralelo,
entre outros
Cientista de dados
Aplicar técnicas de análise
de dados e ciência de dados
para resolver problemas de
negócio, utilizar
conhecimentos de NoSQL,
MapReduce, Hive, Hadoop,
Data Mining e estatística
para auxiliar a tomada de
decisão e a estratégia da
organização
Engenheiro de
dados
Construir e arquitetar a
infraestrutura de Big Data,
garantir que os sistemas de
Big Data funcionem sempre
sem problemas

77. Curiosidades

79. 89,526,124$That’s a lot of money
100%Total success!
185,244 users
And a lot of users
Algumas estatísticas relevantes:
× Segundo Gartner, o mundo gera 2,2 milhões de terabytes por dia
× A cada 2 anos nós dobramos a taxa em que os dados são produzidos
× Até 2020 haverá em torno de 40 bilhões de terabytes no mundo
× 300 horas de vídeo são enviados por minuto para o Youtube
× Em 2020 haverá 6,1 bilhões de usuários de
smartphones em todo o mundo
× 3 milhões de consultas são feitas no Google
por minuto
× Empresas que investem em Big Data estão
5 vezes mais propensas a tomar decisões
mais rápidas que a concorrência

83. Moral da História

84. Obrigada!
Dúvidas?
Contatos:
fabiana.ravaneda@gmail.com
linkedin.com/in/fabianaravaneda
😉
😉