O documento discute a crescente relevância do Big Data, destacando seu impacto nas áreas de Business Intelligence e o aumento do interesse por profissões relacionadas, como a de cientista de dados. Explica os três pilares do Big Data: volume, velocidade e variedade, e menciona a quantidade massiva de dados gerados diariamente por plataformas como Facebook e Google. Por fim, aborda a integração de dados Big Data com sistemas tradicionais de data warehouse como um grande desafio para o futuro.

1. Esse tal de Big Data....
__________________________________________________________________··.
1
__________________________________________________________________________
E esse tal de Big Data ?
Hoje todas as pessoas que converso e que sabem que atuamos com Business Intelligence na Cetax
Consultoria, me perguntam:
E esse Big Data hein Marco? Eu vi até na Veja... está todo mundo falando disso.
“Vi que o Cientista de Dados é a profissão do futuro”, “Eu quero ser Cientista de Dados”.
Sempre penso muito antes de responder qualquer questão que foi colocada a mim, por isso vamos falar
um pouco sobre tudo que cerca o assunto antes de grandes definições.
Para quem nunca viu, abaixo está uma pesquisa feita no Google Trends (www.google.com/trends).
O termo é pesquisado nos EUA desde sempre, mas em 2011 houve uma explosão de pesquisas tanto aqui,
quanto lá na terra do Tio Sam.
Aqui no Brasil vemos um crescimento constante a partir de 2012 e um pico em Maio/2013, exatamente
quando a Veja publicou uma matéria sobre Big Data, não concordo com tudo que estava escrito na
matéria, mas isso fica para um post a parte.
Publicação da Veja
com Big Data na capa

2. Esse tal de Big Data....
__________________________________________________________________··.
2
__________________________________________________________________________Outro gráfico interessante que coloquei abaixo é uma comparação entre as pesquisas sobre Big Data x
Business Intelligence, essa pesquisa é Global. Podemos ver que o termo “Business Intelligence” reinou
absoluto até o começo desse ano, onde o “Big Data” ultrapassou o termo.
No gráfico abaixo uma comparação entre data warehouse x business Intelligence x big data.
Em 2006, “Business Intelligence” passou “Data Warehouse” e em 2013, “Big Data” passou “Business
Intelligence”.

3. Esse tal de Big Data....
__________________________________________________________________··.
3
__________________________________________________________________________
1) Big Data = Grandes Dados ou Grandes Volumes de
Dados ?
Alguns DBAs e programadores que conheço migraram seus currículos instantaneamente de “Especialistas
em Bancos de Dados” para “Especialistas em Big Data” afinal de contas trabalhavam com bancos de dados
de alguns Terabytes (TBs) e teoricamente isso é Big Data.
Na verdade não é simplesmente o volume de dados que define o Big Data, o conceito é calcado em um
pilar de 3 itens, algumas pessoas falam em 4, mas vamos aos 3 principais:
Volume – Volume dos Dados: Passamos a falar muito rápido de Gigabytes para Terabytes e agora
estamos falando de Petabytes e outros volumes que não vou saber colocar aqui de cabeça para vocês.
Hoje são contabilizados em média 12 Terabytes de Tweets diariamente, em 2012 foram gerados cerca de
2.834 Exabytes (que são milhões de Gigabytes) a previsão é que em 2020 se gerem anualmente 40.026
Exabytes de informações.
Velocity – Velocidade: Hoje para alguns negócios, 1 minuto pode ser muito tempo, detecção de
fraudes, liberações de pagamentos, análises de dados médicos ou qualquer outra informação sensível a
tempo.
A maior parte dos projetos de DW/BI (Data Warehouse e Business Intelligence) ainda tem latência em D-1,
ou seja, carregamos o dia anterior. Ainda acreditamos que essa solução se aplique a muitos negócios,
porém, para algumas análises, quanto mais próximo do tempo real, maior pode ser o incremento de
negócio.
Variety – Variedade: Big Data também poderia ser considerado como Any Data (qualquer dado),
hoje temos capacidade de capturar e analisar dados estruturados e não estruturados, texto, sensores,
navegação Web, áudio, vídeo, arquivos de logs, catracas, centrais de ar condicionado, entre outros.

4. Esse tal de Big Data....
__________________________________________________________________··.
4
__________________________________________________________________________Uma nova série de ferramentas está se tornando parte dos projetos, são as ferramentas de machine data,
dados de máquina, quase qualquer aparelho eletrônico hoje em dia tem uma estrutura de dados ou
programação, o ponto é que nem todos podem ser acessados (ainda..).
2) Qual o volume de dados gerado diariamente ?
O Facebook armazena, acessa e analisa mais de 50 petabytes de informações geradas pelos usuários, a
cada mês são gerados mais de 700 milhões de minutos por mês.
A cada minuto são feitos uploads de 48 horas de vídeos no Youtube, ou seja, nunca ninguém conseguirá
assistir todos os vídeos do Youtube.
Diariamente mais de 500 milhões de mensagens são enviadas pelo Twitter, com uma média de 5700 TPS
(Twittes per Second ou Mensagens por Segundo), o recorde é de 143.199 TPS.
O Google processa diariamente mais de 3 bilhões de pesquisas em todo o mundo, sendo desse total 15%
totalmente inéditas. Seu "motor" de pesquisa rastreia 20 bilhões de sites diariamente, armazenando 100
petabytes de informação.
Sem contar todas as informações que as companhias geram diariamente, sejam elas estruturadas ou não.
3) O que são informações estruturas e não estruturadas ?
Consideramos:
 Informações estruturadas - aquelas que possuem algum padrão ou formato que pode ser usado
na sua leitura e extração dos dados. Dados de bancos de dados, sistemas legados, arquivos texto
(sejam csv, txt ou XML).
 Informações não estruturadas – não possuem um formato padronizado para leitura, podem ser
arquivos Word, Páginas de Internet/Intranet, Vídeos, áudios, entre outros.
4) Quais ferramentas ? não está fácil escolher..
Ok, já sabemos o que é o termo, temos uma ideia do que ele faz, mas qual ferramenta devo escolher?
Não quero desanimar ninguém, mas olhando abaixo devem ter mais de umas 100 marcas diferentes em
categorias de softwares diferentes também.

5. Esse tal de Big Data....
__________________________________________________________________··.
5
__________________________________________________________________________
Deixei os Twitters dos responsáveis pela figura (Matt Turck e Shivon Zilis) que tiveram tempo e coragem
para montar o gráfico acima.
Em Maio/2013 fiz 2 cursos em Chicago-USA no TDWI (www.tdwi.org) com o Professor Krish Krishnan
(@datagenius), realmente foram muito bom, um curso bem completo sobre Big Data e outro específico e
mais focado no Hadoop.
Gostamos muito do Hadoop, nos parece ser uma suíte muito completa e estamos colocando nossas fichas
nele, mas claro, não colocamos todas as fichas na mesma aposta, a não ser que eu tenha certeza para
mandar o “All-In” como fazemos no pôquer.
Como essa aposta não é pôquer e tenho um quadro com cerca de 100 tecnologias diferentes, apostamos
uma quantidade de fichas no Hadoop, mas guardamos fichas para mais apostas.
Existem muitas ferramentas, muitos fabricantes, muitas a definições a acontecer, as perguntas que nos
fazem:
 Mas qual devo estudar?

6. Esse tal de Big Data....
__________________________________________________________________··.
6
__________________________________________________________________________ Qual é a melhor do mercado?
 Qual a mais usada?
Todo esse mercado ainda é muito recente, estamos falando de produtos comerciais que tem 2 ou 3 anos
no máximo. Muitas definições estão acontecendo nesse momento.
Sabemos que o mercado americano gera a maior parte das tendências de tecnologia mundialmente e pelo
que vimos, nem eles ainda tem uma ferramenta ou uma solução principal, ainda está tudo muito
fragmentado.
5) E o meu Data Warehouse, o que acontecerá ?
Ainda segundo o Professor Krish Krishnan, os dados oriundos do Big Data serão complementares ao Data
Warehouse existente, visto que ainda existirão sistemas legados com dados estruturados e bancos de
dados, da maneira que fazemos BI hoje.
O grande desafio será integrar os dados das estratégias de BI com as de Big Data, analisar separadamente
as informações não é complexo, medir Tweets, Likes do Facebook ou qualquer outro dado não estruturado
individualmente.
Passará a ser um grande desafio quando cruzarmos esses dados com Notas Fiscais, Pedidos, Entregas, etc.
Agradecimentos
Pessoal, agradeço por conseguirem chegar até aqui!
Mais artigos estão chegando:
 Gerenciamento de Projetos de BI.
 Cientista de Dados.
 Hadoop
Obrigado,
Marco Garcia
mgarcia@cetax.com.br
http://cetax.com.br