Diógenes Justo apresentou sobre Big Data e Data Science. Ele tem experiência em economia, matemática, bancos de dados e projetos. Big Data surgiu nos anos 90 e se refere a grandes volumes de dados complexos que requerem novas formas de processamento. Profissionais de Data Science usam técnicas estatísticas e de aprendizado de máquina para extrair insights valiosos desses dados. Há grandes desafios em preparar a mão de obra e mostrar o valor prático dessas soluções.

1. QMeeting 2015
BIG DATA: Data Science
Diogenes Justo
26/set/2015

2. SHORT BIO
Diógenes Justo
Mestre em Economia Aplicada (UFRGS)
MBE Economia (UFRGS).
Especialista em Banking (FGV).
Especialista em Data Science (John Hopkins University / Coursera).
Bacharel em Matemática Aplicada e Computacional (UFRGS).
Cursos de especialização em Big Data, Machine Learning e Data Mining no MIT, Washington University,
University of Illinois e Stanford
PMO Manager da BMF&Bovespa - Profissional certificado PMP.
20 anos de experiência na área de TI, tendo atuado em desenvolvimento, infraestrutura, banco de
dados e B.I., além de projetos.

3. In the German military machines, the total number
of possible combinations for message encryptions
comes to a staggering figure in the quadrillions.
(The exact number? 158,962,555,217,826,360,000).

4. RECENTE HISTÓRIA

5. BIG DATA

6. 91 95 98 99 01 02 03 04 05 12
NSF - Core
Technologies for
Advancing Big
Data Science

7. TENDÊNCIA

9. CARREIRAS MAIS DEMANDADAS

11. CLUSTER COMPUTING

12. CLUSTER COMPUTING
Min(CPU-CPU)?
Multi-Core

13. RASPBERRY PI CLUSTER
WSO2 Conference 2013, London UK

14. HADOOP + MAP REDUCE
Logistic regression in Hadoop and Spark
spark.apache.org

15. DATA MINING, BIG DATA, DATA SCIENCE...
Data Mining ≈ Big Data ≈
Predictive Analytics ≈
Data Science
J. Leskovec, A.Rajaraman, J.Ullman: Mining of Massive Datasets
http://www.mmds.org

16. WHAT IS BIG DATA?
thefinancialbrand.com (IBM Research)

17. [DEAN, 14]
DATA MINING, MACHINE LEARNING...

18. O QUE NÃO É O QUE É
● Algo novo ou moda
● Algo totalmente avesso a Business
Intelligence ou DatawareHouse
● Quem tem Hadoop/NoSQL tem Big
Data
● Big Data significa muitos dados
espalhados por aí (web)
● Um problema que, mais hora, menos hora,
apareceria; uns tiveram o problema primeiro
● Abrange e se utiliza de técnicas já desenvolvidas
de BI, DW, Data Mining, Machine Learning (e usa
novas)...
● Hadoop/NoSQL facilitam a solução de problemas
● Big Data significa muitos dados (in ou out),
complexos (estruturados e não), de forma
crescente

19. APLICAÇÕES

26. QUEM FAZ ACONTECER?

28. Pesquisa
Científica Zona de Perigo

29. DATA SCIENCE - PROCESSO

31. DESAFIOS...
- Demanda deve crescer muito nos próximos anos
- Faltam profissionais para iniciarem as demandas ou identificar
aplicações
- Preparar mão de obra
- Nas empresas: qual é mais difícil? Mat/Est, Programação ou Negócios
- Nas universidades e escolas: adaptação de ementas, professores
qualificados
- Trazer valor de soluções
- Foco na solução, benefícios e não nas tecnologias

32. Obrigado!
Diogenes Justo
diogenes.justo@gmail.com