O documento discute os desafios e oportunidades da Big Data e Data Science. Apresenta como os sistemas devem lidar com a grande quantidade de dados gerados e como extrair valor destes dados através de análises. Também discute processos para projetos de Data Science como CRISP-DM e modelos de negócios sustentados por dados.

1. 1 / 35
Big Data eBig Data e
Data ScienceData Science
OportunidadesOportunidades
Prof. Daniela Brauner
Escola de Administração – UFRGS
daniela.brauner@ufrgs.br
danibrauner@gmail.com
.....

2. 2
O problema...
●
Os computadores registram tudo;
●
Baixo custo de armazenamento em disco e online;
●
Cada vez mais dispositivos que capturam dados;
●
Sistemas de informação bem difundidos em
empresas de todos os portes; Essenciais!
=
Avalanche de dados !
.....

3. 3
.....

4. 4
●
Existem milhares de coleções de dados abertos
disponíveis na Web (open data)
Dados abertos…
Dados governo brasileiro: http://dados.gov.br
Dados abertos conectados: http://lod-cloud.net
.....

5. "Carro vai gerar 25 GB de dados
por hora”- http://bit.ly/1IKNT0W
“Uma família preenche com
informações 65 smartphones de
32GB por ano; daqui a seis
anos, preencherá 318.” -
http://glo.bo/1gwWE0D
Milhares de sensores capturando
dados por aí (Internet of Things - IoT).
5
E mais dados
.....

6. 6
1991
.....

7. 7
Citado por Silva, T. 2014.http://www.enucomp.com.br/2014/editais/profa_ticiana.pdf
Atualmente
.....

8. 8
Manyika, J. et al. Big data: The next frontier for
innovation, competition and productivity
May, 2011.
McKinsey Global Institute Report.
http://www.mckinsey.com/insights/business_technology/
big_data_the_next_frontier_for_innovation
8
.....

9. Big Data
São dados que excedem o armazenamento, o
processamento e a capacidade dos sistemas convencionais:
●
Volume de dados muito grande
●
Dados variados
●
Gerados em alta velocidade
Para obter valor a partir destes dados, é necessário
mudar a forma de lidarmos com eles…
Edd Dumbill, O’Reilly
.....

10. DesafiosOs 7 V’s da Big Data
FONTE: Inspirado nos 4 V’s da Big Data criado pela IBM:
http://www.ibmbigdatahub.com/sites/default/files/infographic_file/4-Vs-of-big-data.jpg
●
Como armazenar e organizar esse
volume de dados para torná-lo
pesquisável?
Como garantir a proveniência,
acurácia, confiança e
qualidade dos dados?
dados de diferentes
●
sensores,
vídeos,
texto,
fotos,…
dados
temporais,
metadados,
e outros
●
●
Como garantir
o
processamento de
todos os diferentes
tipos de formatos,
taxonomias?
de produção
e de
processamento
●
●
Como processar em
tempo real esse
volume e variedade de
dados?
Qual dado tem valor? Qual
merece ser guardado e analisado?
●
Como extrair valor?
Volatilidad
e
Janela de tempo
onde podemos usar
os dados
Visibilidade
Como
visualizar/apresentar
os dados de forma
coerente?
.....

11. .....

12. .....

13. 13
COMO os SISTEMAS devem reagir ao cenário
de Big Data?
●
Oferecendo ferramentas rápidas e eficientes para
armazenamento, processamento e recuperação de
dados;
●
Implementando técnicas inteligentes para
descobrir valor no volume de dados;
●
Disponibilizando formas de visualização inovadoras e
em tempo real para apresentação dos dados para os
usuários;
.....

14. 14http://mattturck.com/wp-content/uploads/2018/07/Matt_Turck_FirstMark_Big_Data_Landscape_2018_Final.png
.....

15. FONTE: SAS - http://www.industryweek.com/information-technology/truth-about-high-performance-analytics-part-two
Mas afinal, o que é relevante?
.....

16. Fonte: http://blog.vint.sogeti.com/wp-content/uploads/2012/07/VINT-Sogeti-on-Big-Data-1-of-4-Creating-Clarity.pdf
Entendendo os dados
e
transform
ando
.....

17. .....

18. 18 / 35
Ciência da
Computação
Conhecimento
do domínio
Definição: Data Science
●
É a área que reune tudo relacionado ao
tratamento, preparação e análise de dados.
●
É um guarda-chuva
de técnicas usadas
para extrair insights
e informações
dos dados.
Matemática
Estatística
Banco
de
Dados
Aprendizado
de
Máquina
Data
Science.....

19. 19 / 35
FONTE: http://digitally.cognizant.com/data-science-the-new-monetization-model-for-analytics-industry-3/
Data Science x BI
.....

20. 20 / 35
“Somente 27% dos projetos de Big Data Analytics tem sucesso”
Fonte: CapGemeni – Big Data Survey 2014
Data Science não acontece do nada…Data Science não acontece do nada…
.....

21. 21 / 35
Alguns problemas em projetos
Dados dispersos em silos de diferentes áreas
Falta de um caso de uso de negócios claro
Ineficiência na coordenação dos times
envolvidos na análise de dados da organização
Dependência de sistemas legados para gestão
e processamento de dados
Falta de modelos de governança para analytics
Falta de patrocinador da alta gerência
Falta de habilidade em analytics e big data
Falta de clareza nas ferramentas e tecnologias
Custo das ferramentas e infraestruturas para analytics
Preocupação com segurança e privacidade de dados
Resistência a mudança na organização
.....

22. 22 / 35
Alguns fatores de sucesso
✔ Roadmap
estratégico
(proposta de valor)
✔ Seleção de caso
de uso
✔ Métricas de
sucesso (Key
Performance
Indicators - KPIs)
https://www.capgemini.com/wp-content/uploads/sites/30/2015/01/Cracking-the-data-conundrum-infographic.pdf
Projeto Equipe
.....

23. 23 / 35
Alguns fatores de sucesso
✔ Roadmap
estratégico
(proposta de valor)
✔ Seleção de caso
de uso
✔ Métricas de
sucesso (Key
Performance
Indicators - KPIs)
https://www.capgemini.com/wp-content/uploads/sites/30/2015/01/Cracking-the-data-conundrum-infographic.pdf
Projeto Equipe
PROCESSO
.....

24. 24 / 35
.....

25. 25 / 35
Processos para Data Science
●
KDD
●
CRISP-DM
●
SEMMA
●
Data Analytics Lifecycle
.....

26. 26 / 35
Knowledge Discovery in Databases (KDD)
●
Mais antiga (1996)
●
Foco na transformação de dados em informação
FONTE: FAYYAD, Usama; PIATETSKY-SHAPIRO, Gregory; SMYTH, Padhraic. From data mining to knowledge discovery: An overview. In: Advances in
Knowledge Discovery and Data Mining, AAAI Press/The MIT Press, England, 1996, p.1-34.
.....

27. 27 / 35
Cross Industry Standard Process
for Data Mining (CRISP-DM)
●
Existe desde 1996;
●
Oficializado por um consórcio
financiado pela comissão
européia em 2000, com Daimler
Chrysler (then Daimler-Benz),
SPSS (then ISL) , NCR;
(Veteranos em Data Mining)
●
Mais de 200 organizacões
contribuíram no processo.
FONTE: Chapman et al., 2000. https://www.the-modeling-agency.com/crisp-dm.pdf
.....

28. 28 / 35
Sample, Explore, Modify, Model e
Assess (SEMMA)
●
Criada pela SAS
em 2008;
●
Processo que guia
um passo a passo
do software SAS
Enterprise Miner;
Fonte: http://faculty.smu.edu/tfomby/eco5385_eco6380/data/SPSS/SAS%20_%20SEMMA.pdf
https://paulovasconcellos.com.br/crisp-dm-semma-e-kdd-conheça-as-melhores-técnicas-para-exploração-de-dados-560d294547d2
.....

29. 29 / 35
Data Analytics Lifecycle
●
Proposto pela EMC (2015)
●
Framework que reune
melhores práticas dos
modelos existentes:
método científico, CRISP-
DM, DELTA, Applied
information economics
approach e MadSkills.
FONTE: EMC Education (2015). Data Science and Big Data Analytics: Discovering, Analyzing, Visualizing and Presenting Data (1 ed.). Hoboken, New Jersey: Wiley.
.....

30. 30 / 35
Data-driven Business Models
●
“Organizations using big data and analytics within their innovation
processes are 36%more likely to beat their competitors in
terms of revenue growth and operating efficiency.”
(IBM innovation survey, 2014)
Volume
Velocidade
Variedade
Exemplos de fontes de vantagens
competitivas em vários modelos de
negócios
Ex: Hotéis que analisam rapidamente grandes quantidades de
dados de diversas fontes: dados de seus sistemas sobre as
hospedagens dos hóspedes, sua reputação em redes sociais,
avaliações de clientes...
.....

31. 31 / 35
Data-driven Business Models
●
Aproveitando dados internos
●
Aproveitando dados externos
●
Ambos
.....

32. 32 / 35
Data-driven Business Models
●
NÃO PENSAR SOMENTE EM MARKETING
●
A análise de dados pode apoiar melhorias
estratégicas em outras funções.
l
Melhorias em produtos/serviço/operação
.....

33. 33 / 35
Algumas referências
●
Data-driven Business Model-Innovation. Sorescu, A. (2017). Journal of Product Innovation Management,
September 2017.
●
Capturing value from big data – a taxonomy of data-driven business models used by start-up firms.
Hartmann, P., Zaki, M., Feldmann, N., & Neely, A. (2016). International Journal of Operations and Production
Management, 36 (10).
●
Big data-driven business model innovation by traditional industries in the Chinese economy. Cheah, Sarah ;
Wang, Shenghui 2017. Journal of Chinese Economic and Foreign Trade Studies
●
How to turn managers into data-driven decision makers: measuring attitudes towards business analytics.
Carillo, K.D.A. ; Galy, N. ; Guthrie, C. ; Vanhems, A. Business Process Management Journal, 19 July 2018
●
Business-driven data analytics: A conceptual modeling framework. Nalchigar, Soroosh; Yu, Eric. Data &
Knowledge Engineering, 09/2018.
●
Business Models for Open Data Ecosystem: Challenges and Motivations for Entrepreneurship and Innovation,
Kitsios, F., N. Papachristos and M. Kamariotou (2017). Proceedings of 19th IEEE International Conference on
BUSINESS INFORMATICS (CBI’17)
●
Data-driven service business models
https://openservicelab.org//wp-content/uploads/2018/08/180605_V4_FAU_007_Smart_Services_Freigabe_Ansi
cht.pdf
.....

34. 34 / 35
Bibliografia
.....

35. 35 / 35
E uma avalanche de livros...
.....