SlideShare uma empresa Scribd logo
1 de 35
1 / 35
Big Data eBig Data e
Data ScienceData Science
OportunidadesOportunidades
Prof. Daniela Brauner
Escola de Administração – UFRGS
daniela.brauner@ufrgs.br
danibrauner@gmail.com
.....
2
O problema...
●
Os computadores registram tudo;
●
Baixo custo de armazenamento em disco e online;
●
Cada vez mais dispositivos que capturam dados;
●
Sistemas de informação bem difundidos em
empresas de todos os portes; Essenciais!
=
Avalanche de dados !
.....
3
.....
4
●
Existem milhares de coleções de dados abertos
disponíveis na Web (open data)
Dados abertos…
Dados governo brasileiro: http://dados.gov.br
Dados abertos conectados: http://lod-cloud.net
.....
"Carro vai gerar 25 GB de dados
por hora”- http://bit.ly/1IKNT0W
“Uma família preenche com
informações 65 smartphones de
32GB por ano; daqui a seis
anos, preencherá 318.” -
http://glo.bo/1gwWE0D
Milhares de sensores capturando
dados por aí (Internet of Things - IoT).
5
E mais dados
.....
6
1991
.....
7
Citado por Silva, T. 2014.http://www.enucomp.com.br/2014/editais/profa_ticiana.pdf
Atualmente
.....
8
Manyika, J. et al. Big data: The next frontier for
innovation, competition and productivity
May, 2011.
McKinsey Global Institute Report.
http://www.mckinsey.com/insights/business_technology/
big_data_the_next_frontier_for_innovation
8
.....
Big Data
São dados que excedem o armazenamento, o
processamento e a capacidade dos sistemas convencionais:
●
Volume de dados muito grande
●
Dados variados
●
Gerados em alta velocidade
Para obter valor a partir destes dados, é necessário
mudar a forma de lidarmos com eles…
Edd Dumbill, O’Reilly
.....
DesafiosOs 7 V’s da Big Data
FONTE: Inspirado nos 4 V’s da Big Data criado pela IBM:
http://www.ibmbigdatahub.com/sites/default/files/infographic_file/4-Vs-of-big-data.jpg
●
Como armazenar e organizar esse
volume de dados para torná-lo
pesquisável?
Como garantir a proveniência,
acurácia, confiança e
qualidade dos dados?
dados de diferentes
●
sensores,
vídeos,
texto,
fotos,…
dados
temporais,
metadados,
e outros
●
●
Como garantir
o
processamento de
todos os diferentes
tipos de formatos,
taxonomias?
de produção
e de
processamento
●
●
Como processar em
tempo real esse
volume e variedade de
dados?
Qual dado tem valor? Qual
merece ser guardado e analisado?
●
Como extrair valor?
Volatilidad
e
Janela de tempo
onde podemos usar
os dados
Visibilidade
Como
visualizar/apresentar
os dados de forma
coerente?
.....
.....
.....
13
COMO os SISTEMAS devem reagir ao cenário
de Big Data?
●
Oferecendo ferramentas rápidas e eficientes para
armazenamento, processamento e recuperação de
dados;
●
Implementando técnicas inteligentes para
descobrir valor no volume de dados;
●
Disponibilizando formas de visualização inovadoras e
em tempo real para apresentação dos dados para os
usuários;
.....
14http://mattturck.com/wp-content/uploads/2018/07/Matt_Turck_FirstMark_Big_Data_Landscape_2018_Final.png
.....
FONTE: SAS - http://www.industryweek.com/information-technology/truth-about-high-performance-analytics-part-two
Mas afinal, o que é relevante?
.....
Fonte: http://blog.vint.sogeti.com/wp-content/uploads/2012/07/VINT-Sogeti-on-Big-Data-1-of-4-Creating-Clarity.pdf
Entendendo os dados
e
transform
ando
.....
.....
18 / 35
Ciência da
Computação
Conhecimento
do domínio
Definição: Data Science
●
É a área que reune tudo relacionado ao
tratamento, preparação e análise de dados.
●
É um guarda-chuva
de técnicas usadas
para extrair insights
e informações
dos dados.
Matemática
Estatística
Banco
de
Dados
Aprendizado
de
Máquina
Data
Science.....
19 / 35
FONTE: http://digitally.cognizant.com/data-science-the-new-monetization-model-for-analytics-industry-3/
Data Science x BI
.....
20 / 35
“Somente 27% dos projetos de Big Data Analytics tem sucesso”
Fonte: CapGemeni – Big Data Survey 2014
Data Science não acontece do nada…Data Science não acontece do nada…
.....
21 / 35
Alguns problemas em projetos
Dados dispersos em silos de diferentes áreas
Falta de um caso de uso de negócios claro
Ineficiência na coordenação dos times
envolvidos na análise de dados da organização
Dependência de sistemas legados para gestão
e processamento de dados
Falta de modelos de governança para analytics
Falta de patrocinador da alta gerência
Falta de habilidade em analytics e big data
Falta de clareza nas ferramentas e tecnologias
Custo das ferramentas e infraestruturas para analytics
Preocupação com segurança e privacidade de dados
Resistência a mudança na organização
.....
22 / 35
Alguns fatores de sucesso
✔ Roadmap
estratégico
(proposta de valor)
✔ Seleção de caso
de uso
✔ Métricas de
sucesso (Key
Performance
Indicators - KPIs)
https://www.capgemini.com/wp-content/uploads/sites/30/2015/01/Cracking-the-data-conundrum-infographic.pdf
Projeto Equipe
.....
23 / 35
Alguns fatores de sucesso
✔ Roadmap
estratégico
(proposta de valor)
✔ Seleção de caso
de uso
✔ Métricas de
sucesso (Key
Performance
Indicators - KPIs)
https://www.capgemini.com/wp-content/uploads/sites/30/2015/01/Cracking-the-data-conundrum-infographic.pdf
Projeto Equipe
PROCESSO
.....
24 / 35
.....
25 / 35
Processos para Data Science
●
KDD
●
CRISP-DM
●
SEMMA
●
Data Analytics Lifecycle
.....
26 / 35
Knowledge Discovery in Databases (KDD)
●
Mais antiga (1996)
●
Foco na transformação de dados em informação
FONTE: FAYYAD, Usama; PIATETSKY-SHAPIRO, Gregory; SMYTH, Padhraic. From data mining to knowledge discovery: An overview. In: Advances in
Knowledge Discovery and Data Mining, AAAI Press/The MIT Press, England, 1996, p.1-34.
.....
27 / 35
Cross Industry Standard Process
for Data Mining (CRISP-DM)
●
Existe desde 1996;
●
Oficializado por um consórcio
financiado pela comissão
européia em 2000, com Daimler
Chrysler (then Daimler-Benz),
SPSS (then ISL) , NCR;
(Veteranos em Data Mining)
●
Mais de 200 organizacões
contribuíram no processo.
FONTE: Chapman et al., 2000. https://www.the-modeling-agency.com/crisp-dm.pdf
.....
28 / 35
Sample, Explore, Modify, Model e
Assess  (SEMMA)
●
Criada pela SAS
em 2008;
●
Processo que guia
um passo a passo
do software SAS
Enterprise Miner;
Fonte: http://faculty.smu.edu/tfomby/eco5385_eco6380/data/SPSS/SAS%20_%20SEMMA.pdf
https://paulovasconcellos.com.br/crisp-dm-semma-e-kdd-conheça-as-melhores-técnicas-para-exploração-de-dados-560d294547d2
.....
29 / 35
Data Analytics Lifecycle
●
Proposto pela EMC (2015)
●
Framework que reune
melhores práticas dos
modelos existentes:
método científico, CRISP-
DM, DELTA, Applied
information economics
approach e MadSkills.
FONTE: EMC Education (2015). Data Science and Big Data Analytics: Discovering, Analyzing, Visualizing and Presenting Data (1 ed.). Hoboken, New Jersey: Wiley.
.....
30 / 35
Data-driven Business Models
●
“Organizations using big data and analytics within their innovation
processes are 36%more likely to beat their competitors in
terms of revenue growth and operating efficiency.”
(IBM innovation survey, 2014)
Volume
Velocidade
Variedade
Exemplos de fontes de vantagens
competitivas em vários modelos de
negócios
Ex: Hotéis que analisam rapidamente grandes quantidades de
dados de diversas fontes: dados de seus sistemas sobre as
hospedagens dos hóspedes, sua reputação em redes sociais,
avaliações de clientes...
.....
31 / 35
Data-driven Business Models
●
Aproveitando dados internos
●
Aproveitando dados externos
●
Ambos
.....
32 / 35
Data-driven Business Models
●
NÃO PENSAR SOMENTE EM MARKETING
●
A análise de dados pode apoiar melhorias
estratégicas em outras funções.
l
Melhorias em produtos/serviço/operação
.....
33 / 35
Algumas referências
●
Data-driven Business Model-Innovation. Sorescu, A. (2017). Journal of Product Innovation Management,
September 2017.
●
Capturing value from big data – a taxonomy of data-driven business models used by start-up firms.
Hartmann, P., Zaki, M., Feldmann, N., & Neely, A. (2016). International Journal of Operations and Production
Management, 36 (10).
●
Big data-driven business model innovation by traditional industries in the Chinese economy. Cheah, Sarah ;
Wang, Shenghui 2017. Journal of Chinese Economic and Foreign Trade Studies
●
How to turn managers into data-driven decision makers: measuring attitudes towards business analytics.
Carillo, K.D.A. ; Galy, N. ; Guthrie, C. ; Vanhems, A. Business Process Management Journal, 19 July 2018
●
Business-driven data analytics: A conceptual modeling framework. Nalchigar, Soroosh; Yu, Eric. Data &
Knowledge Engineering, 09/2018.
●
Business Models for Open Data Ecosystem: Challenges and Motivations for Entrepreneurship and Innovation,
Kitsios, F., N. Papachristos and M. Kamariotou (2017). Proceedings of 19th IEEE International Conference on
BUSINESS INFORMATICS (CBI’17)
●
Data-driven service business models
https://openservicelab.org//wp-content/uploads/2018/08/180605_V4_FAU_007_Smart_Services_Freigabe_Ansi
cht.pdf
.....
34 / 35
Bibliografia
.....
35 / 35
E uma avalanche de livros...
.....

Mais conteúdo relacionado

Mais procurados

Planejamento e gerência de risco de software
Planejamento e gerência de risco de softwarePlanejamento e gerência de risco de software
Planejamento e gerência de risco de softwareGrupoAlves - professor
 
Workshop Gestão de projetos: Da teoria à pratica
Workshop Gestão de projetos: Da teoria à praticaWorkshop Gestão de projetos: Da teoria à pratica
Workshop Gestão de projetos: Da teoria à praticaEli Rodrigues
 
Método de Monte Carlo – elaboração de um modelo em Excel para planejamento fí...
Método de Monte Carlo – elaboração de um modelo em Excel para planejamento fí...Método de Monte Carlo – elaboração de um modelo em Excel para planejamento fí...
Método de Monte Carlo – elaboração de um modelo em Excel para planejamento fí...Carlos Alberto Alves
 
He 2015-03 - mkt adm
He 2015-03 - mkt  admHe 2015-03 - mkt  adm
He 2015-03 - mkt admFlavioCLima
 
Gerência de projetos de software
Gerência de projetos de softwareGerência de projetos de software
Gerência de projetos de softwareNiva Silva
 
Elaboracao e Administracao De Projetos
Elaboracao e Administracao De  ProjetosElaboracao e Administracao De  Projetos
Elaboracao e Administracao De ProjetosKenneth Corrêa
 
Gerência de Projetos de Software - Aula1
Gerência de Projetos de Software - Aula1Gerência de Projetos de Software - Aula1
Gerência de Projetos de Software - Aula1Adson Cunha, MSc, PMP®
 
Gerenciamento de Projetos - Redes
Gerenciamento de Projetos - RedesGerenciamento de Projetos - Redes
Gerenciamento de Projetos - RedesClaudia Costa
 
Gestao de projetos_modulo_1
Gestao de projetos_modulo_1Gestao de projetos_modulo_1
Gestao de projetos_modulo_1Target Trust
 
Aiesec - Fundamentos em Gerenciamento de Projetos
Aiesec - Fundamentos em Gerenciamento de ProjetosAiesec - Fundamentos em Gerenciamento de Projetos
Aiesec - Fundamentos em Gerenciamento de ProjetosRodrigo Giraldelli
 
Melhores práticas em gerenciamento de projetos
Melhores práticas em gerenciamento de projetosMelhores práticas em gerenciamento de projetos
Melhores práticas em gerenciamento de projetosElderclei Reami
 
Gestão de Projetos de TI em Empresas
Gestão de Projetos de TI em EmpresasGestão de Projetos de TI em Empresas
Gestão de Projetos de TI em EmpresasCamilo Almendra
 

Mais procurados (16)

Treinamento em gestão de projetos
Treinamento em gestão de projetosTreinamento em gestão de projetos
Treinamento em gestão de projetos
 
Planejamento e gerência de risco de software
Planejamento e gerência de risco de softwarePlanejamento e gerência de risco de software
Planejamento e gerência de risco de software
 
Workshop Gestão de projetos: Da teoria à pratica
Workshop Gestão de projetos: Da teoria à praticaWorkshop Gestão de projetos: Da teoria à pratica
Workshop Gestão de projetos: Da teoria à pratica
 
Método de Monte Carlo – elaboração de um modelo em Excel para planejamento fí...
Método de Monte Carlo – elaboração de um modelo em Excel para planejamento fí...Método de Monte Carlo – elaboração de um modelo em Excel para planejamento fí...
Método de Monte Carlo – elaboração de um modelo em Excel para planejamento fí...
 
Elaboração de projetos acadêmicos
Elaboração de projetos acadêmicosElaboração de projetos acadêmicos
Elaboração de projetos acadêmicos
 
Conceitos e evolução de Gestão de Projetos
Conceitos e evolução de Gestão de ProjetosConceitos e evolução de Gestão de Projetos
Conceitos e evolução de Gestão de Projetos
 
He 2015-03 - mkt adm
He 2015-03 - mkt  admHe 2015-03 - mkt  adm
He 2015-03 - mkt adm
 
Gerência de projetos de software
Gerência de projetos de softwareGerência de projetos de software
Gerência de projetos de software
 
Elaboracao e Administracao De Projetos
Elaboracao e Administracao De  ProjetosElaboracao e Administracao De  Projetos
Elaboracao e Administracao De Projetos
 
Gerência de Projetos de Software - Aula1
Gerência de Projetos de Software - Aula1Gerência de Projetos de Software - Aula1
Gerência de Projetos de Software - Aula1
 
Gerenciamento de Projetos - Redes
Gerenciamento de Projetos - RedesGerenciamento de Projetos - Redes
Gerenciamento de Projetos - Redes
 
Gestao de projetos_modulo_1
Gestao de projetos_modulo_1Gestao de projetos_modulo_1
Gestao de projetos_modulo_1
 
Aiesec - Fundamentos em Gerenciamento de Projetos
Aiesec - Fundamentos em Gerenciamento de ProjetosAiesec - Fundamentos em Gerenciamento de Projetos
Aiesec - Fundamentos em Gerenciamento de Projetos
 
Trabalho de conclusão de curso 2013
Trabalho de conclusão de curso 2013Trabalho de conclusão de curso 2013
Trabalho de conclusão de curso 2013
 
Melhores práticas em gerenciamento de projetos
Melhores práticas em gerenciamento de projetosMelhores práticas em gerenciamento de projetos
Melhores práticas em gerenciamento de projetos
 
Gestão de Projetos de TI em Empresas
Gestão de Projetos de TI em EmpresasGestão de Projetos de TI em Empresas
Gestão de Projetos de TI em Empresas
 

Semelhante a Big Data e Data Science: Oportunidades e Desafios

Um novo "ABC" das TICs: (A)nalytics + (B)ig Data + (C)loud Computing
Um novo "ABC" das TICs: (A)nalytics + (B)ig Data + (C)loud ComputingUm novo "ABC" das TICs: (A)nalytics + (B)ig Data + (C)loud Computing
Um novo "ABC" das TICs: (A)nalytics + (B)ig Data + (C)loud ComputingJosé Carlos Cavalcanti
 
1º Seminário CICTEC - Um Novo ABC das TICs - José Carlos Cavalcanti 22 05 13
1º Seminário CICTEC - Um Novo ABC das TICs - José Carlos Cavalcanti 22 05 131º Seminário CICTEC - Um Novo ABC das TICs - José Carlos Cavalcanti 22 05 13
1º Seminário CICTEC - Um Novo ABC das TICs - José Carlos Cavalcanti 22 05 13cictec
 
Ciência de Dados: a revolução na tomada de decisões
Ciência de Dados: a revolução na tomada de decisõesCiência de Dados: a revolução na tomada de decisões
Ciência de Dados: a revolução na tomada de decisõesMarlesson Santana
 
Introdução às ferramentas de Business Intelligence do ecossistema Hadoop
Introdução às ferramentas de Business Intelligence do ecossistema HadoopIntrodução às ferramentas de Business Intelligence do ecossistema Hadoop
Introdução às ferramentas de Business Intelligence do ecossistema HadoopUniversidade de São Paulo
 
Aula Magna Sobre BI & BigData na UNIA, Luanda - Angola
Aula Magna Sobre BI & BigData na UNIA, Luanda - AngolaAula Magna Sobre BI & BigData na UNIA, Luanda - Angola
Aula Magna Sobre BI & BigData na UNIA, Luanda - Angolaalexculpado
 
BigData-Hekima-Ebook.pdf
BigData-Hekima-Ebook.pdfBigData-Hekima-Ebook.pdf
BigData-Hekima-Ebook.pdfssuserbd3b69
 
Transformação Digital e o papel do Servidor Público da área de TI
Transformação Digital e o papel do Servidor Público da área de TITransformação Digital e o papel do Servidor Público da área de TI
Transformação Digital e o papel do Servidor Público da área de TIYuri Morais
 
White Paper Frost & Sullivan Portugues
White Paper Frost & Sullivan PortuguesWhite Paper Frost & Sullivan Portugues
White Paper Frost & Sullivan PortuguesFelipe Lamus
 
Por que tudo que você achava que sabia sobre implementar novas tecnologias mu...
Por que tudo que você achava que sabia sobre implementar novas tecnologias mu...Por que tudo que você achava que sabia sobre implementar novas tecnologias mu...
Por que tudo que você achava que sabia sobre implementar novas tecnologias mu...Cisco do Brasil
 
Big Data e Data Science - Tecnologia e Mercado
Big Data e Data Science - Tecnologia e MercadoBig Data e Data Science - Tecnologia e Mercado
Big Data e Data Science - Tecnologia e MercadoHélio Silva
 
Wiseminer Data Blending, Data Preparation & Analytics
Wiseminer Data Blending, Data Preparation & AnalyticsWiseminer Data Blending, Data Preparation & Analytics
Wiseminer Data Blending, Data Preparation & AnalyticsLeonardo Couto
 
A evolução do Business Intelligence
A evolução do Business IntelligenceA evolução do Business Intelligence
A evolução do Business IntelligenceGustavo Santade
 
Tendências de mercado para o setor de tic’s – analitics
Tendências de mercado para o setor de tic’s – analiticsTendências de mercado para o setor de tic’s – analitics
Tendências de mercado para o setor de tic’s – analiticscictec
 
Gerenciamento Estratégico de Sistemas
Gerenciamento Estratégico de SistemasGerenciamento Estratégico de Sistemas
Gerenciamento Estratégico de SistemasJosé Passos
 

Semelhante a Big Data e Data Science: Oportunidades e Desafios (20)

Um novo "ABC" das TICs: (A)nalytics + (B)ig Data + (C)loud Computing
Um novo "ABC" das TICs: (A)nalytics + (B)ig Data + (C)loud ComputingUm novo "ABC" das TICs: (A)nalytics + (B)ig Data + (C)loud Computing
Um novo "ABC" das TICs: (A)nalytics + (B)ig Data + (C)loud Computing
 
1º Seminário CICTEC - Um Novo ABC das TICs - José Carlos Cavalcanti 22 05 13
1º Seminário CICTEC - Um Novo ABC das TICs - José Carlos Cavalcanti 22 05 131º Seminário CICTEC - Um Novo ABC das TICs - José Carlos Cavalcanti 22 05 13
1º Seminário CICTEC - Um Novo ABC das TICs - José Carlos Cavalcanti 22 05 13
 
Estudo de Caso: O Hotel do Bosque
Estudo de Caso: O Hotel do BosqueEstudo de Caso: O Hotel do Bosque
Estudo de Caso: O Hotel do Bosque
 
Ciência de Dados: a revolução na tomada de decisões
Ciência de Dados: a revolução na tomada de decisõesCiência de Dados: a revolução na tomada de decisões
Ciência de Dados: a revolução na tomada de decisões
 
Introdução às ferramentas de Business Intelligence do ecossistema Hadoop
Introdução às ferramentas de Business Intelligence do ecossistema HadoopIntrodução às ferramentas de Business Intelligence do ecossistema Hadoop
Introdução às ferramentas de Business Intelligence do ecossistema Hadoop
 
Aula Magna Sobre BI & BigData na UNIA, Luanda - Angola
Aula Magna Sobre BI & BigData na UNIA, Luanda - AngolaAula Magna Sobre BI & BigData na UNIA, Luanda - Angola
Aula Magna Sobre BI & BigData na UNIA, Luanda - Angola
 
BIG DATA
BIG DATABIG DATA
BIG DATA
 
BigData-Hekima-Ebook.pdf
BigData-Hekima-Ebook.pdfBigData-Hekima-Ebook.pdf
BigData-Hekima-Ebook.pdf
 
Transformação Digital e o papel do Servidor Público da área de TI
Transformação Digital e o papel do Servidor Público da área de TITransformação Digital e o papel do Servidor Público da área de TI
Transformação Digital e o papel do Servidor Público da área de TI
 
White Paper Frost & Sullivan Portugues
White Paper Frost & Sullivan PortuguesWhite Paper Frost & Sullivan Portugues
White Paper Frost & Sullivan Portugues
 
Por que tudo que você achava que sabia sobre implementar novas tecnologias mu...
Por que tudo que você achava que sabia sobre implementar novas tecnologias mu...Por que tudo que você achava que sabia sobre implementar novas tecnologias mu...
Por que tudo que você achava que sabia sobre implementar novas tecnologias mu...
 
Big Data e Data Science - Tecnologia e Mercado
Big Data e Data Science - Tecnologia e MercadoBig Data e Data Science - Tecnologia e Mercado
Big Data e Data Science - Tecnologia e Mercado
 
Aws summit 2015 - big data
Aws summit   2015 - big dataAws summit   2015 - big data
Aws summit 2015 - big data
 
Wiseminer Data Blending, Data Preparation & Analytics
Wiseminer Data Blending, Data Preparation & AnalyticsWiseminer Data Blending, Data Preparation & Analytics
Wiseminer Data Blending, Data Preparation & Analytics
 
BigData
BigDataBigData
BigData
 
A evolução do Business Intelligence
A evolução do Business IntelligenceA evolução do Business Intelligence
A evolução do Business Intelligence
 
Projetos Digitais v.1.13 from 2013
Projetos Digitais v.1.13 from 2013Projetos Digitais v.1.13 from 2013
Projetos Digitais v.1.13 from 2013
 
Projetos Digitais v.1.8 from 2010
Projetos Digitais v.1.8 from 2010Projetos Digitais v.1.8 from 2010
Projetos Digitais v.1.8 from 2010
 
Tendências de mercado para o setor de tic’s – analitics
Tendências de mercado para o setor de tic’s – analiticsTendências de mercado para o setor de tic’s – analitics
Tendências de mercado para o setor de tic’s – analitics
 
Gerenciamento Estratégico de Sistemas
Gerenciamento Estratégico de SistemasGerenciamento Estratégico de Sistemas
Gerenciamento Estratégico de Sistemas
 

Mais de Daniela Brauner

Data Science e Inteligência de dados - Inteligencia artificial e machine lear...
Data Science e Inteligência de dados - Inteligencia artificial e machine lear...Data Science e Inteligência de dados - Inteligencia artificial e machine lear...
Data Science e Inteligência de dados - Inteligencia artificial e machine lear...Daniela Brauner
 
Validando a proposta de valor com MVP
Validando a proposta de valor com MVPValidando a proposta de valor com MVP
Validando a proposta de valor com MVPDaniela Brauner
 
Aula 02 evolução historica sistemas de informação - db
Aula 02   evolução historica sistemas de informação - dbAula 02   evolução historica sistemas de informação - db
Aula 02 evolução historica sistemas de informação - dbDaniela Brauner
 
Aula 02 introducao adm da produção - db
Aula 02   introducao adm da produção - dbAula 02   introducao adm da produção - db
Aula 02 introducao adm da produção - dbDaniela Brauner
 
Aula 04 introducao processos de transformação - db
Aula 04   introducao processos de transformação - dbAula 04   introducao processos de transformação - db
Aula 04 introducao processos de transformação - dbDaniela Brauner
 
Aula 07 evolução histórica da função produção - db
Aula 07   evolução histórica da função produção - dbAula 07   evolução histórica da função produção - db
Aula 07 evolução histórica da função produção - dbDaniela Brauner
 
Aula04 - EAP e Cronograma
Aula04 - EAP e CronogramaAula04 - EAP e Cronograma
Aula04 - EAP e CronogramaDaniela Brauner
 
Aula03 - Termo de Abertura de Projeto
Aula03 - Termo de Abertura de ProjetoAula03 - Termo de Abertura de Projeto
Aula03 - Termo de Abertura de ProjetoDaniela Brauner
 
NRENs in the Dissemination of Innovative Low Cost Global Solutions: From Univ...
NRENs in the Dissemination of Innovative Low Cost Global Solutions: From Univ...NRENs in the Dissemination of Innovative Low Cost Global Solutions: From Univ...
NRENs in the Dissemination of Innovative Low Cost Global Solutions: From Univ...Daniela Brauner
 
Proposta de doutorado - Alinhamento de esquemas baseado em instâncias
Proposta de doutorado - Alinhamento de esquemas baseado em instânciasProposta de doutorado - Alinhamento de esquemas baseado em instâncias
Proposta de doutorado - Alinhamento de esquemas baseado em instânciasDaniela Brauner
 
Web Semântica e Ontologias
Web Semântica e OntologiasWeb Semântica e Ontologias
Web Semântica e OntologiasDaniela Brauner
 
Dados científicos, Serviços nacionais de dados e Research Data Alliance
Dados científicos, Serviços nacionais de dados e Research Data AllianceDados científicos, Serviços nacionais de dados e Research Data Alliance
Dados científicos, Serviços nacionais de dados e Research Data AllianceDaniela Brauner
 
Aula - Sistemas de Informação
Aula - Sistemas de InformaçãoAula - Sistemas de Informação
Aula - Sistemas de InformaçãoDaniela Brauner
 
Aula01 Gerência de Projetos - Conceitos e áreas de conhecimento do PMBOK
Aula01 Gerência de Projetos - Conceitos e áreas de conhecimento do PMBOKAula01 Gerência de Projetos - Conceitos e áreas de conhecimento do PMBOK
Aula01 Gerência de Projetos - Conceitos e áreas de conhecimento do PMBOKDaniela Brauner
 
Aula00 - Gerência de Projetos - Como surgem os projetos nas empresas
Aula00 - Gerência de Projetos - Como surgem os projetos nas empresasAula00 - Gerência de Projetos - Como surgem os projetos nas empresas
Aula00 - Gerência de Projetos - Como surgem os projetos nas empresasDaniela Brauner
 
AULA02 - Gerência de Projetos - PMI
AULA02 - Gerência de Projetos - PMIAULA02 - Gerência de Projetos - PMI
AULA02 - Gerência de Projetos - PMIDaniela Brauner
 
Apresentacao ForumRNP 2015 - Daniela Brauner
Apresentacao ForumRNP 2015 - Daniela BraunerApresentacao ForumRNP 2015 - Daniela Brauner
Apresentacao ForumRNP 2015 - Daniela BraunerDaniela Brauner
 

Mais de Daniela Brauner (17)

Data Science e Inteligência de dados - Inteligencia artificial e machine lear...
Data Science e Inteligência de dados - Inteligencia artificial e machine lear...Data Science e Inteligência de dados - Inteligencia artificial e machine lear...
Data Science e Inteligência de dados - Inteligencia artificial e machine lear...
 
Validando a proposta de valor com MVP
Validando a proposta de valor com MVPValidando a proposta de valor com MVP
Validando a proposta de valor com MVP
 
Aula 02 evolução historica sistemas de informação - db
Aula 02   evolução historica sistemas de informação - dbAula 02   evolução historica sistemas de informação - db
Aula 02 evolução historica sistemas de informação - db
 
Aula 02 introducao adm da produção - db
Aula 02   introducao adm da produção - dbAula 02   introducao adm da produção - db
Aula 02 introducao adm da produção - db
 
Aula 04 introducao processos de transformação - db
Aula 04   introducao processos de transformação - dbAula 04   introducao processos de transformação - db
Aula 04 introducao processos de transformação - db
 
Aula 07 evolução histórica da função produção - db
Aula 07   evolução histórica da função produção - dbAula 07   evolução histórica da função produção - db
Aula 07 evolução histórica da função produção - db
 
Aula04 - EAP e Cronograma
Aula04 - EAP e CronogramaAula04 - EAP e Cronograma
Aula04 - EAP e Cronograma
 
Aula03 - Termo de Abertura de Projeto
Aula03 - Termo de Abertura de ProjetoAula03 - Termo de Abertura de Projeto
Aula03 - Termo de Abertura de Projeto
 
NRENs in the Dissemination of Innovative Low Cost Global Solutions: From Univ...
NRENs in the Dissemination of Innovative Low Cost Global Solutions: From Univ...NRENs in the Dissemination of Innovative Low Cost Global Solutions: From Univ...
NRENs in the Dissemination of Innovative Low Cost Global Solutions: From Univ...
 
Proposta de doutorado - Alinhamento de esquemas baseado em instâncias
Proposta de doutorado - Alinhamento de esquemas baseado em instânciasProposta de doutorado - Alinhamento de esquemas baseado em instâncias
Proposta de doutorado - Alinhamento de esquemas baseado em instâncias
 
Web Semântica e Ontologias
Web Semântica e OntologiasWeb Semântica e Ontologias
Web Semântica e Ontologias
 
Dados científicos, Serviços nacionais de dados e Research Data Alliance
Dados científicos, Serviços nacionais de dados e Research Data AllianceDados científicos, Serviços nacionais de dados e Research Data Alliance
Dados científicos, Serviços nacionais de dados e Research Data Alliance
 
Aula - Sistemas de Informação
Aula - Sistemas de InformaçãoAula - Sistemas de Informação
Aula - Sistemas de Informação
 
Aula01 Gerência de Projetos - Conceitos e áreas de conhecimento do PMBOK
Aula01 Gerência de Projetos - Conceitos e áreas de conhecimento do PMBOKAula01 Gerência de Projetos - Conceitos e áreas de conhecimento do PMBOK
Aula01 Gerência de Projetos - Conceitos e áreas de conhecimento do PMBOK
 
Aula00 - Gerência de Projetos - Como surgem os projetos nas empresas
Aula00 - Gerência de Projetos - Como surgem os projetos nas empresasAula00 - Gerência de Projetos - Como surgem os projetos nas empresas
Aula00 - Gerência de Projetos - Como surgem os projetos nas empresas
 
AULA02 - Gerência de Projetos - PMI
AULA02 - Gerência de Projetos - PMIAULA02 - Gerência de Projetos - PMI
AULA02 - Gerência de Projetos - PMI
 
Apresentacao ForumRNP 2015 - Daniela Brauner
Apresentacao ForumRNP 2015 - Daniela BraunerApresentacao ForumRNP 2015 - Daniela Brauner
Apresentacao ForumRNP 2015 - Daniela Brauner
 

Big Data e Data Science: Oportunidades e Desafios

  • 1. 1 / 35 Big Data eBig Data e Data ScienceData Science OportunidadesOportunidades Prof. Daniela Brauner Escola de Administração – UFRGS daniela.brauner@ufrgs.br danibrauner@gmail.com .....
  • 2. 2 O problema... ● Os computadores registram tudo; ● Baixo custo de armazenamento em disco e online; ● Cada vez mais dispositivos que capturam dados; ● Sistemas de informação bem difundidos em empresas de todos os portes; Essenciais! = Avalanche de dados ! .....
  • 4. 4 ● Existem milhares de coleções de dados abertos disponíveis na Web (open data) Dados abertos… Dados governo brasileiro: http://dados.gov.br Dados abertos conectados: http://lod-cloud.net .....
  • 5. "Carro vai gerar 25 GB de dados por hora”- http://bit.ly/1IKNT0W “Uma família preenche com informações 65 smartphones de 32GB por ano; daqui a seis anos, preencherá 318.” - http://glo.bo/1gwWE0D Milhares de sensores capturando dados por aí (Internet of Things - IoT). 5 E mais dados .....
  • 7. 7 Citado por Silva, T. 2014.http://www.enucomp.com.br/2014/editais/profa_ticiana.pdf Atualmente .....
  • 8. 8 Manyika, J. et al. Big data: The next frontier for innovation, competition and productivity May, 2011. McKinsey Global Institute Report. http://www.mckinsey.com/insights/business_technology/ big_data_the_next_frontier_for_innovation 8 .....
  • 9. Big Data São dados que excedem o armazenamento, o processamento e a capacidade dos sistemas convencionais: ● Volume de dados muito grande ● Dados variados ● Gerados em alta velocidade Para obter valor a partir destes dados, é necessário mudar a forma de lidarmos com eles… Edd Dumbill, O’Reilly .....
  • 10. DesafiosOs 7 V’s da Big Data FONTE: Inspirado nos 4 V’s da Big Data criado pela IBM: http://www.ibmbigdatahub.com/sites/default/files/infographic_file/4-Vs-of-big-data.jpg ● Como armazenar e organizar esse volume de dados para torná-lo pesquisável? Como garantir a proveniência, acurácia, confiança e qualidade dos dados? dados de diferentes ● sensores, vídeos, texto, fotos,… dados temporais, metadados, e outros ● ● Como garantir o processamento de todos os diferentes tipos de formatos, taxonomias? de produção e de processamento ● ● Como processar em tempo real esse volume e variedade de dados? Qual dado tem valor? Qual merece ser guardado e analisado? ● Como extrair valor? Volatilidad e Janela de tempo onde podemos usar os dados Visibilidade Como visualizar/apresentar os dados de forma coerente? .....
  • 11. .....
  • 12. .....
  • 13. 13 COMO os SISTEMAS devem reagir ao cenário de Big Data? ● Oferecendo ferramentas rápidas e eficientes para armazenamento, processamento e recuperação de dados; ● Implementando técnicas inteligentes para descobrir valor no volume de dados; ● Disponibilizando formas de visualização inovadoras e em tempo real para apresentação dos dados para os usuários; .....
  • 15. FONTE: SAS - http://www.industryweek.com/information-technology/truth-about-high-performance-analytics-part-two Mas afinal, o que é relevante? .....
  • 17. .....
  • 18. 18 / 35 Ciência da Computação Conhecimento do domínio Definição: Data Science ● É a área que reune tudo relacionado ao tratamento, preparação e análise de dados. ● É um guarda-chuva de técnicas usadas para extrair insights e informações dos dados. Matemática Estatística Banco de Dados Aprendizado de Máquina Data Science.....
  • 19. 19 / 35 FONTE: http://digitally.cognizant.com/data-science-the-new-monetization-model-for-analytics-industry-3/ Data Science x BI .....
  • 20. 20 / 35 “Somente 27% dos projetos de Big Data Analytics tem sucesso” Fonte: CapGemeni – Big Data Survey 2014 Data Science não acontece do nada…Data Science não acontece do nada… .....
  • 21. 21 / 35 Alguns problemas em projetos Dados dispersos em silos de diferentes áreas Falta de um caso de uso de negócios claro Ineficiência na coordenação dos times envolvidos na análise de dados da organização Dependência de sistemas legados para gestão e processamento de dados Falta de modelos de governança para analytics Falta de patrocinador da alta gerência Falta de habilidade em analytics e big data Falta de clareza nas ferramentas e tecnologias Custo das ferramentas e infraestruturas para analytics Preocupação com segurança e privacidade de dados Resistência a mudança na organização .....
  • 22. 22 / 35 Alguns fatores de sucesso ✔ Roadmap estratégico (proposta de valor) ✔ Seleção de caso de uso ✔ Métricas de sucesso (Key Performance Indicators - KPIs) https://www.capgemini.com/wp-content/uploads/sites/30/2015/01/Cracking-the-data-conundrum-infographic.pdf Projeto Equipe .....
  • 23. 23 / 35 Alguns fatores de sucesso ✔ Roadmap estratégico (proposta de valor) ✔ Seleção de caso de uso ✔ Métricas de sucesso (Key Performance Indicators - KPIs) https://www.capgemini.com/wp-content/uploads/sites/30/2015/01/Cracking-the-data-conundrum-infographic.pdf Projeto Equipe PROCESSO .....
  • 25. 25 / 35 Processos para Data Science ● KDD ● CRISP-DM ● SEMMA ● Data Analytics Lifecycle .....
  • 26. 26 / 35 Knowledge Discovery in Databases (KDD) ● Mais antiga (1996) ● Foco na transformação de dados em informação FONTE: FAYYAD, Usama; PIATETSKY-SHAPIRO, Gregory; SMYTH, Padhraic. From data mining to knowledge discovery: An overview. In: Advances in Knowledge Discovery and Data Mining, AAAI Press/The MIT Press, England, 1996, p.1-34. .....
  • 27. 27 / 35 Cross Industry Standard Process for Data Mining (CRISP-DM) ● Existe desde 1996; ● Oficializado por um consórcio financiado pela comissão européia em 2000, com Daimler Chrysler (then Daimler-Benz), SPSS (then ISL) , NCR; (Veteranos em Data Mining) ● Mais de 200 organizacões contribuíram no processo. FONTE: Chapman et al., 2000. https://www.the-modeling-agency.com/crisp-dm.pdf .....
  • 28. 28 / 35 Sample, Explore, Modify, Model e Assess  (SEMMA) ● Criada pela SAS em 2008; ● Processo que guia um passo a passo do software SAS Enterprise Miner; Fonte: http://faculty.smu.edu/tfomby/eco5385_eco6380/data/SPSS/SAS%20_%20SEMMA.pdf https://paulovasconcellos.com.br/crisp-dm-semma-e-kdd-conheça-as-melhores-técnicas-para-exploração-de-dados-560d294547d2 .....
  • 29. 29 / 35 Data Analytics Lifecycle ● Proposto pela EMC (2015) ● Framework que reune melhores práticas dos modelos existentes: método científico, CRISP- DM, DELTA, Applied information economics approach e MadSkills. FONTE: EMC Education (2015). Data Science and Big Data Analytics: Discovering, Analyzing, Visualizing and Presenting Data (1 ed.). Hoboken, New Jersey: Wiley. .....
  • 30. 30 / 35 Data-driven Business Models ● “Organizations using big data and analytics within their innovation processes are 36%more likely to beat their competitors in terms of revenue growth and operating efficiency.” (IBM innovation survey, 2014) Volume Velocidade Variedade Exemplos de fontes de vantagens competitivas em vários modelos de negócios Ex: Hotéis que analisam rapidamente grandes quantidades de dados de diversas fontes: dados de seus sistemas sobre as hospedagens dos hóspedes, sua reputação em redes sociais, avaliações de clientes... .....
  • 31. 31 / 35 Data-driven Business Models ● Aproveitando dados internos ● Aproveitando dados externos ● Ambos .....
  • 32. 32 / 35 Data-driven Business Models ● NÃO PENSAR SOMENTE EM MARKETING ● A análise de dados pode apoiar melhorias estratégicas em outras funções. l Melhorias em produtos/serviço/operação .....
  • 33. 33 / 35 Algumas referências ● Data-driven Business Model-Innovation. Sorescu, A. (2017). Journal of Product Innovation Management, September 2017. ● Capturing value from big data – a taxonomy of data-driven business models used by start-up firms. Hartmann, P., Zaki, M., Feldmann, N., & Neely, A. (2016). International Journal of Operations and Production Management, 36 (10). ● Big data-driven business model innovation by traditional industries in the Chinese economy. Cheah, Sarah ; Wang, Shenghui 2017. Journal of Chinese Economic and Foreign Trade Studies ● How to turn managers into data-driven decision makers: measuring attitudes towards business analytics. Carillo, K.D.A. ; Galy, N. ; Guthrie, C. ; Vanhems, A. Business Process Management Journal, 19 July 2018 ● Business-driven data analytics: A conceptual modeling framework. Nalchigar, Soroosh; Yu, Eric. Data & Knowledge Engineering, 09/2018. ● Business Models for Open Data Ecosystem: Challenges and Motivations for Entrepreneurship and Innovation, Kitsios, F., N. Papachristos and M. Kamariotou (2017). Proceedings of 19th IEEE International Conference on BUSINESS INFORMATICS (CBI’17) ● Data-driven service business models https://openservicelab.org//wp-content/uploads/2018/08/180605_V4_FAU_007_Smart_Services_Freigabe_Ansi cht.pdf .....
  • 35. 35 / 35 E uma avalanche de livros... .....