SlideShare uma empresa Scribd logo
DATA SCIENCE:
desafios diários
Nome: Alcides Carlos de Araújo
Email: alcides.carlos@gmail.com.br
Cientista de dados, Professor e Pesquisador. Atuação em projetos de Data
Science e Machine Learning em diversos setores como Telecomunicações,
Clipping, Financeiro e Marketing Digital.
Cientista de dados na Datakron
Professor Analytics na FIAP
Doutorado na área de Métodos Quantitativos pela FEA/USP
https://www.linkedin.com/in/alcides-araújo/
Agenda
• Data Science: conceito, atores e ciclo
• Case 1: Otimização de Broadcast
• Case 2: Sentimento de Notícias
• Case 3: Data Science no Cartola FC
O Data Science
Os atores
O ciclo DS
Data Science
Problema e
objetivos
Define e
coleta os
dados
Coleta dos
dados
Define e
testa
hipóteses
Mensura
efetividade
Apresenta
resultados
• Conhecimento
de Negócios
• Ferramentas de
Big Data
• Ferramentas de
ML
Case 1 – Otimização de Broadcast:
O desafio dos zeros
• Desafio: Reduzir a quantidade de envio
de mensagens de estímulo mantendo a
mesma taxa de retorno.
• Proposta: Identificar o comportamento
ou características dos usuários mais
propensos a responder o estímulo
Case 1 – Otimização de Broadcast:
O desafio dos zeros
• Desafio de dados: Quantidade excessiva
de tentativas que gera outra quantidade
gigantesca de fracassos.
• Proposta: Identificar algoritmo de
Machine Learning que melhor separasse
os 10% de sucesso contra os 90% de
tentativas fracassadas.
Case 1 – Otimização de Broadcast:
O desafio dos zeros
• Resultado:
Antes
797.681
sms enviados
1.755
Conversões
0,49%
conversões
Depois
429.427
sms enviados
1.503
Conversões
1,15%
conversões
Redução de
368.254
sms indesejados enviados
Case 2 – Sentimento de notícias:
O desafio dos textos
• Desafio de negócio: Gerar um
classificador de notícias em tempo real.
• Proposta: Desenvolver um algoritmo de
ML que iria “ler” a notícia e classificá-la
em “positiva”, “neutra” ou “negativa”.
Case 2 – Sentimento de notícias:
O desafio dos textos
• Desafio de dados:
• Categorizar as palavras
• Ajustar sinônimos
• Gerar dicionário de palavras
• Treinar algoritmo
Case 2 – Sentimento de notícias:
O desafio dos textos• Resultado:
Case 3 - Data Science no Cartola
• Motivação:
• Inúmeras estatísticas monitoradas durante
uma partida.
• Será possível que um robô ou inteligência
artificial possa realizar este trabalho?
• O Databol acredita na utilização de modernos
métodos estatísticos e computacionais para
geração de insights, um “olheiro” ou
“conselheiro”.
Case 3 - Data Science no Cartola
• O Cartola FC:
• Objetivo é
maximizar a
pontuação
Case 3 - Data Science no Cartola
Case 3 - Data Science no Cartola
• Propostas:
• Elaborar ferramenta para comparar os
desempenhos dos clubes.
• Elaborar ferramenta para comparar o
desempenho esperado dos jogadores
• Elaborar ferramenta para auto-
avaliação do cartoleiro
Nome: Alcides Carlos de Araújo
Email: alcides.carlos@gmail.com.br
Cientista de dados, Professor e Pesquisador. Atuação em projetos de Data
Science e Machine Learning em diversos setores como Telecomunicações,
Clipping, Financeiro e Marketing Digital.
Cientista de dados na Datakron
Professor Analytics na FIAP
Doutorado na área de Métodos Quantitativos pela FEA/USP
https://www.linkedin.com/in/alcides-araújo/
Obrigado!
Data Science Qmeeting 2018

Mais conteúdo relacionado

Semelhante a Data Science Qmeeting 2018

Big Data Analytics - Data Science - Aplicação e Tecnologia
Big Data Analytics - Data Science - Aplicação e TecnologiaBig Data Analytics - Data Science - Aplicação e Tecnologia
Big Data Analytics - Data Science - Aplicação e Tecnologia
Hélio Silva
 
Data Science - A arte de estudar e analisar dados
Data Science - A arte de estudar e analisar dadosData Science - A arte de estudar e analisar dados
Data Science - A arte de estudar e analisar dados
Dayane Cristine Leite
 
First Big Data Week
First Big Data Week First Big Data Week
First Big Data Week
Hélio Silva
 
Big Data
Big DataBig Data
The Data Science Workflow
The Data Science WorkflowThe Data Science Workflow
The Data Science Workflow
Renzo Ziegler
 
AXONDATA - Institucional 2017
AXONDATA - Institucional 2017AXONDATA - Institucional 2017
AXONDATA - Institucional 2017
Miguel Isoni Filho
 
Palestra garimpando com pentaho data mining latinoware
Palestra garimpando com pentaho data mining latinowarePalestra garimpando com pentaho data mining latinoware
Palestra garimpando com pentaho data mining latinoware
Marcos Vinicius Fidelis
 
[Palestras] machine learning gênesis ao apocalipse
[Palestras] machine learning   gênesis ao apocalipse[Palestras] machine learning   gênesis ao apocalipse
[Palestras] machine learning gênesis ao apocalipse
DevCamp Campinas
 
Inteligência artificial: inferindo resultados e tendências
Inteligência artificial: inferindo resultados e tendênciasInteligência artificial: inferindo resultados e tendências
Inteligência artificial: inferindo resultados e tendências
Claudio Lima
 
Clusters
ClustersClusters
Clusters
Wolney Rosário
 
Introdução ao Big Data para Desenvolvedores Python
Introdução ao Big Data para Desenvolvedores PythonIntrodução ao Big Data para Desenvolvedores Python
Introdução ao Big Data para Desenvolvedores Python
Luiz Eduardo Le Masson
 
A importância das APIs públicas e Big Data no universo da comunicação (Jornal...
A importância das APIs públicas e Big Data no universo da comunicação (Jornal...A importância das APIs públicas e Big Data no universo da comunicação (Jornal...
A importância das APIs públicas e Big Data no universo da comunicação (Jornal...
Rafael Sbarai
 
Data mining
Data miningData mining
Data mining
Welton Dias
 
Big data e data science
Big data e data scienceBig data e data science
Big data e data science
Pedro Costa Ferreira
 
Introducão à Ciência de Dados
Introducão à Ciência de DadosIntroducão à Ciência de Dados
Introducão à Ciência de Dados
João Pedro Albino
 
Ciencia de dados na pratica, com transparencia e produtividade
Ciencia de dados na pratica, com transparencia e produtividadeCiencia de dados na pratica, com transparencia e produtividade
Ciencia de dados na pratica, com transparencia e produtividade
John Lemos Forman
 
Aula Magna Sobre BI & BigData na UNIA, Luanda - Angola
Aula Magna Sobre BI & BigData na UNIA, Luanda - AngolaAula Magna Sobre BI & BigData na UNIA, Luanda - Angola
Aula Magna Sobre BI & BigData na UNIA, Luanda - Angola
alexculpado
 
Tendências de inovações tecnológicas para analítica de negócios
Tendências de inovações tecnológicas para  analítica de negóciosTendências de inovações tecnológicas para  analítica de negócios
Tendências de inovações tecnológicas para analítica de negócios
cictec
 
Ciência de Dados: tudo sobre a área que está mudando o futuro das organizações
Ciência de Dados: tudo sobre a área que está mudando o futuro das organizações Ciência de Dados: tudo sobre a área que está mudando o futuro das organizações
Ciência de Dados: tudo sobre a área que está mudando o futuro das organizações
FaBIana Ravanêda Vercezes
 
Estratégia de Mensuração para Produtos Digitais
Estratégia de Mensuração para Produtos DigitaisEstratégia de Mensuração para Produtos Digitais
Estratégia de Mensuração para Produtos Digitais
Huxley Dias
 

Semelhante a Data Science Qmeeting 2018 (20)

Big Data Analytics - Data Science - Aplicação e Tecnologia
Big Data Analytics - Data Science - Aplicação e TecnologiaBig Data Analytics - Data Science - Aplicação e Tecnologia
Big Data Analytics - Data Science - Aplicação e Tecnologia
 
Data Science - A arte de estudar e analisar dados
Data Science - A arte de estudar e analisar dadosData Science - A arte de estudar e analisar dados
Data Science - A arte de estudar e analisar dados
 
First Big Data Week
First Big Data Week First Big Data Week
First Big Data Week
 
Big Data
Big DataBig Data
Big Data
 
The Data Science Workflow
The Data Science WorkflowThe Data Science Workflow
The Data Science Workflow
 
AXONDATA - Institucional 2017
AXONDATA - Institucional 2017AXONDATA - Institucional 2017
AXONDATA - Institucional 2017
 
Palestra garimpando com pentaho data mining latinoware
Palestra garimpando com pentaho data mining latinowarePalestra garimpando com pentaho data mining latinoware
Palestra garimpando com pentaho data mining latinoware
 
[Palestras] machine learning gênesis ao apocalipse
[Palestras] machine learning   gênesis ao apocalipse[Palestras] machine learning   gênesis ao apocalipse
[Palestras] machine learning gênesis ao apocalipse
 
Inteligência artificial: inferindo resultados e tendências
Inteligência artificial: inferindo resultados e tendênciasInteligência artificial: inferindo resultados e tendências
Inteligência artificial: inferindo resultados e tendências
 
Clusters
ClustersClusters
Clusters
 
Introdução ao Big Data para Desenvolvedores Python
Introdução ao Big Data para Desenvolvedores PythonIntrodução ao Big Data para Desenvolvedores Python
Introdução ao Big Data para Desenvolvedores Python
 
A importância das APIs públicas e Big Data no universo da comunicação (Jornal...
A importância das APIs públicas e Big Data no universo da comunicação (Jornal...A importância das APIs públicas e Big Data no universo da comunicação (Jornal...
A importância das APIs públicas e Big Data no universo da comunicação (Jornal...
 
Data mining
Data miningData mining
Data mining
 
Big data e data science
Big data e data scienceBig data e data science
Big data e data science
 
Introducão à Ciência de Dados
Introducão à Ciência de DadosIntroducão à Ciência de Dados
Introducão à Ciência de Dados
 
Ciencia de dados na pratica, com transparencia e produtividade
Ciencia de dados na pratica, com transparencia e produtividadeCiencia de dados na pratica, com transparencia e produtividade
Ciencia de dados na pratica, com transparencia e produtividade
 
Aula Magna Sobre BI & BigData na UNIA, Luanda - Angola
Aula Magna Sobre BI & BigData na UNIA, Luanda - AngolaAula Magna Sobre BI & BigData na UNIA, Luanda - Angola
Aula Magna Sobre BI & BigData na UNIA, Luanda - Angola
 
Tendências de inovações tecnológicas para analítica de negócios
Tendências de inovações tecnológicas para  analítica de negóciosTendências de inovações tecnológicas para  analítica de negócios
Tendências de inovações tecnológicas para analítica de negócios
 
Ciência de Dados: tudo sobre a área que está mudando o futuro das organizações
Ciência de Dados: tudo sobre a área que está mudando o futuro das organizações Ciência de Dados: tudo sobre a área que está mudando o futuro das organizações
Ciência de Dados: tudo sobre a área que está mudando o futuro das organizações
 
Estratégia de Mensuração para Produtos Digitais
Estratégia de Mensuração para Produtos DigitaisEstratégia de Mensuração para Produtos Digitais
Estratégia de Mensuração para Produtos Digitais
 

Mais de Roberto Oliveira

10 mandamentos do projeto de BI
10 mandamentos do projeto de BI10 mandamentos do projeto de BI
10 mandamentos do projeto de BI
Roberto Oliveira
 
Qmeeting 2018 - Utilizando Mashups no Qlik Sense
Qmeeting 2018 - Utilizando Mashups no Qlik SenseQmeeting 2018 - Utilizando Mashups no Qlik Sense
Qmeeting 2018 - Utilizando Mashups no Qlik Sense
Roberto Oliveira
 
Qmeeting 2018 - Web Connectors para Qlik
Qmeeting 2018 -  Web Connectors para QlikQmeeting 2018 -  Web Connectors para Qlik
Qmeeting 2018 - Web Connectors para Qlik
Roberto Oliveira
 
QMeeting 2018 - Utilizando o Qlik core
QMeeting 2018 - Utilizando o Qlik coreQMeeting 2018 - Utilizando o Qlik core
QMeeting 2018 - Utilizando o Qlik core
Roberto Oliveira
 
Datalakers 2018 Qmeeting
Datalakers 2018 QmeetingDatalakers 2018 Qmeeting
Datalakers 2018 Qmeeting
Roberto Oliveira
 
QMeeting 2018 - Como integrar qlik e cloudera
QMeeting 2018 - Como integrar qlik e clouderaQMeeting 2018 - Como integrar qlik e cloudera
QMeeting 2018 - Como integrar qlik e cloudera
Roberto Oliveira
 
Qmeeting Experts Hands on
Qmeeting Experts Hands onQmeeting Experts Hands on
Qmeeting Experts Hands on
Roberto Oliveira
 
Tuning de performance_qmeeting2018
Tuning de performance_qmeeting2018Tuning de performance_qmeeting2018
Tuning de performance_qmeeting2018
Roberto Oliveira
 
Design para Analise de Dados - Thiago Pessato
Design para Analise de Dados - Thiago PessatoDesign para Analise de Dados - Thiago Pessato
Design para Analise de Dados - Thiago Pessato
Roberto Oliveira
 
Carreiras em analise de dados
Carreiras em analise de dadosCarreiras em analise de dados
Carreiras em analise de dados
Roberto Oliveira
 
Modelagem de dados para Qlik Qmeeting 2018
Modelagem de dados para Qlik Qmeeting 2018Modelagem de dados para Qlik Qmeeting 2018
Modelagem de dados para Qlik Qmeeting 2018
Roberto Oliveira
 
Mapas com qlik qmeeting 2018
Mapas com qlik qmeeting 2018Mapas com qlik qmeeting 2018
Mapas com qlik qmeeting 2018
Roberto Oliveira
 
Machine learning qmeeting 2018
Machine learning qmeeting 2018Machine learning qmeeting 2018
Machine learning qmeeting 2018
Roberto Oliveira
 
Business Analytics com Tableau Qmeeting 2018
Business Analytics com Tableau Qmeeting 2018Business Analytics com Tableau Qmeeting 2018
Business Analytics com Tableau Qmeeting 2018
Roberto Oliveira
 
Abertura Qmeeting 2018
Abertura Qmeeting 2018Abertura Qmeeting 2018
Abertura Qmeeting 2018
Roberto Oliveira
 
CONHEÇA O POWER BI - QMEETING 2018
CONHEÇA O POWER BI - QMEETING 2018CONHEÇA O POWER BI - QMEETING 2018
CONHEÇA O POWER BI - QMEETING 2018
Roberto Oliveira
 
Sistema licenciamento qliksense
Sistema licenciamento qliksenseSistema licenciamento qliksense
Sistema licenciamento qliksense
Roberto Oliveira
 
Qmeeting 2015 Big Data
Qmeeting 2015 Big DataQmeeting 2015 Big Data
Qmeeting 2015 Big Data
Roberto Oliveira
 
Qmeeting2015 Boas_vindas
Qmeeting2015 Boas_vindasQmeeting2015 Boas_vindas
Qmeeting2015 Boas_vindas
Roberto Oliveira
 
Qmeeting Pequenos_erros_grandes_problemas_Yuri
Qmeeting Pequenos_erros_grandes_problemas_YuriQmeeting Pequenos_erros_grandes_problemas_Yuri
Qmeeting Pequenos_erros_grandes_problemas_Yuri
Roberto Oliveira
 

Mais de Roberto Oliveira (20)

10 mandamentos do projeto de BI
10 mandamentos do projeto de BI10 mandamentos do projeto de BI
10 mandamentos do projeto de BI
 
Qmeeting 2018 - Utilizando Mashups no Qlik Sense
Qmeeting 2018 - Utilizando Mashups no Qlik SenseQmeeting 2018 - Utilizando Mashups no Qlik Sense
Qmeeting 2018 - Utilizando Mashups no Qlik Sense
 
Qmeeting 2018 - Web Connectors para Qlik
Qmeeting 2018 -  Web Connectors para QlikQmeeting 2018 -  Web Connectors para Qlik
Qmeeting 2018 - Web Connectors para Qlik
 
QMeeting 2018 - Utilizando o Qlik core
QMeeting 2018 - Utilizando o Qlik coreQMeeting 2018 - Utilizando o Qlik core
QMeeting 2018 - Utilizando o Qlik core
 
Datalakers 2018 Qmeeting
Datalakers 2018 QmeetingDatalakers 2018 Qmeeting
Datalakers 2018 Qmeeting
 
QMeeting 2018 - Como integrar qlik e cloudera
QMeeting 2018 - Como integrar qlik e clouderaQMeeting 2018 - Como integrar qlik e cloudera
QMeeting 2018 - Como integrar qlik e cloudera
 
Qmeeting Experts Hands on
Qmeeting Experts Hands onQmeeting Experts Hands on
Qmeeting Experts Hands on
 
Tuning de performance_qmeeting2018
Tuning de performance_qmeeting2018Tuning de performance_qmeeting2018
Tuning de performance_qmeeting2018
 
Design para Analise de Dados - Thiago Pessato
Design para Analise de Dados - Thiago PessatoDesign para Analise de Dados - Thiago Pessato
Design para Analise de Dados - Thiago Pessato
 
Carreiras em analise de dados
Carreiras em analise de dadosCarreiras em analise de dados
Carreiras em analise de dados
 
Modelagem de dados para Qlik Qmeeting 2018
Modelagem de dados para Qlik Qmeeting 2018Modelagem de dados para Qlik Qmeeting 2018
Modelagem de dados para Qlik Qmeeting 2018
 
Mapas com qlik qmeeting 2018
Mapas com qlik qmeeting 2018Mapas com qlik qmeeting 2018
Mapas com qlik qmeeting 2018
 
Machine learning qmeeting 2018
Machine learning qmeeting 2018Machine learning qmeeting 2018
Machine learning qmeeting 2018
 
Business Analytics com Tableau Qmeeting 2018
Business Analytics com Tableau Qmeeting 2018Business Analytics com Tableau Qmeeting 2018
Business Analytics com Tableau Qmeeting 2018
 
Abertura Qmeeting 2018
Abertura Qmeeting 2018Abertura Qmeeting 2018
Abertura Qmeeting 2018
 
CONHEÇA O POWER BI - QMEETING 2018
CONHEÇA O POWER BI - QMEETING 2018CONHEÇA O POWER BI - QMEETING 2018
CONHEÇA O POWER BI - QMEETING 2018
 
Sistema licenciamento qliksense
Sistema licenciamento qliksenseSistema licenciamento qliksense
Sistema licenciamento qliksense
 
Qmeeting 2015 Big Data
Qmeeting 2015 Big DataQmeeting 2015 Big Data
Qmeeting 2015 Big Data
 
Qmeeting2015 Boas_vindas
Qmeeting2015 Boas_vindasQmeeting2015 Boas_vindas
Qmeeting2015 Boas_vindas
 
Qmeeting Pequenos_erros_grandes_problemas_Yuri
Qmeeting Pequenos_erros_grandes_problemas_YuriQmeeting Pequenos_erros_grandes_problemas_Yuri
Qmeeting Pequenos_erros_grandes_problemas_Yuri
 

Data Science Qmeeting 2018

  • 2. Nome: Alcides Carlos de Araújo Email: alcides.carlos@gmail.com.br Cientista de dados, Professor e Pesquisador. Atuação em projetos de Data Science e Machine Learning em diversos setores como Telecomunicações, Clipping, Financeiro e Marketing Digital. Cientista de dados na Datakron Professor Analytics na FIAP Doutorado na área de Métodos Quantitativos pela FEA/USP https://www.linkedin.com/in/alcides-araújo/
  • 3. Agenda • Data Science: conceito, atores e ciclo • Case 1: Otimização de Broadcast • Case 2: Sentimento de Notícias • Case 3: Data Science no Cartola FC
  • 6. O ciclo DS Data Science Problema e objetivos Define e coleta os dados Coleta dos dados Define e testa hipóteses Mensura efetividade Apresenta resultados • Conhecimento de Negócios • Ferramentas de Big Data • Ferramentas de ML
  • 7. Case 1 – Otimização de Broadcast: O desafio dos zeros • Desafio: Reduzir a quantidade de envio de mensagens de estímulo mantendo a mesma taxa de retorno. • Proposta: Identificar o comportamento ou características dos usuários mais propensos a responder o estímulo
  • 8. Case 1 – Otimização de Broadcast: O desafio dos zeros • Desafio de dados: Quantidade excessiva de tentativas que gera outra quantidade gigantesca de fracassos. • Proposta: Identificar algoritmo de Machine Learning que melhor separasse os 10% de sucesso contra os 90% de tentativas fracassadas.
  • 9. Case 1 – Otimização de Broadcast: O desafio dos zeros • Resultado: Antes 797.681 sms enviados 1.755 Conversões 0,49% conversões Depois 429.427 sms enviados 1.503 Conversões 1,15% conversões Redução de 368.254 sms indesejados enviados
  • 10. Case 2 – Sentimento de notícias: O desafio dos textos • Desafio de negócio: Gerar um classificador de notícias em tempo real. • Proposta: Desenvolver um algoritmo de ML que iria “ler” a notícia e classificá-la em “positiva”, “neutra” ou “negativa”.
  • 11. Case 2 – Sentimento de notícias: O desafio dos textos • Desafio de dados: • Categorizar as palavras • Ajustar sinônimos • Gerar dicionário de palavras • Treinar algoritmo
  • 12. Case 2 – Sentimento de notícias: O desafio dos textos• Resultado:
  • 13. Case 3 - Data Science no Cartola • Motivação: • Inúmeras estatísticas monitoradas durante uma partida. • Será possível que um robô ou inteligência artificial possa realizar este trabalho? • O Databol acredita na utilização de modernos métodos estatísticos e computacionais para geração de insights, um “olheiro” ou “conselheiro”.
  • 14. Case 3 - Data Science no Cartola • O Cartola FC: • Objetivo é maximizar a pontuação
  • 15. Case 3 - Data Science no Cartola
  • 16. Case 3 - Data Science no Cartola • Propostas: • Elaborar ferramenta para comparar os desempenhos dos clubes. • Elaborar ferramenta para comparar o desempenho esperado dos jogadores • Elaborar ferramenta para auto- avaliação do cartoleiro
  • 17. Nome: Alcides Carlos de Araújo Email: alcides.carlos@gmail.com.br Cientista de dados, Professor e Pesquisador. Atuação em projetos de Data Science e Machine Learning em diversos setores como Telecomunicações, Clipping, Financeiro e Marketing Digital. Cientista de dados na Datakron Professor Analytics na FIAP Doutorado na área de Métodos Quantitativos pela FEA/USP https://www.linkedin.com/in/alcides-araújo/ Obrigado!

Notas do Editor

  1. https://github.com/netoalcides/twitter_cptm/blob/master/lib/funcao_tm_cptm_twitter.R
  2. https://github.com/netoalcides/teste_modelo_cartola
  3. https://github.com/netoalcides/teste_modelo_cartola
  4. https://github.com/netoalcides/teste_modelo_cartola