SlideShare uma empresa Scribd logo
Big Data na globo.com
Como estamos revolucionando com dados o
maior portal do Brasil
@renan_oliveira
Como aprendemos
os interesses dos
usuários dado a
sua navegação
Números
• 3 bilhões de eventos diários
• 50 milhões de usuários únicos por mês
• +100 mil novos conteúdos por mês
Big Data na globo.com
Páginas
personalizadas são
mais atrativas para
os usuários
Social News
0
4
8
12
16
1 2 3 4 5 6 7 8 9
14.72
15.81
10.06
7.55
5.59
4.05 4.28
5.37
13.07
3.04 3.06 3.01 2.93 2.92 3 2.85 3.02 3.13
AllVisits Social News Users
Métricas
Big Data na globo.com
Big Data na globo.com
Veracidade
Variedade
Valor
Velocidade
Volume
Big Data na globo.com
• Lambda: Streaming + Batch
• APIs com tempo de resposta em ms
• Ferramentas de analise de dados
• Map Reduce está morto :)
Arquitetura
Big Data na globo.com
Frentes de ação
• Recomendação
• Conhecimento sobre o usuário
• Plataforma de dados
Big Data na globo.com
Big Data na globo.com
13.2%
feed editorial
Maior diversidade
feed recomendado
100%
*matérias que foram para o feed
*Dados extraídos em novembro de 2015
*Dados extraídos em novembro de 2015
Algoritmos
• Collaborative Filtering
• Content-Based
• ALS
Big Data na globo.com
Big Data na globo.com
Big Data na globo.com
Big Data na globo.com
Spreading Activation
*Quando usuário leu alguma matéria sobre seu time
teste off-line com 3.5M de usuários da base
82% deacerto
95% deacertonas3
primeirasposições
Qual o seu time?
teste com 500M de impressões
+48.1%
+48.4% comspreading
activation
deconversão
Resultado do teste A/B
*Dados extraídos em novembro de 2015
Data Culture
• Métricas por todo lado
• Cálculo de engajamento
• Business Intelligence
Saindo da fronteira da área
• Métricas das Aplicações
• Exploration and Visualization
• Data Discovery
Data…
• Métricas das Aplicações
• Exploration and Visualization
• Data Discovery
Data…
Grafana
• Métricas das Aplicações
• Exploration and Visualization
• Data Discovery
Data…
GrafanaJupyter
• Métricas das Aplicações
• Exploration and Visualization
• Data Discovery
Data…
GrafanaJupyter
Big Data na globo.com
Obrigado
renanoliveira.net

Mais conteúdo relacionado

Mais procurados

Dados importam, seja data-driven!
Dados importam, seja data-driven!Dados importam, seja data-driven!
Dados importam, seja data-driven!
Renan Moreira de Oliveira
 
Aula 1 - Revisão UML
Aula 1 - Revisão UMLAula 1 - Revisão UML
Aula 1 - Revisão UML
Rosanete Grassiani dos Santos
 
Analise de Requisitos
Analise de RequisitosAnalise de Requisitos
Analise de Requisitos
elliando dias
 
Javascript aula 01 - visão geral
Javascript   aula 01 - visão geralJavascript   aula 01 - visão geral
Javascript aula 01 - visão geral
Cristiano Pires Martins
 
Music Recommendations at Scale with Spark
Music Recommendations at Scale with SparkMusic Recommendations at Scale with Spark
Music Recommendations at Scale with Spark
Chris Johnson
 
Proposta TCC - METODOLOGIA SCRUM APLICADA AOS PROCESSOS DE GERÊNCIA E DESENVO...
Proposta TCC - METODOLOGIA SCRUM APLICADA AOS PROCESSOS DE GERÊNCIA E DESENVO...Proposta TCC - METODOLOGIA SCRUM APLICADA AOS PROCESSOS DE GERÊNCIA E DESENVO...
Proposta TCC - METODOLOGIA SCRUM APLICADA AOS PROCESSOS DE GERÊNCIA E DESENVO...
Juliano Oliveira
 
C apítulo 1 livro navathe
C apítulo 1   livro navatheC apítulo 1   livro navathe
C apítulo 1 livro navathe
José Landeivison da Silva Lima
 
Mapeamento do modelo conceitual para o lógico - Banco de Dados
Mapeamento do modelo conceitual  para o lógico - Banco de DadosMapeamento do modelo conceitual  para o lógico - Banco de Dados
Mapeamento do modelo conceitual para o lógico - Banco de Dados
info_cimol
 
Aula 7 - Modelos de Ciclo de Vida.pptx
Aula 7 - Modelos de Ciclo de Vida.pptxAula 7 - Modelos de Ciclo de Vida.pptx
Aula 7 - Modelos de Ciclo de Vida.pptx
ALEXANDRELISBADASILV
 
DevOps, por onde começar
DevOps, por onde começarDevOps, por onde começar
DevOps, por onde começar
Adriano Tavares
 
Padrões MVC
Padrões MVCPadrões MVC
Padrões MVC
Suzana Viana Mota
 
Orientação a Objetos - Introdução - Exercícios
Orientação a Objetos - Introdução - ExercíciosOrientação a Objetos - Introdução - Exercícios
Orientação a Objetos - Introdução - Exercícios
Arthur Emanuel
 
Modelagem de Dados
Modelagem de DadosModelagem de Dados
Modelagem de Dados
Roberto Grande
 
Governança de TI - Aula05 - compliance, PETI e PDTI
Governança de TI - Aula05 - compliance, PETI e PDTIGovernança de TI - Aula05 - compliance, PETI e PDTI
Governança de TI - Aula05 - compliance, PETI e PDTI
CEULJI/ULBRA Centro Universitário Luterano de Ji-Paraná
 
Banco de dados - Aula 1 SQL
Banco de dados - Aula 1 SQLBanco de dados - Aula 1 SQL
Banco de dados - Aula 1 SQL
Daniel Brandão
 
RecSys 2020 - iFood recommendation
RecSys 2020 - iFood recommendationRecSys 2020 - iFood recommendation
RecSys 2020 - iFood recommendation
Renan Moreira de Oliveira
 
10 Lessons Learned from Building Machine Learning Systems
10 Lessons Learned from Building Machine Learning Systems10 Lessons Learned from Building Machine Learning Systems
10 Lessons Learned from Building Machine Learning Systems
Xavier Amatriain
 
Modelagem de Sistema de Informação 02
Modelagem de Sistema de Informação 02Modelagem de Sistema de Informação 02
Modelagem de Sistema de Informação 02
Danielle Ballester, PMP,PSM,SFC,SDC,SMC,SPOC,SCT
 
06 Modelagem de banco de dados: Modelo Lógico
06  Modelagem de banco de dados: Modelo Lógico06  Modelagem de banco de dados: Modelo Lógico
06 Modelagem de banco de dados: Modelo Lógico
Centro Paula Souza
 
Introdução à linguagem UML
Introdução à linguagem UMLIntrodução à linguagem UML
Introdução à linguagem UML
Nécio de Lima Veras
 

Mais procurados (20)

Dados importam, seja data-driven!
Dados importam, seja data-driven!Dados importam, seja data-driven!
Dados importam, seja data-driven!
 
Aula 1 - Revisão UML
Aula 1 - Revisão UMLAula 1 - Revisão UML
Aula 1 - Revisão UML
 
Analise de Requisitos
Analise de RequisitosAnalise de Requisitos
Analise de Requisitos
 
Javascript aula 01 - visão geral
Javascript   aula 01 - visão geralJavascript   aula 01 - visão geral
Javascript aula 01 - visão geral
 
Music Recommendations at Scale with Spark
Music Recommendations at Scale with SparkMusic Recommendations at Scale with Spark
Music Recommendations at Scale with Spark
 
Proposta TCC - METODOLOGIA SCRUM APLICADA AOS PROCESSOS DE GERÊNCIA E DESENVO...
Proposta TCC - METODOLOGIA SCRUM APLICADA AOS PROCESSOS DE GERÊNCIA E DESENVO...Proposta TCC - METODOLOGIA SCRUM APLICADA AOS PROCESSOS DE GERÊNCIA E DESENVO...
Proposta TCC - METODOLOGIA SCRUM APLICADA AOS PROCESSOS DE GERÊNCIA E DESENVO...
 
C apítulo 1 livro navathe
C apítulo 1   livro navatheC apítulo 1   livro navathe
C apítulo 1 livro navathe
 
Mapeamento do modelo conceitual para o lógico - Banco de Dados
Mapeamento do modelo conceitual  para o lógico - Banco de DadosMapeamento do modelo conceitual  para o lógico - Banco de Dados
Mapeamento do modelo conceitual para o lógico - Banco de Dados
 
Aula 7 - Modelos de Ciclo de Vida.pptx
Aula 7 - Modelos de Ciclo de Vida.pptxAula 7 - Modelos de Ciclo de Vida.pptx
Aula 7 - Modelos de Ciclo de Vida.pptx
 
DevOps, por onde começar
DevOps, por onde começarDevOps, por onde começar
DevOps, por onde começar
 
Padrões MVC
Padrões MVCPadrões MVC
Padrões MVC
 
Orientação a Objetos - Introdução - Exercícios
Orientação a Objetos - Introdução - ExercíciosOrientação a Objetos - Introdução - Exercícios
Orientação a Objetos - Introdução - Exercícios
 
Modelagem de Dados
Modelagem de DadosModelagem de Dados
Modelagem de Dados
 
Governança de TI - Aula05 - compliance, PETI e PDTI
Governança de TI - Aula05 - compliance, PETI e PDTIGovernança de TI - Aula05 - compliance, PETI e PDTI
Governança de TI - Aula05 - compliance, PETI e PDTI
 
Banco de dados - Aula 1 SQL
Banco de dados - Aula 1 SQLBanco de dados - Aula 1 SQL
Banco de dados - Aula 1 SQL
 
RecSys 2020 - iFood recommendation
RecSys 2020 - iFood recommendationRecSys 2020 - iFood recommendation
RecSys 2020 - iFood recommendation
 
10 Lessons Learned from Building Machine Learning Systems
10 Lessons Learned from Building Machine Learning Systems10 Lessons Learned from Building Machine Learning Systems
10 Lessons Learned from Building Machine Learning Systems
 
Modelagem de Sistema de Informação 02
Modelagem de Sistema de Informação 02Modelagem de Sistema de Informação 02
Modelagem de Sistema de Informação 02
 
06 Modelagem de banco de dados: Modelo Lógico
06  Modelagem de banco de dados: Modelo Lógico06  Modelagem de banco de dados: Modelo Lógico
06 Modelagem de banco de dados: Modelo Lógico
 
Introdução à linguagem UML
Introdução à linguagem UMLIntrodução à linguagem UML
Introdução à linguagem UML
 

Semelhante a Big Data na globo.com

DevCommerce Conference 2016: Big data com Elastic Search
DevCommerce Conference 2016: Big data com Elastic SearchDevCommerce Conference 2016: Big data com Elastic Search
DevCommerce Conference 2016: Big data com Elastic Search
iMasters
 
Excelsior - Perfil usando Big Data e Web Semântica
Excelsior - Perfil usando Big Data e Web SemânticaExcelsior - Perfil usando Big Data e Web Semântica
Excelsior - Perfil usando Big Data e Web Semântica
Renan Moreira de Oliveira
 
TweetAuditor
TweetAuditorTweetAuditor
TweetAuditor
Erika Heidi
 
Big data: Conceitos e Desafios
Big data: Conceitos e DesafiosBig data: Conceitos e Desafios
Big data: Conceitos e Desafios
Flávio Sousa
 
Ciência de Dados em Governo
Ciência de Dados em GovernoCiência de Dados em Governo
Ciência de Dados em Governo
Sérgio Dias
 
Ciencia de dados na pratica, com transparencia e produtividade
Ciencia de dados na pratica, com transparencia e produtividadeCiencia de dados na pratica, com transparencia e produtividade
Ciencia de dados na pratica, com transparencia e produtividade
John Lemos Forman
 
Instrumentação completa com Visual Studio Mobile Center
Instrumentação completa com Visual Studio Mobile CenterInstrumentação completa com Visual Studio Mobile Center
Instrumentação completa com Visual Studio Mobile Center
Letticia Nicoli
 
Instrumentação completa com Visual Studio Mobile Center
Instrumentação completa com Visual Studio Mobile CenterInstrumentação completa com Visual Studio Mobile Center
Instrumentação completa com Visual Studio Mobile Center
akamud
 
awari-ds-aula4.pptx.pdf
awari-ds-aula4.pptx.pdfawari-ds-aula4.pptx.pdf
awari-ds-aula4.pptx.pdf
Marcos993896
 
Big Data Analytics em Governo
Big Data Analytics em GovernoBig Data Analytics em Governo
Big Data Analytics em Governo
Sérgio Dias
 
Conhecendo o desejo de mais de 10 milhões de usuários por dia
Conhecendo o desejo de mais de 10 milhões de usuários por diaConhecendo o desejo de mais de 10 milhões de usuários por dia
Conhecendo o desejo de mais de 10 milhões de usuários por dia
Diogo Munaro Vieira
 
Big Data Analytics
Big Data AnalyticsBig Data Analytics
Big Data Analytics
Guilherme Hinkelmann
 
Plataformas Predicta para Agências e Anunciantes
Plataformas Predicta para Agências e AnunciantesPlataformas Predicta para Agências e Anunciantes
Plataformas Predicta para Agências e Anunciantes
Andiara Petterle
 
05 curso ippuc-aula_01
05 curso ippuc-aula_0105 curso ippuc-aula_01
05 curso ippuc-aula_01
andressa bonn
 
Workshop Reinventando a TI
Workshop Reinventando a TIWorkshop Reinventando a TI
Workshop Reinventando a TI
Marcelo Leite ☁
 
Big Data, o que é isso?
Big Data, o que é isso?Big Data, o que é isso?
Big Data, o que é isso?
Ambiente Livre
 
Engajando usuários nos portais de conteúdo digital da Globo através de Sistem...
Engajando usuários nos portais de conteúdo digital da Globo através de Sistem...Engajando usuários nos portais de conteúdo digital da Globo através de Sistem...
Engajando usuários nos portais de conteúdo digital da Globo através de Sistem...
Joel Pinho Lucas
 
Big Data
Big DataBig Data
Big Data
Sandro Servino
 
Tool Open-Source & Free for Web Analytics
Tool Open-Source & Free for Web AnalyticsTool Open-Source & Free for Web Analytics
Tool Open-Source & Free for Web Analytics
Francisco Gonçalves
 
Design para seu Complexo de Mídias [2016]
Design para seu Complexo de Mídias [2016]Design para seu Complexo de Mídias [2016]
Design para seu Complexo de Mídias [2016]
Isaac Trabuco
 

Semelhante a Big Data na globo.com (20)

DevCommerce Conference 2016: Big data com Elastic Search
DevCommerce Conference 2016: Big data com Elastic SearchDevCommerce Conference 2016: Big data com Elastic Search
DevCommerce Conference 2016: Big data com Elastic Search
 
Excelsior - Perfil usando Big Data e Web Semântica
Excelsior - Perfil usando Big Data e Web SemânticaExcelsior - Perfil usando Big Data e Web Semântica
Excelsior - Perfil usando Big Data e Web Semântica
 
TweetAuditor
TweetAuditorTweetAuditor
TweetAuditor
 
Big data: Conceitos e Desafios
Big data: Conceitos e DesafiosBig data: Conceitos e Desafios
Big data: Conceitos e Desafios
 
Ciência de Dados em Governo
Ciência de Dados em GovernoCiência de Dados em Governo
Ciência de Dados em Governo
 
Ciencia de dados na pratica, com transparencia e produtividade
Ciencia de dados na pratica, com transparencia e produtividadeCiencia de dados na pratica, com transparencia e produtividade
Ciencia de dados na pratica, com transparencia e produtividade
 
Instrumentação completa com Visual Studio Mobile Center
Instrumentação completa com Visual Studio Mobile CenterInstrumentação completa com Visual Studio Mobile Center
Instrumentação completa com Visual Studio Mobile Center
 
Instrumentação completa com Visual Studio Mobile Center
Instrumentação completa com Visual Studio Mobile CenterInstrumentação completa com Visual Studio Mobile Center
Instrumentação completa com Visual Studio Mobile Center
 
awari-ds-aula4.pptx.pdf
awari-ds-aula4.pptx.pdfawari-ds-aula4.pptx.pdf
awari-ds-aula4.pptx.pdf
 
Big Data Analytics em Governo
Big Data Analytics em GovernoBig Data Analytics em Governo
Big Data Analytics em Governo
 
Conhecendo o desejo de mais de 10 milhões de usuários por dia
Conhecendo o desejo de mais de 10 milhões de usuários por diaConhecendo o desejo de mais de 10 milhões de usuários por dia
Conhecendo o desejo de mais de 10 milhões de usuários por dia
 
Big Data Analytics
Big Data AnalyticsBig Data Analytics
Big Data Analytics
 
Plataformas Predicta para Agências e Anunciantes
Plataformas Predicta para Agências e AnunciantesPlataformas Predicta para Agências e Anunciantes
Plataformas Predicta para Agências e Anunciantes
 
05 curso ippuc-aula_01
05 curso ippuc-aula_0105 curso ippuc-aula_01
05 curso ippuc-aula_01
 
Workshop Reinventando a TI
Workshop Reinventando a TIWorkshop Reinventando a TI
Workshop Reinventando a TI
 
Big Data, o que é isso?
Big Data, o que é isso?Big Data, o que é isso?
Big Data, o que é isso?
 
Engajando usuários nos portais de conteúdo digital da Globo através de Sistem...
Engajando usuários nos portais de conteúdo digital da Globo através de Sistem...Engajando usuários nos portais de conteúdo digital da Globo através de Sistem...
Engajando usuários nos portais de conteúdo digital da Globo através de Sistem...
 
Big Data
Big DataBig Data
Big Data
 
Tool Open-Source & Free for Web Analytics
Tool Open-Source & Free for Web AnalyticsTool Open-Source & Free for Web Analytics
Tool Open-Source & Free for Web Analytics
 
Design para seu Complexo de Mídias [2016]
Design para seu Complexo de Mídias [2016]Design para seu Complexo de Mídias [2016]
Design para seu Complexo de Mídias [2016]
 

Mais de Renan Moreira de Oliveira

PicPay - GenAI Finance Assistant - ChatGPT for Customer Service
PicPay - GenAI Finance Assistant - ChatGPT for Customer ServicePicPay - GenAI Finance Assistant - ChatGPT for Customer Service
PicPay - GenAI Finance Assistant - ChatGPT for Customer Service
Renan Moreira de Oliveira
 
AI na jornada do usuário de ecommerce
AI na jornada do usuário de ecommerceAI na jornada do usuário de ecommerce
AI na jornada do usuário de ecommerce
Renan Moreira de Oliveira
 
Data science Framework
Data science FrameworkData science Framework
Data science Framework
Renan Moreira de Oliveira
 
iFood Recommendations
iFood RecommendationsiFood Recommendations
iFood Recommendations
Renan Moreira de Oliveira
 
Sistemas de Recomendação
Sistemas de RecomendaçãoSistemas de Recomendação
Sistemas de Recomendação
Renan Moreira de Oliveira
 
What is AB, MVT and MAB?
What is AB, MVT and MAB?What is AB, MVT and MAB?
What is AB, MVT and MAB?
Renan Moreira de Oliveira
 
Machine Learning na globo-com
Machine Learning na globo-comMachine Learning na globo-com
Machine Learning na globo-com
Renan Moreira de Oliveira
 
Big Data to Machine Learning
Big Data to Machine LearningBig Data to Machine Learning
Big Data to Machine Learning
Renan Moreira de Oliveira
 
Dev para Engenheiro de Dados (From Dev to Data Engineer)
Dev para Engenheiro de Dados (From Dev to Data Engineer)Dev para Engenheiro de Dados (From Dev to Data Engineer)
Dev para Engenheiro de Dados (From Dev to Data Engineer)
Renan Moreira de Oliveira
 
Big data e globo.com - Uma visão sobre a cultura de dados
Big data e globo.com - Uma visão sobre a cultura de dadosBig data e globo.com - Uma visão sobre a cultura de dados
Big data e globo.com - Uma visão sobre a cultura de dados
Renan Moreira de Oliveira
 
Big data e a globo.com - 2017
Big data e a globo.com - 2017Big data e a globo.com - 2017
Big data e a globo.com - 2017
Renan Moreira de Oliveira
 
Big Data e seu fiel companheiro Spark
Big Data e seu fiel companheiro SparkBig Data e seu fiel companheiro Spark
Big Data e seu fiel companheiro Spark
Renan Moreira de Oliveira
 
Big Data na Globo.com - Dev Version - 2016
Big Data na Globo.com - Dev Version - 2016Big Data na Globo.com - Dev Version - 2016
Big Data na Globo.com - Dev Version - 2016
Renan Moreira de Oliveira
 
Transição do desenvolvimento web para apps - o caminho suave
Transição do desenvolvimento web para apps - o caminho suaveTransição do desenvolvimento web para apps - o caminho suave
Transição do desenvolvimento web para apps - o caminho suave
Renan Moreira de Oliveira
 
Ontologias e sua utilização em aplicações semânticas - UFF - CASI - 2014
Ontologias e sua utilização em aplicações semânticas - UFF - CASI - 2014Ontologias e sua utilização em aplicações semânticas - UFF - CASI - 2014
Ontologias e sua utilização em aplicações semânticas - UFF - CASI - 2014
Renan Moreira de Oliveira
 
Introdução a web semântica e o case da globo.com
Introdução a web semântica e o case da globo.comIntrodução a web semântica e o case da globo.com
Introdução a web semântica e o case da globo.com
Renan Moreira de Oliveira
 

Mais de Renan Moreira de Oliveira (16)

PicPay - GenAI Finance Assistant - ChatGPT for Customer Service
PicPay - GenAI Finance Assistant - ChatGPT for Customer ServicePicPay - GenAI Finance Assistant - ChatGPT for Customer Service
PicPay - GenAI Finance Assistant - ChatGPT for Customer Service
 
AI na jornada do usuário de ecommerce
AI na jornada do usuário de ecommerceAI na jornada do usuário de ecommerce
AI na jornada do usuário de ecommerce
 
Data science Framework
Data science FrameworkData science Framework
Data science Framework
 
iFood Recommendations
iFood RecommendationsiFood Recommendations
iFood Recommendations
 
Sistemas de Recomendação
Sistemas de RecomendaçãoSistemas de Recomendação
Sistemas de Recomendação
 
What is AB, MVT and MAB?
What is AB, MVT and MAB?What is AB, MVT and MAB?
What is AB, MVT and MAB?
 
Machine Learning na globo-com
Machine Learning na globo-comMachine Learning na globo-com
Machine Learning na globo-com
 
Big Data to Machine Learning
Big Data to Machine LearningBig Data to Machine Learning
Big Data to Machine Learning
 
Dev para Engenheiro de Dados (From Dev to Data Engineer)
Dev para Engenheiro de Dados (From Dev to Data Engineer)Dev para Engenheiro de Dados (From Dev to Data Engineer)
Dev para Engenheiro de Dados (From Dev to Data Engineer)
 
Big data e globo.com - Uma visão sobre a cultura de dados
Big data e globo.com - Uma visão sobre a cultura de dadosBig data e globo.com - Uma visão sobre a cultura de dados
Big data e globo.com - Uma visão sobre a cultura de dados
 
Big data e a globo.com - 2017
Big data e a globo.com - 2017Big data e a globo.com - 2017
Big data e a globo.com - 2017
 
Big Data e seu fiel companheiro Spark
Big Data e seu fiel companheiro SparkBig Data e seu fiel companheiro Spark
Big Data e seu fiel companheiro Spark
 
Big Data na Globo.com - Dev Version - 2016
Big Data na Globo.com - Dev Version - 2016Big Data na Globo.com - Dev Version - 2016
Big Data na Globo.com - Dev Version - 2016
 
Transição do desenvolvimento web para apps - o caminho suave
Transição do desenvolvimento web para apps - o caminho suaveTransição do desenvolvimento web para apps - o caminho suave
Transição do desenvolvimento web para apps - o caminho suave
 
Ontologias e sua utilização em aplicações semânticas - UFF - CASI - 2014
Ontologias e sua utilização em aplicações semânticas - UFF - CASI - 2014Ontologias e sua utilização em aplicações semânticas - UFF - CASI - 2014
Ontologias e sua utilização em aplicações semânticas - UFF - CASI - 2014
 
Introdução a web semântica e o case da globo.com
Introdução a web semântica e o case da globo.comIntrodução a web semântica e o case da globo.com
Introdução a web semântica e o case da globo.com
 

Big Data na globo.com