Bigdata gameverse

Big Data e Sistemas de
Recomendação
12/09/2013
Joel Pinho Lucas
1
Saturday, September 14, 13

Agenda
•
•
•
•
•
•
•
•

Who am I?
O que é Big Data?
Introdução ao NoSQL
Big Data no mercado de trabalho
Visão geral de MongoDB e Hadoop
Sistemas de Recomendação
Gameverse
Como entrar no mundo e mercado de Big Data?
2


Who am I?

3

Lean Start-up vs. Pesquisa/Ciência?

Scientiﬁc Thinking

vs

4

Big Data
•

“Termo usado para descrever o crescimento, a disponibilidade e o uso
exponencial de informações estruturadas e não estruturadas”. SAS Business Analytics software

5

Big Data - Aplicações
✓ Medicina
✓ Mercado Financeiro
✓ Detecção de Fraude
✓ Análise de Sentimento
✓ Marketing
✓ Sistemas de Recomendação
6

Big Data - Volume
O volume de informação no mundo ocuparia o equivalente a 295 trilhões de megabytes
(University of Southern California - 2011)

A quantidade de informação no mundo dobra a
cada 20 meses (Breese, et. al. - 2010)
"The New York Times" tem mais conteúdo do que um
inglês médio teria acesso em toda sua vida no início do
século XVII
7

Big Data - Variedade

8

Big Data - Velocidade
• Análise de dados:

✓ Processamento em “batch”
✓ Processamento em tempo real

9

Big Data - 3Vs

Fonte: http://www.datasciencecentral.com
10

Big Data - Etapas
Coleta

{

Processamento

Análise / Buscas

Visualização
11

Big Data - Áreas
✓Banco de Dados
✓Text-Mining
✓Infra-Estrutura / DevOps

✓Aprendizado de Máquina (Machine Learning)

✓Estatística
✓Data Analytics
✓Visualização

12

NoSQL
•

“Termo genérico para uma classe deﬁnida de banco de dados
não-relacionais que rompe uma longa história de banco de
dados relacionais com propriedades ACID” - (Wikipedia, 2013)

?

?

?

?

13

NoSQL
Escalabilidade Vertical vs. Escalabilidade Horizontal

14

NoSQL
Quando a Consistencial Eventual é tolerável?

vs.


NoSQL - Teorema CAP
•

“Estabelece que é impossível para um sistema distribuído garantir
simultaneamente disponibilidade, consistência e tolerância a
falhas” (Wikipedia, 2013)

16

NoSQL
Atomicidade - A
Consistência - C
Isolamento - I
Durabilidade - D

B
A
S
E

vs.

RDBMS

NoSQL
17


- Basicamente Disponível
(Basically Available)
- Estado Suave
- Consistência Eventual

NoSQL
✓Indicado para aplicações com grandes volumes de
dados

✓Não

possui esquema (schema) rigoroso como
RDBMS

✓Não exige a integridade dos dados
✓Não indicado para transações sensíveis
18

Big Data/NoSQL no Mercado
•

“80% das informações que a companhia possui estão
completamente desestruturadas” (Jeff Jones, IBM - 2011)

•

“Computadores ﬁcam mais rápidos e empresas, mais
burras” (Jeff Jones, IBM - 2011)

19

•

“Até 2015 serão criados 4.4 milhões de empregos
para suportar as iniciativas de Big Data (1.9 milhões
nos EUA)” (Gartner, Inc. - 2012)

•

“A falta de proﬁssionais de TI no Brasil será de 800 mil postos
em 2014” (FGV - Fundação Getúlio Vargas)
20


NoSQL

SQL

21


22


23


24


25


• Cenário em E-Commerce:
A “explosão
✓quantidade deda informação” resultou em uma enorme
produtos ao alcance do usuário

✓Diﬁculdade na escolha para compra de produtos
✓Falta de personalização
✓Email / SPAM
26

“Se tenho 3 milhões de clientes na Web,
tenho de ter 3 milhões de lojas on-line” Jeff
Bezos, CEO - Amazon.com

•

“Combina várias técnicas computacionais para selecionar itens
personalizados com base nos interesses dos usuários e conforme o
contexto no qual estão inseridos” (Wikipedia)

•

Modelo de aprendizagem focado no perﬁl de usuário (predictive analytics)
e não num sumário geral dos dados (BI)
27


✓Métodos baseados em Conteúdo:

✓Filtragem Colaborativa:
‣
‣

Baseada em Usuário
Baseada em Item

28


Figura: Recomendação baseada em Conteúdo (Gmail.com)

29


Figura: Exemplo de Falso Positivo (Gmail.com, 2010)

30


Figura: Recomendação baseada em Item - Filtragem Colaborativa (Amazon.com,)

31


Figura: Recomendação baseada em Usuário - Filtragem Colaborativa (Netﬂix.com)
32

Tecnologias - MongoDB
•
•
•
•
•

Banco de dados Orientado a Documento
Trabalha com o formato BSON (Binary JSON)
Schema-free
Escalabilidade horizontal facilitada
Linguagem rica para consulta

33

Clientes - Cases

34

• Características:
✓Esquema Flexível
✓Escalabilidade Horizontal
✓Suporte nativo a Replicação
✓Consistência Eventual
35

RDBMS
Base de Dados
Tabela
Registro
Atributo
Índice
Join
Chave Estrangeira

MongoDB
Base de Dados
Coleção
Documento
Chave-valor
Índice
Embedded doc
Referencia

36

post
- title
- content
- status
- create_time
- update_time
- author_name

vs.

Comment[ ]
- content
- status
- create_time
- author_name
- email
- url

Tags[ ]

Relacional

NoSQL
37


user
username
password
salt
email
proﬁle

✓Esquema Flexível
38

Sharding (Escalabilidade Horizontal)

✓ Deploy:
1) Deﬁnir os servidores: host
2) Disparar o início de cada “shard”: sh.addShard(host)
3) Escolher uma “shard key”
4) Habilitar sharding na collection: sh.shardCollection("pessoas", {nome:1})
39

✓Esquema ou Esquema Flexível
40

Suporte a Alta Disponibilidade - Replicação

✓ Deploy:
1) Iniciar o “replica set”: rs.initiate()
2) Deﬁnir os servidores: host
3) Disparar cada réplica: rs.add(host)
41

Tecnologias - Hadoop
•

Framework baseado em MapReduce mantido em código
aberto pela Apache

•

Foi concebido a partir dos papers de MapReduce e
GoogleFS (GFS) do Google

•

Usado em pesquisa (e produção) no Yahoo, Facebook e
Microsoft Bing

•

Promove escalabilidade horizontal em “hardware de
comodity”

42


Fonte: S. Fries, B. Boden - Fast Access to Complex Data

Clientes - Cases

44

Gameverse

45

Gameverse

46

Gameverse - Desaﬁos
• Pontencial para crescimento exponencial de
usuários

• Falsos Positivos x Falsos Negativos
• Domínio de games para recomendação
• 128,000 games na AppStore
• Dados fornecidos/captados do iTunes
47

Gameverse - Desaﬁos
•

Dispersão de dados (sparsity): usuários conseguem
avaliar (rating) em média1% dos itens disponíveis

•
•
•

Escalabilidade
Ovelha Negra
Primeiro Rating (early-rater)

48

Gameverse -Implementação


Gameverse -Implementação

50

“É complexo deﬁnir similaridade, mas…

você sabe quando você a vê.” (Dr. E. Keogh)
51

Como entrar no mundo de Big Data?

✓Cursos online
✓Blogs
✓“Hands On”
✓Eventos
52


✓Coursera (http://www.coursera.org):
• Introduction to Data Science
• Recommender Systems
• Machine Learning
MongoDB University:
✓https://education.mongodb.com/
Amazon EMR Training:
✓http://aws.amazon.com/elasticmapreduce/training/
53


✓Cursos online
✓Blogs
✓“Hands On”
✓Eventos
54


✓Gigaom: http://gigaom.com/channel/data/
✓Netﬂix Tech Blog: http://techblog.netﬂix.com/
GroupLens - University of
✓http://www.grouplens.org/Minnesota, EUA:

55


✓Cursos online
✓Blogs
✓“Hands On”
✓Eventos
56


✓ Weka Machine Learning:
http://www.cs.waikato.ac.nz/ml/weka/
✓ Amazon Public datasets:
http://aws.amazon.com/publicdatasets/
✓ GroupLens Public Data Sets:
http://www.grouplens.org/
✓ Tableau:
http://www.tableausoftware.com
57


58


✓Cursos online
✓Blogs
✓“Hands On”
✓Eventos
59


✓KDnuggets: www.kdnuggets.com
✓Meetup.com:
‣ São Paulo Hadoop Users Group
‣ São Paulo MongoDB User Group

60

Perguntas - Contato
‣ Linkedin: http://br.linkedin.com/in/joelplucas/
‣ Email: joel.lucas@mobjoygames.com
‣ Oportunidades na Mobjoy:
start@mobjoygames.com
61

Bigdata gameverse

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (7)

Semelhante a Bigdata gameverse

Semelhante a Bigdata gameverse (20)

Bigdata gameverse