PGDay Brasilia 2017

Thiago Santiago
BigData, Casos de Uso dos Gigantes e suas Arquiteturas...
Big Data e Hadoop
O poder da informação

2 © Hortonworks Inc. 2011 – 2017. All Rights Reserved
Thiago Santiago
tsantiago@hortonworks.com@
https://www.linkedin.com/in/thiagosantiago/
https://twitter.com/thiagos25
https://github.com/Thiagos25
Solutions Engineer @ Hortonworks

The Buzzword…

BigData Implícito

5

O Big Data procura responder a perguntas como: Por quê? E se? O que
acontecerá? Como otimizar? E fornecer novos insights
O intuito final é apenas um: dominar a informação!
Veracidade e
Valor
Os pilares

Informação é poder

?
Quantas vezes Homens e
mulheres no Tinder movem
seus dedos para a esquerda e
direita nas telas de seus
dispositivos por minuto?
… A cada minuto no mundo...

Papa Bento
Papa Francisco
A mudança de era…

Algo interessante está acontecendo…

8ZB
DATAINTERNET
OF
ANYTHING
44ZB
DATA
2020
Byte
Kilobyte (KB)
Megabyte (MB)
Gigabyte (GB)
Terabyte (TB)
Petabyte (PB)
Exabyte (EB)
Zettabyte (ZB)
Quanto de informação o mundo possui?

Como analisar essa quantidade de dados?

https://pt.wikipedia.org/wiki/Hadoop
Plataforma de software em Java de computação distribuída voltada para clusters e
processamento de grandes massas de dados.
Foi inspirada no MapReduce e no GoogleFS (GFS). Trata-se de um projeto da Apache
de alto nível, que vai sendo construído por uma comunidade de contribuidores Java.
O Yahoo! tem sido o maior contribuidor do projeto, utilizando essa plataforma
intensivamente em seus negócios.
Hadoop

O que é MR?
17

Evolução do Hadoop
18

Players

The Forrester Wave™: Big Data Warehouse, Q2 2017
Hortonworks delivers a viable open source BDW
platform.
Hortonworks delivers actionable intelligence from all
kinds of data-in-motion and data-at-rest. Through its
open source strategy, Hortonworks continually evolves its
offering by working closely with partners across the EDW
ecosystem of tools and vendors. The vendor provides a
cost-effective, nimble, and scalable architecture to
implement big data warehouses, whether on-premises or
in the cloud. All of the technology built into the
Hortonworks Data Platform is an Apache open source
project. Enterprises like Hortonworks' storage and
compute processing, broad data ingestion, data
governance, and open source support when deploying
BDW, but they claim it lags in data transformation and
data modeling capabilities.

O DataLake
Hadoop
Nifi
Nifi
Data Science
IT Systems & Ops

Hadoop
Resources
Existing
Resources
Architect
Training
Data Architect Hadoop Architect
Hive
TrainingBI Analyst Hadoop Analyst
Developer
Training
Developer
(Java, Python…)
Hadoop Developer
Admin
Training
Linux/Windows
Administrator
Cluster Ops
& Admin
O Caminho do Conhecimento

Hortonworks Data Flow 3.0

Hortonworks Data Platform 2.6

O Ecossistema Hadoop

KappaArquitetura Lambda

Watch Towers
Limited Entry Points
Moat
Kerberos
High Hard Walls
Check Identity
Inner Walls
Firewall
HDFS Encryption
LDAP/AD
Apache Knox
Apache Ranger
Como proteger seu elefante?
HDP 2.6

Apenas um dos vários clusters Hadoop operados pela empresa abrange
mais de 4.000 máquinas.
Facebook Messager no Apache Hadoop HBase platform para suportar
bilhões de mensagens por dia.
Usam Hive para os reports e análise de grandes conjuntos de dados.
O que fazem os grandes com Hadoop?

Foi o primeiro a oferecer a opção “outros que compraram isso,
compraram também…”, obtendo instantaneamente vantagem
competitiva com relação a seus concorrentes;
+ 20% de vendas!

Utiliza Hadoop para sugerir automaticamente conteúdo a seus usuários
baseado no que foi assistido anteriormente.
Talvez o melhor exemplo de sucesso de Big Data, o Netflix passou a não
somente oferecer sugestões de conteúdo similar, mas sim produzir
conteúdo direcionado para as preferências das massas, de acordo com
o que vem “aprendendo” ao longo dos anos.

“Aprende” sobre a rotina diária das pessoas, e sugere automaticamente
meios de transporte, restaurantes, opções de entretenimento, entre outras
coisas, baseando-se no comportamento individual de cada um.

Analisa em tempo real a situação do trânsito das cidades, e sugere o
caminho mais rápido, baseado no feedback dos usuários e de análises de
velocidade de deslocamento informados automaticamente pelos
dispositivos conectados;

O site de namoro online recentemente atualizou seu ambiente na nuvem,
usando Hadoop e os processadores Intel Xeon E5 para analisar um
volume massivo e variado de dados. A tecnologia ajuda a eHarmony a
disponibilizar novas combinações a milhões de pessoas diariamente. O
novo ambiente cloud acomoda análises mais complexas, criando
resultados mais personalizados e aumentando a chance de sucesso nos
relacionamentos.

Análise de logs em tempo real
menções honrosas
Análise Patológica

Call Detail
Records
Product
Catalogs
Cyber Threat
Metadata
Sensor
Data
Server
Logs
Voice-to-Text
SINGLE VIEW OF
THE CUSTOMER
CHURN
REDUCTION
CDR
ANALYSIS
NETWORK
OPTIMIZATION
DYNAMIC
BANDWIDTH
ALLOCATION
Clickstream
ERP
System
Data
Social
Media Billing
Data
Subscriber
Profiles
CRM
Records
Casos de Uso: Telecom

Defect
Testing Data
Product
Designs
MES
Systems
RFID
Streams
SCADA
Systems
Shop Floor
Sensors
PREVENTATIVE
MAINTENANCE
SUPPLY CHAIN
OPTIMIZATION
YIELD
MAXIMIZATION
QUALITY
CONTROL
RECALL
AVOIDANCE
ERP
Systems
Supplier
Receipts
Machine
Data
Assembly
Line Sensors
Data
Historians
Work
Orders
Casos de Uso: Chão de Fábricas

ERP Data
Warranty
Data
Geo
Tracking
Infotainment
Metadata
SCADA
Systems
Social Media
Streams
PREVENTATIVE
MAINTENANCE
SUPPLY CHAIN
OPTIMIZATION
MANUFACTURING
YIELDS MAXIMIZATION
QUALITY
CONTROL
NEW PRODUCT
PLANNING
ERP
Systems
Defect
Testing Data
Machine
Data Data
Historian
s Product
Design
Docs
Service
Record
s
Casos de Uso: Setor Automotivo

OFAC
Lists
Credit
Records
ATM
Streams Transactions
& Wires
Stock
Tickers
Trade
Settlements
DIGITAL
CUSTOMER 360
RISK DATA
AGGREGATIO
N
ANTI-MONEY
LAUNDERING
FRAUD
DETECTION
TRADE
SURVEILLANCE
Mobile
App Data
Trade
Data
Web
Logs
Banker
Notes
Demographic
Data
Customer
Transactio
n Data
Casos de Uso: Setor Financeiro

Product
Catalogs
Sales
Forecasts
Beacons &
RFID Server
Logs
In-Store
WiFi Logs
Store
Communicatio
ns
SINGLE VIEW OF
THE CUSTOMER
PRODUCT
RECOMMENDATION
S
INVENTORY &
SUPPLY CHAIN
PRICING
OPTIMIZATIO
N
TARGETED
PROMOTIONS
Clickstream
ERP
Data
Social
Media
Staffing
Plans
Store
Reporting
CRM
Records
Casos de Uso: Comercio Eletronico

Historical
Archives
Cyber Threat
Metadata
Vehicle
Telemetry Data
Disease
Outbreaks
Natural
Disasters
PUBLIC
TRANSPORTATION
INFRASTUCTURE
MAINTENANCE
PUBLIC
HEALTH
NATIONAL
DEFENSE
HOMELAND
SECURITY
Social
MediaWork
Orders
Meeting
Notes
Voter Rolls
Public Benefits
Claims
Financial
Audits
Extreme
Weather Alerts
Casos de Uso: Setor Publico

Asset
Data
Customer
Surveys
Weather &
Environmental
Service Fleet
GPS Data
Smart
Meter
Streams
Commodity
Prices
REVENUE
PROTECTION
SINGLE VIEW
OF CUSTOMER
PREDICTIVE
EQUIPMENT
MAINTENANCE
CONSERVATION
VOLTAGE
REDUCTION
COMMODITY
TRADING
Social
Media
GIS
Data
SCADA Outage
Histories
CIS
Records
EDW
Casos de Uso: Setor Energético

Research
Cohort Data
Molecula
r Data
RFID Data
Social Media
Biometrics
Sensor
Data
DRUG TRIAL
COHORT
SELECTION
YIELD
OPTIMIZATION
RAW MATERIAL
WASTE REDUCTION
SEARCHABLE
RESEARCH
REPOS
NEXT-GEN
SEQUENCING
(NGS)
Supply Chain
Geo-location Data
Scientific
Studies
Manufacturing
Machine Data
Clinical
Records
Sales
Report
s
Genomic
Data
Casos de Uso: Setor Farmacêutico

Patient
Records
Lab Data
Pharmacy
Data
Patient
Locations
Wearable
s
Intra-Network
Data
Sensor
Data
Claims
Data
Social
Media Physician
Notes
Patient
Satisfaction Data
Clinical
(EMR)
Data
SINGLE VIEW OF
PATIENT
REAL-TIME VITAL
SIGN
MONITORING
BILLING &
REIMBURSEMENTS
EMR
OPTIMIZATION
SUPPLY CHAIN
OPTIMIZATION
Casos de Uso: Saúde

Catastrophic
Event Data
Customer
Onboarding
Data
Seismic
Data
Biometrics
Data
Usage-Based
Driver Data
Cyber Threat
Metadata
RISK & UNDERWRITING
ANALYSIS
USAGE-
BASED
INSURANCE
CLAIMS
ANALYTICS
NEW
PRODUCT
DEVELOPMEN
T
CYBER RISK
ANALYTICS
Drones &
Aerial
Imagery
Claims Docs,
Notes &
Diaries
Weather &
Environment
Underwritin
g Analysis
Policy
Histories
Photos
Casos de Uso: Setor Seguros

Market
Research
Studies
CRM
Records
Online
Transaction
s
Social Media
Streams
Impressions
Video
Consumption
Logs
CUSTOMER
SEGMENTATION
ONLINE AD
PLACEMENT
PRODUCT
RECOMMENDATIONS
TARGETED
PROMOTION
S
VIDEO
SYNDICATION
Sensor
Data
Product
Catalogs
Server
Logs
Clickstream
s Customer
Surveys
Sales
Report
s
Casos de Uso: Propaganda e Marketing

Cyber Security
Metadata
Sales
Forecasts
Mobile
Device Geo-
Location
Server
Logs
User Activity
Events
Network
Logs
NEW PRODUCT
DEVELOPMENT
QUALITY
ASSURANCE
CUSTOMIZATION &
PERSONALIZATION
CYBER
SECURITY
REAL-TIME USAGE
MONITORING
Clickstream
s
CRM
Records
Social Media
Streams
Sprints &
Backlogs
User
Testing
Historical
Audit
Trails
Casos de Uso: Setor Software Factory

Flink
Spark
BigData ou Pokemon?

Jirachi
BigData ou Pokemon?

Pangol
MapReduce
BigData ou Pokemon?

Akiban
Data Base
BigData ou Pokemon?

Spoink
BigData ou Pokemon?

Seahorse
Spark
BigData ou Pokemon?

Summingbird
Storm
BigData ou Pokemon?

tsantiago@hortonworks.com@
https://www.linkedin.com/in/thiagosantiago
https://twitter.com/thiagos25
https://github.com/Thiagos25
Obrigado!

PGDay Brasilia 2017

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to PGDay Brasilia 2017

Similar to PGDay Brasilia 2017 (20)

More from Thiago Santiago

More from Thiago Santiago (12)

Recently uploaded

Recently uploaded (20)

PGDay Brasilia 2017