Dell EMC Solutions for Big Data
Strategy for Big Data environments
Caio Candido
Senior Technology Strategist, Latin America Ready Solutions
Dell - Confidential
Agenda
Evolução Digital
Fundamentos de Data Analytics
Futuro: BDaaS – The Elastic Data Platform
Nossas soluções
Apresentação
Evolução Digital
Dell - Confidential
BigData
Deep e Machine Learning
IOT
Inteligência Artificial
Crypto Moedas
Supercomputadores
Data Analytics
DevOps
Containers
Automação
Dell - Confidential
Transformação Digital
Data
Analytics
DevOps Cloud
Lider de mercado
Saber
o que fazer
Tomada de
decisão
Ação e
Entrega mais
rápida
Escalar
Maior
disponibilidade
Ser Digital
3.14159265359
Dell - Confidential
Para que nossos clientes procuram Big Data?
Vantagens de uso
Time to MarketAquisição e
retenção de
clientes
Detecção e
segurança anti-
fraude em dados
Ter controle sobre
as informações e
negócios
Otimização e
eficiência
Dell - Confidential
Compreender a “maturidade” de um “Dado”
Simulation-Driven Analysis
and Decision-Making
Mature Data Lake
Foresight—What Will
Happen, When,
and Why
Self-Learning and Completely Automated Enterprise
Computerized Human Thought Simulation and Actions
Towards Autonomic Enterprise
SCALEANDMATURITY
Hindsight—What Happened
Files, RDBMS, ODS,
Early Data Warehouse, OLAP
Insight—What Happened and Why
Enterprise Data Warehouse, In-Memory DBs,
BI Tools, Complex Event Processing
No/New-SQL, Mature In-Memory DB
and Processing, Early Data Lake
Files, RDBMs, OLAP
Enterprise Data Warehouse,
In-Memory DBs
Artificial Intelligence
Machine and Deep Learning
Frameworks, Data Lakes
Hadoop+*, Spark*, TAP, In-Memory
Computing, Visualization
Frameworks
TECHNOLOGY/PRODUCT
DECISION TREE
SILOED SDI/HPCVIRTUALIZED/INTEGRATED APPLIANCES
Descriptive
Analytics
Diagnostic
Analytics
Cognitive
Analytics
Prescriptive
Analytics
Predictive
Analytics
Operational Analytics (BI)
Advanced Analytics (AI)
INFRASTRUCTURE
Analise de Dados em tempo real
Fundamentos de
Data Analytics
Dell - Confidential
Tipos de dados tradicionais
Relational Data Reference Data
Coletivamente, os dados relacionais e de
referência representam cerca de 20% de
todos os dados.
Dell - Confidential
Primeiro, havia o Data Warehouse
• Uma arquitetura para hospedar dados de
várias fontes para dar suporte à tomada de
decisões.
• Por que o armazenamento de dados
existe:
➢ Centralização de dados de alto valor
➢ Ferramentas para procesar dados e
informações
➢ Ambiente altamente regulado
Dell - Confidential
Então, o banco de dados MPP foi apresentado
• Uma nova abordagem massivamente
paralela foi necessária para gerenciar um
ambiente analítico crescente
• Por que o banco de dados MPP existe :
– Os dados ficaram maiores
– As consultas tornaram-se mais “feias”
– O desempenho tornou-se crítico
– R / SAS / Linguagens estatísticas devem
ser executadas no banco de dados
Dell - Confidential
Desafios tradicionais do Analytics
• O modelo rígido torna a mudança complexa
• Não há solução real para a integração de dados
não estruturados
• Infraestrutura e software caro
• Muito tempo para mover dados para o volume
• Necessidade de integrar rapidamente dados de
terceiros com modelos de dados definidos por si
Dell - Confidential
Big Data Characteristics: Data Structures
Data Growth is Increasingly Unstructured
Características de Big Data: Data Structures
O crescimento dos dados é cada vez mais desestruturado
Dell - Confidential
Tipos de dados emergentes ...
Application data
Mobile app and website data
As pessoas usam aplicativos móveis quase 3
horas por dia
IT infrastructure data
Network servers, cloud services
O custo médio do tempo de inatividade de um
data center é de US $ 300.000 por hora.
Security data
Firewall data, endpoint data
O cibercrime custará ao mundo mais de US $
6 bilhões por ano até 2021
Customer-generated data
Social media data, support call logs
Existem 2,8 bilhões de usuários de mídia
social em todo o mundo
Internet of things data
Temperature control, speed
instruments
8,4 bilhões de "coisas" conectadas estarão em
uso em 2019
Dell - Confidential
Data Analytics Landscape
Dell EMC has, and is continuing to develop, a strong presence in the key Big Data Areas
Nossas soluções
Dell - ConfidentialDell - Internal Use - Confidential
O que é "Hadoop" ?!
O Hadoop (ou Apache Hadoop) é uma estrutura
de software livre usada para armazenamento
distribuído e processamento de grandes
quantidades de dados
Por que
você deveria
se importar?
O Hadoop é
executado em
clusters baseados em
hardware básico:
servidores,
armazenamento e
redes.
Divida os dados em grandes blocos e distribua-
os entre nós em um cluster para que eles
possam ser processados mais rapidamente
Existem muitas implementações "comerciais" do
Hadoop, duas das quais são a base dos pacotes
Dell EMC Ready para o Hadoop:
Dell - Confidential
Motores de Busca
2004 MapReduce
2003 Google File System2005 MapReduce + NDFS
2006
Dell - Confidential
DISTRIBUTED STORAGE HADOOP:
Dados distribuídos no armazenamento local dos nós
Maciços (100s + de petabytes)
• Possibilidade de usar plataformas de produtos
• Escala linear
• Modelo de replicação flexível
ARMAZENAMENTO COMPARTILHADO
HADOOP:
Dados do sistema de arquivos armazenados em uma cópia
de dados de cluster do IsilonSingle NAS para cargas de
trabalho de TI e análises:
• Redução da pegada do data center (densidade de
armazenamento)
• Gerenciamento de arquivos de negócios: proteção de
dados, segurança, níveis de armazenamento, etc.
• Escala independente de armazenamento e cálculo.
Uma palavra sobre armazenamento para o Hadoop .
O Hadoop suporta vários modelos de implementação de armazenamento que levam em consideração os diferentes requisitos de
orçamento, desempenho, capacidade e densidade:
Dell - Confidential
Servers
Storage
Software
Big Data foundations
© Copyright 2017 Dell Inc.
Dell - Confidential
Ready Solutions
Reference
architectures
Customized
designs
Big Data solutions
© Copyright 2017 Dell Inc.
Dell - Confidential
Dell EMC
Ready
Bundles for
Cloudera
Hadoop
Uma solução de dados
moderna rápida, fácil e
segura.
BENEFICIOS
Fast for business —
Desempenho de entrega
para desbloquear o
potencial ilimitado de
dados.
Easy to manage —
mantenha os aplicativos
essenciais em execução
em escala.
Secure without
compromise — Atenda às
necessidades de
segurança e conformidade
sem sacrificar a agilidade
dos negócios.
1
2
3
Dell - Confidential
Dell EMC
Ready
Bundles for
Hortonworks
Hadoop
Uma base aberta e estável com
um ecossistema crescente para
construir e implementar
soluções de big data.
BENEFITS
Open — A Hortonworks tem
uma abordagem de
desenvolvimento 100%
aberta que estimula a
inovação.
Interoperable — Open
source permite
interoperabilidade entre
aplicativos.
Enterprise ready —
Fornece operações
consistentes com
gerenciamento centralizado
e monitoramento por meio
de uma única tela.
1
2
3
Dell - Internal Use - Confidential
Data Analytics Services
Big Data Vision Workshop
Alinha a TI e a empresa no
caso de uso otimizado de
análise de dados e uma
maneira de resolver um
problema de negócios
Big Data Implementation
Services
Oferece uma variedade de
opções que incluem
integração no local ou
implantação de aplicativos
ProSupport Enterprise
Suite
Aproveite o acesso ilimitado
aos serviços de suporte via
chat, e-mail e telefone 24
horas por dia, 7 dias por
semana
Dell EMC Customer
Solution Centers
Inclua uma rede global de 21
instalações dedicadas onde
os clientes podem
experimentar as soluções
Dell EMC e colaborar com
especialistas em TI de classe
mundial
Big Data Technology
Advisory Service
Identificar recursos críticos,
uma arquitetura
recomendada e um roteiro
de tecnologia para
implementar esses recursos
Big Data Optimization
Services
Realize verificações de
status, migrações de dados e
plataformas e implante
soluções e armazenamento
para otimizar a infraestrutura
Education Services
Treinamento e certificações
para desenvolver a solução e
as habilidades tecnológicas
necessárias para aproveitar
ao máximo o Big Data e o AI
Dell EMC “Try and Buy”
Programs
Teste soluções e produtos
em seu próprio ambiente,
simplifique a tomada de
decisões e reduza o risco
associado a novos
investimentos em tecnologia
Dell - Internal Use - Confidential25 of 11
BDaaS – The Elastic Data Platform
Ambiente seguro e multi-tenant infra-estrutura compartilhada
Ready Bundle
for Cloudera
Prod
2.2
Dev/Test
2.6
POC
2.6
Prod
2.5
Dev/Test
2.7
Data
Isolation
Data
Isolation
MARKETING R&D MANUFACTURING
360 Customer View Log Analysis Predictive Maintenance
MARKETING R&D MANUFACTURING
Compute
Isolation
Compute
Isolation
“Containerized” Big Data Infrastructure
Simplicidade e
Eficiência
Camada de dados
integrada
com governança
Gestão de acesso a dados
com base em políticas
Rentável, com
agilidade e flexibilidade
Centralizado
modelo operacional
Control and Visibility
Big Data - Hadoop

Big Data - Hadoop

  • 1.
    Dell EMC Solutionsfor Big Data Strategy for Big Data environments Caio Candido Senior Technology Strategist, Latin America Ready Solutions
  • 2.
    Dell - Confidential Agenda EvoluçãoDigital Fundamentos de Data Analytics Futuro: BDaaS – The Elastic Data Platform Nossas soluções Apresentação
  • 3.
  • 4.
    Dell - Confidential BigData Deepe Machine Learning IOT Inteligência Artificial Crypto Moedas Supercomputadores Data Analytics DevOps Containers Automação
  • 5.
    Dell - Confidential TransformaçãoDigital Data Analytics DevOps Cloud Lider de mercado Saber o que fazer Tomada de decisão Ação e Entrega mais rápida Escalar Maior disponibilidade Ser Digital 3.14159265359
  • 6.
    Dell - Confidential Paraque nossos clientes procuram Big Data? Vantagens de uso Time to MarketAquisição e retenção de clientes Detecção e segurança anti- fraude em dados Ter controle sobre as informações e negócios Otimização e eficiência
  • 7.
    Dell - Confidential Compreendera “maturidade” de um “Dado” Simulation-Driven Analysis and Decision-Making Mature Data Lake Foresight—What Will Happen, When, and Why Self-Learning and Completely Automated Enterprise Computerized Human Thought Simulation and Actions Towards Autonomic Enterprise SCALEANDMATURITY Hindsight—What Happened Files, RDBMS, ODS, Early Data Warehouse, OLAP Insight—What Happened and Why Enterprise Data Warehouse, In-Memory DBs, BI Tools, Complex Event Processing No/New-SQL, Mature In-Memory DB and Processing, Early Data Lake Files, RDBMs, OLAP Enterprise Data Warehouse, In-Memory DBs Artificial Intelligence Machine and Deep Learning Frameworks, Data Lakes Hadoop+*, Spark*, TAP, In-Memory Computing, Visualization Frameworks TECHNOLOGY/PRODUCT DECISION TREE SILOED SDI/HPCVIRTUALIZED/INTEGRATED APPLIANCES Descriptive Analytics Diagnostic Analytics Cognitive Analytics Prescriptive Analytics Predictive Analytics Operational Analytics (BI) Advanced Analytics (AI) INFRASTRUCTURE Analise de Dados em tempo real
  • 8.
  • 9.
    Dell - Confidential Tiposde dados tradicionais Relational Data Reference Data Coletivamente, os dados relacionais e de referência representam cerca de 20% de todos os dados.
  • 10.
    Dell - Confidential Primeiro,havia o Data Warehouse • Uma arquitetura para hospedar dados de várias fontes para dar suporte à tomada de decisões. • Por que o armazenamento de dados existe: ➢ Centralização de dados de alto valor ➢ Ferramentas para procesar dados e informações ➢ Ambiente altamente regulado
  • 11.
    Dell - Confidential Então,o banco de dados MPP foi apresentado • Uma nova abordagem massivamente paralela foi necessária para gerenciar um ambiente analítico crescente • Por que o banco de dados MPP existe : – Os dados ficaram maiores – As consultas tornaram-se mais “feias” – O desempenho tornou-se crítico – R / SAS / Linguagens estatísticas devem ser executadas no banco de dados
  • 12.
    Dell - Confidential Desafiostradicionais do Analytics • O modelo rígido torna a mudança complexa • Não há solução real para a integração de dados não estruturados • Infraestrutura e software caro • Muito tempo para mover dados para o volume • Necessidade de integrar rapidamente dados de terceiros com modelos de dados definidos por si
  • 13.
    Dell - Confidential BigData Characteristics: Data Structures Data Growth is Increasingly Unstructured Características de Big Data: Data Structures O crescimento dos dados é cada vez mais desestruturado
  • 14.
    Dell - Confidential Tiposde dados emergentes ... Application data Mobile app and website data As pessoas usam aplicativos móveis quase 3 horas por dia IT infrastructure data Network servers, cloud services O custo médio do tempo de inatividade de um data center é de US $ 300.000 por hora. Security data Firewall data, endpoint data O cibercrime custará ao mundo mais de US $ 6 bilhões por ano até 2021 Customer-generated data Social media data, support call logs Existem 2,8 bilhões de usuários de mídia social em todo o mundo Internet of things data Temperature control, speed instruments 8,4 bilhões de "coisas" conectadas estarão em uso em 2019
  • 15.
    Dell - Confidential DataAnalytics Landscape Dell EMC has, and is continuing to develop, a strong presence in the key Big Data Areas
  • 16.
  • 17.
    Dell - ConfidentialDell- Internal Use - Confidential O que é "Hadoop" ?! O Hadoop (ou Apache Hadoop) é uma estrutura de software livre usada para armazenamento distribuído e processamento de grandes quantidades de dados Por que você deveria se importar? O Hadoop é executado em clusters baseados em hardware básico: servidores, armazenamento e redes. Divida os dados em grandes blocos e distribua- os entre nós em um cluster para que eles possam ser processados mais rapidamente Existem muitas implementações "comerciais" do Hadoop, duas das quais são a base dos pacotes Dell EMC Ready para o Hadoop:
  • 18.
    Dell - Confidential Motoresde Busca 2004 MapReduce 2003 Google File System2005 MapReduce + NDFS 2006
  • 19.
    Dell - Confidential DISTRIBUTEDSTORAGE HADOOP: Dados distribuídos no armazenamento local dos nós Maciços (100s + de petabytes) • Possibilidade de usar plataformas de produtos • Escala linear • Modelo de replicação flexível ARMAZENAMENTO COMPARTILHADO HADOOP: Dados do sistema de arquivos armazenados em uma cópia de dados de cluster do IsilonSingle NAS para cargas de trabalho de TI e análises: • Redução da pegada do data center (densidade de armazenamento) • Gerenciamento de arquivos de negócios: proteção de dados, segurança, níveis de armazenamento, etc. • Escala independente de armazenamento e cálculo. Uma palavra sobre armazenamento para o Hadoop . O Hadoop suporta vários modelos de implementação de armazenamento que levam em consideração os diferentes requisitos de orçamento, desempenho, capacidade e densidade:
  • 20.
    Dell - Confidential Servers Storage Software BigData foundations © Copyright 2017 Dell Inc.
  • 21.
    Dell - Confidential ReadySolutions Reference architectures Customized designs Big Data solutions © Copyright 2017 Dell Inc.
  • 22.
    Dell - Confidential DellEMC Ready Bundles for Cloudera Hadoop Uma solução de dados moderna rápida, fácil e segura. BENEFICIOS Fast for business — Desempenho de entrega para desbloquear o potencial ilimitado de dados. Easy to manage — mantenha os aplicativos essenciais em execução em escala. Secure without compromise — Atenda às necessidades de segurança e conformidade sem sacrificar a agilidade dos negócios. 1 2 3
  • 23.
    Dell - Confidential DellEMC Ready Bundles for Hortonworks Hadoop Uma base aberta e estável com um ecossistema crescente para construir e implementar soluções de big data. BENEFITS Open — A Hortonworks tem uma abordagem de desenvolvimento 100% aberta que estimula a inovação. Interoperable — Open source permite interoperabilidade entre aplicativos. Enterprise ready — Fornece operações consistentes com gerenciamento centralizado e monitoramento por meio de uma única tela. 1 2 3
  • 24.
    Dell - InternalUse - Confidential Data Analytics Services Big Data Vision Workshop Alinha a TI e a empresa no caso de uso otimizado de análise de dados e uma maneira de resolver um problema de negócios Big Data Implementation Services Oferece uma variedade de opções que incluem integração no local ou implantação de aplicativos ProSupport Enterprise Suite Aproveite o acesso ilimitado aos serviços de suporte via chat, e-mail e telefone 24 horas por dia, 7 dias por semana Dell EMC Customer Solution Centers Inclua uma rede global de 21 instalações dedicadas onde os clientes podem experimentar as soluções Dell EMC e colaborar com especialistas em TI de classe mundial Big Data Technology Advisory Service Identificar recursos críticos, uma arquitetura recomendada e um roteiro de tecnologia para implementar esses recursos Big Data Optimization Services Realize verificações de status, migrações de dados e plataformas e implante soluções e armazenamento para otimizar a infraestrutura Education Services Treinamento e certificações para desenvolver a solução e as habilidades tecnológicas necessárias para aproveitar ao máximo o Big Data e o AI Dell EMC “Try and Buy” Programs Teste soluções e produtos em seu próprio ambiente, simplifique a tomada de decisões e reduza o risco associado a novos investimentos em tecnologia
  • 25.
    Dell - InternalUse - Confidential25 of 11 BDaaS – The Elastic Data Platform Ambiente seguro e multi-tenant infra-estrutura compartilhada Ready Bundle for Cloudera Prod 2.2 Dev/Test 2.6 POC 2.6 Prod 2.5 Dev/Test 2.7 Data Isolation Data Isolation MARKETING R&D MANUFACTURING 360 Customer View Log Analysis Predictive Maintenance MARKETING R&D MANUFACTURING Compute Isolation Compute Isolation “Containerized” Big Data Infrastructure Simplicidade e Eficiência Camada de dados integrada com governança Gestão de acesso a dados com base em políticas Rentável, com agilidade e flexibilidade Centralizado modelo operacional Control and Visibility