O documento discute estratégias e arquiteturas de Big Data. Ele apresenta problemas comuns com Big Data, como alto custo e complexidade, e propõe soluções como ambientes de auto-serviço e análises, provas de conceito e recomendações arquitetônicas. O objetivo é apoiar clientes na transformação digital e inovação por meio do Big Data.
2. INTRODUÇÃO
ESTRATÉGIAS E ARQUITETURAS
Nossos consultores auxiliarão que os projetos
possam extrair maior valor de seus dados.
CONTEXTO E REALIDADE
Avaliação da estrutura do negócio para
estabelecer estratégia apropriada e valorizar
os investimentos já realizados.
Apoiar os clientes na utilização de Big Data
e Computação Cognitiva em seus processos
de Transformação Digital e Inovação
3. TRANSFORMAÇÃO
E INOVAÇÃO
DEFINIÇÕES DE
ESTRATÉGIAS
SELF-SERVICE
ANALITICS
DEMORA
E ALTO CUSTO
NECESSIDADES
DE NEGÓCIO
Implementar iniciativas
de Transformação Digital
e Inovação
Resolver problemas
de indefinição de estratégias
de Big Data
Falta de ambientes para
explocaração e descoberta de
informações chave ao negócio
Para ambientes que permitam
a experimentação de soluções
Big Data e Anaytics
4. PRINCIPAIS PROBLEMAS
COMPLEXIDADE
para Implementação de Infraestrutura para
soluções de Big Data
INDISPONIBILIDADE
de profissionais que conheçam as
tecnologias emergentes
ESCALABILIDADE
Falta de “escalabilidade” e “elasticidade”
em ambiente próprio
ALTO CUSTO
de implementação de Infraestrutura própria
para suportar as iniciativas
5. 01
QUICK WINS
Demonstrar o valor das soluções
em negócio e tecnologia.
04
AMBIENTE
Exploração de dados e Self-
Service Analytics ágil, com alto
desempenho e baixo custo.
02
PROVAS DE CONCEITO
Demonstrar como podem ser
integradas a aquitetura existente.
05
ROADMAP
Analítico e de longo prazo através
da experimentação de novas
capacidades e casos de uso.
03
RECOMENDAÇÕES
Para o estado futuro da
arquitetura corporativa.
06
HUB DE INOVAÇÃO
Permanente e focado na evolução
das capacidades analíticas e
cognitivas.
OBJETIVOS
6. PRINCIPAIS ATIVIDADES
DIRECIONAMENTO
Estabelecer o direcionamento estratégico para adoção de soluções de Big Data
CASOS DE USO
Estabelecer casos de uso a serem incialmente experientados
AMBIENTE
Disponibilizar Infraestrutura para efetivação do Big Data Lab
EXPERIMENTOS
Realizar os experimentos nos casos de uso de maior probalidade de retorno
RECOMENDAÇÕES
Relacionadas a arquitetura, uso, metodologia e testes de soluções Big Data
7. PRINCIPAIS
COMPONENTES E FUNCIONALIDADES
ARMAZENAMENTO
E PROCESSAMENTO
• Utilizar o Hadoop e outras ferramentas de Big-Data
como plataforma pré-processamento para dados
estruturados e não estruturados antes de carregá-los
no DW;
• Utilizar o Hadoop como plataforma pra armazenar e
analisar dados em alto-volume e não estruturados.
INGESTÃO
REAL-TIME
FEDERAÇÃO E
VIRTUALIZAÇÃO
BI, REPORTING
E VISUALIZAÇÕES
ANALYTICS
INTEGRAÇÃO
DE DADOS
EXPLORAÇÃO
E DESCOBERTA
GOVERNANÇA
SOLUÇÕES
COGNITIVAS
• Implementar ingestão em "Tempo-Real" carregando
dados em Hadoop;
• Filtrar e transformar dados durante a coleta para
análise também em "Tempo-Real“.
• Habilitar camada semântica para visão integrada
(cruzamento) da informação armazenadas em bases
distintas.
• Disponibilizar soluções para construção de relatórios
estruturados e self-service.
• Construir um ambiente que permita a combinação de
dados corporativos com dados externos.
• EstabelecerGovernançadeDadosqueviabilizeaadoção
corporativadassoluções.
• Apoiar o cliente na identificação de oportunidades e
apoio técnico para trabalhar com soluções cognitivas.
• Implementarcapacidadesdeanálisepreditivaesimulaçã
odecenários.
• Desenvolver modelagem e integração de dados
customizados agregando dados em múltiplos
formatos em alta volumetria.
8. Data Sources
New Sources
Tradicional
Sources
Machine &
Sensor Data
Image &
Vídeo
Enterprise
Content
Social
Data
Internet
Data Sets
Weather
Data
Commercial
Data Sets
Third-Part
Data
Transactional
Data
Application
Data
Systems of
Record Data
DataAcquisition&ApplicationAccess
Ingestion &
Integration
Datch
Ingestion
Real-Time
Ingestion
Change Data
Capture
Document
Interpretation &
Classification
Data
Quality
Ingestion & Integration
Landing
Zone
Data Archive
Historical Data
Deep Analytics
Repository
Exploratory
Analytics
Repositories
Sand Boxes
Data
Warehouses
Data Marts
Streaming Analytics
Analytics In-Motion
Complex Event Processing Data Enrichment
On-Premise Cloud Plataform Hybrid
Data Science Search
Discovery & Exploration
Actionable
Insights
Virtualization &
Storyboard
Reporting, Analysis &
Content Analytics
Decision
Management
Predictive Analytics &
Modeling
Cognitive Analytics
Insight as a Service
Data Lifecycle
Management
Data Masking
& Redaction
Data
EncryptionSecurity
Data
Protection
Security
Intelligence
Enhanced
Applications
Customer
Experience
New
Business Models
Financial
Performance
Risks
IT Economics
Fraud & Operations
In-Memory Processing Analytics Operating System Data
Protection
Simple
Programming Paradigm
Data Lifecycle
Management
Master & Entity
Data
Reference
Data
Information Management & Governance Data
Catalog
Data
Models
Data
Quality
Data
Access
Self-Service
Data
Virtualization
Data
Federation
APIs
ARQUITETURA DE REFERÊNCIA
9. ARQUITETURA DO BIG DATA LAB
Apache
ATLAS
Governança de Dados
Data Lake
Hadoop Hofs Hive HBASE
Processamento de Dados e Machine Learning
Apache HadoopMLlibSpark + Scala
+
R Python
Consumo dos Dados
HBASEREST API EDW / DMs
Data Sources
ERPs
Mídias
Sociais
Banco de
Dados
Arquivos,
Documentos
Logs
Eventos
FederaçãodeDados
Visualização
Exploração
Tableau
IBM Watson
Analytics
IBM Cognos
Analytics
Visual Analytics
Power BI
Ingestão de Dados
Kafka Sqoop
Hive
10. Cloud Computing
Soluções Cloud
• Arquitetura amplamente escalável e elástica
• Aplicações/aplicativos prontos para utilizar
• Alta disponibilidade
• Segurança
• Servidores dedicados
• Data centers globais
• Estrutura híbrida (Cloud + On-Premise)
• Pague pelo uso.
aplicações
plataforma
infraestrutura
11. Componentes
APIs Cognitivas
• Assistente virtual para interação com usuário utilizando
linguagem natural
• Aplicação para obtenção de novos insights
• Assistente para reconhecimento visual de imagens
• Aplicação para atendimento a call center
12. Apache
Hadoop
• Solução Big Data
• Software livre Apache Hadoop com funcionalidade de integração corporativa,
tolerância a falhas e altamente escalável
• Desempenho, usabilidade, visualização e ferramentas de desenvolvimento
enriquecidas e poderosas funções de análise
• Gerenciamento, segurança e confiabilidade para suportar implementações de
larga escala e ajudar a acelerar o retorno para os negócios
• Integra-se às soluções internas e externas para ajudar a simplificar e aprimorar
tarefas de manipulação de dados
Benefícios
DATA LAKE
Repositório único de dados e arquivos
DADOS ESTRUTURADOS E NÃO
Mídias sociais, documentos Word, Excel, etc.
BUSINESS INTELLIGENCE
Permite Self-Service Exploratório de BI
INTEGRAÇÃO COM DW ATUAL
Gera novos insights / informações
13. Benefícios
Big Data
• Viabiliza estratégia para experimentação de Transformação Digital, extração
de valor de dados e Plataforma Cognitiva
• Viabiliza “Descoberta da Informação” e “Self-Service Analytics”
• Suporte a soluções para análise preditiva dos dados
• Escalabilidade e elasticidade da infraestrutura
• Baixo Custo de Implementação
• Curto-Prazo de disponibilização
• Reduz o risco do investimento
• Segurança
• Facilidade de acesso a informação.
14. O que é
Quick Start
Identificação de casos de uso para implementação
Programa de coaching/treinamento como serviço
Imersão nas plataformas Big Data e cognitivos com apresentação
e construção de casos de uso
Quick Start especial para acelerar o processo de qualificação
e adoção de soluções Big Data e cognitivas
15. Quick Start
Público Alvo
Empresas que têm interesse em construir soluções
de Big Data e cognitivas, mas não possuem
experiência e equipe especializada.
Big Data IBM Watson Cortana
16. Descrição da Oferta
5 Passos
KICK-OFF
Serão definidas as equipes que
atuarão no projeto e seus
momentos de atuação
TREINAMENTO
Serão realizados workshops sobre as
tecnologias identificadas para o projeto.
CASOS DE USO
Base para as aplicações
cognitivas com as áreas de
negócios da empresa.
DESENVOLVIMENTO
Inicio da prototipação com o apoio
nossos técnicos.
APOIO
Apoio técnico as aplicações
desenvolvidas durante o
projeto.
01
02
03
04
05