Big Data
& Cognitive Lab
INTRODUÇÃO
ESTRATÉGIAS E ARQUITETURAS
Nossos consultores auxiliarão que os projetos
possam extrair maior valor de seus dados.
CONTEXTO E REALIDADE
Avaliação da estrutura do negócio para
estabelecer estratégia apropriada e valorizar
os investimentos já realizados.
Apoiar os clientes na utilização de Big Data
e Computação Cognitiva em seus processos
de Transformação Digital e Inovação
TRANSFORMAÇÃO
E INOVAÇÃO
DEFINIÇÕES DE
ESTRATÉGIAS
SELF-SERVICE
ANALITICS
DEMORA
E ALTO CUSTO
NECESSIDADES
DE NEGÓCIO
Implementar iniciativas
de Transformação Digital
e Inovação
Resolver problemas
de indefinição de estratégias
de Big Data
Falta de ambientes para
explocaração e descoberta de
informações chave ao negócio
Para ambientes que permitam
a experimentação de soluções
Big Data e Anaytics
PRINCIPAIS PROBLEMAS
COMPLEXIDADE
para Implementação de Infraestrutura para
soluções de Big Data
INDISPONIBILIDADE
de profissionais que conheçam as
tecnologias emergentes
ESCALABILIDADE
Falta de “escalabilidade” e “elasticidade”
em ambiente próprio
ALTO CUSTO
de implementação de Infraestrutura própria
para suportar as iniciativas
01
QUICK WINS
Demonstrar o valor das soluções
em negócio e tecnologia.
04
AMBIENTE
Exploração de dados e Self-
Service Analytics ágil, com alto
desempenho e baixo custo.
02
PROVAS DE CONCEITO
Demonstrar como podem ser
integradas a aquitetura existente.
05
ROADMAP
Analítico e de longo prazo através
da experimentação de novas
capacidades e casos de uso.
03
RECOMENDAÇÕES
Para o estado futuro da
arquitetura corporativa.
06
HUB DE INOVAÇÃO
Permanente e focado na evolução
das capacidades analíticas e
cognitivas.
OBJETIVOS
PRINCIPAIS ATIVIDADES
DIRECIONAMENTO
Estabelecer o direcionamento estratégico para adoção de soluções de Big Data
CASOS DE USO
Estabelecer casos de uso a serem incialmente experientados
AMBIENTE
Disponibilizar Infraestrutura para efetivação do Big Data Lab
EXPERIMENTOS
Realizar os experimentos nos casos de uso de maior probalidade de retorno
RECOMENDAÇÕES
Relacionadas a arquitetura, uso, metodologia e testes de soluções Big Data
PRINCIPAIS
COMPONENTES E FUNCIONALIDADES
ARMAZENAMENTO
E PROCESSAMENTO
• Utilizar o Hadoop e outras ferramentas de Big-Data
como plataforma pré-processamento para dados
estruturados e não estruturados antes de carregá-los
no DW;
• Utilizar o Hadoop como plataforma pra armazenar e
analisar dados em alto-volume e não estruturados.
INGESTÃO
REAL-TIME
FEDERAÇÃO E
VIRTUALIZAÇÃO
BI, REPORTING
E VISUALIZAÇÕES
ANALYTICS
INTEGRAÇÃO
DE DADOS
EXPLORAÇÃO
E DESCOBERTA
GOVERNANÇA
SOLUÇÕES
COGNITIVAS
• Implementar ingestão em "Tempo-Real" carregando
dados em Hadoop;
• Filtrar e transformar dados durante a coleta para
análise também em "Tempo-Real“.
• Habilitar camada semântica para visão integrada
(cruzamento) da informação armazenadas em bases
distintas.
• Disponibilizar soluções para construção de relatórios
estruturados e self-service.
• Construir um ambiente que permita a combinação de
dados corporativos com dados externos.
• EstabelecerGovernançadeDadosqueviabilizeaadoção
corporativadassoluções.
• Apoiar o cliente na identificação de oportunidades e
apoio técnico para trabalhar com soluções cognitivas.
• Implementarcapacidadesdeanálisepreditivaesimulaçã
odecenários.
• Desenvolver modelagem e integração de dados
customizados agregando dados em múltiplos
formatos em alta volumetria.
Data Sources
New Sources
Tradicional
Sources
Machine &
Sensor Data
Image &
Vídeo
Enterprise
Content
Social
Data
Internet
Data Sets
Weather
Data
Commercial
Data Sets
Third-Part
Data
Transactional
Data
Application
Data
Systems of
Record Data
DataAcquisition&ApplicationAccess
Ingestion &
Integration
Datch
Ingestion
Real-Time
Ingestion
Change Data
Capture
Document
Interpretation &
Classification
Data
Quality
Ingestion & Integration
Landing
Zone
Data Archive
Historical Data
Deep Analytics
Repository
Exploratory
Analytics
Repositories
Sand Boxes
Data
Warehouses
Data Marts
Streaming Analytics
Analytics In-Motion
Complex Event Processing Data Enrichment
On-Premise Cloud Plataform Hybrid
Data Science Search
Discovery & Exploration
Actionable
Insights
Virtualization &
Storyboard
Reporting, Analysis &
Content Analytics
Decision
Management
Predictive Analytics &
Modeling
Cognitive Analytics
Insight as a Service
Data Lifecycle
Management
Data Masking
& Redaction
Data
EncryptionSecurity
Data
Protection
Security
Intelligence
Enhanced
Applications
Customer
Experience
New
Business Models
Financial
Performance
Risks
IT Economics
Fraud & Operations
In-Memory Processing Analytics Operating System Data
Protection
Simple
Programming Paradigm
Data Lifecycle
Management
Master & Entity
Data
Reference
Data
Information Management & Governance Data
Catalog
Data
Models
Data
Quality
Data
Access
Self-Service
Data
Virtualization
Data
Federation
APIs
ARQUITETURA DE REFERÊNCIA
ARQUITETURA DO BIG DATA LAB
Apache
ATLAS
Governança de Dados
Data Lake
Hadoop Hofs Hive HBASE
Processamento de Dados e Machine Learning
Apache HadoopMLlibSpark + Scala
+
R Python
Consumo dos Dados
HBASEREST API EDW / DMs
Data Sources
ERPs
Mídias
Sociais
Banco de
Dados
Arquivos,
Documentos
Logs
Eventos
FederaçãodeDados
Visualização
Exploração
Tableau
IBM Watson
Analytics
IBM Cognos
Analytics
Visual Analytics
Power BI
Ingestão de Dados
Kafka Sqoop
Hive
Cloud Computing
Soluções Cloud
• Arquitetura amplamente escalável e elástica
• Aplicações/aplicativos prontos para utilizar
• Alta disponibilidade
• Segurança
• Servidores dedicados
• Data centers globais
• Estrutura híbrida (Cloud + On-Premise)
• Pague pelo uso.
aplicações
plataforma
infraestrutura
Componentes
APIs Cognitivas
• Assistente virtual para interação com usuário utilizando
linguagem natural
• Aplicação para obtenção de novos insights
• Assistente para reconhecimento visual de imagens
• Aplicação para atendimento a call center
Apache
Hadoop
• Solução Big Data
• Software livre Apache Hadoop com funcionalidade de integração corporativa,
tolerância a falhas e altamente escalável
• Desempenho, usabilidade, visualização e ferramentas de desenvolvimento
enriquecidas e poderosas funções de análise
• Gerenciamento, segurança e confiabilidade para suportar implementações de
larga escala e ajudar a acelerar o retorno para os negócios
• Integra-se às soluções internas e externas para ajudar a simplificar e aprimorar
tarefas de manipulação de dados
Benefícios
DATA LAKE
Repositório único de dados e arquivos
DADOS ESTRUTURADOS E NÃO
Mídias sociais, documentos Word, Excel, etc.
BUSINESS INTELLIGENCE
Permite Self-Service Exploratório de BI
INTEGRAÇÃO COM DW ATUAL
Gera novos insights / informações
Benefícios
Big Data
• Viabiliza estratégia para experimentação de Transformação Digital, extração
de valor de dados e Plataforma Cognitiva
• Viabiliza “Descoberta da Informação” e “Self-Service Analytics”
• Suporte a soluções para análise preditiva dos dados
• Escalabilidade e elasticidade da infraestrutura
• Baixo Custo de Implementação
• Curto-Prazo de disponibilização
• Reduz o risco do investimento
• Segurança
• Facilidade de acesso a informação.
O que é
Quick Start
Identificação de casos de uso para implementação
Programa de coaching/treinamento como serviço
Imersão nas plataformas Big Data e cognitivos com apresentação
e construção de casos de uso
Quick Start especial para acelerar o processo de qualificação
e adoção de soluções Big Data e cognitivas
Quick Start
Público Alvo
Empresas que têm interesse em construir soluções
de Big Data e cognitivas, mas não possuem
experiência e equipe especializada.
Big Data IBM Watson Cortana
Descrição da Oferta
5 Passos
KICK-OFF
Serão definidas as equipes que
atuarão no projeto e seus
momentos de atuação
TREINAMENTO
Serão realizados workshops sobre as
tecnologias identificadas para o projeto.
CASOS DE USO
Base para as aplicações
cognitivas com as áreas de
negócios da empresa.
DESENVOLVIMENTO
Inicio da prototipação com o apoio
nossos técnicos.
APOIO
Apoio técnico as aplicações
desenvolvidas durante o
projeto.
01
02
03
04
05
Obrigado!

Big Data & Cognitive Lab

  • 1.
  • 2.
    INTRODUÇÃO ESTRATÉGIAS E ARQUITETURAS Nossosconsultores auxiliarão que os projetos possam extrair maior valor de seus dados. CONTEXTO E REALIDADE Avaliação da estrutura do negócio para estabelecer estratégia apropriada e valorizar os investimentos já realizados. Apoiar os clientes na utilização de Big Data e Computação Cognitiva em seus processos de Transformação Digital e Inovação
  • 3.
    TRANSFORMAÇÃO E INOVAÇÃO DEFINIÇÕES DE ESTRATÉGIAS SELF-SERVICE ANALITICS DEMORA EALTO CUSTO NECESSIDADES DE NEGÓCIO Implementar iniciativas de Transformação Digital e Inovação Resolver problemas de indefinição de estratégias de Big Data Falta de ambientes para explocaração e descoberta de informações chave ao negócio Para ambientes que permitam a experimentação de soluções Big Data e Anaytics
  • 4.
    PRINCIPAIS PROBLEMAS COMPLEXIDADE para Implementaçãode Infraestrutura para soluções de Big Data INDISPONIBILIDADE de profissionais que conheçam as tecnologias emergentes ESCALABILIDADE Falta de “escalabilidade” e “elasticidade” em ambiente próprio ALTO CUSTO de implementação de Infraestrutura própria para suportar as iniciativas
  • 5.
    01 QUICK WINS Demonstrar ovalor das soluções em negócio e tecnologia. 04 AMBIENTE Exploração de dados e Self- Service Analytics ágil, com alto desempenho e baixo custo. 02 PROVAS DE CONCEITO Demonstrar como podem ser integradas a aquitetura existente. 05 ROADMAP Analítico e de longo prazo através da experimentação de novas capacidades e casos de uso. 03 RECOMENDAÇÕES Para o estado futuro da arquitetura corporativa. 06 HUB DE INOVAÇÃO Permanente e focado na evolução das capacidades analíticas e cognitivas. OBJETIVOS
  • 6.
    PRINCIPAIS ATIVIDADES DIRECIONAMENTO Estabelecer odirecionamento estratégico para adoção de soluções de Big Data CASOS DE USO Estabelecer casos de uso a serem incialmente experientados AMBIENTE Disponibilizar Infraestrutura para efetivação do Big Data Lab EXPERIMENTOS Realizar os experimentos nos casos de uso de maior probalidade de retorno RECOMENDAÇÕES Relacionadas a arquitetura, uso, metodologia e testes de soluções Big Data
  • 7.
    PRINCIPAIS COMPONENTES E FUNCIONALIDADES ARMAZENAMENTO EPROCESSAMENTO • Utilizar o Hadoop e outras ferramentas de Big-Data como plataforma pré-processamento para dados estruturados e não estruturados antes de carregá-los no DW; • Utilizar o Hadoop como plataforma pra armazenar e analisar dados em alto-volume e não estruturados. INGESTÃO REAL-TIME FEDERAÇÃO E VIRTUALIZAÇÃO BI, REPORTING E VISUALIZAÇÕES ANALYTICS INTEGRAÇÃO DE DADOS EXPLORAÇÃO E DESCOBERTA GOVERNANÇA SOLUÇÕES COGNITIVAS • Implementar ingestão em "Tempo-Real" carregando dados em Hadoop; • Filtrar e transformar dados durante a coleta para análise também em "Tempo-Real“. • Habilitar camada semântica para visão integrada (cruzamento) da informação armazenadas em bases distintas. • Disponibilizar soluções para construção de relatórios estruturados e self-service. • Construir um ambiente que permita a combinação de dados corporativos com dados externos. • EstabelecerGovernançadeDadosqueviabilizeaadoção corporativadassoluções. • Apoiar o cliente na identificação de oportunidades e apoio técnico para trabalhar com soluções cognitivas. • Implementarcapacidadesdeanálisepreditivaesimulaçã odecenários. • Desenvolver modelagem e integração de dados customizados agregando dados em múltiplos formatos em alta volumetria.
  • 8.
    Data Sources New Sources Tradicional Sources Machine& Sensor Data Image & Vídeo Enterprise Content Social Data Internet Data Sets Weather Data Commercial Data Sets Third-Part Data Transactional Data Application Data Systems of Record Data DataAcquisition&ApplicationAccess Ingestion & Integration Datch Ingestion Real-Time Ingestion Change Data Capture Document Interpretation & Classification Data Quality Ingestion & Integration Landing Zone Data Archive Historical Data Deep Analytics Repository Exploratory Analytics Repositories Sand Boxes Data Warehouses Data Marts Streaming Analytics Analytics In-Motion Complex Event Processing Data Enrichment On-Premise Cloud Plataform Hybrid Data Science Search Discovery & Exploration Actionable Insights Virtualization & Storyboard Reporting, Analysis & Content Analytics Decision Management Predictive Analytics & Modeling Cognitive Analytics Insight as a Service Data Lifecycle Management Data Masking & Redaction Data EncryptionSecurity Data Protection Security Intelligence Enhanced Applications Customer Experience New Business Models Financial Performance Risks IT Economics Fraud & Operations In-Memory Processing Analytics Operating System Data Protection Simple Programming Paradigm Data Lifecycle Management Master & Entity Data Reference Data Information Management & Governance Data Catalog Data Models Data Quality Data Access Self-Service Data Virtualization Data Federation APIs ARQUITETURA DE REFERÊNCIA
  • 9.
    ARQUITETURA DO BIGDATA LAB Apache ATLAS Governança de Dados Data Lake Hadoop Hofs Hive HBASE Processamento de Dados e Machine Learning Apache HadoopMLlibSpark + Scala + R Python Consumo dos Dados HBASEREST API EDW / DMs Data Sources ERPs Mídias Sociais Banco de Dados Arquivos, Documentos Logs Eventos FederaçãodeDados Visualização Exploração Tableau IBM Watson Analytics IBM Cognos Analytics Visual Analytics Power BI Ingestão de Dados Kafka Sqoop Hive
  • 10.
    Cloud Computing Soluções Cloud •Arquitetura amplamente escalável e elástica • Aplicações/aplicativos prontos para utilizar • Alta disponibilidade • Segurança • Servidores dedicados • Data centers globais • Estrutura híbrida (Cloud + On-Premise) • Pague pelo uso. aplicações plataforma infraestrutura
  • 11.
    Componentes APIs Cognitivas • Assistentevirtual para interação com usuário utilizando linguagem natural • Aplicação para obtenção de novos insights • Assistente para reconhecimento visual de imagens • Aplicação para atendimento a call center
  • 12.
    Apache Hadoop • Solução BigData • Software livre Apache Hadoop com funcionalidade de integração corporativa, tolerância a falhas e altamente escalável • Desempenho, usabilidade, visualização e ferramentas de desenvolvimento enriquecidas e poderosas funções de análise • Gerenciamento, segurança e confiabilidade para suportar implementações de larga escala e ajudar a acelerar o retorno para os negócios • Integra-se às soluções internas e externas para ajudar a simplificar e aprimorar tarefas de manipulação de dados Benefícios DATA LAKE Repositório único de dados e arquivos DADOS ESTRUTURADOS E NÃO Mídias sociais, documentos Word, Excel, etc. BUSINESS INTELLIGENCE Permite Self-Service Exploratório de BI INTEGRAÇÃO COM DW ATUAL Gera novos insights / informações
  • 13.
    Benefícios Big Data • Viabilizaestratégia para experimentação de Transformação Digital, extração de valor de dados e Plataforma Cognitiva • Viabiliza “Descoberta da Informação” e “Self-Service Analytics” • Suporte a soluções para análise preditiva dos dados • Escalabilidade e elasticidade da infraestrutura • Baixo Custo de Implementação • Curto-Prazo de disponibilização • Reduz o risco do investimento • Segurança • Facilidade de acesso a informação.
  • 14.
    O que é QuickStart Identificação de casos de uso para implementação Programa de coaching/treinamento como serviço Imersão nas plataformas Big Data e cognitivos com apresentação e construção de casos de uso Quick Start especial para acelerar o processo de qualificação e adoção de soluções Big Data e cognitivas
  • 15.
    Quick Start Público Alvo Empresasque têm interesse em construir soluções de Big Data e cognitivas, mas não possuem experiência e equipe especializada. Big Data IBM Watson Cortana
  • 16.
    Descrição da Oferta 5Passos KICK-OFF Serão definidas as equipes que atuarão no projeto e seus momentos de atuação TREINAMENTO Serão realizados workshops sobre as tecnologias identificadas para o projeto. CASOS DE USO Base para as aplicações cognitivas com as áreas de negócios da empresa. DESENVOLVIMENTO Inicio da prototipação com o apoio nossos técnicos. APOIO Apoio técnico as aplicações desenvolvidas durante o projeto. 01 02 03 04 05
  • 17.