Webinar: Como obter valor comercial com Big Data

© 2015, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Hugo Rozestraten
Arquiteto de Soluções na AWS
19/Jul/2016
Como obter valor comercial
com big data

Programação
Parte I - Introdução
 Big data na AWS
 Estudo de caso de cliente
Parte II - Destaques do relatório por Matt Aslett, 451
Research
 Principais descobertas
 Objetivos de negócios
 Usuários e casos de uso
 Avaliação do sucesso

Big data em constante crescimento
Volume
Velocidade
Variedade
Veracidade
Valor
 Quais perguntas ajudariam
a empresa se pudéssemos
respondê-las?
 Quais dados estão disponíveis
e podem ajudar a encontrar
essas respostas?
 Quais ferramentas devem ser
usadas para trabalhar com
esses dados?
 Procure oferecer valor comercial
imediato com o primeiro projeto
Conceitos básicos

Big data em constante crescimento
Volume
Velocidade
Variedade
Veracidade
Valor  Grandes despesas de capital
 Longos ciclos de
provisionamento
 Muitas ferramentas
disponíveis
 Habilidades novas e caras
 Maior responsabilidade (dados
confidenciais)
Barreiras para obter
valor

Big data na AWS
Disponibilidade imediata. Implantação instantânea.
Nenhum hardware para adquirir, nenhuma infraestrutura
para manter e escalar
Confiança e segurança. Desenvolvido para satisfazer os
requisitos mais rígidos. Auditado constantemente, incluindo
certificações como ISO 27001, FedRAMP, DoD CSM e PCI
DSS.
Recursos amplos e profundos. Mais de 50 serviços
e centenas de recursos para oferecer suporte a praticamente
qualquer aplicativo e carga de trabalho de big data
Centenas de parceiros e soluções. Receba ajuda de um
parceiro de consultoria ou escolha entre centenas de
ferramentas e aplicativos em toda a pilha de
gerenciamento de dados.

Simplificar o processamento
de big data

Simplificar big data
Dados Respostas
Coletar Processar Analisar
Armazenar
Tempo de resposta (latência)
Taxa de transferência
Custo

Fluxo de trabalho de big data
Dados Respostas
Armazenar
Tempo de resposta (latência)
Taxa de transferência
Custo
Coleta de dados
e armazenamento
Dados
Processamento
Evento
Processamento
Dados
Análise

Fluxo de trabalho de big data
Dados Respostas
Armazenar
Coleta de dados
e armazenamento
Dados
Processamento
Evento
Processamento
Dados
Análise
Amazon S3
Amazon Kinesis
Firehose
Amazon DynamoDB
Amazon RDS (Aurora)
AWS Lambda
Processos de
streaming do Kinesis
Amazon
EMR
Amazon
Redshift
Amazon Machine
Learning

Portfólio de big data da AWS
AnalisarArmazenarColetar
Amazon Machine
Learning
Amazon Kinesis
Analytics
AWS Import/Export
AWS Direct Connect
Amazon Kinesis
Amazon Kinesis
Firehose
Migração de Banco
de Dados da AWS
Amazon Glacier
Amazon S3
Amazon
CloudSearch
Amazon DynamoDB
Amazon RDS,
Aurora
Amazon
ElasticSearch
AWS Data
Pipeline
Amazon Redshift
Amazon EMR
Amazon
QuickSight
Amazon EC2

Milhares de organizações usam a AWS para big data

Estudo de caso: estrutura de dados final da Hearst
Buscas por API
Dados
Prontos
para
API
Amazon
Kinesis
Armazenamento do
S3
Proxy do
aplicativo
Node.JS
Usuários para
propriedades
da Hearst
Clickstream
Ciência de dados
Aplicativo
Amazon Redshift
ETL na EMR
100 segundos
1 GB/dia
30 segundos
5 GB/dia
5 segundos
1 GB/dia
Milissegundos
100 GB/dia
LATÊNCIA
TAXA DE
TRANSFERÊNCIA
Modelos
Dados
agregados

Ciência de dados
Amazon Redshift
ETL
Hearst: uma representação "visual" da estrutura da
empresa
Dados de
Clickstream
Amazon Kinesis
API de resultados

Como obter valor comercial com big data
Original de Matt Aslett
Diretor de pesquisa de plataformas e análises de dados

© 2016 451 Research. All rights reserved
451 Research é uma das principais empresas de consultoria
e pesquisa de TI
15
Fundada em 2000
Mais de 250 funcionários, incluindo mais de 100 analistas
Mais de 1000 clientes: fornecedores de tecnologia e serviço,
consultoria corporativa, finanças, serviços profissionais e tomadores de
decisão de TI
Mais de 50.000 profissionais de TI, usuários corporativos
e consumidores em nossa comunidade de pesquisa
Mais de 52 milhões de pontos de dados publicados por trimestre
e mais de 4500 relatórios publicados por ano
Mais de 2000 fornecedores de tecnologia e serviço cobertos
A 451 Research e sua empresa associada, a Uptime Institute, são duas
divisões do The 451 Group
Sediada em Nova York, com escritórios em Londres, Boston, São
Francisco, Washington DC, México, Costa Rica, Brasil, Espanha,
Emirados Árabes Unidos, Rússia, Taiwan, Cingapura e Malásia
Pesquisa e dados
Consultoria
Eventos
Go 2 Market

Uma combinação de pesquisa e dados é oferecida em 15 canais
alinhados aos principais tópicos e tecnologias de infraestrutura
digital, do núcleo do datacenter à borda móvel.
3

Metodologia
Principais
descobertas
Objetivos de
negócios
Usuários e casos
de uso
Avaliação do
sucesso

A abordagem em nuvem para
obter valor comercial com
o uso de big data
18
Seis empresas entrevistadas detalhadamente por
analistas da 451 Research, com usuários de big
data cuja principal implantação é baseada na
nuvem.
O relatório foi encomendado pela Amazon Web
Services e os usuários fazem parte das listas de
clientes fornecidas pela Amazon Web Services.
O relatório foi escrito com base em uma
combinação das entrevistas e das análises
contínuas de clientes e do mercado da 451
Research.

19
o uso de big data
As empresas entrevistadas representam diversos
setores:
•provedor de plataformas de análise aplicações de
dispositivos móveis
•provedor de plataformas de aplicativo para
dispositivos móveis
•agência regulatória de serviços financeiros
•consultoria em tecnologia
•empresa de estratégia de marketing
•empresa de serviços financeiros convencionais
•https://aws.amazon.com/big-data/business-value-
big-data-learn-more/

Cinco maneiras como a nuvem gera resultados para os
usuários de big data
O estudo identificou cinco maneiras fundamentais como a combinação da computação em
nuvem com a análise de big data gera valor comercial.
21

1. Introdução mais rápida no mercado:
os tempos de consulta de uma organização melhoraram 4000% em relação aos sistemas
locais.
22

locais.
2. Menor TCO:
economia em custos superior a 50% em relação aos Data Center locais.
23

locais.
2. Menor TCO:
3. Custos indiretos de gerenciamento reduzidos:
redução de mais de 50% nos custos operacionais.
24

locais.
2. Menor TCO:
4. Melhoria na agilidade dos desenvolvedores:
24 horas para passar do conceito à implantação total da produção.
25

locais.
2. Menor TCO:
4. Melhoria na agilidade dos desenvolvedores:
24 horas para passar do conceito à implantação total da produção.
5. Novas oportunidades de renda:
descubra novas oportunidades de receita em minutos, não em dias.
26

Objetivos de negócios para big data
Uma das principais tendências que motivam a adoção do processamento de big data, tanto
on-premises quanto na nuvem, é a capacidade de aproveitar recursos de computação de
custo reduzido para realizar o processamento e a análise de dados em uma escala
previamente impossível devido ao custo e à complexidade.
O processamento de big data possibilita diversas oportunidades de negócios, mas quase
todas encontram-se em duas áreas principais:
•Eficiências operacionais aprimoradas
•Capacitação e suporte para novas iniciativas de negócios
28

As empresas que aproveitam o processamento de big data na nuvem não estão simplesmente
desfrutando de melhorias. Os benefícios proporcionados pelo processamento de big data na
nuvem estão se tornando rapidamente o núcleo dos negócios, o que possibilita novos
aplicativos e processos de negócios por meio dos quais a empresa pode obter vantagens
competitivas.
29
A agência de regulamentação de serviços
financeiros precisa realizar novamente a análise
do "modelo de ameaça de risco" ocasionalmente
com base em grandes volumes de dados
históricos referentes a 15 meses ou mais.
Com o Amazon EMR, ela tem uma visão mais
precisa e atualizada de seu risco de ameaça
histórico e atual.

As empresas entrevistadas para a elaboração deste relatório foram unânimes ao descrever
suas iniciativas de processamento de big data em nuvem como críticas para promover
mudanças nos negócios, graças a diversas métricas, inclusive o menor tempo de entrada no
mercado, o custo mais baixo de processamento de dados, o aprimoramento das informações
sobre clientes e o melhor atendimento ao cliente.
30
Consulta de dados indexados para analistas de
negócios, algumas envolvendo alguns
zettabytes de dados.
Com o ambiente de data warehouse da
empresa (no local), essas consultas poderiam
levar até quatro horas.
Esse ambiente foi transferido para o Hadoop
e o HBase no Amazon EC2, com melhorias
significativas no desempenho.

Cenário da análise
32
Complexidade
AutomáticoAcionadoporTI
PRESCRITIVA
- Influencia o que
acontece
Machine
Learning
DESCRITIVA
- O que está acontecendo?
PREDITIVA
- O que acontecerá?
Acionadopelo
usuário
VISUALIZAÇÃO
MODELAGEM
ESTATÍSTICA
RELATÓRIOS
- O que aconteceu
ANÁLISE
- Por que isso aconteceu?

Usuários e casos de uso
Relatórios comerciais e análise avançada
•O principal caso de uso para empresas de serviços financeiros envolve analistas de negócios
e financeiros especializados no assunto, que usam ferramentas de geração de relatórios
e visualização para procurar padrões de negócios ilegais.
•A empresa de estratégia de marketing tem analistas de negócios que consultam dados do
cliente por meio de ferramentas internas de geração de relatórios e análises de tendências
a fim de atender melhor seus clientes.
•A agência regulatória de serviços financeiros executa três cargas de trabalho internas
principais na nuvem para análise comercial: análise em lote, análise interativa e relatórios
resumidos. O quarto caso de uso, a análise ad hoc, ainda é executado na infraestrutura de
data warehouse no local, mas já foi planejada sua migração para a nuvem.
33

Ciência de dados
•A empresa de estratégia de marketing tem uma equipe de cientistas de dados que faz
a modelagem e análise preditiva de dados na nuvem para identificar novas fontes de
dados e informações competitivas que podem ser restabelecidas nos produtos e serviços
fornecidos a seus clientes, inclusive serviços de análise preditiva.
•A agência regulatória de serviços financeiros pretende desenvolver as ferramentas
necessárias para que seus cientistas de dados também possam utilizar os dados
armazenados na nuvem (usando uma combinação de técnicas e ferramentas de análise,
incluindo análise estatística, análise programática e SQL em Hadoop) com base nas
vantagens observadas nos casos de uso de análise em lote, análise interativa e relatórios
resumidos.
34

Aplicativos e serviços baseados em dados
• A empresa de estratégia de marketing utiliza serviços de big data em nuvem para
fornecer informações a seus clientes em termos de como seus dólares estão sendo
gastos em marketing e quais são os resultados obtidos, especialmente em relação
à análise da concorrência.
• A consultoria em tecnologia está envolvida em diversos projetos que fornecem
aplicativos beneficiando-se dos serviços de big data em nuvem como análise de
transação e análise do cartão de fidelidade, bem como a geração de ofertas
personalizadas.
• O provedor de plataformas de análise de tecnologia móvel fornece aos desenvolvedores
de aplicativos para dispositivos móveis informações sobre uso e desempenho desses
aplicativos.
35

Desafios, não específicos da nuvem
São muitos os desafios associados aos projetos relacionados a big data, tanto na nuvem
quanto no local. Os desafios ressaltados não são predominantemente específicos da nuvem.
Desse modo, a nuvem propriamente dita não representa um grande desafio em relação às
implantações de big data.
36

Desafios, não específicos da nuvem
• De forma generalizada, a falta de cientistas de dados é um desafio significativo, seja no
local ou na nuvem, embora no caso da nuvem isso seja um pouco melhor, já que a própria
nuvem está preparada para lidar com parte dessa complexidade. Para aproveitar ao
máximo o big data baseado em nuvem a curto prazo, é recomendável desenvolver
um plano de treinamento.
• Segurança (e a percepção de segurança). A empresa de serviços financeiros submeteu seu
provedor de nuvem a uma avaliação de segurança de vários meses para garantir
a segurança durante o processo de migração de seus dados e serviços para a nuvem.
• Embora o provedor de nuvem tenha passado na avaliação de segurança, alguns conjuntos
de dados ainda são armazenados no local devido a normas de governança de dados.
Essas questões de conformidade de big data afetam tanto as instâncias no local quanto as
baseadas na nuvem.
37

Metodologia
Objetivos de
negócios
Usuários e casos de
uso
Principais
descobertas
Avaliação do
sucesso

Avaliação do sucesso
As métricas usadas para avaliar o sucesso de projetos de big data na nuvem variaram entre
empresas e entre funções. Os entrevistados relataram diversos benefícios em potencial,
incluindo:
• Menor tempo de entrada no mercado
• Economia em custos
• Desempenho comercial
• Agilidade do desenvolvedor
39

Menor tempo de entrada no mercado
Muitas vezes, o menor tempo de entrada no mercado é o fator determinante para a adoção
de serviços de big data em nuvem em startups e setores emergentes, pois dessa forma
é possível passar do conceito à produção sem precisar criar, adquirir, configurar e manter uma
infraestrutura no local.
40
"O menor tempo de entrada no mercado foi, de longe,
o fator mais importante. A capacidade de utilizar esses
serviços interativos prontos para uso com escalabilidade
integrada e custos módicos possibilitou a criação de
nosso serviço de modo muito mais eficiente."
– Provedor de plataformas de aplicativos móveis

Menor tempo de entrada no mercado
A empresa de estratégia de marketing também observou diversos benefícios: economia nos
custos, menor tempo de entrada no mercado, agilidade para os desenvolvedores e geração de
receita. Porém, para o CTO da empresa de estratégia de marketing, a principal vantagem é
o menor tempo de entrada no mercado.
41
"Em caso de necessidade, podíamos ter uma
ideia pela manhã e desenvolvê-la à tarde.
Algumas vezes, criamos uma solução em 24
horas. Antes, isso era inviável."
– Empresa de estratégia de marketing

Custo total de propriedade
Há uma tendência dos usuários maiores e mais bem estabelecidos de serem atraídos pelos
serviços em nuvem devido à oportunidade de reduzir custos e melhorar sua eficiência
operacional.
42
"Basicamente, considerando que o custo
total de propriedade é um de nossos
principais fatores determinantes, a percepção
desse valor pela empresa é fundamental para
a adoção disso tudo."
"Tivemos uma redução clara e significativa
nos custos quando mudamos o warehouse
no local [para a nuvem]. Isso representou
uma economia de 57%. "
– Empresa de serviços financeiros

operacional.
43
A agência reguladora de serviços financeiros
constatou por meio de um projeto inicial de
avaliação de custo que economizaria de 35
a 40% do custo de um ambiente no local
comparável. Além disso, descobriu que, com
a evolução contínua de seus serviços em nuvem
para beneficiar-se de novos serviços
e tecnologias inovadoras, é capaz de atingir sua
meta de redução de custo de 12 a 14% por ano.

44
"Quando fizemos o cálculo e demonstramos que um sistema baseado
em nuvem custaria menos da metade do sistema no local herdado,
a empresa reagiu imediatamente: ‘É isso que nós queremos. Você só
precisa garantir que vai funcionar e que meus dados estarão seguros.’
Assim que conseguimos resolver todas as pendências, tudo ficou
muito evidente."
operacional.

Desempenho comercial
Para a empresa de marketing, os indicadores chave de
desempenho são específicos ao sistema: custo, tempo de
atividade, desempenho dos aplicativos e segurança. Eles
são considerados no contexto da preocupação mais ampla
com o desempenho da empresa como um todo.
Para o provedor de plataformas de análises móveis, os
indicadores mais importantes estão relacionados ao
negócio propriamente dito: o número de clientes que
usam o serviço, o volume de dados de clientes
manipulados e o valor que isso pode agregar para os
clientes.
45
"Na verdade, toda
a nossa existência
como empresa
é uma medida de
nossos resultados
de utilização de
iniciativas
relacionadas a big
data."
– Provedor de
plataformas móveis

Agilidade do desenvolvedor
46
Para o provedor de plataformas de desenvolvimento de
aplicativos móveis, a aceleração da entrada no mercado
e a capacidade de modificar e expandir sua plataforma de
maneira ágil é fundamental para decidir entre
a implantação de um aplicativo no local ou na nuvem.
Além das considerações referentes ao custo, a agilidade
também é um fator fundamental para a empresa de
serviços financeiros, especificamente a facilidade de
provisionamento de novos recursos de computação
e armazenamento na nuvem, em comparação com
a documentação e os empecilhos encontrados para
a provisão de hardware de servidor no local.
"Se eu quiser
provisionar um grupo
de hardware [na
nuvem], posso fazer
isso agora mesmo. Se
quiser provisionar um
grupo de hardware em
nosso datacenter,
precisarei dar muitos
telefonemas
e preencher uma
papelada fenomenal
durante meses."
– Empresa de serviços
financeiros

Agilidade do desenvolvedor
47
"Acho que o maior beneficiário é o pessoal de operações de
infraestrutura de TI, pois não temos mais nada implantado localmente…"
o fato de um analista ou um cientista de dados ter um ambiente completo
configurado uma hora depois da solicitação significa que os usuários
corporativos também são beneficiados."
– Empresa de estratégia de marketing
A agilidade também foi citada como um benefício pela empresa de estratégia de
marketing, que observa que a maior agilidade beneficia tanto a equipe de operações
quanto os analistas de negócios.

Expectativas
48
"Conforme mudamos os sistemas
[para a nuvem], podemos eliminar
os custos internos relacionados,
que podem reverter em economia
e em mais gastos em big data."
Os entrevistados foram unânimes ao afirmar
que big data é um componente fundamental
dos produtos e serviços que eles oferecem.
Eles também observaram que há uma
expectativa de crescimento de seus
investimentos em big data nos próximos 12-24
meses.
A capacidade ilimitada, a agilidade e os custos
mais baixos proporcionados pela hospedagem
de big data na nuvem são componentes
fundamentais para possibilitar esse
crescimento.

Conclusões
• Organizações de diversos tipos podem aproveitar os benefícios do big data. As empresas
entrevistadas representavam startups e fornecedores estabelecidos em diversos setores.
49

Conclusões
• Todas essas iniciativas pioneiras e bem-sucedidas de obter valor comercial do big data têm
como base a capacidade de captar, armazenar e processar dados em nuvem de forma
muito menos onerosa do que seria possível em ambientes no local.
50

Conclusões
• Assim, os usuários podem beneficiar-se de técnicas avançadas de análise, especialmente
a capacidade de avaliação de dados não estruturados, para explorar as informações
armazenadas das empresas.
51

Conclusões
• Os projetos de big data na nuvem não só beneficiam a empresa, mas também se tornam
o núcleo dos negócios.
52

Conclusões
• Os benefícios de big data na nuvem normalmente podem ser mensurados: em uma
organização, as consultas de dados na nuvem apresentaram um resultado 400 vezes
melhor do que as consultas baseadas no local.
53

Conclusões
• Os benefícios de big data na nuvem normalmente podem ser mensurados: em uma
organização, as consultas de dados na nuvem apresentaram um resultado 400 vezes
melhor do que as consultas baseadas no local.
• Em outra empresa, o tempo de execução de uma análise de ameaça de risco crítica para
os negócios diminuiu de 6 a 9 meses para uma semana ou menos, com uma melhora de
98% em relação aos sistemas no local. 54

55
o uso de big data
• https://aws.amazon.com/big-data/business-
value-big-data-learn-more/

Webinar: Como obter valor comercial com Big Data

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (20)

Semelhante a Webinar: Como obter valor comercial com Big Data

Semelhante a Webinar: Como obter valor comercial com Big Data (20)

Mais de Amazon Web Services LATAM

Mais de Amazon Web Services LATAM (20)

Último

Último (6)

Webinar: Como obter valor comercial com Big Data