Build sophisticated forecasting and recommendation models - AIM203 - São Paulo AWS Summit

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Crie modelos sofisticados de recomendação
usando Machine Learning
Claudia Charro
Arquiteta de Soluções Enterprise
AWS
A I M 2 0 3
João Gutheil
Data Intelligence & BI Coordinator
Arezzo&Co

Classificar, Recomendar e Prever
Segurança Rastreamento de
pessoas e objetos
reposição de produtos pesquisa visual
Notificações Personalizadas Ranking de Itens Sugerir Produtos Comunicação Personalizada
Demanda Matéria Prima Vendas Clima
Fonte Imagens: Pixabay

Jornada da Experiência do Usuário e Eficiência de Vendas
Classificar
produtos
Conhecer
demanda pelos
produtos
Conhecer
preferências
dos clientes
Prever
demanda x
consumo
Otimizar
disponibilidade
de produtos
Recomendar o
produto certo
para o cliente
certo
Acabou!

Os clientes costumam perguntar:
"Como podemos aproveitar a experiência da
Amazon em Machine Learning?"

© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Trademark
Prever

Métodos tradicionais possuem dificuldade para gerar previsões precisas
Não aguenta
sazonalidade
Não considera variáveis
relacionadas, como preço,
feriados e promoções, que
afetam a precisão das
previsões
Não consegue lidar
com novos itens,
que não têm dados
históricos de séries
temporais

Amazon Forecast
Serviço preciso de previsão de séries temporais,
baseado na mesma tecnologia usada na
Amazon.com Não é necessária experiência em
Machine Learning

Dados históricos
Cadeia de
Suprimentos,
inventário, etc.
API de previsão
customizada
Dados "causais"
relacionados
Tempo, ofertas especiais,
detalhes do produto
Amazon Forecast
Amazon Forecast: Previsão de séries temporais com Machine Learning

Dados históricos
Cadeia de
Suprimentos,
inventário, etc.
.
API de previsão
customizada
Inspeci-
onar
Dados
Identificar
recursos
Selecionar
de oito
algoritmos
Selecionar
hiperparâmetros
Hospedar
modelos
Carregar
Dados
Treinar
modelos
Otimizar
modelos
Dados "causais"
relacionados
Tempo, ofertas especiais,
detalhes do produto
T o t a l m e n t e g e r e n c i a d o p o r
A m a z o n F o r e c a s t
Amazon Forecast
Amazon Forecast: Previsão de séries temporais com Machine Learning

Modelos tradicionais de séries temporais
• Previsões Independentes
• Suposições estruturais fortes
• Padrões industriais de acordo com
a realidade
• Bem entendido, >50 anos de
pesquisa
• Alta eficiência de dados
• Os dados devem corresponder as
suposições estruturais
• Incapaz de identificar padrões em
series temporais

Modelos de séries temporais de deep learning
• Modelos globais: identifique padrões
usando todas as séries temporais
disponíveis
• Sazonalidade e ciclo de vida dependentes do
grupo
• Comportamento em resposta a entradas de
covariável
• Suposições estruturais fracas
• Pode ser significativamente mais preciso
que os métodos tradicionais
• Pode incorporar e aprender facilmente a
partir de metadados ricos
• Suporta previsões de início frio para
novos itens

Aprendendo com covariáveis
• Entradas adicionais podem
• Explicar dados históricos
• Conduzir o comportamento de previsão
• Exemplos de varejo que demandam
previsão
• Informação de preço
• Informação sobre promções
• Informações de falta de estoque
• Visualizações de página
• Entradas Categóricas podem ser
usadas para identificar padrões a
nivel de grupo
Moda
Mulheres
Roupas
Sapatos
Relógios
Homens
Roupas
Sapatos
Relógios
Meninas
Roupas
Sapatos
Relógios
Meninos
Roupas
Sapatos
Relógios

Ingestão de dados no Amazon Forecast
Existem três tipos de datasets no Amazon Forecast:
Item metadataTarget time-series Related time-series
Séries
temporais
relacionadas,
como preço,
visitas na Web,
etc.
Dados
históricos de
séries
temporais de
itens a serem
previstos
Atributos do
item, como
categoria,
gênero e marca

Demonstração Amazon Forecast
Dados temporais de uso de energia
elétrica.
Criar um Amazon Forecast Predictor
baseado no dataset de entrada.
Fazer predição de uso de energia elétrica
futuro baseado em um interval de tempo.

Console intuitiva e fácil de usar

Exemplo de dataset
{
"attributes":[
{
"attributeName” : "timestamp",
"attributeType” : "timestamp"
},
{
"attributeName” : ”target_value",
"attributeType” : ”float"
},
{
"attributeName” : ”item_id",
"attributeType” : ”string"
}
]
}
2014-01-01 01:00:00, 2.53807106, client_0
2014-01-01 01:00:00, 23.648648648, client_1
2014-01-01 02:00:00, 9.648648648, client_0

Exemplo de Predictor
DataSet Group
(criado no passo anterior)
Receita de algoritmo
Classical Methods
ARIMA
Exponential Smoothing (ETS)
Non-Parametric Time Series
(NPTS)
Prophet
Deep Learning Methods
DeepAR+
SQF
MQ-RNN
MDN

Visualize previsões entre preditores

Amazon Forecast: Previsão de séries temporais de Machine Learning
Qualquer
série temporal
histórica
Exporta para CSV para
integração com SAP e
Oracle Supply Chain
Previsões personalizadas
com três cliques
Até 50% mais
preciso
1/10
do custo
Demanda de varejo Demanda de viagem Uso da AWS
Previsões de receita Tráfego da Web Demanda de publicidade
Gerar previsões
para:

“Estamos usando o Amazon Forecast para prever a demanda
de mais de 50.000 produtos diferentes usando os avançados
algoritmos de deep learning do Amazon Forecast disponíveis
imediatamente. O Amazon Forecast cuida de todo o trabalho
pesado de configuração de pipelines, programações de novos
treinamentos e nova geração de previsões, para que
possamos experimentar centenas de modelos com muita
facilidade.”
Fernando Croceri,
Head of Analytics, Mercado Libre

ML Laboratório de Soluções
Brainstorming
Modelagem personalizada
Treinamento
Trabalhe lado a lado com especialistas da Amazon
Educação prática em ML para praticantes novos e experientes
Baseado no mesmo material usado para treinar desenvolvedores da Amazon
Como podemos
ajudar
Amazon Machine Learning University

Recomendar

Os usuários esperam cada vez mais que cada interação seja personalizada
Atividade e
recomendação de
produtos
Personalização de
pesquisa
Notificações
personalizadas
Emails

Personalização oferece resultados de negócios relevantes
Engajamento
(aumento de até 15%)
Descoberta de
produtos
(até 80% de cliques nos itens
finais)
Receita
Conversão

Personalização eficaz envolve vários problemas difíceis
Armadilha de popularidade
Modelos ingênuos dão recomendações semelhantes aos itens populares
Inícios frios
Novos usuários devem receber recomendações relevantes, novos itens devem aparecer nas recomendações
Escalar
Recomendações devem escalar através de milhões de usuários e itens.
Tempo real
A personalização deve ser responsiva à mudança de intenção do usuário
Modelos personalizados
Modelos de personalização devem refletir com precisão o contexto de negócios e o comportamento do usuário

Amazon Personalize
Personalização e recomendação em tempo real,
baseados na mesma tecnologia usada na
Amazon.com

Amazon Personalize: Personalização e recomendações de Machine Learning
Artigos, produtos,
vídeos, etc.
Idade,
localização, etc.
Amazon
Personalize
API de
recomendação &
personalização
visualizações,
inscrições,
conversão, etc.

Amazon Personalize: Personalização e recomendações de Machine Learning
API customizada de
recomendação &
personalização
F u l l y m a n a g e d b y A m a z o n
P e r s o n a l i z e
Amazon Personalize
INSPECIONAR
DADOS
IDENTIFICAR
RECURSOS
SELECIONAR
ALGORITMOS
SELECIONAR
HÍPERPARAMETROS
TREINAR
MODELOS
OTIMIZAR
MODELOS
HOSPEDAR
MODELOS
CONSTRUIR
LOJA DE RECURSOS
CRIAR CACHES
EM
TEMPO REAL
Fluxo de
atividades do
aplicativo
Inventário
Demografia
(opcional)

Melhore a experiência de clientes com personalização e recomendações
Em tempo real Funciona com quase
qualquer produto ou
conteúdo
R e c u r s o s c h a v e
Responsivo a mudanças
em intenção
Machine learning
automatizado
Traga algoritimos do
Amazon SageMaker
Forneça
recomendações de
alta qualidade
Algoritmos de
deep learning
Fácil de usar

Dados em tempo real podem ser consumidos pelo Amazon Personalize
Histórico de
atividades do usuário
Atributos
do uusário
Catálogo
de itens
Dados tempo real
Mobile
SDKs
(em breve)
JavaScript SDK
Amazon S3
bucket
SDKs para servidores
Dados offline

Demonstração Amazon Personalize
Gerar sistemas de recomendação.
Chegar a uma campanha baseada em
dados de clientes.
Utilizar o Amazon Personalize para obter
recomendações de filmes para usuarios.

Console para monitorar e rastrear todos os diferentes passos

Exemplo de dataset
{
"type": "record",
"name": "Interactions",
"namespace": "com.amazonaws.personalize.schema",
"fields": [
{
"name": "USER_ID",
"type": "string"
},
{
"name": "ITEM_ID",
"type": "string"
},
{
"name": "EVENT_TYPE",
"type": "string"
},
{
"name": "EVENT_VALUE",
"type": "string"
},
{
"name": "TIMESTAMP",
"type": "long"
}
],
"version": "1.0"
}
USER_ID,ITEM_ID,EVENT_TYPE,EVENT_VALUE,TIMESTAMP
196,242,click,15,881250949
186,302,click,13,891717742
22,377,click,10,878887116
244,51,click,20,880606923
166,346,click,10,886397596
298,474,click,40,884182806
115,265,click,20,881171488
253,465,click,50,891628467
305,451,click,30,886324817

SDK’s suportados

Exemplo de ingestão de dados

Receitas ML pré-definidas

Criando campanhas e buscando recomendações
GetRecommendations
GetPersonalizedRanking

Personalizando
experiências de clientes
O Domino’s usa o Amazon Personalize para
personalizar e escalar comunicações de marketing
relevantes para os clientes com base no tempo,
contexto e conteúdo, melhorando e aprimorando
sua experiência com a marca Domino’s.

Classificação

Como criar um modelo para classificar suas próprias imagens
Prepare suas imagens
Modelo
treinado
Treine seu modelo de
Classificação de Imagens
(built-in)
Publique seu modelo
Modelo
publicado
Amazon Sagemaker
Notebook instance Treino/Jobs Catálogo de modelos Endpoint
Classifique

Classificando novas imagens com seu modelo
Modelo
Treinado
Cachorro (97.4%)
Gato (94.9%)
Entrada
Entrada

Transfer Learning
Modelo
treinado
Carro (96.4%)
Carro (93.1%)
Modelo re-
treinado
Corvete 19XX (86.4%)
BMW M3 20XX (91.1%)

DEMO – ResNet152 usando Transfer Learning
Vamos usar o algoritmo built-in do Sagemaker
e realizar um Transfer Learning de uma rede
Resnet – Imagenet 11K pré treinada.

Amazon SageMaker: Machine Learning para todos
os desenvolvedores e cientistas de dados
Marcelo Cunha, AWS Solutions Architect
Diogo Benicá, Engenheiro de ML da Youse
Pavilhão C, Track 5
Próxima Sessão:

Como começar
Exemplos do Amazon Forecast:
https://github.com/aws-samples/amazon-forecast-samples
Exemplos do Amazon Personalize:
https://github.com/aws-samples/amazon-personalize-samples
Recursos:
• Novos notebooks frequentmente
• Como modificar dados
• Como construir uma solução
• Como vizualizar e exportar predições
Tempo total: 1.5 horas para terminar um notebook
Personalens:
https://github.com/chrisking/personalens
Recursos:
• Integração com uma aplicação tradicional
• Suporte a dados históricos e a eventos
• Exemplos para todos os datasets
Tempo total: 3 horas

Classificação automatizada de produtos
Uma aplicação prática de IA
João Gutheil
Data Intelligence & BI Coordinator
Arezzo&Co
S e s s i o n I D

Líder no setor de calçados, bolsas e
acessórios para mulheres

Líder no setor de calçados, bolsas e
acessórios para mulheres
45anosde
história
12milhõesdeparesde
calçadosporano
1,3milhãodebolsas
eacessóriosporano

“Encantar as mulheres”

Oportunidade
Nova árvore de atributos
Recatalogar base histórica
Assertividade na qualificação dos atributos
Eficiência operacional do processo

AWS como um parceiro de negócios

Reclassificando SKUs

MVP

Para onde vamos

Case

Build sophisticated forecasting and recommendation models - AIM203 - São Paulo AWS Summit

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (20)

Semelhante a Build sophisticated forecasting and recommendation models - AIM203 - São Paulo AWS Summit

Semelhante a Build sophisticated forecasting and recommendation models - AIM203 - São Paulo AWS Summit (20)

Mais de Amazon Web Services

Mais de Amazon Web Services (20)

Build sophisticated forecasting and recommendation models - AIM203 - São Paulo AWS Summit