O documento discute as aplicações de machine learning para vendas e comunicação na XP Investimentos. Apresenta exemplos de sistemas de recomendação e modelos para prever o potencial de clientes. Fornece dicas sobre melhores práticas para iniciar e desenvolver ciência de dados em empresas, como começar com modelos simples e testar várias abordagens.
5. Bernardo Aflalo
Objetivo de Hoje
Exemplos de Machine Learning
Impactos no varejo, exemplos XP
O que? Para quem?
Melhores Práticas
para iniciar e crescer ciência de dados na
empresa
6. Bernardo Aflalo
Objetivo de Hoje
Melhores Práticas
para iniciar e crescer ciência de dados na
empresa
Exemplos de Machine Learning
Impactos no varejo, exemplos XP
O que? Para quem?
7. Bernardo Aflalo
Sistemas de recomendação https://medium.com/datadriveninvestor/how-to-
built-a-recommender-system-rs-616c988d64b2
o
que?
9. Bernardo Aflalo
Objetivo: oferecer o produto certo para cada cliente,
de modo a maximizar _______:
a) As vendas
b) A satisfação do cliente
c) A utilidade dos produtos combinados
d) Todas as anteriores
10. Bernardo Aflalo
Objetivo: oferecer o produto certo para cada cliente,
de modo a maximizar _______:
a) As vendas
b) A satisfação do cliente
c) A utilidade dos produtos combinados
d) Todas as anteriores
11. Bernardo Aflalo
A Recomendação de Carteira da Assessoria Virtual
Qual a carteira ideal para cada cliente, respeitando tolerâncias a riscos e propensões individuais?
12. Bernardo Aflalo
A Recomendação de Carteira da Assessoria Virtual
Qual a carteira ideal para cada cliente, respeitando tolerâncias a riscos e propensões individuais?
Fase 1
Distribuição Ideal
Fase 2
Propensão
Fase 3
Escolha dos Produtos
Modelo Machine Learning Score dos Produtos
13. Bernardo Aflalo
Fase 1
Distribuição Ideal
Fase 2
Propensão
Fase 3
Escolha dos Produtos
Modelo Machine Learning Score dos Produtos
Carteiras recomendadas personalizadas,
recalculadas todos os dias
A Recomendação de Carteira da Assessoria Virtual
Qual a carteira ideal para cada cliente, respeitando tolerâncias a riscos e propensões individuais?
14. Dicas de Nerd
Comece simples. Ex. Filtro Colaborativo, Regras de Associação
Problema de Cold Start: usar similaridades de produtos
Solução mais completa:
- Features: de cliente, de item x cliente (matriz fatorada) e variáveis
externas
- Se o tempo é uma variável importante, utilizar janelas:
Training
set
Validation
set
Test set ‘Score’ set
Ocorre o fit do modelo Ocorre a escolha de modelo e
hiperparâmetro
Avaliação do desempenho do
modelo
Score de novos
usuários
tempo
16. Bernardo Aflalo
E se, no primeiro contato com o cliente,
fôssemos capazes de avaliar o seu LTV?
Oferta de
serviços
Contatos/
conteúdos
Personalizados
Promoções
direcionadas
17. Bernardo Aflalo
Modelo de Potencial de Cliente
Como identificar o potencial de cada cliente, no momento do cadastro, de modo a oferecer a assessoria
mais adequada?
Análise
geolocalização
Machine LearningHistórico de Clientes
(base interna)
18. Bernardo Aflalo
Modelo de Potencial de Cliente
Como identificar o potencial de cada cliente, no momento do cadastro, de modo a oferecer a assessoria
mais adequada?
cliente
Assessoria X
Assessoria Y
potencial
19. Dicas de Nerd
Modelo: LightGBM (python)
Features:
- Mean Encoding de variáveis categóricas.
- Modelo de lat/lon (KNN com Kernel)
A biblioteca shap é utilizada para avaliar o efeito de cada uma das
features
27. Bernardo Aflalo
Modelo 1
Iteração 4
Modelo 2 Modelo 3 Modelo 4 Modelo 5
20%
40%
60%
Automaticamente a melhor
estratégia é identificada e adotada.
28. Dicas de Nerd
Crie funções que facilite medir tudo e sempre. Isso te ajuda a mostrar
valor, bem como ajustar rotas
Reinforcement: Trate como um ‘multi-armed bandit problem’. Teste
‘Thompson Sampling’
Não tenha medo de testar. Comece com testes pequenos
29. Bernardo Aflalo
Objetivo de Hoje
Melhores Práticas
para iniciar e crescer ciência de dados na
empresa
Exemplos de Machine Learning
Impactos no varejo, exemplos XP
O que oferecer? Para quem?
30. Bernardo Aflalo
Começando
Você precisa de um ________ de Dados
https://datadrivenperspectives.com/data-science-vs-data-
engineering-know-what-you-need-before-you-hire-c0648f27ce0e
34. Bernardo Aflalo
Apaixone-se pelo Resultado.
Não pela técnica. Não pela ferramenta.
Use exatamente o que resolve bem seu problema. Nem mais, nem menos.
35. Bernardo Aflalo
Comece com um modelo ‘quick and dirty’.
Não gaste 2 meses criando a primeira versão do modelo.
Geralmente, com poucos dias é possível começar com um modelo que vai te ensinar sobre o problema.
36. Bernardo Aflalo
Em modelos em que erros não são admissíveis (ou custam caro), crie filtros,
modelos heurísticos, condicionais etc.
Modelos nunca são 100%. Se seu erro custa caro, instrumente seu resultado e combine com outros
modelos e condicionais.
37. Bernardo Aflalo
Não se apaixone pelo caso de uso
Seus dados podem não ser suficientes para explicar a variável dependente
Performance aceitável para tomada de decisão é imprevisível
Saiba ‘desistir’ de modelos (e conseguir mais dados)
NEVER
GIVE
UP
38. Bernardo Aflalo
Tabelas no formato long podem facilitar sua vida em integrações.
Sério. Acredite.
Cliente Data Modelo_1 Modelo_2 Modelo_3
123456 27/03/2019 98 fundo xyz' 9h-10h
234567 27/03/2019 74 fundo abc' 15h-16h
Formato ‘wide’
Cliente Data Modelo Resultado
123456 27/03/2019 Modelo_1 98
123456 27/03/2019 Modelo_2 fundo xyz'
123456 27/03/2019 Modelo_3 9h-10h
234567 27/03/2019 Modelo_1 74
234567 27/03/2019 Modelo_2 fundo abc'
234567 27/03/2019 Modelo_3 15h-16h
Formato ‘long’
39. Bernardo Aflalo
E o mais importante em Ciência de Dados (e em todo resto): a Equipe.
Gaste tempo escolhendo a melhor equipe.
Com o hype da tecnologia, vem o hype de profissionais, de consultorias etc.
“Contrate PhDs” -> infelizmente é mais complexo que isso
https://www.theregister.co.uk/2019/03/05/eu_startups_no_ai/