SlideShare uma empresa Scribd logo
1 de 40
@timotta
Multi Armed Bandit
@timotta
@timotta
@timotta
Teste A/B: Exploration
A
B
50%
50%
@timotta
Teste A/B: Validation
A B
10% 15%
<
@timotta
Teste A/B: Exploitation
B100%
@timotta
Teste A/B: Exploration vs Exploitation
Exploration
Exploitation
@timotta
Teste A/B: Regret
Regret
@timotta
Teste A/B: Regret
@timotta
@timotta
MAB: Percentual de usuários
A
B
@timotta
MAB: Regret
@timotta
MAB vs AB: Regret
@timotta
Multi Armed Bandit
A
B
@timotta
Multi Armed Bandit
- Epsilon Greed
- Upper Confidence Bound
- Thompson Sampling
- Bayesian Bandits
@timotta
Beta distribution
α=1 β=1
@timotta
Beta distribution
α=1 β=1 α=100 β=100
@timotta
Beta distribution: Alpha
α=10 β=100 α=50 β=100
@timotta
Beta distribution: Beta
α=100 β=100 α=100 β=50
@timotta
Passo a passo
A: α=1 β=1 B: α=1 β=1
@timotta
Passo a passo
α β
@timotta
Passo a passo: 20 usuários depois
A: α=2 β=8 B: α=5 β=5
A
10 usuários
2 sucessos
8 fracassos
B
10 usuários
5 sucessos
5 fracassos
@timotta
Passo a passo: 20 usuários depois
A: α=2 β=8 B: α=5 β=5
@timotta
Passo a passo: 20 usuários depois
@timotta
Passo a passo: 100 usuários depois
A: α=7 β=33 B: α=25 β=35
@timotta
Passo a passo: Se o cenário mudar
A: α=175 β=800 B: α=200 β=1000
@timotta
Dinâmica
@timotta
Dinâmica
@timotta
Dinâmica
α++
β++
@timotta
Dinâmica
α++
β++
@timotta
@timotta
Experimentos com ciclo de vida curto
- Peça publicitária
- Título ou imagem de artigo
- Assunto de e-mail marketing
- Mensagem de notificação em App
@timotta
https://bit.ly/2zOWMag
@timotta
https://bit.ly/1Tcs0xx
@timotta
Experimentos longos e sazonais
- Algoritmo de recomendação
- O preço de um serviço
- UX adaptável por sazonalidade
@timotta
Seleção de algoritmos de recomendação
+ Trending
- Personalization
+ Personalization
- Trending
@timotta
Seleção de algoritmos de recomendação
@timotta
Otimização de preço
@timotta
https://bit.ly/2KMXU3Q
@timotta
Quando usar A/B ao invés de MAB
- Mudança de uma funcionalidade
- Deseja uma alteração perene
- Métrica alvo não é bem definida
@timotta
@timotta
Multi Armed Bandit

Mais conteúdo relacionado

Mais de Tiago Albineli Motta

Mais de Tiago Albineli Motta (10)

Rastros digitais
Rastros digitaisRastros digitais
Rastros digitais
 
Big data
Big dataBig data
Big data
 
Recomendação de ponta a ponta na Globo.com
Recomendação de ponta a ponta na Globo.comRecomendação de ponta a ponta na Globo.com
Recomendação de ponta a ponta na Globo.com
 
Recomendação na Globo.com
Recomendação na Globo.comRecomendação na Globo.com
Recomendação na Globo.com
 
Otimizando seu projeto Rails
Otimizando seu projeto RailsOtimizando seu projeto Rails
Otimizando seu projeto Rails
 
Meta-programacao em python
Meta-programacao em pythonMeta-programacao em python
Meta-programacao em python
 
Testes unitários e de integração: Quando e Porque
Testes unitários e de integração: Quando e PorqueTestes unitários e de integração: Quando e Porque
Testes unitários e de integração: Quando e Porque
 
Redis na Prática
Redis na PráticaRedis na Prática
Redis na Prática
 
Dinamizando Sites Estáticos
Dinamizando Sites EstáticosDinamizando Sites Estáticos
Dinamizando Sites Estáticos
 
Escalando Sites com Nginx
Escalando Sites com NginxEscalando Sites com Nginx
Escalando Sites com Nginx
 

Multi Armed Bandit Exploração Exploitação

Notas do Editor

  1. Ou também conhecido em tradução livre como Exército de Bandidos Armados, o que não tem nenhuma relação com o que realmente significa
  2. A maioria das pessoas explica o Multi Armed Bandit usando a analogia das máquinas de caça níquel. Mas eu acho que essa analogia mais confunde do que explica. Então vou explicar começando por explicar testes AB.
  3. Arrependimento: Saudade do que gente ainda não viveu!
  4. Arrependimento
  5. Arrependimento
  6. Arrependimento
  7. Arrependimento
  8. Arrependimento
  9. Valeria a pena fazer um teste AB do melhor título de uma notícia? Quando tivessemos o resultado de qual melhor título, a notícia não seria mais importante.
  10. https://medium.com/netflix-techblog/selecting-the-best-artwork-for-videos-through-a-b-testing-f6155c4595f6
  11. https://bit.ly/1Tcs0xx
  12. Valeria a pena fazer um teste AB do melhor título de uma notícia? Quando tivessemos o resultado de qual melhor título, a notícia não seria mais importante.
  13. Ou também conhecido em tradução livre como Exército de Bandidos Armados, o que não tem nenhuma relação com o que realmente significa