In my last six years working at Globo.com I made many mistakes working with A/B experimentation. In this presentation I cataloged some of those mistakes as advice to avoid made them again in the future.
Machine Learning e experimentos online para evitar o cancelamento no GloboPlayTiago Albineli Motta
Palestra ministrada na Qcon SP 2018
Vamos explorar as técnicas de Machine Learning utilizadas para reduzir o churn do GloboPlay principalmente para encontrar os assinantes mais prováveis de cancelar e as métricas correlacionadas, especialmente no uso de técnicas de clusterização e classificação em dados desbalanceados.
Também falaremos sobre algoritmos de recomendação e intervenções experimentadas através de testes AB simultâneos e como evitar a interferência de um experimento em outro. Ao final da palestra o participante terá uma clara noção da importância, quais técnicas e como utilizar ciência de dados para atingir resultados tangíveis em um produto.
Machine Learning e experimentos online para evitar o cancelamento no GloboPlayTiago Albineli Motta
Palestra ministrada na Qcon SP 2018
Vamos explorar as técnicas de Machine Learning utilizadas para reduzir o churn do GloboPlay principalmente para encontrar os assinantes mais prováveis de cancelar e as métricas correlacionadas, especialmente no uso de técnicas de clusterização e classificação em dados desbalanceados.
Também falaremos sobre algoritmos de recomendação e intervenções experimentadas através de testes AB simultâneos e como evitar a interferência de um experimento em outro. Ao final da palestra o participante terá uma clara noção da importância, quais técnicas e como utilizar ciência de dados para atingir resultados tangíveis em um produto.
Palestra sobre meta-programação em python ministrada no TDC 2012 e na SEMCOMP 2012. Corrigido o verbo "estender" que estava antes "extender" e colocado realce de sintaxe.
Slides da palestra sobre Redis apresentada no Dev in Santos. Modifiquei apenas o "classe A" para "sensacional" e corrigi o código do slide "Utilizando sets".
Palestra também apresentada no NoSqlBahia e no TDC 2012
Palestra sobre meta-programação em python ministrada no TDC 2012 e na SEMCOMP 2012. Corrigido o verbo "estender" que estava antes "extender" e colocado realce de sintaxe.
Slides da palestra sobre Redis apresentada no Dev in Santos. Modifiquei apenas o "classe A" para "sensacional" e corrigi o código do slide "Utilizando sets".
Palestra também apresentada no NoSqlBahia e no TDC 2012
40. Experimentation Anti-Patterns
- Comparação temporal
- Comparação temporal da alavancagem
- Longo ciclo de desenvolvimento
- O experimento que vira funcionalidade
- Métrica incorreta
- Métrica não acionável
- Alvo populacional errado
- Segmentação infinita
- Segmentação temporal
- Observações não independentes
Explicar aqui que comparar o crescimento ou decréscimo dos diversos KPIs é importante, mas não necessariamente indica se uma determinada feature causou essa melhora ou não e o mais importante é a forma como você comunica isso