O slideshow foi denunciado.
Utilizamos seu perfil e dados de atividades no LinkedIn para personalizar e exibir anúncios mais relevantes. Altere suas preferências de anúncios quando desejar.

Anatomía del A/B testing y la personalización. SEOnthebeach 2019. SOB19

1.319 visualizações

Publicada em

Presentación empleada en SEOnthebeach 2019 para hablar sobre la mejor forma de plantear un A/B test o un experimento de personalización en activos digitales: web, apps, IoTs, etc, partiendo de un método básico y teniendo muy en cuenta la tecnología a emplear.

Publicada em: Internet
  • Entre para ver os comentários

Anatomía del A/B testing y la personalización. SEOnthebeach 2019. SOB19

  1. 1. 1Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es Anatomía del A/B testing y la personalización Una guia para comprender como mejorar los objetivos de negocio de un producto digital usando test y personalización 14/06/2018 SEOnthebeach - La Manga Ricardo Tayar - @rtayar
  2. 2. 2Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es
  3. 3. 3Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es El A/B test y la personalización son dos de las técnicas principales del CRO, y conducen a aprendizajes que permiten mejorar el rendimiento de los negocios digitales localizando la mejor versión posible
  4. 4. 4Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es
  5. 5. 5Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es
  6. 6. 6Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es
  7. 7. 7Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es El testing permite apoyar las decisiones de diseño y de negocio en datos que permiten demostrar la idoneidad de un cambio. Eliminamos la opinión de la ecuación del diseño.
  8. 8. 8Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es ¿Por qué muchos test A/B fallan o no son útiles para mejorar de verdad?
  9. 9. 9Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es ¿Cómo que el botón en naranja porque lo dices tú? Patán!
  10. 10. 10Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es ¿Qué es eso de hacer un test porque sí, sin ningún sentido? Obtuso!
  11. 11. 11Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es Que un test salga positivo no significa que eso nos sirva para toda la web, que no te enteras.
  12. 12. 12Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es ¿Cómo que con un solo test ya podemos proponer cambios en toda la web?
  13. 13. 13Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es ¿Cómo debemos plantear un A/B testing correctamente? El método
  14. 14. 14Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es Hola, soy Francis Bacon, el del método científico.
  15. 15. 15Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es Método ciéntifico: • Observación • Inducción • Hipótesis • Experimentación • Demostración • Tesis
  16. 16. 16Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es Hola, soy James Lind. Hice uno de los primeros A/B test de la historia.
  17. 17. 17Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es El A/B test de James Lind en 1747. 12 marineros con síntomas de escorbuto divididos en 6 grupos de 2 con seis dietas diferentes para localizar cual es la idónea: • Un cuarto de sidra al día • 25 gotas de elixir de vitriolo, tres veces al día • Media pinta de agua del mar al día • Una pizca de pasta de ajo, semillas de mostaza, rábano picante, bálsamo de Perú y resina de mirra, tres veces al día • Dos cucharadas de vinagre, tres veces al día • Dos naranjas y un limón Fuente: https://www.bbc.com/news/uk-england-37320399
  18. 18. 18Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es Yo soy Karl Popper, y “modernicé” el método científico.
  19. 19. 19Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es El A/B testing (y la personalización) permite poner los cambios de diseño en un contexto de negocio de manera inequívoca (si se sigue y respeta el método)
  20. 20. 20Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es La anatomía: las partes mínimas que todo A/B test debe contener
  21. 21. 21Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es 1- Investigación = Datos 2- Hipótesis 3- Definir experimento y tipo de test 4- Herramienta 5- Reglas / cálculos 6- Análisis / interpretación
  22. 22. 22Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es Los datos: emplear datos cuantitativos y cualitativos para localizar ineficiencias como punto de partida
  23. 23. 23Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es ¿Y en qué datos nos fijamos para localizar ineficiencias?: • Métricas de navegación • Métricas de consumo de contenidos • Métricas de transacción Y sobre todo, segmentar por dimensiones, prestando atención sobre todo a: • Tipología de dispositivo • Fuente / medio de tráfico • Tipología de usuario: nuevo, recurrente, login, cliente… • Rutas de conversión principales • Distinción de tipología de objetivos / eventos
  24. 24. 24Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es Sobre todo, asegurarnos de que la medición es correcta y de que no tenemos datos corruptos
  25. 25. 25Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es Cuando los datos cuantitativos no ofrezcan información que nos permita localizar una ineficiencia, recurramos a los datos cualitativos
  26. 26. 26Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es Cuando los datos cuantitativos no ofrezcan información que nos permita localizar una ineficiencia, recurramos a los datos cualitativos
  27. 27. 27Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es Cuando los datos cuantitativos no ofrezcan información que nos permita localizar una ineficiencia, recurramos a los datos cualitativos
  28. 28. 28Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es Hipótesis: formular hipótesis sólidas, con sentido y que expliquen lo sucedido o lo que va a suceder
  29. 29. 29Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es Una hipótesis es algo que se supone y a lo que se le otorga un cierto grado de posibilidad para extraer de ello un efecto o una consecuencia. Las hipótesis no necesariamente son verdaderas, pueden o no serlo, pueden o no comprobarse con hechos. Son explicaciones tentativas. No los hechos en sí.
  30. 30. 30Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es Criterios de Kerlinger para formular una buena hipótesis: • Debe expresar una relación entre dos o más variables • Debe ser clara y específica, evitando términos vagos o ambiguos • Debe implicar una posible prueba empírica Un ejemplo: “Comer una gran cantidad de calorías al día incrementará el peso de una persona si su actividad física y condiciones se mantienen constantes”: • Dos variables: calorías y peso • Clara y específica • Posible prueba: Incrementar el número de calorías y comprobar el incremento de peso
  31. 31. 31Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es En la construcción y redacción de toda hipótesis aparecen tres tipos de variables: Variable independiente: Es la variable input, la que se modifica según la hipótesis. Por ejemplo, el CTA, la imagen de un producto, la cabecera… Variable dependiente: Es la variable output, la que va a sufrir un cambio directo como consecuencia del cambio en la variable independiente. Siguiendo los ejemplos anteriores, los clics, el ratio de add to cart, el tiempo de permanencia… Variables intervinientes (a veces llamadas condicionadas): Aquellas variables que deben controlarse en un experimento o entre varios experimentos para asegurar que el escenario del test no es volátil y que es estable e idéntica al máximo entre test. Siguiendo los ejemplos anteriores: incrementos de presupuesto en AdWords, envío masivo de newsletters, etc.
  32. 32. 32Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es Una fórmula estándar para definir hipótesis en problemas digitales: Para [grupo o segmento de usuarios], si [cambio que pretendemos realizar] se producirá [efecto que prevemos] porque [explicación racional], lo que impactará en [métricas sujeto de medición]
  33. 33. 33Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es Tipo de test: en función de lo que queramos testar y para qué (y de nuestro entorno tecnológico y de negocio) debemos escoger uno u otro tipo de test
  34. 34. 34Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es A/B Multivariante Multipágina
  35. 35. 35Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es A/B Multivariante Multipágina Solo se modifica una variable entre las versiones a testar, lo que permite atribución clara Múltiples variables son testadas a la vez en un formato de permutación, localizando la versión ganadora Testamos layouts diferentes entre sí, con múltiples cambios. No podemos atribuir éxito o fracaso a una sola variable
  36. 36. 36Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es Un test A/B:
  37. 37. 37Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es Un test multivariante: vs 12.8% 14.3%
  38. 38. 38Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es Un test multipágina: Original Variante 1
  39. 39. 39Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es Un briefing / ficha / dossier de testing debe contener: 1. Hipótesis, acompañada de los datos y racional que la sustentan. 2. Objetivos del test. 3. KPIs en las que va a impactar el test y efecto que esperamos conseguir. 4. Segmentos de tráfico / usuarios a los que se dirige el test. 5. Landings / layouts / procesos objeto del test. 6. Periodo de tiempo de ejecución del test.
  40. 40. 40Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es Herramientas: ¿cual es la mejor herramienta para mis test y para mi organización?
  41. 41. 41Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es Control version Usuario WEBSITE Original Variation Javascript Code: Javascript Code goal tracking js cssmatching rules Javascript Code goal tracking js cssmatching rules matching rules Goal page Javascript Code goal tracking js cssmatching rules
  42. 42. 42Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es Herramientas para iniciarse en el A/B testing: • Google optimize: https://optimize.google.com/ • Instapage: https://instapage.com/ Plugins Wordpress: • Nelio testing: https://neliosoftware.com/es/testing/ • Thrive Headline Optimizer: https://thrivethemes.com/ headlineoptimizer/ • AB Press Optimizer: https://abpressoptimizer.com/
  43. 43. 43Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es Reglas y cálculos: ¿cuando puedo afirmar que un test realmente es 100% válido para mejorar mi activo digital?
  44. 44. 44Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es Calcular muestra necesaria: https://www.optimizely.com/sample-size-calculator/
  45. 45. 45Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es Calcular muestra necesaria: https://www.evanmiller.org/ab-testing/sample-size.html
  46. 46. 46Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es Análisis e interpretación: ¿qué hemos aprendido del test que hemos realizado?
  47. 47. 47Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es Demostrar mejoras de manera evidente:
  48. 48. 48Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es Repetir el test en escenarios similares para demostrar la idoneidad del cambio:
  49. 49. 49Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es Cambios que han funcionado en contextos distintos pero no en el nuestro:
  50. 50. 50Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es ¿Del testing a la personalización?
  51. 51. 51Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es
  52. 52. 52Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es
  53. 53. 53Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es Consejos doy que para mi no tengo
  54. 54. 54Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es Algunas cosas que he aprendido a golpe de prueba / error: • Es fundamental controlar las variables intervinientes en un test • Un mismo test debe repetirse en escenarios similares o lo más idénticos posible para que la conclusión sea sólida • El stack tecnológico y el tipo de test a realizar condicionan mucho la herramienta a emplear • No todos los test deben perseguir un objetivo de conversión directa. ¿Todas tus páginas o flujos de navegación son para convertir? No, la conversión es consecuencia. Cada test debe tener sus propios KPIs
  55. 55. 55Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es Muchas gracias, beachers!
  56. 56. 56Anatomía del A/B testing y la personalización / SEOnthebeach 2019 / Ricardo Tayar - @rtayar / ricardo@flat101.es Vamos a hacer un test!
  57. 57. 57ADIDAS - Monitorización y análisis productos en wholesalers Gracias! Ricardo Tayar ricardo@flat101.es @rtayar

×