2. Situación Inicial
Se utiliza Adwords para generar subscripciones a un
Newsletter Deportivo.
La campaña muestra anuncios en español y en inglés.
Se compraron 4 Keywords: Basket, Beisbol, Fútbol y Soccer.
Se crearon dos grupos de anuncios, uno para fútbol y otro
para el resto de los deportes.
Se emplean tanto la concordancia amplia como específica.
Los copys tienen diferente nivel de calidad.
3. Estructura de la Campaña
Campaña Grupo de anuncios Keyword Concordancia Calidad
English Futbol Soccer Amplia 8
Otros Deportes Basket Amplia 5
Español Futbol Futbol Amplia 0
Otros Deportes Beisbol Exacta 7
¿Cuánto influye cada uno de estos aspectos
en el CPA global de nuestra campaña?
4. Los Desafíos
¿Es posible ajustar un modelo estadístico a una campaña
con estas características?
¿Se puede determinar el impacto de cada aspecto en el CPA
Global de nuestra campaña?
¿Qué combinación arrojaría mejores resultados?
¿Es posible estimar el CPA a partir de los datos disponibles?
5. El Modelo Estadístico
En función de los datos disponibles recurrimos a un modelo
de Regresión Lineal Multivariante.
Este modelo busca estimar los valores de una variable independiente
numérica a partir de los valores de un conjunto de variables
independientes numéricas y dicotómicas (dummy).
Estadísticamente se expresa: Y = a + b X1 + c X2 + ... + n Xn + d
donde:
Y = variable dependiente
X1 , X2 , Xn = variables independientes
a, b, c, n = coeficientes de regresión
d= error de predicción
6. Entendiendo el Modelo
La forma más sencilla de estimación lineal es utilizar el valor
promedio de CPA, pero esto elimina sus variaciones
7. Entendiendo el Modelo
La regresión lineal busca estimar el CPA usando información
de otras variables para disminuir el error de estimación
8. Entendiendo el Modelo
Lo importante es crear un modelo que permita maximizar la
proporción de varianza explicada empleando pocas variables
explicativas. Existen algunas restricciones a considerar:
- Colinealidad: las variables explicativas son independientes entre sí.
- Homocedasticidad: el error de estimación tiene esperanza cero y
distribución normal para todos los valores considerados.
- No autocorrelación de los residuos: los residuos no presentan
autocorrelación serial.
- Especificación correcta: todas las variables explicativas han sido
incluidas en el modelo y no se presenta sobre-determinación.
9. Planteamiento del Modelo
Para estimar el CPA planteamos las siguientes hipótesis:
- El CPA guarda relación directa con la cantidad de clics, el
CPC y la posición promedio.
- Mantiene relación inversa con la Calidad del Anuncio y el
CPC Máximo.
- Las Keywords más relevantes y el criterio de búsqueda
exacto disminuyen el CPA.
- La hipótesis nula indica que el CPA no es afectado por estas
variables en grado significativo.
10. Analizando los Datos
Primero es necesario realizar la transformación de variables
categóricas en dicotómicas (dummy) de la siguiente forma:
Keyword
Var. Original:
Categorías: Basket Beisbol Fútbol Soccer
Var. Dummy: d_Basket d_Beisbol d_Fútbol d_Soccer
Categorías: Basket = 1 Basket = 0 Basket = 0 Basket = 0
Beisbol = 0 Beisbol = 1 Beisbol = 0 Beisbol = 0
Fútbol = 0 Fútbol = 0 Fútbol = 1 Fútbol = 0
Soccer = 0 Soccer = 0 Soccer = 0 Soccer = 1
11. Analizando los Datos
Es posible analizar los datos con Excel utilizando el
complemento de análisis de datos que debemos instalar así:
1- Haga clic en el Botón Microsoft Office y, a continuación, haga clic en Opciones de Excel.
2- Haga clic en Complementos y, en el cuadro Administrar, seleccione Complementos de Excel.
3- Haga clic en Ir.
4- En el cuadro Complementos disponibles, active la casilla de verificación Herramientas para
análisis y, a continuación, haga clic en Aceptar.
Tendremos ciertas limitaciones:
- El formato de las variables debe ser numérico.
- Los datos deben estar un rango continuo y sin celdas vacías.
- No podemos analizar más de 16 variables independientes.
- No podemos ajustar los criterios de entrada de las variables.
15. Analizando los Datos
Empleando el software SPSS podremos incrementar la
capacidad de análisis estadístico y resolver los problemas que
conlleva Excel respecto de la estructura de los datos.
El programa seleccionara las variables que integran el modelo
y podremos realizar test para comprobar el cumplimiento de
los supuestos que limitan el empleo de la regresión lineal.
ADVERTENCIA:
Voy a mostrar números y
fórmulas es el momento
apropiado para los que se
quieran escapar de la sala
17. Interpretando los Resultados
Existen dos modelos posibles uno que explica el CPA solo en
base a los clics y otro que combina clics y gasto en Adwords.
Coeficiente de Correlación varía Coeficiente de Regresión Lineal varía entre
entre -1 y 1: 0 y 1:
1 correlación perfecta positiva Indica la proporción de varianza atribuible a
-1 correlación perfecta negativa la incidencia de las variables explicativas en
0 independencia estadística este caso casi un 42%
Varianza o suma de cuadrados:
Se descompone en la parte explicada por
el modelo y la parte residual no explicada
Varianza Total =
Varianza Explicada =
Varianza Residual =
18. Interpretando los Resultados
Los coeficientes de regresión del modelo indican el impacto
de las variables sobre el CPA
Coeficientes Beta ponderan el Coeficientes estandarizados Nivel de Significación
impacto de los cambios en los homogeneízan la escala de estadística su valor crítico
valores de las variables medición para permitir debe ser inferior a a=0,05 o
explicativas: a * X comparar el impacto de las sea un error del 5%
variables
Para que un coeficiente sea
significativo el intervalo de
confianza debe excluir al
valor cero del rango que
cubre el mismo
La ecuación de la recta de regresión en nuestro caso sería:
CPA = - 0,022 + 0,024 * Clic +/- 0,42 error
19. Interpretando los Resultados
Para confirmar si las restricciones del modelo se cumplen
tenemos que observar los siguientes gráficos:
La distribución de los residuos La probabilidad acumulada de los
estandarizados debería ajustarse a una residuos estandarizados debería
curva normal. En este caso se observa ajustarse a la línea diagonal. En este
una mayor desviación hacia la derecha caso tenemos mayor cantidad de
lo que podría indicar que estamos residuos con valores pequeños que lo
subestimando sistemáticamente el CPA esperado lo que indica desajuste.
20. Interpretando los Resultados
Para confirmar si las restricciones del modelo se cumplen
tenemos que observar los siguientes gráficos:
La distribución de los residuos La distribución de los residuos
estandarizados debería seguir un estandarizados debería seguir un
patrón irregular para todos los valores. patrón irregular para todos los valores.
En nuestro caso encontramos En nuestro caso encontramos
problemas de estimación cuando el problemas de estimación a medida
CPA es cero o mayor a $ 0,60 que los valores predichos crecen
Subestimación Subestimación
Sobrestimación
Sobrestimación
21. Interpretando los Resultados
Sin embargo no son tantos los casos donde el error de
predicción es superior a 2 desvíos estándar:
Solo en 9 casos entre 124 la estimación La línea media representa la recta de
realizada excedió el margen de error regresión lineal y las líneas en los
determinado por una distribución normal márgenes los límites superior e inferior de
la estimación al 95% de confianza
22. Corrigiendo el Modelo
El modelo tiene errores de especificación porque la cantidad
de clics es una función dependiente de otras variables. Para
resolverlo plantearemos un nuevo modelo más complejo:
Impresiones
Clics
Posición
Promedio CPA
CPC
Promedio
CPC Máximo
23. El nuevo Modelo
Este modelo plantea una regresión en dos etapas, en la primera se
estiman los clics y el CPC promedio y posteriormente el CPA. Las
hipótesis se formulan de la siguiente manera:
Mayor cantidad de impresiones y mejor posición incrementan la cantidad de clics
obtenidos.
Mejor posición y mayor CPC que estamos dispuestos a pagar incrementan el CPC
promedio de la campaña.
Mayor cantidad de clics y mayor CPC promedio a igual tasa de conversión
incrementan el CPA final.
24. Comparando los Resultados
Puestos frente a frente los modelos comprobamos
considerables mejoras en los estadísticos:
Mientras el primer modelo OLS solo El error del modelo se redujo
permitía explicar el 42% de las variaciones considerablemente lo que incrementa la
en el CPA el modelo 2SPS da cuenta del precisión en las estimaciones del CPA
62% lo que es una mejora de casi un 50%
Estadísticos Modelo OLS Modelo 2SLS % de Mejora Coeficientes Modelo OLS Modelo 2SLS
Coeficiente R 0,65 0,79 22% Constante -0,022 ---
Coeficiente R^2 0,42 0,62 49% Clicks 0,024 0,032
R^2 Ajustado 0,41 0,61 49% CPC Promedio --- -1,910
Error Estandar 0,22 0,09 -59% Error del Modelo 0,420 0,180
Además algunas de las restricciones dejan de aplicarse para
los modelos 2SLS como la colinealidad entre variables.
25. Comparando los Resultados
Es necesario graficar los residuales para comprobar si existen
problemas en el modelo:
Los residuales de la regresión se La dispersión del CPA pasa a estar
distribuyen con un mayor ajuste a la curva explicada por 2 variables los clics y el CPC
normal debido a la mejora del modelo. promedio lo que permite ajustar un plano
de regresión más adecuado.
26. La crisis existencial
Todo muy lindo nos rompemos la cabeza tratando de
entender la Regresión Lineal pero…
COMO C@R@J@ PODEMOS ESTIMAR
EL CPA EN ADWORDS!!!
27. Estimando el CPA
Es muy fácil y en realidad ya lo hicimos…
APLICANDO LA FÓRMULA!!!
Y = a + b X1 + c X2 + d
O en nuestro análisis:
CPA = 0*constante + 0,032*clics – 1,19*CPC Prom. +/- 0,18 error
28. Estimando el CPA
Con ello vamos a crear distintos escenarios…
APLICANDO LA FÓRMULA!!!
Resultados de la campaña durante el primer mes:
Clics: 894 Prom. diario: 28,8
Conversiones: 53 Prom. Diario: 1,71
CPC Prom.: $0,05 CPA Prom.: $0,82
29. Estimando el CPA
Escenario 1: se mantienen los clics y CPC promedio
CPA = 0,032 * 28,8 clics – 1,19 * $0,05 CPC Prom. +/- 0,18 error
CPA Estimado: $0,86 CPA Mínimo: $0,68 CPA Máximo: $1,04
Escenario 2: 80% de los clics y 60% del CPC promedio
CPA = 0,032*23,1 clics – 1,19 * $0,03 CPC Prom. +/- 0,18 error
CPA Estimado: $0,70 CPA Mínimo: $0,52 CPA Máximo: $0,88
Escenario 3: 120% de los clics y 150% del CPC promedio
CPA = 0,032*34,6 clics – 1,19 * $0,07 CPC Prom. +/- 0,18 error
CPA Estimado: $1,02 CPA Mínimo: $0,84 CPA Máximo: $1,20
Así podemos testear todos los escenarios que creamos probables
30. Precisión de la Estimación
Mucha estadística pero…
¿Funciona realmente?
A las pruebas me remito…
CPA Real $ 0,89
CPA Estimado $ 0,86
Margen de error 3%
31. Conclusiones
Al ajustar el primer modelo de Regresión Lineal pudimos
establecer las variables que carecían de incidencia como
factores explicativos.
Los resultados del modelo OLS no fueron satisfactorios por lo
que se busco un modelo alternativo.
El modelo 2SLS arrojó resultados más satisfactorios
permitiendo mejorar en un 50% la capacidad explicativa
respecto del modelo OLS.
El uso de escenarios alternativos nos permite realizar una
planificación racional basada en datos estadísticos.
Al emplear modelos estadísticos mejoramos la comprensión
de la dinámica de las campañas de Adwords.
32. Tips para analistas
Desarrollar modelos estadísticos con sustento lógico.
Testear diferentes modelos hasta encontrar el más
apropiado a las variables que disponemos.
Validar si se cumplen los supuestos y restricciones para no
extraer conclusiones erróneas.
Las conclusiones son válidas en tanto no se produzcan
transformaciones de las condiciones estructurales que
analiza el modelo estadístico.
Es posible que existan errores de especificación debidos a
la falta de inclusión de variables relevantes.
Los modelos deben revisarse y ajustarse a cada campaña e
inclusive periódicamente en una campaña de larga duración.