Optimización a través de Google Optimize Copy

REPORTES DE GOOGLE OPTIMIZE

Elementos de un informe de Optimize
Los informes de optimización se dividen en una serie de tarjetas que contienen datos sobre su experimento, incluido su estado y cómo se comportan sus variantes frente a sus objetivos. Las tarjetas se organizan con información resumida en la parte superior y más detalles a medida que se desplaza hacia abajo en la página.

Tarjeta de resumen
La primera tarjeta en la pestaña Informes es la tarjeta Resumen, que muestra el estado del experimento y un resumen de los resultados. La información que ve aquí se determina en función del objetivo principal del experimento.

Definiciones

• Mejora (nivel de mejora creíble): la diferencia en la tasa de conversión modelada de la variante y la de la variante original para un objetivo determinado. Este es el rango probable en el que caerán sus tasas de conversión. Optimize utiliza el análisis bayesiano para determinar cómo se comportan las variantes en el futuro y la mejora es el equivalente bayesiano de un intervalo de confianza.
• Probabilidad de ser el mejor: la probabilidad de que una variante determinada tenga un mejor rendimiento que todas las demás variantes.
• Probabilidad de superar la línea de base: la probabilidad de que una variante determinada dé como resultado una tasa de conversión mejor que la tasa de conversión del original. Tenga en cuenta que con un original y una variante, la probabilidad de la variante para superar la línea de base comienza en el 50 por ciento (que es solo una posibilidad).
• Sesión de experimento: cualquier sesión donde se ejecutó el experimento y todas las sesiones futuras para ese usuario mientras se está ejecutando el experimento, incluso si no vieron el experimento. Las sesiones posteriores se incluyen en las sesiones de Experimento para capturar las conversiones que ocurren después de que un usuario se incluye en el experimento. Los objetivos de optimización que se producen durante una sesión de Experimento se incluirán en los informes y las estadísticas del experimento.

Tarjeta de resumen de mejoras
La segunda tarjeta en la pestaña Informes es la tarjeta de resumen de Mejora, que compara el rendimiento del original con su (s) variante (s), con su porcentaje de mejora frente al (los) objetivo (s) del experimento. Debajo de cada variante está el número total de sesiones de experimento hasta la fecha.

Los valores se presentan en un rango que representa el intervalo creíble de mejora. Los valores verdes funcionaron claramente mejor que el original, mientras que los valores rojos funcionaron claramente peor para un objetivo dado.

Haga clic en un encabezado de columna para ordenar la tabla por esa columna. Haga clic de nuevo para cambiar de orden ascendente a descendente.

Tarjeta de detalle objetivo
La tercera tarjeta en la pestaña Informes es la tarjeta de detalles Objetivo, que muestra el rendimiento de sus variantes frente a un objetivo elegido en el menú desplegable en la esquina superior izquierda (Páginas vistas, en el siguiente ejemplo). Active y desactive las variantes en el gráfico haciendo clic en la casilla azul junto a su nombre. El cuadro en la parte inferior de la tarjeta representa gráficamente el rendimiento de sus variantes a lo largo del tiempo.

Las áreas coloreadas en el gráfico en la parte inferior de la tarjeta representan el rango de rendimiento en el que su original y variante probablemente caerán el 95% del tiempo. La línea en el medio de un rango muestra el valor mediano del rango.

Al comienzo de un experimento hay una mayor incertidumbre sobre el rendimiento de cada variante, lo que da como resultado intervalos más amplios (más altos en el gráfico). En la mayoría de los casos, el rango de tasa de conversión de cada variante se reducirá con el tiempo ya que el modelo Optimize toma más datos en cuenta, lo que permite una mejor determinación de cómo funcionará la variante en el futuro.

TOMANDO DECISIONES SEGÚN LOS EXPERIMENTOS

¿Cuál es la "probabilidad de superar la línea de base"? La probabilidad de superar la línea de base es exactamente lo que parece: la probabilidad de que una variante funcione mejor que la original. Puede esperar hasta que la probabilidad de superar la línea base alcance el 95% o implementar los ajustes en la página experimentada antes si está dispuesto a aceptar un mayor riesgo de ser incorrecto. 

¿Cuál es la "probabilidad de ser el mejor"?
La probabilidad de ser el mejor le dice qué variante es la mejor en general. Es exactamente lo que parece, ¡no se necesita interpretación adicional! Para producir el mismo resultado en un entorno frecuentador, tendría que realizar tareas adicionales, como las correcciones de Bonferroni (lea sobre comparaciones múltiples) para asegurarse de no obtener respuestas inexactas.

¿Cómo decides cuándo terminar a un experimento?
Actualmente, seguimos un par de reglas al mostrar el mensaje de estado en la parte superior de la página de informes:

• Verificamos que haya tráfico para el experimento cada día, para garantizar que sea un experimento válido.
• Esperamos hasta que se haya realizado un experimento durante dos semanas. ¿Por qué dos semanas? Con experimentos diseñados para desplegarse en partes de una propiedad digital que se encuentran regularmente, generalmente es un buen período de tiempo para obtener un sentido completo de sus datos, incluidos los días de la semana, los fines de semana y cualquier otra anomalía que pueda pasar de una semana a el siguiente. Sin embargo, dos semanas es mínimo y los experimentos pueden durar más. También puede hacer una llamada antes si cree que es probable que su tráfico no cambie cualitativamente, aunque no recomendamos hacerlo.

¿Cómo decidis cuándo tenes un líder?
Si se cumplen las condiciones anteriores, entonces buscamos la variante con la probabilidad más alta de ser la mejor. Si esa variante también es probable que supere al original en más del 95%, mostramos un líder.