Una prueba A / B es un método de investigación que permite evaluar la eficacia de los cambios en el sitio.
La esencia de la prueba A / B es de la siguiente manera:
- Usted explora la efectividad de la página y formula una hipótesis.
- Para probar la hipótesis, se crea una página de prueba.
- Con la ayuda de un servicio especial se distribuye el tráfico entre la fuente y la página de prueba.
- Después de un tiempo, comparare las opciones de control y las páginas de prueba. Esto le permite confirmar o refutar la hipótesis.
Muy a menudo los resultados de la prueba A / B son inesperados. Por ejemplo, la tasa de conversión puede aumentar después de la eliminación de los comentarios de la página de clientes satisfechos.
A veces, la prueba A / B no corrige los cambios de ineficiencia, y conduce a resultados negativos para el negocio. Esto sucede debido a la comercialización o errores técnicos.
A continuación se presentan los errores más comunes de las pruebas A / B que conducen a pérdidas debido a la falla del experimentador:
Insuficiente tamaño de la muestra
Muchos de los servicios de una prueba A / B permiten determinar de forma arbitraria la proporción de tráfico en el experimento. Si se le permite participar en el experimento, a un pequeño número de visitantes, aumenta en gran medida el tiempo necesario para obtener un resultado válido. Pero eso no es todo.
Imagine la siguiente situación: se está probando una nueva página de diseño. El experimento consistió en 5% de las personas que son enviados a la página de prueba. Un mes más tarde, resulta que la tasa de conversión de página de prueba es 2.5 veces mayor que el control. Las pérdidas pueden reducirse en gran medida mediante la distribución de tráfico de manera diferente al comienzo del experimento.
Probando diferentes elementos de la página
Imagínese que usted está probando una nueva versión del texto para el botón de conversión. En el último momento, el diseñador decide cambiar el color del botón en la página de prueba. Durante el experimento, parece que la nueva página es dos veces más en comparación con la conversión de la antigua. Después de algún tiempo, se da cuenta de que las páginas de conversión cayeron un 50%. Ahora se puede explicar el aumento en la conversión durante la prueba. Por otra parte, usted entiende que el tiempo y la pérdida de clientes como un nuevo botón de la conversión de texto fueron menos eficaces que la antigua.
Mala elección de métricas
Imagínese que usted está probando la eficacia de los botones de conversión que pide al usuario para descargar el libro electrónico gratuito. En este caso, la conversión se puede considerar un clic en el botón, después de lo cual el libro comienza a cargarse automáticamente en el disco duro del visitante. Va a evaluar los resultados de la prueba para cada uno los botones de opción de CTR.