Significancia estadística en pruebas A/B

Cuando una campaña tiene dos o más variantes, Joryio calcula automáticamente si las diferencias de rendimiento son estadísticamente significativas. Así sabes si una variante es realmente mejor, y no solo si va por delante por azar.

Qué verás

Intervalos de confianza

Cada métrica de tasa (tasa de apertura y tasa de clic) muestra un intervalo debajo:

Tasa de apertura: 24,90 %
[21.3% - 28.8%]

Esto significa que hay un 95 % de probabilidad de que la tasa real caiga dentro de ese intervalo. Los intervalos más estrechos indican datos más fiables.

Insignias de significancia

Junto a cada tasa verás una insignia de color:

• Verde +12,5 %: esta variante es significativamente mejor que la referencia.
• Roja -5,2 %: esta variante es significativamente peor que la referencia.
• Gris p=0,234: aún no hay evidencia suficiente (hacen falta más datos).

Un resultado es «significativo» cuando p < 0.05, es decir, cuando hay menos de un 5 % de probabilidad de que la diferencia se deba al azar.

Etiquetas de líder y ganadora

• «Liderando» (etiqueta azul): la variante con la tasa más alta en la métrica principal.
• «Ganadora» (etiqueta verde e icono de trofeo): una ganadora confirmada estadísticamente y declarada de forma oficial.

Configurar el análisis estadístico

Configuración de la prueba A/B

Al crear o editar una campaña con dos o más variantes, puedes configurar el análisis:

Ajuste	Descripción	Predeterminado
Métrica principal	La métrica que determina la ganadora	La primera métrica que el canal puede informar de verdad - consulta Métricas por canal
Tamaño de muestra mínimo	Destinatarios mínimos por variante antes de calcular la significancia	100
Ganadora automática	Declara automáticamente una ganadora al alcanzar significancia	Desactivado
Promoción automática	Dirige el 100 % del tráfico a la ganadora tras declararla	Desactivado

Métricas principales disponibles

Métrica	Ideal para	Qué mide
Aperturas (tasa de apertura)	Pruebas de asunto	Aperturas humanas únicas / entregados
Clics (tasa de clic)	Pruebas de contenido y CTA	Clics humanos únicos / entregados
Conversión (tasa de conversión)	Impacto de principio a fin	Conversiones del evento de conversión principal de la campaña (Seguimiento de conversiones) / destinatarios
Ingresos (por destinatario)	Valor de pedido / AOV	Suma de importes de compra (el único evento canónico Order Completed) en la ventana de atribución / destinatarios
CTR	Mensajes in-app	Clics / impresiones

Conversión usa el evento de conversión principal de la campaña, definido en Seguimiento de conversiones. Configura uno allí; de lo contrario, no se podrá evaluar a la ganadora por conversión. Ingresos es una métrica continua ponderada por importe y no tiene prueba de significancia: la ganadora por ingresos se declara según los ingresos más altos por destinatario al finalizar el plazo (no finaliza antes).

Ejemplo de configuración mediante API

{
  "abTestConfig": {
    "primaryMetric": "openRate",
    "minSampleSizePerVariant": 200,
    "autoWinnerEnabled": true,
    "autoPromoteEnabled": false
  }
}

Cómo funciona la referencia

Cada cálculo de significancia compara una variante con una referencia:

1. Grupo de control: se usa como referencia cuando existe, tiene destinatarios y la métrica principal es Conversión o Ingresos. A un grupo de control no se le envió nada, así que no tiene aperturas ni clics con los que comparar una tasa de apertura o de clic.
2. La primera variante creada: en cualquier otro caso. Nunca la de mejor rendimiento: la líder observada lo es en parte porque tuvo suerte, así que comparar el resto con ella hace que todas parezcan peores de lo que son y entrega la victoria a la que se adelantó pronto. Una variante de referencia debe fijarse antes de que lleguen los datos.

Todas las demás variantes muestran su diferencia relativa frente a esta referencia.

Detección automática de ganadora

Cuando activas autoWinnerEnabled:

1. Un trabajo en segundo plano comprueba los resultados cada 5 minutos.
2. Verifica que todas las variantes hayan alcanzado el tamaño de muestra mínimo.
3. Si una variante tiene p < 0.05 en la métrica principal → se declara ganadora.
4. Si autoPromoteEnabled también está activado → el 100 % del tráfico se dirige a la ganadora.

Qué ocurre después de declarar una ganadora

• Aparece un aviso verde en la parte superior de la tabla de comparación de variantes.
• La variante ganadora recibe un icono de trofeo y la etiqueta «Ganadora».
• Se guardan los pesos originales de tráfico para poder revertirlos si es necesario.
• Si la promoción automática está activada, todos los destinatarios nuevos reciben la variante ganadora.

Cuando no hay ganadora

Si las variantes rinden de forma similar y no aparece una diferencia significativa:

• La etiqueta «Liderando» indica qué variante va por delante en ese momento.
• Las insignias grises p=... indican cuán cerca está cada comparación de la significancia.
• Considera prolongar la prueba o aumentar el tamaño de muestra.

Entender las cifras

Intervalo de confianza (IC)

Qué significa: «Tenemos un 95 % de confianza en que la tasa real se encuentra dentro de este intervalo».

Ejemplo:
Variante A: tasa de apertura 20,0 % [16,7 % - 23,7 %]
Variante B: tasa de apertura 24,9 % [21,3 % - 28,8 %]

Los IC se solapan en este ejemplo, lo que sugiere que la diferencia podría no ser significativa. Cuando los IC no se solapan, la diferencia casi con seguridad es significativa.

Valor p

Qué significa: «La probabilidad de observar una diferencia de este tamaño, o mayor, por puro azar».

• p = 0.03 → Solo un 3 % de probabilidad de que sea aleatorio → Significativo (insignia verde o roja).
• p = 0.23 → Un 23 % de probabilidad de que sea aleatorio → No significativo (insignia gris).
• p = 0.001 → Evidencia muy sólida → Muy significativo.

Diferencia relativa

Qué significa: «Cuánto mejor o peor es esta variante que la referencia, expresado como porcentaje».

Referencia: tasa de apertura del 20 %
Variante B: tasa de apertura del 25 %
Diferencia relativa: +25 % (no +5 puntos porcentuales)

Aviso de recopilación de datos

Cuando las variantes aún no han alcanzado el tamaño de muestra mínimo, verás un aviso amarillo:

«Recopilando datos: cada variante necesita al menos 100 muestras antes de poder calcular la significancia».

Esto evita que saques conclusiones con datos insuficientes.

Métricas por canal

El valor predeterminado es la primera métrica que el canal puede informar, y una métrica que el canal no puede informar se rechaza al guardar en lugar de puntuar cada variante con un 0 %.

Canal	Métrica predeterminada	Disponibles
Email	Tasa de apertura	Aperturas, clics, conversión, ingresos
SMS	Tasa de clic	Clics, conversión, ingresos
Push	Tasa de clic	Clics, conversión, ingresos
In-app	CTR	Clics, conversión, ingresos
Webhook	Tasa de conversión	Conversión, ingresos
WhatsApp	Tasa de apertura	Aperturas, clics, conversión, ingresos

Variante personalizada frente a variante ganadora

Las pruebas A/B ofrecen dos modos, ambos basados en los mismos objetivos: Aperturas · Clics · Conversión · Ingresos:

• Variante ganadora: mide y luego promociona. Envía todas las variantes, las evalúa con la métrica indicada y promociona la mejor a todos los demás. Es el modo que describe esta página.
• Variante personalizada: predice por persona. Para cada destinatario, el modelo de ML elige la variante con la que esa persona tiene más probabilidades de actuar para el objetivo elegido; no existe una sola ganadora. Aprende de los resultados con el tiempo (usa Calentar para variantes completamente nuevas) y Conversión usa el mismo evento de conversión principal de la campaña. Aperturas y clics son objetivos diferentes; «Aperturas» es una señal más débil porque Apple Mail Privacy Protection infla las tasas de apertura.

Consejos para obtener resultados fiables

Guía de tamaño de muestra

Qué estás probando	Mínimo por variante
Tasa de apertura (efecto grande)	100-500
Tasa de clic	500-1.000
Tasa de conversión	1.000-5.000
Diferencias pequeñas (1-2 %)	5.000+

Errores habituales

• Mirar demasiado pronto: no compruebes los resultados cada hora ni detengas la prueba al ver verde. Deja que alcance el tamaño de muestra mínimo.
• Demasiadas variantes: lo ideal son 2 o 3 variantes. Más variantes implican más datos necesarios por variante.
• Probar durante anomalías: evita festivos, interrupciones del servicio u otros periodos inusuales.
• Ignorar el IC: un resultado «significativo» con un IC muy amplio puede no ser relevante en la práctica.

Próximos pasos

• Conceptos básicos de pruebas A/B: cómo crear y ejecutar pruebas A/B.
• Creación de campañas: guía de configuración de campañas.
• Analítica de campañas: cómo entender los resultados.