Significancia estadística en pruebas A/B

Cuando una campaña tiene dos o más variantes, Joryio calcula automáticamente si las diferencias de rendimiento son estadísticamente significativas. Así sabes si una variante es realmente mejor, y no solo si va por delante por azar.

Qué verás

Intervalos de confianza

Cada métrica de tasa (tasa de apertura y tasa de clic) muestra un intervalo debajo:

Tasa de apertura: 24,90 %
[21.3% - 28.8%]

Esto significa que hay un 95 % de probabilidad de que la tasa real caiga dentro de ese intervalo. Los intervalos más estrechos indican datos más fiables.

Insignias de significancia

Junto a cada tasa verás una insignia de color:

• Verde +12,5 %: esta variante es significativamente mejor que la referencia.
• Roja -5,2 %: esta variante es significativamente peor que la referencia.
• Gris p=0,234: aún no hay evidencia suficiente (hacen falta más datos).

Un resultado es «significativo» cuando p < 0.05, es decir, cuando hay menos de un 5 % de probabilidad de que la diferencia se deba al azar.

Etiquetas de líder y ganadora

• «Liderando» (etiqueta azul): la variante con la tasa más alta en la métrica principal.
• «Ganadora» (etiqueta verde e icono de trofeo): una ganadora confirmada estadísticamente y declarada de forma oficial.

Configurar el análisis estadístico

Configuración de la prueba A/B

Al crear o editar una campaña con dos o más variantes, puedes configurar el análisis:

Ajuste	Descripción	Predeterminado
Métrica principal	La métrica que determina la ganadora	Tasa de apertura (in-app: CTR)
Tamaño de muestra mínimo	Destinatarios mínimos por variante antes de calcular la significancia	100
Ganadora automática	Declara automáticamente una ganadora al alcanzar significancia	Desactivado
Promoción automática	Dirige el 100 % del tráfico a la ganadora tras declararla	Desactivado

Métricas principales disponibles

Métrica	Ideal para	Qué mide
Aperturas (tasa de apertura)	Pruebas de asunto	Aperturas humanas únicas / entregados
Clics (tasa de clic)	Pruebas de contenido y CTA	Clics humanos únicos / entregados
Conversión (tasa de conversión)	Impacto de principio a fin	Conversiones del evento de conversión principal de la campaña (Seguimiento de conversiones) / destinatarios
Ingresos (por destinatario)	Valor de pedido / AOV	Suma de importes de compra (purchase / Order Completed) en la ventana de atribución / destinatarios
CTR	Mensajes in-app	Clics / impresiones

Conversión usa el evento de conversión principal de la campaña, definido en Seguimiento de conversiones. Configura uno allí; de lo contrario, no se podrá evaluar a la ganadora por conversión. Ingresos es una métrica continua ponderada por importe y no tiene prueba de significancia: la ganadora por ingresos se declara según los ingresos más altos por destinatario al finalizar el plazo (no finaliza antes).

Ejemplo de configuración mediante API

{
  "abTestConfig": {
    "primaryMetric": "openRate",
    "minSampleSizePerVariant": 200,
    "autoWinnerEnabled": true,
    "autoPromoteEnabled": false
  }
}

Cómo funciona la referencia

Cada cálculo de significancia compara una variante con una referencia:

1. Grupo de control: si tienes una variante de grupo de control (sin mensaje enviado), se usa como referencia.
2. Mejor rendimiento: si no hay grupo de control, se usa como referencia la variante con la tasa más alta en la métrica principal.

Todas las demás variantes muestran su diferencia relativa frente a esta referencia.

Detección automática de ganadora

Cuando activas autoWinnerEnabled:

1. Un trabajo en segundo plano comprueba los resultados cada 5 minutos.
2. Verifica que todas las variantes hayan alcanzado el tamaño de muestra mínimo.
3. Si una variante tiene p < 0.05 en la métrica principal → se declara ganadora.
4. Si autoPromoteEnabled también está activado → el 100 % del tráfico se dirige a la ganadora.

Qué ocurre después de declarar una ganadora

• Aparece un aviso verde en la parte superior de la tabla de comparación de variantes.
• La variante ganadora recibe un icono de trofeo y la etiqueta «Ganadora».
• Se guardan los pesos originales de tráfico para poder revertirlos si es necesario.
• Si la promoción automática está activada, todos los destinatarios nuevos reciben la variante ganadora.

Cuando no hay ganadora

Si las variantes rinden de forma similar y no aparece una diferencia significativa:

• La etiqueta «Liderando» indica qué variante va por delante en ese momento.
• Las insignias grises p=... indican cuán cerca está cada comparación de la significancia.
• Considera prolongar la prueba o aumentar el tamaño de muestra.

Entender las cifras

Intervalo de confianza (IC)

Qué significa: «Tenemos un 95 % de confianza en que la tasa real se encuentra dentro de este intervalo».

Ejemplo:
Variante A: tasa de apertura 20,0 % [16,7 % - 23,7 %]
Variante B: tasa de apertura 24,9 % [21,3 % - 28,8 %]

Los IC se solapan en este ejemplo, lo que sugiere que la diferencia podría no ser significativa. Cuando los IC no se solapan, la diferencia casi con seguridad es significativa.

Valor p

Qué significa: «La probabilidad de observar una diferencia de este tamaño, o mayor, por puro azar».

• p = 0.03 → Solo un 3 % de probabilidad de que sea aleatorio → Significativo (insignia verde o roja).
• p = 0.23 → Un 23 % de probabilidad de que sea aleatorio → No significativo (insignia gris).
• p = 0.001 → Evidencia muy sólida → Muy significativo.

Diferencia relativa

Qué significa: «Cuánto mejor o peor es esta variante que la referencia, expresado como porcentaje».

Referencia: tasa de apertura del 20 %
Variante B: tasa de apertura del 25 %
Diferencia relativa: +25 % (no +5 puntos porcentuales)

Aviso de recopilación de datos

Cuando las variantes aún no han alcanzado el tamaño de muestra mínimo, verás un aviso amarillo:

«Recopilando datos: cada variante necesita al menos 100 muestras antes de poder calcular la significancia».

Esto evita que saques conclusiones con datos insuficientes.

Métricas por canal

Canal	Métrica predeterminada	Disponibles
Email	Tasa de apertura	Aperturas, clics, conversión, ingresos
SMS	Tasa de apertura	Aperturas, clics, conversión, ingresos
Push	Tasa de apertura	Aperturas, clics, conversión, ingresos
In-app	CTR	CTR, conversión
Webhook	Tasa de clic	Clics, conversión
WhatsApp	Tasa de apertura	Aperturas, clics, conversión, ingresos

Variante personalizada frente a variante ganadora

Las pruebas A/B ofrecen dos modos, ambos basados en los mismos objetivos: Aperturas · Clics · Conversión · Ingresos:

• Variante ganadora: mide y luego promociona. Envía todas las variantes, las evalúa con la métrica indicada y promociona la mejor a todos los demás. Es el modo que describe esta página.
• Variante personalizada: predice por persona. Para cada destinatario, el modelo de ML elige la variante con la que esa persona tiene más probabilidades de actuar para el objetivo elegido; no existe una sola ganadora. Aprende de los resultados con el tiempo (usa Calentar para variantes completamente nuevas) y Conversión usa el mismo evento de conversión principal de la campaña. Aperturas y clics son objetivos diferentes; «Aperturas» es una señal más débil porque Apple Mail Privacy Protection infla las tasas de apertura.

Consejos para obtener resultados fiables

Guía de tamaño de muestra

Qué estás probando	Mínimo por variante
Tasa de apertura (efecto grande)	100-500
Tasa de clic	500-1.000
Tasa de conversión	1.000-5.000
Diferencias pequeñas (1-2 %)	5.000+

Errores habituales

• Mirar demasiado pronto: no compruebes los resultados cada hora ni detengas la prueba al ver verde. Deja que alcance el tamaño de muestra mínimo.
• Demasiadas variantes: lo ideal son 2 o 3 variantes. Más variantes implican más datos necesarios por variante.
• Probar durante anomalías: evita festivos, interrupciones del servicio u otros periodos inusuales.
• Ignorar el IC: un resultado «significativo» con un IC muy amplio puede no ser relevante en la práctica.

Próximos pasos

• Conceptos básicos de pruebas A/B: cómo crear y ejecutar pruebas A/B.
• Creación de campañas: guía de configuración de campañas.
• Analítica de campañas: cómo entender los resultados.