A/B testing | Explicación completa

A/B Testing (prueba A/B o split testing) es un método de experimentación donde se comparan dos variantes de un elemento para determinar cuál produce mejores resultados.

¿Cómo funciona?

1. Se crea una hipótesis (ej: "Un botón rojo generará más clics que uno azul")
2. Se divide el tráfico: 50% ve versión A, 50% ve versión B
3. Se mide la métrica objetivo (clics, conversiones, retención)
4. Se determina estadísticamente cuál variante es mejor

Elementos típicos que se testean en gaming

• Precios de compras in-app
• Diseño de pantallas de tienda
• Dificultad de niveles o tutoriales
• Textos de notificaciones push
• Recompensas y ofertas

Ejemplo real: Un juego móvil testea dos ofertas: Pack A (10 gemas por 0.99€) vs Pack B (12 gemas por 1.29€). Tras 10,000 usuarios por variante, Pack B genera 15% más ingresos totales.

Preguntas frecuentes

¿Cuánto tráfico necesito? Depende del efecto esperado. Cambios pequeños requieren más usuarios para ser estadísticamente significativos (miles o decenas de miles).

¿Puedo testear más de dos variantes? Sí, se llama A/B/n testing, pero requiere más tráfico para obtener resultados significativos.

¿Qué es "significancia estadística"? La confianza de que el resultado no es por azar. Generalmente se busca 95% de confianza (p-value < 0.05).