Resumen:
- La prueba necesita cientos de conversiones por variante, no de visitas: con veinte leads al mes no cierra.
- Con poco tráfico se prueban cambios grandes, no ajustes de color.
- Las métricas intermedias ocurren más seguido y permiten decidir antes.
- Dos semanas mínimo, y no parar el día que va ganando.
- Un cambio por prueba: dos a la vez con poco tráfico no se pueden atribuir.
Las pruebas A/B tienen un problema de escala que casi nunca se menciona cuando se recomiendan. El método funciona bien con miles de conversiones y es honestamente inservible con decenas. Una empresa de servicios que recibe veinticinco leads al mes no puede medir si un encabezado nuevo mejoró la conversión un quince por ciento: la variación natural mes a mes es más grande que eso.
Por qué el número que importa son las conversiones
La intuición dice que con mucho tráfico ya se puede probar. Lo que determina la sensibilidad de una prueba no es el tráfico sino cuántas conversiones acumulas en cada variante, y eso puede ser cien veces menos.
Dos mil visitas al mes con dos por ciento de conversión son cuarenta leads. Divididos en dos variantes, veinte cada una. Con veinte contra veintitrés, la diferencia es ruido: podría ser una mejora del quince por ciento o podría ser que un martes llovió. Para separar eso del azar harían falta varios cientos de conversiones por lado, o sea más de un año de tráfico.
| Conversiones mensuales | Qué se puede probar |
|---|---|
| Menos de 30 | Nada estadísticamente; probar cambios radicales y juzgar por diferencias enormes |
| 30 a 100 | Cambios grandes, pruebas de 2 a 3 meses, usar métricas intermedias |
| 100 a 500 | Cambios de mensaje y estructura, pruebas de 3 a 6 semanas |
| Más de 500 | Pruebas A/B convencionales, ajustes finos incluidos |
Las tres salidas cuando no alcanza el tráfico
Probar cambios grandes. Si vas a comparar dos encabezados, que no sean dos versiones de la misma frase: que sean dos propuestas distintas. Una diferencia del cinco por ciento necesita muchos datos; una del sesenta por ciento se nota con pocos. Y los cambios grandes producen diferencias grandes más seguido de lo que se cree.
Medir más arriba del embudo. La conversión final es escasa, pero los pasos previos son abundantes. Clics en el botón principal, inicios de formulario, scroll hasta la sección de precios, tiempo en página. Si la variante B triplica los inicios de formulario, eso es señal utilizable mucho antes de que haya leads suficientes. No es prueba de que vendas más, y es información real.
Aplicar lo conocido. Hay cosas que ya están probadas en miles de sitios y no necesitas redescubrir: mostrar el costo de envío temprano, permitir pago como invitado, pedir WhatsApp, poner el teléfono visible, comprimir imágenes, un solo llamado a la acción por pantalla. Implementar eso directo es mejor uso de tu tráfico escaso que probarlo.
Los errores que invalidan una prueba
Pararla cuando va ganando es el más común y el más dañino. Si revisas todos los días y detienes la prueba el primer día que B va arriba, vas a "encontrar" ganadores que no existen, porque las series cortas fluctúan. La duración se fija antes de empezar y se respeta.
Cambiar algo más a mitad del experimento también la arruina: si subiste el presupuesto de anuncios o lanzaste una promoción, el tráfico que entra en la segunda semana no es comparable con el de la primera.
Y probar durante una temporada atípica, un Buen Fin, una quincena de diciembre, una semana de puente, produce conclusiones que no aplican el resto del año.
El caso de la empresa de paneles solares
Una empresa de paneles solares en Hermosillo recibía unas mil doscientas visitas mensuales a su landing y entre dieciocho y veinticuatro solicitudes de cotización. Contrataron una herramienta de pruebas A/B y corrieron tres meses probando colores de botón y textos del botón. Ninguna prueba llegó a conclusión y la conversión no se movió.
Cambiaron de enfoque. En lugar de ajustar, reescribieron la landing completa con una propuesta distinta: en vez de hablar de tecnología y certificaciones, el encabezado pasó a prometer el cálculo gratuito de cuánto bajaría su recibo con base en su consumo real, y el formulario pidió el monto del último recibo en lugar del tipo de instalación deseada.
Corrieron esa versión contra la anterior durante seis semanas. El resultado no necesitó estadística fina: la versión nueva generó setenta y una solicitudes contra veintiséis. Dos punto siete veces. Las métricas intermedias lo habían anticipado en la primera semana, cuando los inicios de formulario ya iban al doble.
La lección que se llevaron fue de asignación de esfuerzo: tres meses probando el color del botón no podían producir ningún resultado detectable con su tráfico, y seis semanas probando una propuesta distinta duplicaron el negocio de la página.
¿Cuánto tráfico necesito para una prueba A/B válida?
Para detectar una mejora moderada con confianza razonable hacen falta del orden de varios cientos de conversiones por variante, no de visitas. Si recibes veinte leads al mes, una prueba honesta tardaría años. Por eso en sitios de poco tráfico conviene probar cambios grandes, que producen diferencias grandes y se detectan con menos datos.
¿Qué hago si no tengo tráfico suficiente para probar?
Tres cosas: probar cambios radicales en lugar de ajustes finos, usar métricas intermedias que ocurren más seguido que la conversión final, como clics en el botón o inicios de formulario, y aplicar lo que ya se sabe que funciona en lugar de redescubrirlo. No hay vergüenza en copiar prácticas probadas cuando no puedes medir las tuyas.
¿Qué conviene probar primero en una landing page?
El encabezado y la oferta, en ese orden, porque son lo que más mueve. Después el formulario, el botón principal y las pruebas de confianza. Lo que casi nunca vale la pena probar es el color de un botón o el tamaño de una tipografía: los efectos son tan pequeños que con poco tráfico es imposible distinguirlos del ruido.
¿Cuánto tiempo debe durar una prueba?
Mínimo dos semanas completas, aunque los números se vean claros antes, para cubrir los dos ciclos semanales: la gente se comporta distinto lunes y sábado. Y nunca se detiene una prueba el día que va ganando: parar en cuanto aparece una diferencia favorable es la forma más común de concluir cosas falsas.
¿Puedo probar dos cosas al mismo tiempo?
Si tienes poco tráfico, no: no vas a poder saber cuál de las dos causó el cambio y vas a dividir tus datos a la mitad. Con tráfico abundante existen diseños que permiten probar varias cosas a la vez, pero requieren bastante más volumen. Con poco tráfico la disciplina es un cambio por prueba, aunque se sienta lento.