Verifica se la differenza di conversione tra due varianti è statisticamente significativa.
Inserisci i dati di entrambe le varianti.
Un test A/B è significativo quando la differenza di conversione fra le due varianti è abbastanza grande, rispetto al numero di visitatori, da non poter essere casuale. Il calcolatore usa un test z su due proporzioni e ti dà il livello di confidenza.
Formula
Tasso = conversioni ÷ visitatori, per ciascuna variante
z = (tasso B − tasso A) ÷ errore standard del tasso combinato
Confidenza = probabilità normale di z (test a una coda)
| Voce | Valore |
|---|---|
| Variante A: visitatori · conversioni | 5.000 · 100 (2,0%) |
| Variante B: visitatori · conversioni | 5.000 · 130 (2,6%) |
| z | 2,0 |
| Confidenza (a una coda) | 97,7% |
Il calcolatore dichiara un vincitore dal 97,5% a una coda, che equivale alla soglia comune del 95% a due code. Sotto, la differenza può essere rumore: aspetta più dati prima di decidere. Quanti dati servono per giudicare una campagna, oltre che un test, è in Budget minimo per capire se una campagna funziona davvero.
Dipende dal tasso di conversione e dalla differenza che vuoi vedere: più piccola è la differenza, più traffico serve. Con conversioni intorno al 2% servono migliaia di visitatori per variante.
Meglio di no. Fissa prima la durata, almeno una o due settimane intere, e leggi il risultato alla fine: controllare ogni giorno e fermarsi al primo 95% aumenta i falsi positivi.
Sì, per confrontare due creatività o due pubblici sulla stessa metrica. Per giudicare se una campagna singola rende rispetto al tuo CAC target serve invece un numero minimo di conversioni.
Di Stefano Allega, Open Source Business: gestione ecommerce chiavi in mano per brand italiani.