Ti piacciono gli articoli del nostro blog?
Scrivici
Home / Blog
Home / Blog / Conversion Optimization / Come evitare un AB Test da...incubo!
18 maggio 2017

Come evitare un AB Test da...incubo!

Il Test AB è senza alcun dubbio diventato uno dei termini più utilizzati nel mondo digital. Potenzialmente può migliorare un approccio di marketing e incrementare le performance di business, ma non in tutti i casi.

L' AB Test è uno strumento che consente di stabilire causa ed effetto. Tanto che il 75% delle realtà attive online utilizza piattaforme per questo tipo di testing. Mentre il 61% delle restanti ha in programma attività di questo tipo.

Nonostante questo però, attività di testing poco efficaci portano a considerevoli perdite, oltre che di performance, anche di vendite.

In questo articolo vi proponiamo 3 casi fallimentari di AB Test. Conoscendo le trappole in cui queste realtà sono incappate può aiutare a trasformare un testing da incubo in una favola a lieto fine.

Storia 1: La variazione e l'altra faccia della moneta

Un sito dedicato ai viaggi intendeva ridisegnare completamente il proprio funnel di prenotazione (e acquisto). Per valutare l'efficacia delle scelte strategiche e di design è stato testato sul 50% dei visitatori.

I primi risultati sembravano ottimali tanto da rilevare un significativo aumento delle entrate. Dopo tre giornate uno dei manager della compagnia ha chiesto il motivo per cui la variante non fosse stata mostrata al restante 50% del target, visti i dati positivi raccolti fino a quel momento. La nuova soluzione è stata quindi implementata completamente sul sito, senza che il test avesse raggiunto un'adeguata significatività statistica. Dopo un paio di settimane è stato registrato un calo verticale nelle prenotazioni.

Il risultato dell'AB Test su tutto il campione ha portato a una decrescita complessiva del conversion rate pari al 10% .

Morale della storia

Mai giocato a testa o croce? Le prime volte potreste ottenere risultati positivi. Ma se si lancia 100 volte la moneta le possibilità di vittoria sono 50/50. Allo stesso modo quando si conduce un test, più accurato e preciso risulta, minori saranno le probabilità di ottenere risultati casuali e non significativi.

Articolo test AB.jpg

La dimensione del campione e la durata del test devono essere sufficientemente lunghe tanto da raggiungere la significatività statistica. Se si fanno asserzioni sulla base di risultati precoci si trarranno conclusioni basate sul caso.

Torniamo quindi alle ipotesi di test e ripartiamo. Un AB Test condotto con accuratezza e precisione consentirà di ridurre le perdite e migliorare le performance.

Storia 2: il caso del falso positivo

Il test Multivariato (o MVT) è uno dei metodi comuni utilizzati negli AB Test. La caratteristica è che propone differenti combinazioni degli elementi del sito: colore, posizione, copy, etc. L'obiettivo è valutare quale risulta essere la variante vincitrice.

Un'azienda appartenente al settore musicale ha deciso di testare 100 varianti differenti ed ha atteso di raggiungere qualche tipo di risultato che ricevesse rilevanza statistica, seguendo in apparenza le testing best practice. Alcune versioni sono risultate vincenti ed è stato deciso di applicare queste varianti direttamente nell'eCommerce. Purtroppo però, alla fine dell'anno, sono state riscontrate delle flessioni negative delle entrate, nonostante le soluzioni scelte si fossero rivelate vincenti.

Riattivando il test è stato riscontrato che nessuna delle proposte è risultata significativa. È stato quindi una perdita di tempo e denaro.

Morale della storia

Senza una validazione della variante vincitrice attraverso una seconda fase di test non è possibile asserire se risulti la migliore in base di un concreto motivo o per effetto del caso.

I falsi positivi sono frequenti in caso di un alto numero di variabili. Se quindi si ottengono molti test vincenti ma nessun incremento delle conversione è importate chiedersi se non si tratti di un caso di questo tipo.

Storia 3: il triste caso dell'abbandono precoce

Un'agenzia di viaggio online ha investito un ingente capitale in una nuova pagina "prodotto" e, su questa, ha attivato un AB Test.

Dopo la prima settimana la percentuale di conversione ha registrato delle perdite verticali. Il test è stato interrotto prima del raggiungimento della significatività statistica e non è stato quindi possibile capire se questa flessione fosse il risultato o meno del caso. La nuova pagina è stata eliminata in quando definita non in linea con gli obiettivi di marketing aziendali.

Morale della storia

I primi dati che vengono raccolti non incorporano alcun tipo di significatività statistica. Interrompere un test senza aver ottenuto alcun risultato concreto ne diminuisce l'efficacia e, soprattutto, annulla la possibilità di individuarne la reale utilità. Non si trova quindi alcuna variabile vincente.

Inoltre, eliminare un nuovo elemento del sito (nel caso specifico la pagina prodotto) interrompe bruscamente il flusso di visite proprio durante l'interazione e la fase di ricerca degli utenti. Questa scelta conduce a breve termine a un impatto negativo.

Conclusioni

Un test AB può risultare un campo minato. È quindi fondamentale conoscerne i dettagli e le potenziali "trappole" statistiche che possono condurre a ingenti perdite di tempo e denaro.

 

Conversion Optimization | 18 maggio 2017

il processo di conversion optimization mockup-base-1.png

Il processo di Conversion Optimization. La strada verso il successo.

eBook

 Scarica l'eBook

Boraso è la prima agenzia full service in Italia di Conversion Marketing specializzata in Conversion Optimization, UX Design, SEO, Media Advertising, eCommerce Magento, e sviluppo di siti web con obiettivi di conversione.

Condividi articolo su:

Ti piacciono gli articoli del nostro blog?

Resta in contatto con noi e ti informeremo anche sui nostri eventi e convegni.

Oppure chiama il Numero Verde 800.947.500