A/B testovaním k lepším výsledkom e‑shopu

Čo je A/B testovanie

A/B testovanie je rozdelenie návštevníkov e-shopu na dve skupiny, pričom každá vidí inú verziu. Následne sa tieto verzie porovnávajú. Zvyčajne ide o to, ktorá verzia prináša viac konverzií.

My A/B testovanie považujeme za jednu z najefektívnejších a najdôležitejších metód testovania z hľadiska optimalizácie konverzného pomeru (CRO). Výhoda je najmä, že dokážeme presne kvantifikovať, ako konkrétna úprava pomohla/nepomohla so zlepšením vybraných KPI.

Najdôležitejšie výhody A/B testovania

• vieme presne povedať, ako určitá úprava vplýva na konverzný pomer a iné metriky
• výborná studňa vedomostí vtedy, keď si vieme na základe testovania urobiť obraz o tom, aké zmeny môžu mať aký vplyv a zlepšuje to náš odhad
• menšie riziko, že nasadíme niečo, čo zhoršuje konverzie
• jednoduché overenie predpokladov a hypotéz
• jednoduché, lacné a (takmer) pre každého

A/B testovanie ale nie je všeliek. Predpoklad toho, že budeme testovať zmysluplné úpravy je to, že máme informovaný predpoklad. Vieme, že je nejaký problém, máme to podložené dátami alebo užívateľským testovaním a na tomto základe navrhneme úpravu, ktorú následne testujeme. 

A/B testy nie sú pre každého

• Potrebujete mať dostatočný traffic
  • Zároveň nie vždy testujete s celou skupinou návštevníkov.
  • Nie je vhodné A/B testovať napríklad vyhľadávanie a do testu zaradiť aj návštevy, ktoré vyhľadávanie nikdy nepoužijú.
• Môžu trvať dlho
  • Hlavné faktory, ktoré ovlyvňujú dĺžku trvania testu sú:
    • návštevnosť,
    • počet konverzií (ak máte konverzný pomer 20%, test bude trvať výrazne kratšie ako pri 0,5%),
    • miera istoty, ktorú chcete dosiahnuť,
    • očakávané zlepšenie (čím menšie zlepšenie úprava prináša, tým dlhšie sa čaká na potvrdenie výsledku),
    • s predbežným výpočtom vám dokážu pomôcť rôzne kalkulačky napríklad https://cxl.com/ab-test-calculator/,
  • Neodporúčame robiť viac ako 1 test naraz, aj keď sa naoko úpravy neoplyvňujú (lepšie je urobiť multivariantný test. Na to však potrebujete skutočne veľkú návštevnosť, pretože sa rozdeľuje na viac častí.)
• Pokiaľ robíte A/B testy len preto, aby ste robili A/B testy, nič vám nepovedia
  • Do A/B testov je potrebné ísť s (informovanými) hypotézami a tie si overovať s cieľom vyriešiť nejaký problém. Ak má ísť o overenie nejakého pocitu, z A/B testovania sa stane veľmi neefektívny nástroj.

Čím A/B testovať?

Na A/B testovanie sa dajú použiť rôzne nástroje, zvyčajne platené. Medzi známe patrí napríklad VWO alebo Optimizely. My sme používali Google Optimize - bol spoľahlivý, jednoduchý, veľmi dobre spolupracoval s Google Analytics a bol zadarmo.

Koncom septembra 2023 sme sa bohužiaľ museli s týmto nástrojom rozlúčiť. Princíp funkčnosti tohto A/B testovacieho nástroja je však takmer totožný s jeho obdobami, preto odporúčame čítať ďalej.

Na to, ako sa Google Optimize nastavoval, nájdete určite množstvo článkov. Ja sa zameriam skôr na špecifiká toho, ako sme používali Google Optimize my - aj keď sa teórií úplne nevyhnem.

V prvom rade, máte na výber 2 možnosti, ako ho používať (veľmi zjednodušene povedané):

1. Návštevy rozdeľuje Google Optimize
2. Návštevy rozdeľujete vy (a.k.a. server, váš systém...)

1. Návštevy rozdeľuje Google Optimize

Google Optimize nasadiť na web ako bežný script. Podobne ako si pridávate Google Analytics alebo Facebook Pixel. Môžete to spraviť aj cez Google Tag Manager (GTM), ak ho na svojom webe používate a Google Optimize sa postará o všetko ostatné. V jeho rozhraní si potom pripravíte aj test a on bude automaticky rozdeľovať návštevy do jednotlivých variantov.

Povedal by som, že to je skôr počiatočný level ako začať s A/B testovaním. Hodí sa skôr na overenie si toho, či táto metóda má vo vašom prípade zmysel.

Chcem len upozorniť, že si treba dať veľký pozor na možné chyby a nevýhody, ktoré táto metóda so sebou prináša.

Hlavne ide o to, že varianty sa vytvárajú v prehliadači. Návštevník príde na stránku, najskôr vidí pôvodnú verziu, potom sa spustí Google Optimize script a presmeruje ho na novú verziu a web "preblikne".

Toto sa dá do určitej miery eliminovovať nejakými trikmi, ale zo skúsenosti vieme, že to nie je úplne ideálne. Nám sa napríklad na našom webe stalo, že pri takomto A/B testovaní sa web vôbec nenačítal v prípade, že zákazník používal Adblock a jediné čo bolo vidieť, bola prázdna biela stránka.

2. Návštevy rozdeľujete vy

V Google Optimize máte aj možnosť návštevnosť rozdeľovať sami a len pošlete informáciu, že tento zákazník, vidí tento variant. On už na základe sledovania Google Analytics vie, o koho ide a priradí správne všetky akcie tohto návštevníka.

Takto používame Optimize aj my. Naši programátori pripravia jednotlivé varianty, ktoré chceme testovať priamo v kóde a tiež pripravia obsluhu rozdeľovania návštevníkov. Návštevník vždy uvidí len tú verziu, ktorá mu bola určená. Nemôže nastať žiadne prebliknutie verzií alebo chyby spojené s A/B testovaním v prehliadači.

Zároveň máme veľkú flexibilitu v tom, čo budeme testovať, ako to budeme testovať a koho do testu zaradíme.

Implementácia tohto riešenia trvá len niekoľko hodín, a sme pripravení začať testovať. Ideálne nepretržite. Prvé testovanie je vo forme A/A testu - overujeme si, že návštevnosť sa správne rozdeľuje a či vo výsledkoch nie sú žiadne anomálie.

Testovanie v praxi

Pri A/B testovaní zvyčajne netreba mať ilúzie o tom, že zmeníme farbu tlačidla a konverzný pomer nám stúpne o 20%. Preto sa zameriavame na väčšie úpravy, kde máme prepodklad, že budú mať veľký dopad na metriky e-shopu. Napríklad testovanie nového objednávkového procesu je niekedy tak masívna zmena, že bez takéhoto postupu a spolupráce s vývojármi je testovanie veľmi zložité až nemožné.

Prikladám pár tipov a príkladov z praxe, ktoré sme v rámci A/B testovania cez Google Optimize uskutočnili.

• objednávkový proces na gate.shop
• vylepšené vyhľadávanie na namaximum.sk
• pop-up okno so zľavou na klenotyaurum.cz
• urgencie na detaily produktov na namaximum.sk
• inteligentnejšie zoraďovanie produktov na gate.shop
• medzikošík na gate.shop

Alebo sa môžete inšpirovať na stránkach ako je https://goodui.org.

A/B testovanie nemusí byť raketová veda, ale pravda je, že na každom rohu môže číhať nejaký problém. Preto je lepšie nechať to na niekoho, kto má skúsenosti a know-how. Ak potrebujete pomoc, ozvite sa nám, radi vám poradíme.