Mennyi extra bevételt hoz valójában a popupod? Ezt csak úgy tudhatod meg biztosan, ha a forgalmad egy részét távol tartod a kampánytól, és összehasonlítod az eredményeket. Ezt a részt hívjuk kontrollnak: egy olyan csoport, amely semmit sem lát.
Az OptiMonkban ezt nem kell kóddal megoldanod. A kampány A/B tesztjének beépített kontrollága van:
A designod: látogatók, akik látják a popupot.
Kontroll (nincs popup): látogatók, akik egyáltalán semmit nem látnak.
A forgalom megoszlik a kettő között, és a kampány Áttekintés fülén látod a növekményt és a győzelmi esélyt. Az összehasonlításhoz nincs szükséged Google Analyticsre, de ha szeretnéd, ott is ellenőrizheted.
A kontrollág hozzáadása
Nyisd meg a bal oldali menüben a Kampányok pontot, és kattints a mérni kívánt kampányra.
Maradj az Áttekintés fülön. A mérőszámsáv alatt látod a variánsok táblázatát.
Kattints a táblázat alatt az A/B teszt variáns hozzáadása gombra.
Válaszd a Kontroll (nincs popup) pontot: „Kontroll csoport, ami semmit sem lát”. Amíg létrejön, ezt látod: „Kontroll variáns hozzáadása…” és „Ez eltarthat pár másodpercig — szinkronizálás az OptiMonkkal.”
A kontroll új sorként jelenik meg a táblázatban. Nincs előnézeti képe. A bélyegkép helyén ez áll: Nem jelenik meg variáns, és pontosan ez is történik.
Kampányonként csak egy kontrollt adhatsz hozzá. Ha már van, a menüpont szürke, és ezt írja: Már hozzáadva.
Győződj meg róla, hogy mindkét sor be van kapcsolva. Minden sorban az Aktív kapcsoló dönti el, hogy az az ág kap-e forgalmat. A kikapcsolt kontroll semmit nem mér. Ha a designodat kikapcsolod, vele együtt a kontroll is kikapcsol, mert a kontroll egymagában senkinek nem mutatna semmit.
Válaszd a megfelelő célt
Ez a lépés fontos. A kontrollban lévő látogatók nem látnak popupot, így beküldeni sem tudnak semmit. Az alapértelmezett Feliratkozás célnál a kontrollnál nincs mit számolni, és a növekmény nem számolható ki.
Ehelyett azt mérd, ami az oldaladon történik. A mérőszámsávon nyisd le a célválasztót (a célkereszt ikonos menü a dátum mellett), és válaszd az Order célt. A táblázat oszlopai erre változnak: Látogatók · Rendelések · Rendelési arány · Növekmény. Így mindkét ágat ugyanúgy számolja: a látogatóik közül hányan rendeltek.
Hogyan oszlik meg a forgalom
Alapértelmezésben a forgalom egyenlően oszlik meg az aktív variánsok között. Egy designnal és egy kontrollal a látogatóid fele látja a popupot, a másik fele semmit.
Ezt módosíthatod. Kattints a Forgalom oszlopban a százalékra, és megnyílik az A/B teszt beállítások panel. A Forgalom megosztás alatt írd be mindkét ág arányát, például 90%-ot a designodnak és 10%-ot a kontrollnak, majd kattints a Mentés gombra. Minden ágnak 1–99% kell, és az összegnek 100%-nak kell lennie. Az egyenlő elosztáshoz jelöld be az Egyenletes elosztás négyzetet.
A kisebb kontroll kevesebbe kerül, de tovább tart, amíg elég adat gyűlik össze. Ha az arány nem módosítható, a panel jelzi, miért.
Az eredmény leolvasása
Amint mindkét ág forgalmat kap, az Áttekintés fül variánstáblázata megválaszolja a kérdést.
A táblázat feletti sáv ezt írja: A/B teszt fut, és megnevezi a designodat, például:
Design A vezet ennyivel: +14,20% (73% esély a győzelemre)
Amíg nincs elég adat, ez áll helyette: „Adatgyűjtés folyamatban.”
A variánsok táblázatában a kontroll a viszonyítási alap, ezért a Növekmény cellájában egy kötőjel áll. A designod sora a kontrollhoz mért növekményt mutatja.
Az Order célnál a +18% növekmény szó szerint értendő: azok a látogatók, akik láthatták a popupot, 18%-kal gyakrabban rendeltek, mint azok, akik nem. Ez a kampány valódi többlethatása, attribúciós modellezés nélkül.
A teszt lezárása
A kontroll elleni tesztet te zárod le. Az OptiMonk automatikus ellenőrzése ezt nem teszi meg helyetted: a kontrollt soha nem állítja le és nem hirdeti ki, és csak akkor lép, ha legalább két design van.
Ha a designod nyer, kattints a sáv gombjára (Győztes kihirdetése {threshold}%-nál vagy Kihirdetés most). A designod ezután mindenkinek fut, a kontroll pedig kikapcsol. Ha a design még nem érte el a küszöböt, az OptiMonk előbb rákérdez:
Biztosan kihirdeted a nyertest? A(z) „Design A” vezet, 71% eséllyel a győzelemre — ez a beállított 90% küszöb alatt van. Ha most lezárod a tesztet, statisztikailag még megbízhatatlan nyertest választhatsz.
Teszt folytatása / Kihirdetés mégis
Ha a kontroll nyer, az is valódi válasz. Azt jelenti, hogy a kampány a jelenlegi formájában nem hozza vissza önmagát. Magát a kontrollt nem lehet győztesnek kihirdetni. Szüneteltesd a kampányt, változtass az ajánlaton vagy a designon, és teszteld újra.
A kontroll eltávolítása
Nyisd meg a kontroll sorának végén a ⋮ menüt, és válaszd a Törlés pontot. A kampány a többi variánssal fut tovább. A kontrollt később bármikor visszaadhatod ugyanabból az A/B teszt variáns hozzáadása menüből.