A/B testování e-mailu, někdy nazývané split test, je odeslání dvou verzí jednoho e-mailu dvěma skupinám příjemců, abyste zjistili, která verze má víc otevření nebo prokliků. V Quandě je to samostatný typ e-mailové kampaně, který vítěznou verzi po vyhodnocení sám pošle zbytku příjemců. V sedmé epizodě videoseriálu Quanda talks o něm Honza (Jan Spáčil, CEO Quandy) mluví s Evou Jordánovou, obchodní ředitelkou Quandy: jak moc se mají verze lišit, jak test nastavit, jak poznat vítěze a proč nahradit „myslím si“ za „vím“. Video má 12:59 a pod ním je celý přepis.
V kostce
- Verze A a B se mají lišit jen jednou věcí, třeba předmětem. Jinak nepoznáte, co výsledek způsobilo.
- Verzi B vytvoříte jedním klikem jako kopii verze A, test je proti jednoduché kampani jen pár kroků navíc.
- Příklad z videa: z 1 000 příjemců dostane 100 verzi A, 100 verzi B a zbylých 800 automaticky vítěze.
- Vyhodnocení nastavíte na 1 hodinu až 7 dní, Quanda doporučuje 1 den.
- Výsledky ukážou čtyři statistiky: verze A, verze B, jejich porovnání a celek.
- Když posíláte 10 000 lidem, i o 5 % lepší výsledek se projeví v poptávkách a objednávkách.
Stručně
- Co to je: sedmá epizoda Quanda talks, videorozhovor s přepisem.
- Kdo mluví: Jan Spáčil, CEO Quandy, a Eva Jordánová, obchodní ředitelka Quandy.
- Pro koho: pro každého, kdo posílá e-mailové kampaně a chce vědět, ne odhadovat, co jeho příjemci otevírají a na co klikají.
- Co je potřeba: tarif Professional nebo Enterprise a seznam příjemců, technicky aspoň 11 kontaktů, pro spolehlivý výsledek spíš stovky.
- Kolik stojí: ve variantě Jen e-maily tarif Professional od 90 Kč měsíčně bez DPH při roční platbě, nový účet má 14 dní zdarma s plnou funkčností. Cenu pro váš počet kontaktů spočítá ceník.
Délka videa: 12:59
Kapitoly videa
Kliknutím na kapitolu spustíte video od daného místa.
-
Úvod
-
Co je to e-mailová kampaň s A/B testováním? Jak to funguje?
-
Jak moc mají být e-maily A a B jiné? Tipy pro tvorbu e-mailu pro A/B testování
-
Jak postupovat při tvorbě kampaně?
-
Jak nastavit podmínky testování?
-
Jak poznám, co fungovalo lépe?
-
Co všechno mohu v e-mailech testovat?
-
Vyplatí se testovat e-maily opakovaně?
-
Na co má dopad A/B testování e-mailů?
-
Ve kterém tarifu je tento typ kampaní dostupný?
Záznam rozhovoru v textové podobě si můžete přečíst níže.
Co je A/B testování e-mailu
Je to e-mailová kampaň, ve které vybraným příjemcům posíláte současně dvě verze e-mailu, A a B. Quanda změří, která verze měla víc otevření nebo prokliků, a dá vám tak zpětnou vazbu, co u vašich příjemců funguje lépe.
Tak, ahoj Honzo.
Ahoj Evi.
Dnešní téma je A/B testování. Myslím si, že spousta klientů ani neví, co to vlastně je a co si pod tím představit. Tak nám ze začátku řekni, co to je a k čemu se to dá použít.
Dobře. A/B testování je jeden z druhů e-mailových kampaní, říkáme tomu e-mailová kampaň s A/B testováním. V rámci této kampaně posílám vybraným příjemcům, které chci oslovit, rovnou současně dvě verze e-mailu. A tenhle typ kampaně mi pomůže vyhodnotit, která verze funguje lépe.
Protože jsou to dva e-maily, říká se tomu A/B testování: je to e-mail verze A a e-mail verze B a posílají se současně. Vyhodnotí se tak, abych potom věděl, který e-mail zafungoval líp. Ať už z hlediska otevření, prokliku nebo toho, co zrovna v rámci testování zkoumám.
Jak moc se mají verze A a B lišit
Jen jednou věcí. Když verze změníte v osmi bodech najednou, dozvíte se, která vyhrála, ale ne proč. Honza proto doporučuje testovat častěji a pokaždé jinou věc: jednou předmět, podruhé obrázky, potřetí tlačítka.
Čili já si pod jednou kampaní vytvořím dva různé e-maily. Jak moc různé? To je na mně?
Jasně, můžeš je udělat úplně různé. Je to ale nepraktické. Když e-maily uděláš moc jiné, mají jiný předmět, jiný obsah, úplně jiný vzhled, jeden má obrázky a druhý ne, systém ti ve statistikách ukáže: ano, líp fungoval ten první e-mail, třeba Áčko. Jenže ty teď nevíš, co vlastně způsobilo, že funguje líp. Jestli to byl jiný předmět nebo jiný obsah.
Proto zákazníkům většinou doporučuju, aby dělali změn co nejméně a A/B testování dělali častěji, ale pokaždé ho zacílili na něco jiného:
- Úplně stejný e-mail, který se liší jen předmětem.
- Stejný předmět, ale jeden e-mail má obrázky a druhý ne.
- Jeden e-mail má odkazy jako tlačítka, druhý jako textové odkazy.
- Jeden e-mail je grafický, s obrázky, barvami a pozadím, a druhý vypadá jako obyčejný textový e-mail v Outlooku.
Tu změnu tedy udělat takovou, abych jednoduše poznal, co fungovalo lépe a co hůř, a byl schopný říct, co přesně to bylo. Protože když změním osm věcí, těžko se to potom pozná.
Takže pak poznám, podle čeho to je.
Ano.
Jak na to dnes: chcete víc otevření, nechte obsah beze změny a měňte jen předmět a titulek. Chcete víc prokliků, nechte předmět a měňte počet, barvu nebo text tlačítek a odkazů. Jak napsat předměty, které stojí za test, radí článek Jak napsat předmět e-mailu, náměty na test prokliků najdete v článku Míra prokliku e-mailu.
Jak vytvořit kampaň s A/B testováním v Quandě
Stejně jako jednoduchou kampaň, jen s několika kroky navíc. Vyberete příjemce, vytvoříte e-mail verze A, tlačítkem ho zkopírujete do verze B, ve které změníte jednu věc, a na straně Odeslání nastavíte podmínky testu.
- V části E-mailové kampaně zvolte Vytvořit novou kampaň a v části A / B testování klikněte na Vytvořit.
- Vyberte příjemce stejně jako v jednoduché kampani, štítky nebo filtrem.
- Vytvořte e-mail verze A včetně předmětu a zkontrolujte obsah i odkazy.
- Klikněte na Uložit a vytvořit verzi B. Quanda e-mail zkopíruje.
- Ve verzi B změňte jednu věc, třeba předmět.
- Na straně Odeslání spusťte test na spam, nastavte podmínky A/B testování a pošlete si testovací e-maily obou verzí.
- Kampaň odešlete hned nebo naplánujte.
Dobře, mám dva vytvořené e-maily. Pošlou se současně všem klientům nebo části klientů? Jak to funguje?
Dopředu si vyberu příjemce, stejně jako v jednoduché e-mailové kampani: zákazníky nebo skupinu kontaktů, kterou chci oslovit. A je zajímavé, že když jsem zmínil jednoduchou e-mailovou kampaň, A/B testování je proti ní asi šest kliků navíc. Není to žádný složitý systém, protože e-mail, který chci poslat, musím vytvořit stejně.
Vyberu si tedy kontakty, které chci oslovit, úplně stejně, jako když posílám hromadný e-mail v jednoduché kampani. Vytvořím e-mail, který chci poslat. Řekněme, že chci otestovat otevíratelnost, tedy který předmět zafungoval lépe. Vytvořím e-mail včetně předmětu tak, jak ho chci poslat, otestuju ho na spam a celý zkontroluju, aby byl v pořádku z hlediska obsahu a odkazů.
V Quandě je pak tlačítko na vytvoření kopie. To, co mám, je verze A. Kliknu na uložit a vytvořit kopii a Quanda mi stejný e-mail zkopíruje a vloží do té jedné kampaně jako verzi B. Jedním klikem mám původní e-mail a z něho hned kopii.
V kopii vyměním předmět, doplním třeba slovo „novinky“, prostě předmět nějak změním. Nebo se vsadím s kolegou u stolu: on vymyslí jeden předmět, já druhý, a vsadíme se o pivo, kdo vyhraje. Takže z toho je taková vnitrofiremní hra. V každém případě vyměním jen předměty, e-maily nechám úplně stejné, takže na nich už nic netvořím ani netestuju.
Jak to dnes funguje v Quandě: tlačítko se jmenuje Uložit a vytvořit verzi B. Jednotlivé kroky popisují nápovědy E-mail editor v kampani A/B testování a Filtrování kontaktů a výběr příjemců v kampani A/B testování. Kdy použít A/B test a kdy seriál nebo logickou kampaň, vysvětluje online kurz zdarma Pokročilé kampaně v Quandě.
Jak nastavit podmínky A/B testování
Na straně Odeslání v sekci Nastavení A / B testování zvolíte tři věci: jak velká část příjemců dostane testovací verze, podle čeho se vybere vítěz a za jak dlouho. Po uplynutí času Quanda vítěznou verzi automaticky pošle všem ostatním příjemcům.
Strana odeslání se od jednoduché kampaně liší jednou sekcí, a to je nastavení testování. Nastavím si, kolika lidem chci poslat Áčko a kolika Béčko. Kampaň pak funguje tak, že části příjemců se pošle Áčko a části Béčko.
Nastavím si třeba, že pro test chci použít 20 % vybraných příjemců. Mám jich třeba tisícovku, aby se to dobře počítalo. 20 % je 200, takže 100 lidí dostane Áčko a 100 lidí Béčko. Mají jiné předměty a Quanda sbírá statistiky jako u všech odeslaných e-mailů. Plus si nastavím, za jak dlouho od odeslání těch dvou e-mailů se má vyhodnotit vítězná varianta.
Kampaň pak vítěznou variantu automaticky dopošle všem zbývajícím příjemcům. Na 200 lidech to otestuju, 100 Áčko, 100 Béčko, a 800 příjemců čeká, která z variant vyhraje. Po čase, který si zvolím, dostane těch 800 lidí automaticky vítěznou variantu. Nejen že mi to dá zpětnou vazbu, co funguje líp, ale to, co funguje lépe, rovnou pošle většině příjemců v kampani.
| Nastavení | Co určuje | Příklad z videa |
|---|---|---|
| Velikost testovací skupiny | kolik příjemců dostane verzi A a B | 20 % z 1 000, tedy 100 a 100 |
| Kritérium vítěze | jedno ze čtyř: unikátní otevření, celková otevření, unikátní prokliky, prokliky na zvolený odkaz | vyšší procento otevřených e-mailů |
| Doba vyhodnocení | za jak dlouho se vítěz vybere | 1 hodina až 7 dní, doporučeno 1 den |
| Zbytek příjemců | kdo dostane vítěze | 800 příjemců automaticky |
Z naší praxe: u vlastních testů v Quandě nepoužíváme kratší interval než 24 hodin, protože za hodinu nebo dvě většina lidí e-mail ještě neotevře a výsledek zkreslí náhoda. Jeden náš klient testoval jméno odesílatele a zjistil, že e-maily od „Kateřina z“ a názvu firmy lidé otevírají častěji než e-maily jen s názvem firmy nebo jen s e-mailovou adresou. Další tipy z praxe najdete v záznamu webináře Jak na pokročilé kampaně v Quandě.
Jak dlouho test nechat běžet: Quanda doporučuje 1 den, po 24 hodinách jsou výsledky nejspolehlivější. Mailchimp na téměř 500 000 A/B testech zjistil, že u testů podle otevření určí dvě hodiny dlouhodobého vítěze ve více než 80 % případů a dvanáct hodin ve více než 90 %. Postup nastavení popisuje nápověda Nastavení odeslání v kampani A/B testování.
Jak poznat, která verze vyhrála
Ze statistik kampaně. Kampaň s A/B testováním jich má čtyři: zvlášť pro verzi A, zvlášť pro verzi B, porovnání obou verzí v grafech a celkové výsledky, které sčítají testovací skupiny i rozeslání vítěze.
A jak pak poznám, kdo to pivo vyhrál? Co poznám ze statistik?
Statistiky jsou proti jednoduché e-mailové kampani rozšířené. Mám tam čtyři záložky: verzi A, verzi B, porovnání A a B a celkové statistiky za celou kampaň, tedy součet testovacích e-mailů a doposlání vítěze. Přesně vidím, jak lidé reagovali na Áčko a jak na Béčko. Pak mám samostatnou stránku s porovnáním otevíratelnosti a prokliků v grafech, kde jsou pro každou hodnotu vždy dva pruhy vedle sebe. A celková statistika mi všechno sečte, abych viděl celkové výsledky kampaně.
Jak to dnes funguje v Quandě: na straně s porovnáním najdete i to, která verze vyhrála, s jakým předmětem a jaký byl interval pro výběr vítěze, a také porovnání prokliků na jednotlivé odkazy. Statistiky exportujete do Excelu. Co znamenají jednotlivé hodnoty, popisuje nápověda Statistiky v kampani A/B testování. Quanda u otevíratelnosti odfiltruje víc než 80 % automatických otevření, například z Apple Mail, takže porovnání verzí podle otevření má vypovídací hodnotu.
Co všechno můžete v e-mailu testovat
Předmět, pořadí prvků, barvu a podobu tlačítek, délku předmětu i textu, obrázky proti textu. Předmět testujete podle otevření, všechno uvnitř e-mailu podle prokliků na stránku, kam lidi posíláte.
Je to pár kliků navíc a uživatel získá skvělý nástroj. Jednak jak se vsázet s kolegy, ale hlavně jak zvýšit efektivitu mailingu. Můžu testovat předmět, ale taky prokliky z kampaně. Můžu otestovat, jestli funguje lépe, když dám do e-mailu napřed nadpis, podnadpis, tlačítko a pak obrázek. Nebo když to celé přehodím. Nebo jestli zelená tlačítka fungují líp než červená, jestli krátký předmět funguje lépe než dlouhý a podobně. Mám nástroj, který mi dává okamžitou zpětnou vazbu na to, na co moji příjemci reagují lépe, co s nimi víc rezonuje a co přináší lepší výsledky.
| Co testovat | Verze A | Verze B | Vítěz podle |
|---|---|---|---|
| Předmět | „Novinky v sortimentu“ | „Co je u nás nového“ | otevření |
| Délka předmětu | krátký předmět | dlouhý předmět | otevření |
| Pořadí prvků | nadpis, podnadpis, tlačítko, obrázek | obrázek nahoře, tlačítko dole | prokliků |
| Tlačítko | zelené tlačítko | červené tlačítko | prokliků |
| Typ odkazu | tlačítko | textový odkaz | prokliků |
| Vzhled | grafický e-mail s obrázky | prostý textový e-mail | prokliků |
Proč A/B testování opakovat
Protože jedna z nejčastějších chyb marketingu je myslet si, co si myslí zákazníci. Opakované testy nahrazují „myslím si“ za „vím“ a ukážou, že na dlouholeté zákazníky může fungovat jiná komunikace než na nové. Malá změna v předmětu přitom může změnit výsledek klidně o 10 %.
Skoro se to jeví tak, že to nepoužít jednou, ale používat to určitě častěji. Často vidíme něco a řekneme si: tohle je super, to je pěkné, to bude fungovat. A nenapadlo by nás, že když místo obrázků dáme text, zafunguje to kolikrát líp.
Přesně, je to jako s jakoukoliv jinou reklamou. Můžu si myslet, co na zákazníky bude fungovat, ale to, co si myslím, nemusí být vždycky to, co funguje. Často říkám svým zákazníkům, že jednou z nejčastějších chyb marketingu je myslet si, co si zákazníci myslí. A když mám nástroje, jak to myšlení dát pryč a nahradit ho věděním, tedy místo „myslet“ „vědět“, je to vždycky lepší. Můžu si myslet, že zákazníci ode mě čekají e-mail v nějaké podobě, jenže když jsou to úplně jiní lidé než já, moje představa může být úplně chybná.
Jednou z nejčastějších chyb marketingu je myslet si, co si zákazníci myslí.
Jan SpáčilCEO QuandaOni čekají krátký, stručný, výstižný e-mail, a já jsem přesvědčený, že když tam napíšu všechno, bude to nejlepší. Nebo si myslím, že čím víc obrázků a čím víc toho z produktu ukážu, tím víc bude reakcí. Může to být pravda a nemusí. A/B test mi dá skutečnou zpětnou vazbu, jestli stručný e-mail bude mít víc prokliků než dlouhý, kde všechno vysvětlím. Nikde není řečeno, že funguje první nebo druhá varianta. Když to otestuju, mám reálná čísla a vím, co na konkrétní segment příjemců fungovalo.
Můžu tam mít zákazníky, kteří se mnou spolupracují pět let, a na ně může fungovat jiný typ komunikace než na úplně nové zákazníky. A ještě jinak to bude fungovat na ty, kteří ještě vůbec nekoupili. Když firmu provozuju 20 let a myslím si, že o tom všechno vím, ze zkušenosti to samozřejmě můžu trefit. Třeba perfektně trefím komunikaci pro zákazníky, kteří od nás kupují deset let, ale už ne pro ty nové. Ti jsou o deset let mladší, můžou jinak přemýšlet a být zvyklí přijímat komunikaci úplně jinak.
Hlavně se tím logicky zvyšuje otevíratelnost e-mailů, že?
Otevíratelnost, prokliky. Jdu po výsledku a nedělám pořád dokola to samé s očekáváním, že to bude mít jiné výsledky. To ale neznamená, že to, co dělám dokola, nemůže být ta nejlepší varianta. Zase je to o tom, jestli si to myslím nebo to vím. A/B testování mě víc přiblíží do roviny vědění: vím, že tohle funguje, tak to používám.
Jsou lidi, o kterých říkám, že vidí za roh. Řeknou: ne, bude to fungovat takhle, udělají to a fakt to funguje. Já jsem takové štěstí nikdy neměl a vždycky jsem víc spoléhal na data, průzkumy a výsledky. Buď mi potvrdily moje domněnky a řekl jsem si: myslím si to dobře. Nebo mi řekly: hele, je to těsně vedle. Většinou to není o tom, že by to bylo o 180 stupňů jinak. Ale někdy vyměním slovo v předmětu, trošku jinak udělám strukturu, dlouhé zkrátím nebo naopak, a najednou mám o 10 % jiné výsledky.
Tip: A/B test má cenu jako zvyk. Výsledky si zapisujte do sdílené tabulky: co jste testovali, co jste čekali, velikost skupin a výsledek. Po půl roce máte vlastní seznam toho, co u vaší databáze funguje. Jak testování zapadá do pravidelného ladění kampaní, popisuje díl Quanda talks #12: Proč posílat e-maily.
Na co má A/B testování dopad
Na otevíratelnost, prokliky a v důsledku na poptávky a objednávky. Když kampaň jde 10 000 lidem a lepší verze má o 5 % lepší výsledky, projeví se to v následných konverzích. Někteří zákazníci Quandy proto nahradili A/B testem 90 % jednoduchých kampaní.
Když pak kampaň posílám na 10 000 lidí a mám o 5 % jiné výsledky, projeví se to v následných konverzích, poptávkách, objednávkách a podobně. Je to nástroj, který mi na pár kliků pomůže tuhle kampaň vytvořit. A musím říct, že máme zákazníky, kteří když objevili potenciál téhle věci, nahradili 90 % jednoduchých kampaní A/B testováním. Skoro už neposílají jednoduché e-mailové kampaně, vždycky je to A/B test, protože tím rovnou získávají lepší výsledky.
Související díl: jak zvýšit otevíratelnost odesílatelem, předmětem a titulkem, rozebírá Quanda talks #11: Jak zvýšit otevíratelnost e-mailu. Co je normální míra prokliku a jak ji spočítat, najdete v článku Míra prokliku e-mailu.
Ve kterém tarifu je A/B testování
V tarifech Professional a Enterprise, stejně jako e-mailové seriály. Ve variantě Jen e-maily stojí tarif Professional od 90 Kč měsíčně bez DPH při roční platbě. V tarifu Standard A/B testování není.
Poslední věc, kterou bych to uzavřela: je A/B testování dostupné v jakémkoliv tarifu? Nebo je potřeba jít do vyššího tarifu?
V e-mailových kampaních máme tarify Basic, Standard, Professional a Enterprise a A/B testování je stejně jako e-mailové seriály dostupné od tarifu Professional. Pro tarify Professional a Enterprise je dostupné, pro nižší ne. Pokud je někdo ve Standardu a chtěl by A/B testování nebo e-mailové seriály vyzkoušet, je potřeba přejít na tarif Professional.
Můžu asi prozradit, že chystáme funkci zkušebního období i pro tohle rozšíření. Pokud by to chtěl někdo zkusit, stačí napsat na podporu nebo zavolat na naše telefonní číslo zákaznické podpory a my mu tarif můžeme na zkoušku aktivovat. Aby si mohl vyzkoušet, jestli pro něj ta věc má přínos, a teprve pak ji dál používal.
Bezva, tak fajn. Děkuju za tvůj čas.
Taky díky. Uvidíme se.
Tak jo, ahoj.
Poznámka k aktualizaci: rozhovor je z roku 2022. Tarif Basic dnes už není, Quanda nabízí tarify Standard, Professional a Enterprise a A/B testování je stejně jako e-mailové seriály v tarifech Professional a Enterprise. Každý nový účet má 14 dní zdarma s plnou funkčností, A/B test si tedy vyzkoušíte bez placení. Ceny pro váš počet kontaktů spočítá ceník, s výběrem tarifu poradíme na konzultaci zdarma.
Chcete to mít sepsané? Celý postup od příjemců po odeslání popisuje nápověda Jak vytvořit a nastavit e-mailovou kampaň s A/B testováním. Lekci o A/B testování s tipy, jak test nastavit, aby jeho výsledek něco znamenal, najdete v online kurzu zdarma Pokročilé kampaně v Quandě.
Další díly najdete v přehledu epizod Quanda talks.
