A/B testování

A/B testování prokazatelně přináší měřitelné obchodní výsledky. Jeho hodnota je podložena výzkumy i praxí největších technologických firem:

• Startupy s A/B testováním rostou o 30–100 % rychleji. Studie Harvard Business School (Koning, Hasan, Chatterji) analyzovala 35 262 high-tech startupů založených v letech 2008–2013 a prokázala, že firmy, které zavedly A/B testování, zlepšily svůj výkon o 30–100 % během jednoho roku. Zajímavé je, že experimentování pomáhá firmám nejen růst, ale i rychleji selhat – zakladatelé se špatnými nápady se díky datům přesunou k dalšímu projektu dříve (HBS – Experimentation and Start-up Performance, 2020).
• Malá změna titulku na Bingu přinesla 100 milionů dolarů ročně. Jeden zaměstnanec navrhl úpravu zobrazování nadpisů ve výsledcích vyhledávání Bing. Nápad byl měsíce odložen jako neprioritní, ale jednoduchý A/B test ukázal nárůst příjmů o 12 %, což ročně představovalo přes 100 milionů dolarů jen v USA. Stalo se to nejziskovější změnou v historii Bingu (Kohavi, Thomke – HBR, 2017).
• Obamova kampaň získala 60 milionů dolarů navíc díky A/B testům. Volební tým v roce 2008 testoval varianty registračních stránek – kombinace obrázků a textů tlačítek. Vítězná varianta zvýšila míru registrací o více než 3 procentní body, což vedlo k 2,88 milionům e-mailových kontaktů navíc a odhadem 60 milionům dolarů v darech. V kampani 2012 proběhlo přes 500 A/B testů za 20 měsíců, které zvýšily konverze darů o 29 % a registrací o 161 % (Optimizely – Obama's $60 Million Experiment).
• Největší firmy světa provádějí přes 10 000 experimentů ročně. Microsoft, Amazon, Booking.com, Facebook a Google – každá z těchto firem realizuje více než 10 000 online kontrolovaných experimentů ročně, přičemž mnohé testy zapojují miliony uživatelů. Booking.com provozuje přes 1 000 souběžných experimentů v 75 zemích a 43 jazycích (Kohavi, Thomke – HBR, 2017; Kaufman et al. – KDD, 2017).