Eksperimentisanje ne znači stalno menjanje kampanja, proizvoda i procesa u nadi da će nešto slučajno proraditi. Dobar eksperiment ima mnogo precizniju ulogu: smanjuje važnu neizvesnost pre nego što organizacija uloži veći budžet, vreme ili reputaciju u neku odluku.
Umesto rasprave „mislim da će ovo raditi“ protiv „mislim da neće“, tim postavlja proverljivu hipotezu, ograničava rizik, definiše šta će meriti i unapred odlučuje šta će uraditi sa različitim rezultatima.
Kultura eksperimentisanja zato nije kultura neograničenog pokušavanja. Ona je kultura disciplinovanog učenja: mali testovi tamo gde je neizvesnost velika, veća ulaganja tek kada postoje dovoljno jaki signali i dokumentovanje rezultata kako organizacija ne bi stalno učila istu lekciju ispočetka.
Eksperiment nije isto što i promena
Ako promenite naslov landing stranice i sledeće nedelje prodaja poraste, to još ne znači da je novi naslov izazvao rast.
U međuvremenu su možda:
- pokrenuti oglasi;
- promenjene cene;
- počela sezonska potražnja;
- objavljen medijski tekst;
- stigla kvalitetnija publika;
- promenjene druge stvari na stranici.
Eksperiment pokušava da izoluje određenu pretpostavku dovoljno dobro da rezultat može da pomogne odluci.
To ne mora uvek biti savršeni laboratorijski A/B test. Ali mora postojati jasna veza između pitanja koje želite da rešite, postupka i podatka koji ćete koristiti.
Počnite od odluke, ne od ideje za test
Pre hipoteze postavite pitanje:
Koju odluku ćemo doneti kada dobijemo rezultat?
Na primer:
„Treba li da uložimo 20.000 evra u ovaj novi kanal?“
To je korisnije početno pitanje od:
„Hajde da malo testiramo TikTok.“
Prvo pitanje vodi ka odluci. Drugo lako vodi nizu aktivnosti bez jasnog trenutka kada je test završen.
Hipoteza treba da bude dovoljno konkretna da može da pogreši
Hipoteza:
„Nova stranica će biti bolja.“
nije dovoljno precizna.
Korisniji format je:
Ako promenimo X za publiku Y, očekujemo promenu Z zato što pretpostavljamo R.
Na primer:
„Ako na landing stranici iznad formulara jasno navedemo cenu početnog paketa, očekujemo veći procenat kvalifikovanih upita jer će korisnici pre slanja formulara bolje razumeti da li ponuda odgovara njihovom budžetu.“
Takva hipoteza već govori:
- šta menjamo;
- za koga;
- koji rezultat očekujemo;
- zašto očekujemo taj rezultat.
Ne pokušavajte jednim testom da odgovorite na pet pitanja
Zamislimo da istovremeno promenite:
- naslov;
- cenu;
- fotografiju;
- CTA;
- dužinu formulara.
Ako rezultat poraste, nećete znati šta je najviše doprinelo promeni.
Ponekad ima smisla testirati potpuno novu verziju kao paket, naročito kada je poslovno pitanje samo „da li nova verzija nadmašuje staru?“. Ali ako želite da učite zašto nešto radi, test treba dizajnirati tako da odgovor bude dovoljno interpretabilan.
Najvažnije pretpostavke testirajte prve
Nisu sve nepoznanice jednako rizične.
Ako pravite novi digitalni proizvod, moguće pretpostavke su:
- problem je dovoljno važan;
- ciljna grupa želi da ga reši;
- ljudi razumeju ponudu;
- spremni su da plate;
- možete ih dostići po održivoj ceni;
- proizvod tehnički možete isporučiti.
Nema mnogo smisla mesecima testirati boju dugmeta ako još ne znate da li postoji realna spremnost za kupovinu.
Prvo testirajte pretpostavke koje, ako su pogrešne, mogu srušiti čitavu ideju.
Procena rizika može odrediti redosled testova
Jednostavan način prioritizacije je da za svaku pretpostavku procenite:
| Pitanje | Šta procenjujete |
|---|---|
| Koliko smo sigurni? | Nivo postojeće evidencije |
| Koliki je uticaj ako grešimo? | Finansijski ili strateški rizik |
| Koliko košta provera? | Vreme, novac i resursi |
| Koliko brzo možemo nešto naučiti? | Vreme do korisnog signala |
Visok uticaj + niska sigurnost često je dobar kandidat za rani eksperiment.
Tražite najmanji test koji može promeniti odluku
„Mali test“ ne znači test koji je toliko mali da ništa ne može da pokaže.
Cilj je pronaći najmanji dovoljno informativan korak.
Na primer, pre ulaganja u kompletnu novu uslugu možete:
- obaviti strukturisane razgovore sa ciljnom grupom;
- napraviti prototip;
- ručno isporučiti uslugu malom broju korisnika;
- testirati landing stranicu;
- ponuditi pilot program;
- pokrenuti ograničenu kampanju sa unapred određenim budžetom.
Takav test ne dokazuje sve o budućem poslovanju, ali može ukloniti dovoljno neizvesnosti da znate da li sledeći korak ima smisla.
Primer: ne pravite proizvod pre nego što proverite interesovanje
Zamislimo kompaniju koja želi da napravi novu online edukaciju.
Puna produkcija zahteva 15.000 evra.
Umesto da odmah snimi dvadeset lekcija, tim može prvo napraviti:
- opis programa;
- jednostavnu landing stranicu;
- jasnu cenu;
- ograničenu kampanju;
- prijavu za pilot grupu.
Ako gotovo niko iz relevantne publike ne pokazuje ozbiljno interesovanje, kompanija je problem otkrila pre nego što je potrošila većinu budžeta.
Ako signal bude obećavajući, sledeći test može biti mala pilot grupa pre pune produkcije.
Ograničite maksimalni gubitak pre početka
Jedan od najboljih načina da eksperimentisanje ne postane rasipanje jeste da unapred odredite koliko ste spremni da izgubite da biste dobili odgovor.
Granice mogu biti izražene kroz:
- novac;
- vreme;
- broj korisnika;
- broj prikaza;
- kapacitet zaposlenih;
- reputacioni rizik.
Na primer:
„Za test novog kanala izdvajamo maksimalno 1.500 evra tokom četiri nedelje. Nakon toga donosimo odluku da li povećavamo ulaganje, menjamo pristup ili prekidamo.“
Tada test ima okvir. Nije otvorena obaveza bez kraja.
Budžet za učenje treba posmatrati odvojeno od budžeta za skaliranje
U fazi eksperimenta cilj nije nužno maksimalan profit.
Deo novca plaća informaciju.
Ako mali test pokaže da kanal verovatno neće biti održiv, tih nekoliko stotina ili hiljada evra nije automatski bačen novac. Možda je sprečio mnogo veće ulaganje.
Problem nastaje kada organizacija nastavi da troši i nakon što test više ne daje novo znanje.
Ne trošite isti budžet na svaku ideju
Eksperimenti nemaju istu vrednost ni isti rizik.
Koristan portfolio može sadržati:
- više veoma jeftinih testova;
- nekoliko srednjih eksperimenata;
- mali broj skupljih testova za ideje sa velikim potencijalom.
Tako organizacija ne zavisi od jedne velike opklade.
Sličan princip važi i za skaliranje online biznisa: ulaganje treba povećavati kada sistem pokazuje dovoljno kvalitetan signal, a ne samo zato što je ideja privlačna.
Definišite glavnu metriku pre početka
Ako tek nakon testa tražite broj koji izgleda dobro, gotovo svaki eksperiment može biti proglašen uspehom.
Pre početka definišite primarnu metriku.
Na primer:
- stopa kvalifikovanih leadova;
- stopa kupovine;
- aktivacija korisnika;
- zadržavanje;
- prihod po korisniku;
- trošak akvizicije.
Možete pratiti i sekundarne metrike, ali treba da bude jasno koja od njih vodi glavnoj odluci.
Dodajte zaštitne metrike
Poboljšanje jedne metrike može sakriti pogoršanje druge.
Zamislimo da kraći formular povećava broj leadova za 25%, ali prodajni tim zatim utvrdi da je veliki deo novih upita nekvalifikovan.
Primarna metrika je porasla, ali poslovni sistem možda nije postao bolji.
Zato se unapred definišu zaštitne ili guardrail metrike.
To mogu biti:
- stopa reklamacija;
- stopa odustajanja;
- kvalitet leadova;
- profitna marža;
- broj povraćaja;
- performanse sajta;
- bezbednosni incidenti;
- odjava korisnika;
- opterećenje customer supporta.
Rezultat nije uspeh ako narušava važniji deo sistema
Ako agresivniji email naslov podigne stopu otvaranja, ali istovremeno povećava odjave i prijave spama, potrebno je proceniti kompletan efekat.
Ako popust poveća prodaju, ali uništi maržu, veći broj porudžbina nije automatski bolji poslovni rezultat.
Eksperiment zato ne treba da optimizuje jednu metriku u vakuumu.
Odredite minimalno poboljšanje koje bi vam bilo poslovno važno
Nije svaka statistički ili numerički vidljiva promena vredna implementacije.
Ako promena povećava konverziju sa 5,00% na 5,02%, ali zahteva mesec dana razvoja i dodatne troškove održavanja, poslovna vrednost može biti zanemarljiva.
Pre testa pitajte:
Koliko veliko poboljšanje mora biti da bismo zbog njega promenili sistem?
To pomaže da tim ne juri mikroskopske razlike koje nemaju praktičan značaj.
Veličina uzorka je važna
Rezultat 4 kupovine naspram 2 kupovine može izgledati kao rast od 100%, ali na veoma malom uzorku takva razlika može biti nestabilna.
Što je odluka skuplja ili važnija, to treba biti oprezniji sa zaključcima zasnovanim na malom broju slučajeva.
Kod formalnih A/B testova potrebno je unapred razmišljati o:
- očekivanoj osnovnoj stopi;
- minimalnom efektu koji želite da otkrijete;
- potrebnom uzorku;
- trajanju;
- varijacijama saobraćaja.
Za važne eksperimente može biti potrebna ozbiljnija statistička analiza, a ne samo vizuelno poređenje dva procenta.
Ne zaustavljajte test čim rezultat izgleda lepo
Česta greška je svakodnevno gledanje rezultata i prekidanje testa onog trenutka kada jedna verzija povede.
Rani rezultat može da se promeni kako stiže više podataka.
Ako ste unapred odredili potreban period ili uzorak, rezultat treba tumačiti prema planu testa, osim ako postoji opravdan razlog za raniji prekid — na primer bezbednosni problem ili ozbiljno probijanje zaštitne metrike.
Ali nemojte ni nastavljati očigledno štetan test samo zbog plana
Disciplina ne znači slepo čekanje kraja ako eksperiment stvara ozbiljan problem.
Pre početka odredite stopping rules — situacije u kojima test mora biti zaustavljen.
Na primer:
- reklamacije pređu određenu granicu;
- trošak po rezultatu naglo premaši maksimum;
- pojavi se bezbednosni incident;
- dođe do značajnog tehničkog kvara;
- postane jasno da implementacija korisnicima nanosi štetu.
Kriterijum odluke treba definisati pre nego što vidite rezultat
Tim može unapred dogovoriti četiri moguća ishoda:
| Rezultat | Odluka |
|---|---|
| Jasno pozitivan signal | Širimo ili prelazimo na sledeći veći test |
| Jasno negativan signal | Zaustavljamo pristup |
| Neodređen rezultat | Ponavljamo ili redizajniramo test ako je pitanje i dalje važno |
| Zaštitna metrika probijena | Prekidamo bez obzira na glavnu metriku |
Dogovor pre rezultata smanjuje iskušenje da se kriterijum promeni zato što je tim emotivno vezan za ideju.
„Nije uspelo“ i „nismo ništa naučili“ nisu isto
Eksperiment koji pokaže da pretpostavka nije tačna može biti veoma koristan.
Na primer:
„Kupci nisu bili spremni da plate 40 evra mesečno za ovu funkcionalnost.“
To je važna informacija.
Mnogo slabiji rezultat je:
„Pustili smo kampanju dve nedelje, nešto nije bilo dobro, ali nismo sigurni šta smo pokušavali da proverimo.“
Prvi test je negativan rezultat sa učenjem. Drugi je potrošen budžet bez jasnog znanja.
Ne slavite neuspeh radi neuspeha
Popularna ideja „fail fast“ ponekad se pogrešno tumači kao da je veliki broj neuspeha dokaz inovativnosti.
Nije.
Cilj je jeftino otkriti pogrešne pretpostavke pre nego što postanu skupe.
Ako tim ponavlja iste greške, ignoriše prethodne podatke ili testira ideje bez jasne hipoteze, to nije zdrava kultura eksperimentisanja.
Ne kažnjavajte ljude zato što pošten eksperiment nije potvrdio hipotezu
Ako zaposleni zna da će mu negativan rezultat biti protumačen kao lični neuspeh, ima snažan podsticaj da:
- izbegava rizične testove;
- prikazuje samo pozitivne metrike;
- produžava test dok ne pronađe povoljan rezultat;
- ne prijavljuje problem dovoljno rano.
Zdrava kultura pravi razliku između:
dobro dizajniranog eksperimenta koji nije potvrdio hipotezu
i
loše vođenog testa bez jasnih pravila.
Prvo može biti kvalitetan rad. Drugo treba unaprediti.
Lideri moraju pokazati da promena mišljenja nije slabost
Ako direktor javno kaže da je njegova hipoteza bila pogrešna i promeni odluku na osnovu kvalitetnog testa, šalje važan signal ostatku organizacije.
Ako se eksperimenti koriste samo da potvrde ono što je rukovodstvo već odlučilo, tim će brzo naučiti da je „testiranje“ formalnost.
Kultura eksperimentisanja zavisi i od toga da li je dozvoljeno reći:
„Podaci trenutno ne podržavaju našu prvobitnu ideju.“
Odvojite ideju od osobe koja ju je predložila
Kada zaposleni predloži hipotezu, cilj nije dokazati da je ta osoba „bila u pravu“.
Tim zajedno proverava pretpostavku.
Ova razlika smanjuje ego u procesu i olakšava prekid ideje kada rezultat nije dovoljno dobar.
Napravite jednostavan obrazac za svaki eksperiment
Ne treba vam komplikovan softver da biste uveli disciplinu.
Jedna stranica može sadržati:
- Pitanje: koju neizvesnost rešavamo?
- Hipotezu: šta očekujemo i zašto?
- Segment: na kome testiramo?
- Promenu: šta tačno menjamo?
- Primarnu metriku: koji rezultat vodi odluci?
- Zaštitne metrike: šta ne sme da se pogorša?
- Budžet: maksimalni trošak testa.
- Trajanje ili uzorak: kada test završava?
- Kriterijum odluke: šta znači uspeh, neuspeh ili nejasan rezultat?
- Vlasnika: ko vodi eksperiment?
Primer eksperimenta u digitalnom marketingu
Zamislimo kompaniju koja želi više kvalifikovanih leadova.
Pitanje: Da li posetioci odustaju zato što ne znaju cenovni rang usluge?
Hipoteza: Ako početnu cenu prikažemo pre formulara, imaćemo manje ukupnih prijava, ali veći procenat kvalifikovanih leadova.
Primarna metrika: procenat kvalifikovanih leadova.
Zaštitne metrike: ukupan broj kvalitetnih upita i prihod iz leadova.
Test: odgovarajući deo saobraćaja vidi novu verziju stranice.
Odluka: novu verziju zadržavamo samo ako povećanje kvaliteta leadova nadoknađuje eventualni pad ukupnog broja prijava.
Takav test odgovara na poslovno pitanje. Ne optimizuje formular samo zato što je stopa slanja jedna od dostupnih metrika.
Primer eksperimenta bez A/B testa
Nije svaki eksperiment digitalni split test.
Zamislimo kompaniju koja razmatra novu B2B uslugu.
Pre zapošljavanja pet ljudi može ponuditi pilot verziju deset postojećih klijenata.
Tim zatim prati:
- koliko njih pokazuje ozbiljno interesovanje;
- koliko ih prihvata ponuđenu cenu;
- koliko vremena zahteva isporuka;
- koje probleme usluga stvarno rešava;
- da li postoje neočekivani troškovi.
Pilot nije savršena simulacija budućeg poslovanja, ali može dati mnogo više informacija od interne prezentacije zasnovane samo na procenama.
Nemojte testirati stvari koje je jeftinije jednostavno popraviti
Ako formular ne radi na telefonu, nije potreban eksperiment da biste proverili da li bi funkcionalan formular bio bolji.
Ako je broj telefona pogrešan, ne treba A/B test.
Ako stranica ima očiglednu tehničku grešku, prvo rešite grešku.
Eksperiment ima smisla kada postoji stvarna neizvesnost između više razumnih opcija.
Nemojte eksperimentisati tamo gde je rizik neprihvatljiv
Nisu sve odluke pogodne za neograničeno testiranje na korisnicima.
Poseban oprez potreban je kada eksperiment može uticati na:
- bezbednost;
- zdravlje;
- privatnost;
- diskriminaciju;
- finansijsku štetu;
- zakonska prava korisnika.
Granica eksperimentisanja nije samo budžet. Postoje situacije u kojima organizacija prvo mora da ispuni pravne, etičke i bezbednosne standarde.
Testirajte jedno tržište pre pune ekspanzije kada je to moguće
Ako kompanija želi da uđe na pet novih tržišta, ne mora nužno istovremeno ulagati puni budžet u svih pet.
Može prvo proveriti jednu ili dve ključne pretpostavke na ograničenom tržištu:
- cenu akvizicije;
- lokalnu potražnju;
- poruku;
- operativne probleme;
- ponašanje kupaca.
Ako model radi, ulaganje se povećava. Ako ne radi, cena lekcije je znatno manja.
Eksperiment treba da traje dovoljno dugo da obuhvati realno ponašanje
Prekratak test može dati pogrešan signal.
Na primer, ponašanje kupaca:
- ponedeljkom;
- vikendom;
- na početku meseca;
- tokom praznika;
može biti veoma različito.
Ako test traje samo nekoliko sati ili jedan neuobičajen dan, rezultat možda ne predstavlja normalno ponašanje publike.
Pazite na novelty effect
Neka promena može u početku proizvesti reakciju upravo zato što je nova.
Korisnici, na primer, mogu više klikati na novi element jer ga prvi put primećuju.
Ako odluka ima dugoročne posledice, važno je proveriti da li efekat opstaje kada početna novina prođe.
Segmenti mogu reagovati različito
Ukupan rezultat može sakriti važne razlike.
Na primer, nova ponuda može:
- značajno pomoći novim korisnicima;
- ne promeniti ponašanje postojećih;
- čak pogoršati iskustvo naprednim korisnicima.
Segmentaciju treba definisati unapred kada za nju postoji poslovni razlog. Nasumično traženje desetina podgrupa nakon testa povećava šansu da se slučajna razlika protumači kao važan nalaz.
Ne tražite „pobednika“ po svaku cenu
Rezultat može biti neodređen.
To nije nužno problem.
Ako dve verzije daju gotovo isti rezultat, možda je pravi zaključak:
„Nema dovoljno razloga da ulažemo vreme u ovu promenu.“
I to je odluka.
Organizacija tada može prebaciti resurse na pitanje koje ima veći potencijal.
Dokumentujte i pozitivne i negativne rezultate
Ako se beleže samo uspešni eksperimenti, organizacija dobija iskrivljenu sliku.
Baza eksperimenata treba da sadrži:
- hipotezu;
- datum;
- odgovornu osobu;
- segment;
- metod;
- budžet;
- rezultat;
- ograničenja testa;
- odluku;
- naučenu lekciju.
Ne mora biti dugačak dokument. Jedna dobro strukturirana stranica često je dovoljna.
Baza znanja sprečava ponavljanje istih testova
Zamislimo da novi zaposleni šest meseci kasnije predloži istu ideju koju je prethodni tim već testirao.
Ako rezultat nije dokumentovan, organizacija može ponovo potrošiti novac na gotovo identičan test.
Ako zapis postoji, novi tim može:
- videti šta je već naučeno;
- proveriti da li su se uslovi promenili;
- dizajnirati bolji sledeći eksperiment.
Tako eksperimentisanje stvara kumulativno znanje umesto niza nepovezanih pokušaja.
Održavajte redovan pregled portfolija eksperimenata
Jednom nedeljno ili mesečno tim može pregledati:
- koji testovi su u toku;
- koliko troše;
- koje pitanje rešavaju;
- šta je završeno;
- šta treba prekinuti;
- koji nalaz treba preneti drugim timovima.
To sprečava situaciju u kojoj deset različitih timova istovremeno pokreće slične eksperimente bez međusobne koordinacije.
Merite i kvalitet eksperimentisanja, ne samo broj testova
Cilj organizacije ne treba da bude:
„Ove godine ćemo sprovesti 500 eksperimenata.“
Takav cilj može podstaći mnogo trivijalnih testova samo da bi se ispunila kvota.
Korisnije je pitati:
- Da li testiramo važne pretpostavke?
- Koliko odluka je poboljšano zahvaljujući eksperimentima?
- Koliko velikih ulaganja je prvo provereno malim testom?
- Da li se rezultati dele?
- Da li brže prekidamo ideje koje nemaju dovoljno podrške?
Eksperimentisanje i inovacija nisu isto, ali se dobro dopunjuju
Kreativnost proizvodi mogućnosti. Eksperiment pomaže da procenimo koje od njih zaslužuju veće ulaganje.
Tim zato ne treba da bira između kreativne slobode i discipline. Ideje mogu nastajati široko, dok se ulaganje povećava postepeno kako raste količina dokaza.
To se prirodno nadovezuje na proces pretvaranja ideje u inovativno rešenje kroz timsku saradnju.
Jednostavan model za upravljanje eksperimentom
- Identifikujte važnu neizvesnost. Šta trenutno ne znamo, a utiče na veliku odluku?
- Napišite hipotezu. Šta očekujemo i zašto?
- Izaberite najmanji dovoljno informativan test.
- Ograničite budžet i rizik.
- Definišite primarnu metriku.
- Definišite zaštitne metrike.
- Odredite uzorak, trajanje i pravila prekida.
- Zapišite kriterijum odluke pre rezultata.
- Sprovedite test bez menjanja pravila usred igre.
- Analizirajte rezultat i njegova ograničenja.
- Donesite odluku.
- Sačuvajte lekciju u zajedničkoj bazi.
Praktična kontrolna lista
- Da li eksperiment rešava konkretno poslovno pitanje?
- Da li postoji jasna odluka koju rezultat treba da podrži?
- Da li je hipoteza dovoljno konkretna da može biti opovrgnuta?
- Da li testirate jednu važnu pretpostavku ili previše stvari odjednom?
- Da li je to najrizičnija pretpostavka koju trenutno treba proveriti?
- Da li postoji jeftiniji način da dobijete dovoljno dobar odgovor?
- Da li je maksimalni budžet unapred ograničen?
- Da li su trajanje ili potreban uzorak definisani pre početka?
- Da li imate jednu jasnu primarnu metriku?
- Da li postoje zaštitne metrike?
- Da li znate koliko veliko poboljšanje bi stvarno promenilo odluku?
- Da li postoje jasna pravila za raniji prekid testa?
- Da li je unapred određeno šta znači pozitivan, negativan i neodređen rezultat?
- Da li izbegavate donošenje zaključka na osnovu premalog uzorka?
- Da li rezultat posmatrate i po relevantnim segmentima kada za to postoji razlog?
- Da li tim sme da prijavi negativan rezultat bez skrivanja podataka?
- Da li se neuspešna hipoteza razlikuje od loše sprovedenog eksperimenta?
- Da li je rezultat dokumentovan?
- Da li drugi timovi mogu da pronađu naučenu lekciju?
- Da li sledeće ulaganje raste proporcionalno kvalitetu dokaza?
Kultura eksperimentisanja ne nastaje kada kompanija jednostavno radi mnogo testova. Nastaje kada ljudi mogu da iznesu pretpostavku, provere je bez nepotrebnog rizika i promene odluku kada podaci pokažu da je početna ideja bila pogrešna.
Najbolji eksperiment nije onaj koji potvrdi hipotezu, već onaj koji dovoljno pouzdano smanji neizvesnost za cenu koja je mala u odnosu na odluku koju treba doneti. Kada se budžet povećava tek nakon kvalitetnih signala, a rezultati ostaju dostupni celoj organizaciji, eksperimentisanje prestaje da bude trošak bez kontrole i postaje način da se skupe greške naprave ređe.