Paieška
← Visi įrašai

MMM ir eksperimentai: ką daryti, kai modelis ir lift testas nesutampa

Baltoje lentoje užrašas „Nesutampa? Tikrink klausimą.“ Modelio ir testo schemos veda į sprendimą.

Kai MMM ir lift testas rodo skirtingą grąžą, verta tikrinti klausimą, palyginamumą ir įrodymų kokybę. Sprendimų medis komandai.

Turinys
  1. Geras prognozavimas dar nepatvirtina kanalų grąžos
  2. Pirmas filtras: ar sutampa klausimas?
  3. Antras filtras: ar patikimas pats eksperimentas?
  4. Sprendimų medis komandai
  5. Kalibruoti intervalą, ne tik norimą ROAS
  6. CMO reikia ne gražesnio modelio, o sprendimo ribų

MMM rodo, kad kanalą verta didinti. Lift testas – kad jo papildomas poveikis menkas. Blogiausias sprendimas tokiu atveju yra pasirinkti labiau patinkantį skaičių. Pirmas klausimas turi būti kitas: ar modelis ir eksperimentas išvis matavo tą patį dalyką tomis pačiomis sąlygomis?

Šis nesutapimas nėra vien analitiko problema. Nuo jo priklauso biudžeto sprendimas: tęsti, mažinti, testuoti dar kartą ar pripažinti, kad įrodymų kol kas nepakanka. MMM kalibravimas prasideda ne nuo rezultato pritempimo prie testo, o nuo palyginamumo patikros.

Geras prognozavimas dar nepatvirtina kanalų grąžos

„Measured“ duomenų mokslo komanda palygino 350 veikiančių MMM iš 108 prekės ženklų. Modelių duomenys ir struktūra išliko tie patys, keitėsi eksperimentinių rezultatų įtraukimas. Prieš kalibravimą 53 % testuotų medijos kintamųjų įverčių nepateko į atitinkamų geoeksperimentų 90 % pasikliautinuosius intervalus. Po kalibravimo tokių buvo 12 %.

Tai paties matavimo paslaugų tiekėjo analizė, ne nepriklausomas visų MMM auditas. Be to, eksperimentinei informacijai suteiktas didelis svoris. Priartėjimas prie kalibravimui panaudoto testo nėra nepriklausomas modelio teisingumo patvirtinimas. Svarbi išvada siauresnė: panaši pardavimų prognozė gali slėpti labai skirtingą kanalams priskiriamą poveikį.

Būtent todėl maža MAPE paklaida neįrodo reklamos grąžos. Modelis gali gerai numatyti bendrą rezultatą, bet neteisingai jį išdalinti tarp reklamos, sezoniškumo ir bazinės paklausos.

Pirmas filtras: ar sutampa klausimas?

Lift testas vertina papildomą rezultatą, palyginti su kontrafaktiniu scenarijumi – kas būtų nutikę be tiriamo reklamos pokyčio. MMM apima ilgesnę istoriją ir remiasi modelio prielaidomis. Jų įverčiai palyginami tik suderinus apibrėžimus.

Verta surašyti bendrą palyginimo lapą:

  • Tas pats rezultatas: pajamos, užsakymai ar indėlio marža?
  • Tas pats kanalas: visa platforma ar tik konkreti kampanija?
  • Ta pati rinka, auditorija ir laikotarpis?
  • Tas pats investicijos pokytis: kanalo išjungimas ar papildomas biudžetas?
  • Tas pats poveikio horizontas, įskaitant uždelstą carry-over?

Kodėl? Vidutinė istorinė ROAS nėra tas pats, kas papildomo biudžeto grąža dabartiniame išlaidų lygyje. Jei testas vyko per akciją, jo rezultato negalima automatiškai perkelti visiems metams.

Antras filtras: ar patikimas pats eksperimentas?

Eksperimentas nėra neklystantis vien todėl, kad vadinasi eksperimentu. Verta tikrinti grupių sudarymą, užteršimą reklama, faktinį išlaidų skirtumą, duomenų pilnumą ir kitus vienu metu vykusius pokyčius. Geo eksperimente svarbu, ar palyginamos teritorijos iki testo judėjo panašiai ir kaip vertintas neapibrėžtumas.

Platus intervalas gali reikšti, kad testas nepajėgė atskirti verslui svarbaus poveikio nuo triukšmo. Statistiškai neįtikinamas rezultatas nėra įrodytas nulinis poveikis. Kita klaida – vadinti įverčius prieštaraujančiais vien dėl skirtingų taškinių reikšmių, nežiūrint į jų neapibrėžtumą.

Pranav Piyush viešame įraše ragina tikrinti kanalus holdout testais, o ne pasikliauti platformų ROAS. Kryptis naudinga, tačiau kanalo išjungimą vis tiek reikia tinkamai suprojektuoti. Vien pardavimų kritimas po išjungimo dar neatmeta kitų priežasčių.

Sprendimų medis komandai

Ką parodė patikra?Ką verta daryti toliau
Nesutampa apibrėžimai ar horizontasPerskaičiuoti palyginamą MMM įvertį
Testas silpnas ar užterštasPatikslinti dizainą, ne skelbti nulinę grąžą
Testas patikimas, modelio prielaidos trapiosKalibruoti ir tikrinti jautrumą
Abu įverčiai neapibrėžtiRiboti sprendimo mastą ir rinkti informaciją
Nesutapimas išlieka vienodomis sąlygomisTirti modelio struktūrą ir poveikio skirtumus

Tai nėra automatinė taisyklė, kad testas visada laimi. Gerai atliktas eksperimentas gali būti stipresnis priežastinis įrodymas konkrečiomis jo sąlygomis. Tačiau siauras testas neatsako už visas rinkas, sezonus ir biudžeto lygius.

Kalibruoti intervalą, ne tik norimą ROAS

Verta į MMM įtraukti eksperimento rezultatą kartu su jo neapibrėžtumu. Dokumentuoti, kokią kanalo dalį, laikotarpį ir investicijos lygį jis aprašo. Patikrinti, kiek išvada keičiasi keičiant priorus, adstock ir saturacijos prielaidas.

Kodėl? Kai vienas testo skaičius paverčiamas nekintama tiesa, galima tik pakeisti vieną klaidingo tikrumo šaltinį kitu. Apie tai plačiau – MMM ir siauro intervalo klaidingas užtikrintumas.

Verta atskirti kalibravimui naudotus eksperimentus nuo vėlesnės nepriklausomos patikros. Jei modelis atkartoja tai, kuo buvo mokytas, jis dar neišlaikė naujo testo. Komandai svarbu iš anksto sutarti, kuris būsimas stebėjimas galėtų pakeisti jos dabartinę išvadą.

Analitikui verta išsaugoti versiją iki kalibravimo ir aiškų pakeitimų žurnalą. Jame atskirti naujus duomenis, modelio struktūrą ir eksperimento informaciją. Jeigu visi šie dalykai pakeičiami kartu, vėliau sunku suprasti, kas nulėmė naują rekomendaciją.

Verta patikrinti ir praktinį nesutapimo dydį. Skirtingi ROAS įverčiai gali lemti tą patį atsargų biudžeto sprendimą, jei abiejų neapibrėžtumas didelis. O nedidelis skirtumas gali būti svarbus ties pelningumo riba. Prioritetą tyrimui turėtų lemti sprendimo rizika, ne vien skaičių skirtumas.

CMO reikia ne gražesnio modelio, o sprendimo ribų

Prie rezultato verta pateikti ne vien rekomenduojamą biudžetą, bet ir sąlygas: kuriai rinkai išvada taikoma, kiek tvirtas įrodymas ir kokio pokyčio ji nepateisina. Kuo silpnesnis pagrindas, tuo mažiau pagrįstas agresyvus perskirstymas.

Verta testuoti ribotą, grįžtamą biudžeto pokytį ir stebėti iš anksto pasirinktą verslo rezultatą. Kodėl? Neapibrėžtumas nėra priežastis nieko nedaryti, bet yra priežastis sumažinti klaidos kainą.

Esmė: kai MMM ir lift testas nesutampa, pirmiausia tikrinti klausimą, tada įrodymų kokybę ir tik po to kalibruoti. Tikslas nėra pasiekti, kad visos ataskaitos sutartų. Tikslas – suprasti, kuriuo įverčiu galima pagrįsti konkretų sprendimą.

Komentarai (0)

Komentarų dar nėra. Būkite pirmas.

Pirmą kartą komentuojant atsiųsime nuorodą el. paštu – ją paspaudus komentaras bus paskelbtas. Jokių slaptažodžių.

Prenumerata

Nauji įrašai – tiesiai į el. paštą.