Kodėl jūsų MMM „pamišęs“: pokalbis su CMO

Sundar Swaminathan, buvęs „Uber“ rinkodaros mokslo vadovas, „LinkedIn“ pasidalijo trumpu pokalbiu su CMO, kuris puikiai parodo, kodėl MMM kartais atrodo „pamišęs“. Persakau jį lietuviškai.

Pokalbis

CMO: Mūsų MMM kažkoks pamišęs. Rezultatai keičiasi nuolat.

Sundar: Kaip dažnai atnaujinate modelį?

CMO: Kas mėnesį. Norime naujausių įžvalgų.

Sundar: Štai ir problema.

CMO: Kodėl? Ar neturėtume naudoti naujausių duomenų?

Sundar: MMM modeliui reikia ilgo laikotarpio, kad jis pamatytų dėsningumus. Atnaujinti kas mėnesį per dažnai. Jūs gaudote triukšmą, o ne signalą.

CMO: Kiek tada laukti?

Sundar: Mažiausiai ketvirtį, idealiu atveju pusmetį. Reikia pakankamai duomenų, kad matytumėte pro sezoninius svyravimus ir kampanijų kintamumą.

CMO: Gerai. Kas dar gali lemti nestabilumą?

Sundar: Ar keičiate kintamuosius tarp modelio paleidimų?

CMO: Kartais. Pridedame naujų kanalų arba išimame tuos, kuriuose nebeinvestuojame.

Sundar: Kiekvieną kartą pakeitę modelio struktūrą, jūs užduodate kitą klausimą. Atsakymai keičiasi, nes pasikeitė klausimas.

CMO: Vadinasi, struktūrą reikia išlaikyti pastovią?

Sundar: Kiek įmanoma pastovesnę. Jei būtina pridėti kintamųjų, permokykite modelį su visa istorija ir nauja struktūra. Ne tiesiog prilipdykite naujus duomenis.

CMO: Tai erzina. Maniau, MMM duos galutinius atsakymus.

Sundar: MMM duoda kryptį, ne tikslumą. Jis geriau pasakys, kad „į prekės ženklą investuojama per mažai“, nei kad „į prekės ženklą reikia skirti lygiai 47 tūkst. dolerių daugiau“.

CMO: Tai kam išleidome šešiaženklę sumą?

Sundar: Nes jis vis tiek vertingas strateginiams biudžeto paskirstymo sprendimams. Tik nesitikėkite A/B testo tikslumo.

CMO: Kaip tada jį naudoti?

Sundar: Inkrementiškumo testus naudokite tikslumui, MMM – strategijai, atribuciją – kasdieniam valdymui.

Esmė

• MMM atnaujinti kas mėnesį dažniausiai per dažnai: daugiau triukšmo nei signalo.
• Keičiant modelio struktūrą, keičiasi ir klausimas, todėl rezultatų palyginti negalima.
• MMM rodo kryptį, o tikslumui reikia inkrementiškumo testų.

Šaltinis: Sundar Swaminathan įrašas „LinkedIn“.