MMM klaidingas užtikrintumas: ko nepasako 95 % intervalas

Noah Sultan, PhD, „LinkedIn“ įraše didžiausia MMM rizika vadina klaidingą užtikrintumą. Ne tai, kad modelis neturi atsakymo, o tai, kad vieną atsakymą pateikiame kaip neginčijamą tiesą. Net siauras 95 % intervalas gali slėpti labai svarbų „jeigu“: jeigu pasirinktas modelis ir jo prielaidos tinkami.

Du įtikinami atsakymai, tie patys duomenys

Noah pateiktame iliustraciniame pavyzdyje, ne realaus kliento rezultate, vienas MMM sprendinys „Meta“ ROAS įvertina 2,4×, o jo 95 % Bajeso patikimumo intervalas siekia 2,2–2,6×. Kitas panašiai tiksliai istorinius pardavimus paaiškinantis sprendinys pateikia 3,8×, su 3,5–4,1× intervalu.

Abu intervalai atrodo siauri. Tačiau vienas sprendinys leidžia tikėtis gerokai didesnės reklamos grąžos nei kitas. Vien gražus intervalas šio nesutarimo neišsprendžia.

Pavyzdys ir iliustracija – Noah Sultan, PhD. Skaičiai skirti problemai paaiškinti, ne kampanijos rezultatams parodyti.

Kodėl taip nutinka

Pirma priežastis – identifikuojamumas: ar duomenų pakanka skirtingiems reklamos poveikio paaiškinimams atskirti?

• Adstock aprašo, kiek reklamos poveikis užsilaiko laike.
• Saturacija – kaip keičiasi papildomos investicijos grąža didėjant reklamos kiekiui.
• Efektyvumo parametrai lemia modelyje priskiriamo poveikio dydį.

Skirtingi šių parametrų deriniai gali panašiai gerai paaiškinti istorinius pardavimus. Trumpesnį poveikio užsilaikymą gali kompensuoti kitokia atsako kreivė ar efektyvumo įvertis. Duomenys ne visada aiškiai pasako, kuris derinys teisingas.

Antra priežastis – modeliavimo prielaidos. Pasirinkti kintamieji, funkcijų formos ir aprioriniai skirstiniai gali pakeisti rezultatus net nekeičiant duomenų. Todėl verta tikrinti ne tik vieno modelio intervalą, bet ir tai, kiek įverčiai keičiasi tarp pagrįstų alternatyvų.

Bajeso metodas padeda, bet nepašalina prielaidų

Bajeso MMM leidžia vertinti parametrų derinių tikimybinį pasiskirstymą, o ne apsiriboti vienu taškiniu sprendiniu. Tačiau šis pranašumas nėra garantija, kad visas neapibrėžtumas jau įtrauktas.

95 % intervalas apibūdina posteriorinį neapibrėžtumą pasirinkto modelio, priorų ir duomenų sąlygomis. Jis savaime neapima visų kitų galimų modelio struktūrų. Be to, svarbu patikrinti, ar skaičiavimo procedūra tinkamai ištyrė skirtingas tikėtinų parametrų sritis.

Kaip ir MAPE atveju, geras prognozės atitikimas dar neįrodo teisingo kanalų indėlio.

Ką verta tikrinti eksperimentais

Inkrementiškumo testais verta tikrinti sprendimams svarbiausius kanalų poveikio įverčius ir, kur įmanoma, jais kalibruoti MMM.

Kodėl? Tinkamai suplanuotas eksperimentas suteikia papildomų įrodymų apie priežastinį reklamos poveikį, o ne dar vieną tų pačių istorinių pardavimų paaiškinimą. Vis dėlto testo laikotarpis, auditorija ir biudžeto lygis turi būti palyginami su tuo, ką vertina modelis. Vienas eksperimentas nepatvirtina viso MMM visiems laikams.

Esmė: MMM rezultatas yra įvertis, priklausantis nuo prielaidų, ne galutinė tiesa. Prieš perskirstant biudžetą verta tikrinti ir intervalo plotį, ir alternatyvius sprendinius, ir nepriklausomus eksperimentinius įrodymus.

Šaltinis: Noah Sultan, PhD, mintis ir iliustracija „LinkedIn“. Autoriaus profilis.