MAPE iliuzija: geras MMM atitikimas dar neįrodo reklamos grąžos

Modelis beveik idealiai atkartoja pardavimus. Prognozės linija gražiai gula ant faktinių duomenų. Ar jau galima pagal jo rekomendacijas perskirstyti reklamos biudžetą? Ne taip greitai. Tiksliai atkartoti pardavimus ir teisingai įvertinti, kiek jų sukūrė reklama, – du skirtingi uždaviniai.

Jonathan Hershaff straipsnyje „The MAPE Illusion in Media Mix Modeling“ pateikia simuliaciją, kurioje geresnis modelio atitikimas duomenims eina kartu su prastesniais kanalų grąžos įverčiais. Tai ne argumentas prieš MMM. Tai argumentas prieš modelio kokybės vertinimą pagal vieną gražų skaičių.

Ką iš tikrųjų matuoja MAPE

MAPE (mean absolute percentage error) – vidutinė absoliuti procentinė paklaida. Kiekvieno laikotarpio prognozės ir fakto skirtumo absoliuti reikšmė padalijama iš faktinės reikšmės, o gauti santykiai suvidurkinami ir išreiškiami procentais.

MAPE = 100 % × vidurkis(|faktas − prognozė| / |faktas|).

Hipotetinis, tik skaičiavimui skirtas pavyzdys: jei pardavimai buvo 100, o modelis prognozavo 95, to laikotarpio absoliuti procentinė paklaida yra 5 %. Rodiklis nepasako, ar trūkstamus penkis vienetus modelis klaidingai priskyrė televizijai, paieškai, ar bazinei paklausai. Jis vertina bendrą rezultatą, ne jo sudėtį.

Yra ir techninių ribų: kai faktinė reikšmė lygi nuliui, tokia formulė neapibrėžta; kai ji labai maža, procentinė paklaida gali smarkiai išaugti. Todėl net ir prognozavimo kokybei MAPE nėra universalus matas.

Ką parodė autoriaus simuliacija

Hershaff aprašo dvejų metų savaitinius duomenis 40 geografinių rinkų ir du reklamos kanalus. Kadangi duomenys sugeneruoti, tikroji kanalų grąža žinoma iš anksto. Realiame kliento projekte tokios privilegijos neturime.

Autorius nurodo modelį vertinęs su „Google Meridian“, keisdamas du dalykus:

• Paklausos kontrolinio kintamojo kokybę: kiek gerai jis atspindi tikrąją bazinę paklausą.
• Apriorines prielaidas apie ROAS: nuo siaurų skirstinių, centruotų ties tikrosiomis reikšmėmis, iki skirstinių, kurių mediana abiem kanalams lygi 1.

Pastaruoju atveju, pakeitus prastą paklausos kontrolę labai gera, MAPE sumažėjo nuo 0,4 % iki 0,2 %. Tačiau mokamos paieškos ROAS santykinė įverčio paklaida pasikeitė nuo −44,9 % iki −53,2 %: kanalo grąža buvo nuvertinta dar labiau. Televizijos įvertis taip pat pablogėjo.

Tai simuliacijos rezultatai, ne kampanijų ar klientų duomenys. Jie iliustruoja konkretų neatitikimą: mažesnė bendrų pardavimų paklaida savaime negarantuoja tikslesnio reklamos indėlio įvertinimo.

Graži suma dar nereiškia teisingų dėmenų

Man šią problemą paprasčiausia paaiškinti per modelio išskaidymą: pardavimus sudaro bazinė paklausa, reklamos poveikis ir kiti modeliuojami veiksniai. Keli skirtingi šių dalių deriniai gali duoti labai panašų bendrą rezultatą.

Modelis gali puikiai atkartoti sezoniškumą, bet pernelyg mažą dalį pardavimų priskirti reklamai. Bendra kreivė atrodys įtikinamai. Biudžeto rekomendacija – nebūtinai.

Hershaff savo rezultatą aiškina taip: geras paklausos kontrolinis kintamasis leidžia tiksliai atkurti pardavimų dinamiką, nors duomenyse lieka nepakankamai aiškaus signalo reklamos efektams nustatyti. Tada Bajeso modelio įverčius stipriau veikia apriorinės prielaidos. Jei jos netinkamos, geras bendras atitikimas šios problemos neatskleidžia.

Svarbu: prioras nėra mygtukas „ROAS = 1“. Tai pradinis tikimybinis skirstinys, kurį duomenys turėtų atnaujinti. Kiek stipriai jis veiks galutinį įvertį, priklauso ir nuo jo pločio, ir nuo duomenų informatyvumo.

Ko iš šio straipsnio nedaryčiau

Nedaryčiau išvados, kad paklausos kontroliniai kintamieji nereikalingi arba kad juos reikia šalinti, jei pagerėja MAPE.

Pats autorius aiškiai įvardija supaprastinimą: jo simuliacijoje reklamos išlaidos egzogeninės, o kanalai nepriklausomi. Kitaip tariant, čia sąmoningai neįtrauktos situacijos, kai biudžetas reaguoja į paklausą arba kelių kanalų investicijos juda kartu. Būtent tokios priklausomybės gali apsunkinti priežastinio poveikio vertinimą.

Todėl šį rezultatą vertinčiau kaip perspėjimą, o ne universalų nuosprendį kontroliniams kintamiesiems ar konkrečiam įrankiui. Iš vienos aprašytos simuliacijos negalima spręsti, kad geresnė paklausos kontrolė visada blogina atribuciją. Čia remiuosi straipsnyje pateiktu aprašymu ir rezultatais, ne nepriklausomai pakartotu eksperimentu.

Prognozavimo tikslumas irgi svarbus. Jei modelis nesugeba atkartoti esminių pardavimų svyravimų, tai signalas ieškoti problemos. Tikrinimas su mokymui nenaudotais laikotarpiais padeda vertinti apibendrinimą. Tačiau ir gera prognozė už mokymo imties ribų nėra priežastinio ryšio įrodymas.

Į ką atkreipčiau dėmesį prieš perskirstydamas biudžetą

Prieš perskirstydamas reklamos biudžetą, vertinčiau ne vien MAPE. Atkreipčiau dėmesį į dar penkis dalykus:

1. Kuo pagrįstas kanalų indėlis? Ar duomenyse yra pakankamai atskirų biudžeto pokyčių, kad galėtume atskirti kanalus nuo bendros paklausos?
2. Kaip jautriai rezultatai reaguoja į prielaidas? Ar pakeitus pagrįstus priorus, kontrolinius kintamuosius ar laikotarpį kanalų grąžos įverčiai išlieka panašūs?
3. Su kuo modelis kalibruotas? Jei turime patikimai suplanuotų inkrementalumo eksperimentų, kaip jų rezultatai panaudoti ir ar jų kontekstas atitinka modeliuojamą laikotarpį?
4. Koks neapibrėžtumas? Vienas ROAS taškinis įvertis nėra visas atsakymas. Svarbu matyti įverčių intervalus ir suprasti, nuo kokių prielaidų jie priklauso.
5. Kuo pagrįstas papildomo euro poveikis? Biudžeto optimizavimui svarbi ne tik vidutinė istorinė grąža, bet ir numatomas grąžos pokytis didinant ar mažinant investicijas.

Apie kalibravimo nepriklausomais eksperimentais logiką jau rašiau aptardamas „Meta Robyn“ silpnąją vietą. Čia tas pats praktinis principas: modelio paaiškinimą verta tikrinti ne vien tuo pačiu pardavimų grafiku, kurį modelis mokėsi atkartoti.

Mažas MAPE – naudingas diagnostinis rodiklis, bet ne leidimas automatiškai perkelti biudžetą. Prieš priimant sprendimą man svarbiau žinoti, kodėl turėčiau tikėti kanalų indėliu ir jų atsako kreivėmis. Tvarkingas grafikas šio darbo neatlieka.