Zijn je app-installs incrementeel? Meten met imperfecte data

Een deel van je betaalde app-installs zou ook zonder advertenties zijn gebeurd, en dat noem je cannibalisatie van organisch. Om te weten wat je advertenties echt toevoegen, meet je incrementaliteit met een simpele holdout test in plaats van blind op platformcijfers te vertrouwen. Zo beslis je goed, ook met imperfecte data.

Niet elke betaalde app-install is incrementeel. Een deel van de mensen die je advertentie zag en je app installeerde, had dat sowieso gedaan, ook zonder advertentie. Die installs claimt je platform als resultaat, terwijl ze organisch waren gebeurd. Dat heet cannibalisatie, en het is de reden waarom je platformcijfers er vaak beter uitzien dan je totale groei rechtvaardigt. Om te weten wat je advertenties echt toevoegen, meet je incrementaliteit met een simpele holdout test. In dit artikel lees je hoe cannibalisatie werkt, hoe je een holdout opzet en hoe je goed beslist met data die nooit perfect is.

Wat betekent incrementaliteit voor apps?

Incrementaliteit is het aantal installs dat er zonder je advertenties niet was geweest. Dat is een ander getal dan het aantal installs dat je platform toeschrijft aan je campagne. Het platform telt elke install waar een advertentiecontact aan voorafging, ook als die persoon je app toch al wilde. Voor apps is dit extra tricky, omdat mensen je app ook via de store, via mond-tot-mond of via je merk vinden. De vraag die er echt toe doet is dus niet hoeveel installs je campagne claimt, maar hoeveel installs verdwijnen als je de campagne uitzet. Dat verschil is je echte impact.

Hoe herken je cannibalisatie van organisch?

Het signaal van cannibalisatie is een mismatch tussen je platformcijfers en je totale groei. Je advertentieplatform meldt duizend installs deze maand, maar je totale installs zijn maar met vierhonderd gestegen. Waar zijn de andere zeshonderd gebleven. Vaak zaten die in je organische stroom, en je advertenties hebben ze alleen naar het betaalde kanaal getrokken zonder de totale groei te vergroten. Dit is geen bewijs dat je advertenties niet werken, maar het is een waarschuwing dat je platformcijfers de waarheid overdrijven. Wie op die cijfers blind opschaalt, betaalt voor installs die hij toch al zou hebben gekregen.

Hoe zet je een simpele holdout test op?

Een holdout is de eerlijkste manier om incrementaliteit te meten, en hij hoeft niet ingewikkeld te zijn. Het idee is dat je een deel van je potentiële publiek bewust geen advertenties toont en vergelijkt hoeveel installs die groep alsnog oplevert. Dat kan via een geografische holdout, waarbij je in een vergelijkbare markt of regio je advertenties uitzet en de organische installs vergelijkt met een regio waar je wel adverteert. Het verschil tussen de twee is een schatting van wat je advertenties toevoegen. Belangrijk is dat de twee groepen vergelijkbaar zijn en dat je lang genoeg meet om het toeval eruit te halen.

• Kies twee vergelijkbare markten of regio's en zet in de ene je advertenties uit terwijl je in de andere blijft adverteren.
• Meet de organische installs in beide en vergelijk het verschil, want dat is je ruwe incrementaliteit.
• Laat de test lang genoeg lopen zodat dagelijkse schommelingen en seizoensruis eruit middelen.
• Herhaal de test af en toe, want cannibalisatie verandert naarmate je merk bekender wordt.

Waarom beslis je beter met imperfecte data?

Veel teams stellen incrementaliteit uit omdat ze bang zijn dat een holdout niet zuiver genoeg is. Maar het alternatief, blind vertrouwen op attributie, is niet neutraler, het is systematisch te optimistisch. Een ruwe schatting van je echte impact is bruikbaarder dan een precies getal dat je in de verkeerde richting stuurt. Je hoeft geen laboratorium op te tuigen. Je hoeft alleen te weten of je advertenties de totale installs echt verhogen of vooral organische installs verplaatsen. Zelfs een imperfecte holdout geeft je die richting, en met die richting neem je betere budgetbeslissingen dan met een dashboard dat je vertelt wat je wilt horen.

Een ruwe schatting van je echte impact is bruikbaarder dan een precies getal dat je verkeerd stuurt.

Wat doe je met de uitkomst?

De uitkomst van je holdout vertaal je naar je beslissingen, niet naar een spreadsheet die in een la verdwijnt. Blijkt je incrementaliteit hoog, dan weet je dat opschalen echte groei oplevert en kun je met vertrouwen budget toevoegen. Blijkt hij laag, dan betaal je vooral voor installs die je toch al kreeg, en is de eerlijke conclusie dat je je aanpak of je targeting moet veranderen voordat je meer uitgeeft. In beide gevallen stuur je op de echte impact in plaats van op de geclaimde impact. Zo voorkom je dat je maandenlang opschaalt op een cijfer dat je totale groei nooit heeft weerspiegeld.

Conclusie

Niet elke betaalde app-install is incrementeel, want een deel zou ook organisch zijn gebeurd. Cannibalisatie verklaart waarom je platformcijfers er beter uitzien dan je totale groei rechtvaardigt, en een simpele holdout test laat je zien wat je advertenties echt toevoegen. Je hoeft dat niet perfect te meten om er beter door te beslissen. Wil je aan de slag met de echte impact van je app-installs meten en je budget sturen op groei in plaats van op geclaimde installs? Plan een call, dan kijken we graag met je mee.