Hoe moet je omgaan met een frequente veranderingen van strategie als je met data werkt? ‘Win-Stay, Lose-Shift’ is een basisprincipe dat zegt: als een strategie niet werkt, dan moet je bereid zijn om snel van strategie te wisselen. Maar de snelle veranderingen in strategie leiden al gauw tot grote uitdagingen. Hoe A/B test je wat wel werkt en wat niet, als je testomgeving steeds verandert en je data niet consistent is? We leggen het voor je uit.
Win-Stay, Lose-Shift is het basisprincipe dat schuilt achter het eindeloos optimaliseren tijdens onder andere Digitale Marketing campagnes en SEO (zoekmachineoptimalisatie). Het idee achter de methode wordt beschreven in onder andere het werk van Dr. Gad Saad, een bekende Canadese professor in de evolutionaire gedragswetenschappen en marketingpsychologie, en zegt dat wanneer een strategie faalt, je bereid moet zijn om snel van strategie te veranderen. De methode levert veranderingen op die de consistentie van je datagegevens verstoren, waardoor datasets ontstaan die mogelijk te klein zijn om bruikbaar te zijn.
Dit zijn de spelregels
Win: Wanneer een element goed presteert, behoud het dan en verfijn het eventueel nog verder
Stay: Behoud succesvolle elementen
Lose: Als een element ondermaats presteert, vervang het dan door een variatie en test het opnieuw
Shift: Continu itereren door nieuwe varianten te testen en onderpresteerders te vervangen door de winnaars
Bij standaard A/B-testen splits je op in twee varianten om te analyseren welke beter presteert op basis van een specifieke statistiek, bijvoorbeeld click-through-ratio. Deze traditionele manier van testen is afhankelijk van de gegevens die tijdens de test zelf zijn verzameld. Met kleinere datasets veroorzaakt door veel en snelle veranderingen kan het echter een uitdaging zijn om tot een statistisch significante conclusie te komen.
Remco Tensen, de SEO Job Coach
De Win-Stay, Lose-Shift benadering benadrukt continue verbetering door succesvolle elementen in je marketingcampagnes en SEO te behouden en zwakke elementen te vervangen. De constante veranderingen veroorzaken twee problemen die we hier oplossen:
1. Regelmatige onderbrekingen in data
Door het constant aanpassen van elementen (titels, meta-beschrijvingen, etc.) ontstaan er regelmatig “data-onderbrekingen.” Traditionele analysemethoden hebben dan moeite om de werkelijke impact van recente aanpassingen te achterhalen, omdat het beeld op basis van de volledige historische data niet overeenkomt met de huidige situatie.
2. Kleinere datasets
Door veel wijzigen aan te brengen, heb je minder data beschikbaar voor elke iteratie van je elementen. Hierdoor kan het lastig zijn om uit traditionele A/B-tests statistisch betekenisvolle conclusies te trekken.
3 test-technieken voor Win-Stay, Lose-Shift optimalisatie
1. Tijdreeksanalyse: de werkelijke impact van veranderingen isoleren
Een tijdreeksanalyse (‘Time-Series Analysis’), analyseert statistieken naarmate de tijd verstrijkt, (organisch verkeer, doorklikratio), waardoor verborgen patronen en trends zichtbaar worden. Door historische trends te analyseren helpt tijdreeksanalyse om de werkelijke impact van recente wijzigingen te scheiden van externe factoren zoals seizoensinvloeden.
Zo zie je of de aanpassingen daadwerkelijk leiden tot groei van bijvoorbeeld organisch verkeer. Het is voorspellend en het analyseer hoe het verkeer ondanks aanpassingen evolueert, zodat je de daadwerkelijke impact van veranderingen kunt meten.
Voordelen:
- Isoleer externe factoren (bijvoorbeeld: seizoensgebonden)
- Identificeer trends
- Focus op strategieën die resultaten opleveren
Nadelen:
- Vereist een aanzienlijke hoeveelheid historische gegevens
- Kan oorzaak en gevolg niet volledig bewijzen
- Kan statistische kennis vereisen
- Beperkte voorspellende kracht
De meeste platforms voor gegevensanalyse bieden functies voor tijdreeksanalyse. Je uploadt eenvoudig de historische gegevens (bijvoorbeeld organisch verkeer van Google Search Console) en laat de tool zijn werk doen.
2. MAB-testen: optimaliseren met minder data
‘Multi-Armed Bandit’ (MAB) tests zorgen dat je niet eindeloos nieuwe tests hoeft op te zetten. MAB toont websitebezoekers automatisch verschillende variaties van elementen. MAB analyseert het bezoekersgedrag en identificeert welke variant het beste presteert (bijv. welke de meeste conversies genereert). In de loop van de tijd verdeelt het automatisch meer verkeer naar de winnende variaties, waardoor er continu wordt geoptimaliseerd.
Het maakt continue leren en optimaliseren mogelijk, zonder te hoeven wachten op de resultaten van traditionele A/B-testen. Dit sluit perfect aan bij het snelle tempo van Win-Stay, Lose-Shift. MAB is effectief, zelfs met kleinere datasets, die onvermijdelijk zijn bij frequente wijzigingen.
Voordelen:
- Het is niet nodig om meerdere tests te maken
- Je hoeft niet te wachten op testresultaten
- Werkt effectief bij beperkt verkeer
- Geautomatiseerd testen en aanpassing
Nadelen:
- Langzamere analoge identificatie van de best bekende varianten
- Minder effectief voor elementen met een lage impact van een lange conversiecyclus
- Beperkt inzicht in de ‘waarom’ achter succes
- Potentiële ethische vraagstukken (minimaal)
Definieer duidelijke SEO-doelen en kies vervolgens de elementen die je wilt testen. JE kunt de op deze pagina genoemde tools gebruiken, alsmede Unbounce, enzovoorts.
3. Bayesiaanse A/B-testen: het meeste halen uit beperkte data
Traditionele A/B-testen kunnen moeite hebben met kleine datasets die voortkomen uit frequente aanpassingen. Bayesiaanse integreren je eerdere leerervaringen in de analyse. Stel dat je weet dat een specifieke titel in het verleden goed presteerde, dan houden Bayesiaanse testen rekening met deze “voorkennis” bij het analyseren van nieuwe titels, wat het maken van weloverwogen beslissingen met minder data mogelijk maakt.
Je bereikt zo statistisch belangrijke resultaten met kleinere datasets, zodat je sneller beslissingen kunt nemen en flexibel kunt blijven met de Win-Stay, Lose-Shift benadering. De voorkennis fungeert daarbij als vangnet, waardoor de kans kleiner wordt dat je misleidende conclusies trekt. De voorkennis (‘priors’) kunnen in een directe vorm ingesteld worden in de instelligen van de meetplatforms, (bijvoorbeeld in Google Optimize 360 of Optimizely), of ingesteld worden aan de hand van gewichtswaarden: de variatie die lijkt op de eerder succesvol gebleken optie, geef je dan meer gewicht.
Dit is hoe het werkt:
- Kies meer dan 2 variaties, waarvan er 1 lijkt op een succesvol gebleken element dat je ergens eerder hebt gebruikt
- Kies uit Optimizely, Google Optimize 360, enzovoorts (doorgaans is deze methode alleen beschikbaar voor betaalde tiers)
- Integreer de ‘voorkennis’ (indien beschikbaar)
- Configureer
- Bayesiaanse analyse houdt rekening met de ‘voorkennis’ (priors)
Waarom deze combinatie van oplossingen werkt:
- Tijdreeksanalyse biedt een breed perspectief op de impact van de Win-Stay, Lose-Shift strategie ondanks frequente wijzigingen
- MAB-testen stroomlijnen optimalisatie en werken goed met kleinere datasets die het gevolg zijn van frequente aanpassingen
- Bayesiaanse A/B-testen geven extra zekerheid bij het nemen van beslissingen wanneer datasets extreem klein zijn door recente shifts
Elke aanpak pakt een specifieke uitdaging aan. Gebruik ze alle drie om te optimaliseren volgens het Win-Stay, Lose-Shift-principe.
Doe dit:
- Begin met tijdreeksanalyse om historische trends te begrijpen
- Implementeer MAB-testen voor continue optimalisatie en snellere iteratie
- Overweeg Bayesiaanse A/B-testen wanneer datasets erg klein worden door extreem frequente shifts
- Blijf de data continu monitoren en analyseren om je strategie te verfijnen
Let op: Deze geavanceerde technieken vereisen enige technische expertise om te implementeren en te interpreteren. Overweeg om samen te werken met betaalbare maar ervaren marketing en SEO-professionals zoals Heroes in Marketing voor ondersteuning bij het succesvol toepassen van deze methoden.