Marknadsexperiment med kontrollgrupper

Så gör du kontrollerade marknadsexperiment med kontrollgrupper så att du med fakta kan visa vad utfallet av marknadsarbetet verkligen blev.

Kontrollerade marknadsexperiment

Att formulera en hypotes

Säljare och marknadsförare har till uppgift att nå ut till företagets befintliga och potentiella kunder. För att lyckas behöver medarbetarna lägga örat mot rälsen och förstå vilka företagets kunder är och identifiera deras behov och förväntningar. Därefter faktabaserat lägga en aktivitetsplan och bli operativa. 

I det här arbetet uppstår ganska snart frågan – vad av allt det arbete vi gör leder till en ökad försäljning? Hur den frågan kan besvaras ska vi nu titta närmare på.

Del 1 av 3, formulera en hypotes

Företag har nämligen behov av att bättre kunna visa effekten av sitt marknadsarbete. Vi ser många gånger att det finns ett glapp mellan marknads- och försäljningsarbetet och man har ofta svårt att visa exakt vad av allt det arbete man gör som leder till en ökad försäljning. Kopplingen mellan orsak och verkan är inte tydlig. Därför har VD:ar och medarbetare endast en vag uppfattning om hur marknadsföringen konkret bidrar till sista raden.

Men det finns sätt att bli bättre på det här, bli bättre på att visa vad marknadsarbetet verkligen leder till.

Ett kraftfullt verktyg är då att arbeta med kontrollerade experiment och hypoteser. En hypotes skapas genom att vi gör ett påstående. Sedan testar vi hypotesen och kan antingen förkasta eller acceptera påståendet. Om hypotesen accepteras har vi verifierat att den är sann och vi har då fått ett svar på hur vi kan göra vårt arbete mer effektivt.

Hur skapas då en hypotes? Låt säga att vi arbetar på marknadsavdelningen inom ett stort företag. Företaget har en avstannande försäljningsutveckling och marknadsavdelningen har fått i uppgift att komma tillrätta med problemet. Vi har därför tagit fram en långsiktig strategi som beskriver vårt kommande arbete på strategisk, taktisk och operativ nivå. En av de första aktiviteterna i vår aktivitetsplan är att skicka ett mail till våra kunder med ett erbjudande. Vår enkla hypotes varför det är en bra idé är:

“Marknadsföring via e-mail ökar försäljningen”.

Eftersom en hypotes beskriver ett orsakssamband “orsak och verkan”, så tror vi alltså att ett mail ökar vår försäljning. Problemet är bara att den här hypotesen är för vagt formulerad. En hypotes måste vara tillräckligt konkret för att vi ska kunna dra relevanta slutsatser av den. Det skulle ta lång tid för oss att bevisa att “all marknadsföring via e-mail leder till ökad försäljning”. Vi måste bli mer specifika.

Vi blir det genom att istället för “marknadsföring via e-mail” skriva “ett e-mail med ett erbjudande på 20% rabatt”. Och istället för “ökad försäljning” skriva “ökar sannolikheten att kunden gör ett köp under följande vecka”. Vår mer specifika hypotes blir då:

“Ett mail med 20 procents rabatt till våra kunder ökar sannolikheten för att de kommer att göra ett köp veckan efter mailet”.

Nu har vi en välformulerad hypotes som är tillräckligt specifik för att vi ska kunna testa den. Nu ska vi titta på hur hypotesen kan testas och kvantifiera hur sannolikt det är att en kund verkligen gör ett köp efter att ha fått vårt mail. Till vår hjälp kommer vi använda oss av kontrollgrupper.

Att utforma sitt marknadsexperiment

Vi har nu tagit fram en långsiktig strategi som beskriver vårt kommande arbete och en av de första aktiviteterna i vår aktivitetsplan är att skicka ett mail till våra kunder med ett erbjudande. Vår enkla hypotes varför det är en bra idé är:

“Ett mail med 20 procents rabatt till våra kunder ökar sannolikheten för att de kommer att göra ett köp veckan efter mailet”.

Vanligtvis blir man så ivrig att testa hypotesen och se resultatet att man beslutar sig för att skicka mailet till hela kundbasen för att sedan mäta och följa upp klickfrekvensen med en trattanalys. Låt säga att vi kan se att 40% av våra kunder öppnade mailet, 8% klickade på den inbäddade länken och 3% genomförde ett köp.

När vi sedan visar resultatet för vår skeptiska chef kommer frågan – Och hur kan ni vara säkra på att dessa människor inte hade köpt ändå, utan mailet med erbjudandet?

Och tyvärr är svaret: – Det kan vi inte. Problemet med en trattanalys är att vi inte kan vara säkra på att orsakssambandet är korrekt. Precis som chefen säger kan ju kunderna ha köpt även utan mailet. Så kan vi inte ha det. Vi måste vara säkra på våra resultat och kunna jämföra dem – vi måste använda en kontrollgrupp.

Låt oss titta på vår hypotes igen: “ökar sannolikheten att de kommer att göra ett köp veckan efter mailet“. Vi förväntar oss att en kund som får vårt mail är mer benägen att göra ett köp kommande vecka än de som inte får mailet. Men eftersom vi inte både kan skicka och inte skicka ett mail till en och samma person, så måste vi hitta ett smart sätt att mäta resultatet.

Två sätt som företag ofta mäter sina resultat är:

  1. Antalet köp jämförs två veckor innan en marknadsåtgärd sätts in med de två efterföljande veckorna. Men då tar de inte hänsyn till det faktum att försäljningen många gånger varierar över året – det finns en variation. Det kan leda till att vi drar felaktiga slutsatser.
  2. Prova experimentet med en viss delmängd av kunderna och sedan jämföra resultatet med de övriga kunderna. Säg att vår marknad är Sverige. Vi skickar då vårt mail till kunder i Skåne och jämför med resultaten i övriga landet. Men inte heller här tar vi hänsyn till att det kan finnas variationer mellan olika delar av landet.

Vi behöver hitta ett sätt som jämför resultatet och som tar hänsyn till variationer av olika slag. Lösningen är att använda sig av en kontrollgrupp. Vi delar helt enkelt upp gruppen av kunder vi vill skicka till i två delar.

En grupp betecknar vi kontrollgrupp. Den gruppen får ingen särskild behandling, inget rabatterat mail. Den andra gruppen blir vår experimentgrupp – de kunder som får mailet med rabatt.

Nu har vi två grupper: en kontrollgrupp och en experimentgrupp. Vilka kunder som hamnar i respektive grupp ska bestämmas slumpmässigt. Genom att fördela kunderna slumpmässigt till varje grupp justerar vi för det faktum att kunderna är normalfördelade, både i kontroll- och experimentgruppen. Som kuriosa så kallas ett sådant här experiment för randomiserad studie.

Nu ska vi titta på hur vi kan förstå och tolka resultatet av vårt marknadsexperiment.

Konfigurera kontrollgrupperna

Hur kan vi då dra välgrundade slutsatser utifrån vårt experiment?

Bakgrunden återigen: Vi är marknadsavdelningen på ett större företag. Våra kunder har börjat köpa mindre ofta och vår uppgift är att vända den negativa trenden. I vår långsiktiga strategi är vår första åtgärd att skicka ett mail med ett erbjudande om rabatt. Vi formade en falsifierbar hypotes enligt följande:

“Ett mail med 20 procents rabatt till våra kunder ökar sannolikheten för att de kommer att göra ett köp veckan efter mailet”.

Låt säga att vi nu skickar våra mail och att vi drar slutsatsen att ett mail med 20% rabatt verkligen ökar sannolikheten för att kunderna gör ett köp veckan efter mailet. Vår chef gratulerar oss till framgången med experimentet.

Med framgångarna i ryggen väljer nu chefen att göra en till liknande kampanj. Med den lilla skillnaden att företaget den här gången inkluderar rabatten som en del av en Facebookkampanj.

TIll vår stora förvåning går det inte alls lika bra den här gången. De fina resultaten som vi fick med ett mail lyser med sin frånvaro. Vår chef undrar varför det inte fungerar lika bra den här gången, men vi kan inte ge något svar. Vad var det som gick fel?

Felet var inte experimentet. Snarare våra slutsatser. Vi tittar på vår hypotes igen:

“Ett mail (1) med 20 procents rabatt (2) ökar sannolikheten (3) för att våra kunder kommer att göra ett köp veckan efter mailet”.

Trots att vår hypotes verkar ganska enkel, så ser vi att ett mail med 20% rabatt egentligen innehåller tre olika variabler.

  1. Det är ett mail. 
  2. Det är ett mail med ett erbjudande. 
  3. Det är ett mail med ett erbjudande om 20% rabatt. 
Vår utmaning är att avgöra vilka av dessa variabler (eller vilken kombination av variabler) som faktiskt hade effekt. Vårt svar får vi genom att testa alla variabler självständigt.Det är enkelt att göra. Vi delar helt enkelt upp vårt urval av kunder i minst tre grupper;
  • Grupp 1 får inget mail.
  • Grupp 2 får ett mail utan erbjudande.
  • Grupp 3 får ett mail med 5% rabatt.
  • Och så lägger vi till grupp 4 som får ett mail med 20% rabatt.

Låt säga att vi har ett urval av 1.000 kunder. Dessa fördelas jämnt mellan våra fyra grupper. Vi skickar våra mail och mäter effekten. Vi kan tänka oss några olika scenarier, exempelvis:

 Meddelande Svarsfrekvens
 Inget mail 2%
 Mail 6%
 5% rabatt 6%
 20% rabatt 6%


Här ser vi ganska tydligt att kunder som fått mail av något slag är betydligt mer benägna att göra ett köp veckan efter att de fått ett mail. I det här fallet verkar inte storleken på rabatten (eller ens närvaron av rabatten) spela någon roll. Det viktiga är att det är ett mail. Men om vi inte hade varit på vår vakt, kunde vi lätt ha trott att det var just rabatten som varit avgörande.

Ett annat tänkbart scenario skulle kunna se ut så här: 

 Meddelande Svarsfrekvens
 Inget mail 2%
 Mail 2%
 5% rabatt 4%
 20% rabatt 8%

Nu ser vi att ett mail med rabatt har större effekt än ett mail utan rabatt. Det ser även ut som att en större rabatt ger ett bättre resultat.

Det här är ett sätt som företag metodiskt kan arbeta med sina kampanjer. Medarbetare kan sortera ut och visa exakt vilka parametrar som bidrar till resultatet. Det gör det möjligt att dra lärdomar och i nästa kampanj bli ännu skarpare i sitt utförande.