A/B-test, multivariat test, användartest, enkät, heatmap. Det finns många tester att välja mellan, och de svarar på helt olika frågor. Att välja fel metod är den vanligaste anledningen till att testandet inte leder någon vart.
Grundregeln är enkel att formulera och lätt att glömma: kvantitativa metoder svarar på vad som händer, kvalitativa metoder svarar på varför. Du behöver oftast båda, i den ordningen.
A/B-test – när du har ett konkret förslag
Två versioner, slumpmässigt fördelad trafik, en vinnare. Metoden är oslagbar när du har en tydlig hypotes och tillräckligt med trafik.
Den stora fallgropen är statistisk. Ett test behöver ett förutbestämt urval och en förutbestämd tid. Att titta på resultatet varje dag och stoppa testet när det ser bra ut – kallas ibland att kika – producerar falska vinnare i stor mängd. Låt testet löpa den tid du bestämde, även när det kliar.
Kör dessutom alltid över hela veckor. Beteendet på en tisdag och en lördag är olika, och ett test som slutar mitt i veckan mäter delvis veckodag i stället för förändring.
Multivariat test – sällan rätt val
Här testas flera element samtidigt i alla kombinationer, vilket i teorin visar hur de samverkar. Problemet är att antalet varianter växer snabbt, och trafikbehovet med dem. De flesta svenska webbplatser har helt enkelt inte volymen. Dela upp i flera A/B-test i stället.
”Fem användartester visar dig vad som är trasigt. A/B-testet visar bara vilken av dina två gissningar som var minst dålig.”
Användartest – när du inte vet vad problemet är
Fem personer som får utföra en uppgift medan du tittar på hittar en förvånande stor andel av de allvarliga användbarhetsproblemen. Det kräver ingen trafik, ingen statistik och ingen utvecklingsinsats.
Det här är rätt metod när konverteringen är låg och du inte har någon hypotes om varför. Titta på var de tvekar, vad de säger högt och vad de letar efter men inte hittar.
Beteendedata och enkäter
Heatmaps och sessionsinspelningar visar var uppmärksamheten hamnar och var människor fastnar. De är bra på att generera hypoteser och usla som bevis – tolka dem som ledtrådar, inte som resultat.
En enkel enkät på plats, med en enda fråga som ”vad hindrade dig från att slutföra köpet i dag?”, ger ofta mer användbar information än veckor av dataanalys. Håll den kort och ställ den vid rätt ögonblick.
Så väljer du
- Vet inte var problemet är? Analys och användartest.
- Vet var men inte varför? Sessionsinspelningar och enkät.
- Har en hypotes och gott om trafik? A/B-test.
- Har en hypotes men lite trafik? Genomför förändringen och mät före och efter över längre period – med reservation för att det inte är ett riktigt experiment.
- Ska bygga något helt nytt? Prototyp och användartest innan en rad kod skrivs.
Och en sista sak som gäller oavsett metod: dokumentera vad du testade, vad du trodde skulle hända och vad som faktiskt hände – även när testet inte gav något. Organisationer som sparar sina misslyckade tester slutar upprepa dem. Organisationer som bara firar vinnarna testar samma sak vart tredje år.
