Förra veckan bjöd Surveyföreningen in till kvalitetsseminarium, och årets tema var frågemetodik och opinionsundersökningar. Med tanke på att det är valår var ämnet högaktuellt, och flera av talarna lyfte funderingar kring hur undersökare ska gå till väga för att ställa bra frågor, i synnerhet när det gäller att fånga uppfattningar kring politik.
Seminariet drog ett 60-tal personer från såväl forskningsvärlden och statliga myndigheter, som media och kommersiella aktörer. Under ledning av Karin Nelsson guidades vi genom dagens program. Förmiddagen dedikerades åt hur man som undersökare ska gå till väga för att skapa bra frågor och enkäter, och flera av talarna har själva skrivit böcker i ämnet. Eftermiddagen vigdes sedan åt opinionsundersökningar, och hur företag och institutioner inför årets val ska gå till väga för att göra bra väljarbarometrar och opinionsundersökningar.
Att ställa frågor visade sig snabbt vara betydligt svårare än vad man kunnat tänka sig. Såväl Marika Wenemark från Linköpings Universitet, som Lina Fjelkegård från SCB har tagit fram böcker om hur man konstruerar frågor och enkäter. De var båda överens om att det är mycket att tänka på när man ska ta fram frågor som respondenterna kan svara på. Marika menar att man heller inte får glömma bort den kreativa delen av frågekonstruktion, och menar att det visst går att ta fram frågor innan hela syftet och mål med undersökningen är klar. Ett uttalande som inte möttes av odelat gillande, men som ändock bär en hel del tyngd när det är en av Sveriges främsta forskare på ämnet som levererar det. Både Marika och Lina påpekar även risken som finns med att respondenten gärna vill vara den som ställer frågorna till lags. Det kan därför vara svårt att få ärliga svar, både på frågorna i sig och när man som frågekonstruktör vill testa om det finns några oklarheter i frågorna.
Dan Hedlin från Stockholms universitet lyfte fram en hel del exempel på hur mycket det slarvas när det gäller att skapa frågor. Han pekade även på riskerna kring incentives, eftersom det kan uppmuntra respondenter att ljuga om screeningfrågorna för att få vara med i undersökningen och därmed få sina belöningar. Inför årets val spår han även att det kommer presenteras flera undersökningar där respondenterna fått rangordna hur viktiga olika valfrågor är. Men enligt Dan ger detta ofta en missvisande bild, eftersom flera samhällsfrågor ofta är sammankopplade och det är då svårt att prioritera en över en annan. En god samhällsekonomi är exempelvis en förutsättning för fungerande samhällsfunktioner.
Just opinionsundersökningar var sedan fokus för eftermiddagens föreläsningar, där bland annat Johan Martinsson från SOM-institutet vid Göteborgs universitet lyfte frågan kring hur underlaget för opinionsmätningarna faktiskt samlas in. Där telefonintervjuer baserat på oberoende slumpmässiga urval tidigare var normen har allt fler gått över till en kombination av telefonintervjuer och webbenkäter, medan andra helt förlitar sig på webbenkäter. En utmaning är att det sällan presenteras hur urvalet gjorts, och det är framför allt svårt för de som läser en undersökning att förstå hur den gått till. Johan menar dessutom att det inte går att hävda att de grunder som telefonintervjuerna väljs ut på faktiskt är oberoende och slumpmässiga, då många använder sig av köpta telefonlistor. Då allt fler gått över till att bara ha mobiltelefoner, och många unga har kontantkort, är just denna grupp mycket svår att nå genom slumpmässiga urval, även om de görs ur befolkningsregistret och sedan nummersätts.
Två som länge hållit på med opinionsundersökningar är SCB och SIFO. SCB startade sin partisympatiundersökning 1972, på uppdrag av regeringen, medan SIFO startade sin väljarbarometer redan 1968. Båda har under åren ändrat sin modell för datainsamlande, från att ha varit hembesök, till telefonintervjuer och på senare tid även i kombination med webbenkäter. Både Regina Vilkènas på SCB och Toivo Sjörén på SIFO menar att det finns en naturlig osäkerhet i svaren, ofta eftersom det finns en minnespåverkan från vad man röstat på tidigare, men även eftersom människor byter parti mellan valen. Därför viktar båda sina resultat, huvudsakligen på kön och ålder, men de har även testat att vikta data beroende på arbetande/icke-arbetande, geografi samt vad de röstade på i förra valet. Hur viktningarna gått till har dock ändrats under årens lopp.
David Ahlin från Ipsos gjorde därefter en utläggning om undersökningsbranschens läge. Den digitala transformationen påverkar även undersökningsbranschen, och vi har sett ett ändrat beteende hos respondenter. Det finns därför både stora svårigheter och stora möjligheter med den värld vi nu ser växa fram. David ser tre olika metoder som branschen behöver ta till sig för att kunna göra bra undersökningar i framtiden.
1. Big Data Analysis – med de enorma mängder data som finns idag behöver branschen kunna använda sig av denna data för att exempelvis identifiera trender.
2. Kombination av flera olika datakällor – genom att kombinera exempelvis telefonintervjuer och webbenkäter med information från exempelvis sökdata och aktivitet på sociala medier kan nya insikter fås.
3. Analysera innehåll och tonalitet i diskussioner på nätet – Det förs diskussioner och samtal i olika forum på nätet, såväl på sociala medier som redaktionella kanaler. Analys av innehåll och tonalitet kan ge nya insikter om exempelvis politiska vindar och medborgarnas respons på politiska uttalanden.
Avslutningsvis samlades tre tunga namn från mediebranschen på scen för att prata om vad de ser som viktigt vad gäller opinionsundersökningar inför årets val. Fredrik Furtenbach från SR Ekot, Ulf Kristoffersson från TV4 och Lars Truedsson från SR P1 beskrev dels behovet av bakgrundsdata inför att de går ut med en undersökning i sina kanaler. På senare tid har såväl radio som tv tagit fram policys för vad som krävs innan en publicering. Deras kriterier baserar sig delvis på forskning och delvis på en uppfattning om avsändarens agenda. De vill bland annat vet hur många som deltagit i studien, hur stort bortfallet är och om en förändring är statistiskt säkerställd. Däremot är det ibland svårt att få fram denna information från undersökningsföretagen, och alla tre önskar att sådan information skulle vara mer tillgänglig. Ulf presenterade även ett nytt koncept som TV4 tagit fram, där de samlar resultat från nio olika opinionsundersökningar och sedan väger samman dessa för att skapa ett samlat, mer tillförlitligt resultat. Projektet genomförs tillsammans med valforskarna vid Göteborgs Universitet, och kommer förhoppningsvis minska risken att det dras för stora växlar på små förändringar.
Överlag var det en bra dag där många viktiga och komplicerade frågor lyftes fram. Under ett valår sätts ju undersökningsbranschen i ett särskilt fokus, och att då se till att mätningar håller hög kvalitet är en förutsättning för att branschen ska kunna fortsätta agera med såväl trovärdighet som träffsäkerhet. Vi kan i alla fall konstatera att det blivit allt viktigare att inte ha fel, men frågan kvarstår vad som anses vara tillräckligt rätt.