Kvalitetsdokument

Eller ladda ner kvalitetsdokumentet här.

INLEDNING
VALIDITET – GILTIGHET
RELIABILITET – TILLFÖRLITLIGHET
URVALSKVALITET – REPRESENTATIVITET (extern validitet)
OBJEKTIVITET I RAPPORTEN

SÖK, Sveriges Marknadsundersökares kvalitetsdokument

Inledning
Det höjs röster i dagens undersökningsvärld om att det ibland tummas på kvaliteten i marknadsundersökningar.
Man pratar om en allmän okunskap om vad som kännetecknar undersökningar med bra kvalitet.

Kvalitet är ett av ledorden för SÖK. Därför har vi genomfört detta arbete för att försöka definiera vad bra undersökningskvalitet är. Detta dokument behandlar bara kvantitativa undersökningar, men en kvalitativ motsvarighet är under arbete.

Det finns alltså tendenser i dagens marknadsundersökningsvärld som påkallar kraftfulla åtgärder. Ett sådant område är att återinföra kunskapen om vad som kännetecknar undersökningar med bra kvalitet. En kunskap som inte endast ska tillföras undersöknings-/ projektledare utan framförallt köpare. Det är först när undersökningsköpare ställer högre kvalitetskrav som vi kan få en bra och självsanerande undersökningsbransch.

VALIDITET – GILTIGHET
Mäter jag det jag avser att mäta?
Ställer jag rätt formulerade frågor till rätt personer med rätt kontaktmetod och i rätt ordning vid rätt tillfälle? Mäter jag verkligen attityden till reklamen för tvättmedlet X och inte attityderna till tvättmedelsreklam överlag?

I många avseenden handlar det om att träffa mitt i prick i en måltavla. Träffar man rätt är resultatet validerat. Träffar man fel blir slutsatserna felaktiga och besluten som grundas på dessa slutsatser kan bli ödesdigra.

Problem som finns är bl.a.
  • Det är svårt att validera attityder och värderingar för att förutsäga ett beteende. De dolda felen ligger bl.a. i att:
    • Alla attityder motsvaras inte av ett direkt beteende.
    • Om tid förflutit mellan attitydstudie och beteende kan attityderna hunnit förändras.
    • En individ kan ha sinsemellan motstridiga attityder.
    • Felaktig rapportering om attityden. Rationalisering eller medveten lögn.
  • Vissa frågor är svåra att formulera, t ex att fråga om lojalitet till Systembolaget kan ge svar både ur aspekten handlar allt där, men också om det fanns alternativ – skulle man då handla där?
  • Bortfall – se vidare www.bortfallssnurran.se , Statistikersamfundets rapport i ämnet
    Vi måste därför:
    • Ställa frågor som ger svar på det vill ha svar på.
    • I komplexa undersökningar som ex. koncepttest först tillföra kunskap till respondenten så att hon/han kan få en helhetsbild av området innan frågorna besvaras.
    • Helst ställa flera frågor som belyser samma sak från en annan infallsvinkel. Ex. när det gäller att mäta lojalitet, att man då täcker flera aspekter av begreppet ”lojalitet”.
    • Dra urval så att alla i målpopulationen har en beräkningsbar möjlighet att komma med i undersökningen.
    • Välja en metod som klarar av att ge de resultat vi söker.
    • Lägga frågorna i sådan ordning att de inte stör varandra.
    • Se till att de frågor jag formulerar inte blir ledande så att resultatet blir en följd av en frågekonstruktion snarare än en attityd.
    • Planera fältarbetet så att alla utlottade respondenter ges möjlighet att svara
    • Vara medvetna om att kunskapsfrågor kräver att respondenten inte kan kontrollera svaret vid intervjusituationen. (Internet- och postala undersökningar är därför klart olämpliga här.)
    • Göra bortfallsanalyser om vi inte når godkänd svarsfrekvens.

Exempel på hög kvalitet i detta avseende:
  • Väl utprovade frågor, ställda i tidigare projekt med validerat resultat. Gäller särskilt prognostiserande efterfrågeanalyser
  • Fler än en undersökare kontrollerar frågorna
  • Pilotintervjuer

RELIABILITET – TILLFÖRLITLIGHET
Reliabilitet innebär att om undersökningen upprepas ska samma resultat uppnås inom ramen
för på förhand definierade felgränser som kan bero på slumpen.
Problem som finns är bl.a.
  • Skillnader i föränderliga egenskaper hos individen som kan påverka mätvärden, t ex
  • Hälsa, trötthet, motivation, stress.
  • Situationsbundna faktorer, t ex kontakt med intervjuare och distraherande miljö.
  • Variationer i sättet att fråga, t ex mellan olika intervjuare
  • Oklarhet eller svårigheter i mätinstrumenten som vissa respondenter klarar och andra.
  • inte eller som lämnar spelrum för skilda tolkningar,
  • ”Lay-out”-faktorer, som otillräckligt utrymme för svar för den som har en utrymmeskrävande handstil.
  • Slumpfaktorer, t ex att respondenterna har gissat eller tröttnat och fyllt i formuläret på måfå.
Vi måste därför:
  • Alltid ha välutbildade intervjuare
  • System för att kontrollera den omgivning och den utrustning som används vid datafångsten
  • System för att upptäcka fejkade/felaktiga/otillräckligt ifyllda formulär.
Kommentar:
Vid upprepade mätningar där man vill mäta förändring över tid kan ibland standardavvikelsen
ställa till förtret. Vid t ex 500 intervjuer och 50% i uppmätt värde får vi ett konfidensintervall som innebär att vi med 95% säkerhet vet att värdet ligger mellan 45,6 och 54,4.

URVALSKVALITET – REPRESENTATIVITET (extern validitet)
Att rätt beskriva en målpopulation och göra ett representativt urval är grundläggande för alla
undersökningar.
Problem:
  • · Att arbeta igenom ett urval på något hundratal personer eller fler under en eller ett pa rdagar/kvällar är omöjligt. Alla är inte anträffbara på så kort tid. Detta kallas ibland stugsittarurval.
  • Många intervjuer borgar inte för god kvalitet – i målpopulationen måste det vara slumpen som väljer vem som ska tillfrågas Använd hellre ett litet bra urval än ett stort dåligt. Stora urval har ibland en falsk imponeringseffekt.
  • Standardavvikelsen påverkas av urvalets storlek. Beslutsunderlagets krav på exakthet avgör urvalsstorlek.
  • Resultaten från en undersökning är aldrig exakta – ett redovisat procenttal är en ungefärlig skattning. Säkerheten i skattningen beror på urvalsstorlek (förutsatt att allt annat görs rätt – frågor, bortfall, etc). Uppdragsgivaren ansvarar för vilken säkerhet som erfordras för att vara tillräckligt som beslutsunderlag.
För att dra ett urval med kvalitet bör man redovisa:
  • En beskrivning av målpopulationen (t ex vuxna svenskar i Skåne) i tid och rum inklusive eventuella begränsningar.
  • Urvalsram (t ex befolkningsregistret över Skåne), med redovisning av kända avvikelser från målpopulationen.
  • Insamlingsmetod (en eller flera), insamlingstidpunkt.
  • Typ av urvalsförfarande (Urvalet måste styras av slumpen)
  • Uppgift om totala antalet element i urvalet.

Man bör också belysa
  • Systematiska fel genom stort bortfall eller urval som ej styrs av slumpen kan ha stor påverkan på undersökningens resultat.
  • Säkerställa att alla i urvalet har en beräknad sannolikhet att komma med i undersökningen – s.k. urvalssannolikhet.

OBJEKTIVITET I RAPPORTEN
Kravet på objektivitet innebär att andra forskare (undersökningskonsulter) med motsvarande
kunskaper och erfarenhet skall komma till samma resultat vid behandling av framkomna
data. Redovisningen av metoder, data och bearbetning bör därför under alla förhållande vara
så utförliga att läsaren av undersökningsrapporten kan bilda sig en uppfattning huruvida detta
vetenskapliga krav uppfylls.
Vissa kvalitetsaspekter med avseende på rapportens utförlighet.

1. Kan läsaren klart skilja mellan vad som är åsikter resp. hypoteser samt vad som är
fakta eller tolkningar av eller slutsatser ur fakta och rekommendationer?
2. Kan läsaren klart skilja mellan författarnas resp. andras åsikter, hypoteser, fakta, tolkningar,
resultat etc.?
3. Framgår säkerhet/osäkerhet i fakta och resultat tydligt för läsaren?