NOPVO - Onderzoekpaleis

COPYRIGHT
Dit document bevat uitkomsten van het Nederlandse Online Panel
Vergelijkings Onderzoek (NOPVO 2006)
Het is alleen toegestaan te verwijzen naar gegevens van dit
onderzoek als de volgende bron gegevens vermeld worden:
 Bron: Het Nederlands Online Panel Vergelijkings Onderzoek
(NOPVO 2006)
 De auteurs/initiatiefnemers:
Ted Vonk (Onderzoekpaleis)
Robert van Ossenbruggen (ProCression)
Pieter Willems (Millward Brown)
Contact: [email protected]
Nederlands Online Panel Vergelijkings
Onderzoek (NOPVO)
Door
Robert van Ossenbruggen
Pieter Willems
Ted Vonk
Amsterdam 12 oktober 2006
Access panels en online onderzoek:
slangenkuil of panacee?
Agenda
• Opzet en doelstellingen NOPVO
• Bevindingen bij het empirisch onderzoek
• Respons
• Steekproefsamenstelling
• Paneloverlap
• De respondenten
Gastspreker
• Verschillen in uitkomsten tussen panels
• Conclusies en aanbevelingen
Els Molenaar
“Als je wint heb je
vrienden”
Opzet en doelstellingen NOPVO
Meer dan 50% van dataverzameling in NL verloopt online
Nederland loopt daarmee voorop in de marktonderzoekwereld
Gevolg is een relatief sterke ontwikkeling van:
• technologie
• specialistische dienstverlening: meer dan 25 online panels in NL
Redenen voor sterke groei online onderzoek
• Toename kosten traditioneel onderzoek door verandering
wetgeving
• CATI-response daalde sterk waardoor kosten voor veldwerk
eveneens toenamen
• Sterke groei van internetpenetratie door actief overheidsbeleid
(Internet penetratie >80% en breedband in NL is 63%)
Online panels: verschillende tijden, verschillende meningen
Verschuiving veldwerk naar web: hoe werd dit geaccepteerd?
1998 – 2001: Scepsis en terughoudendheid
Representativiteit, potentiële mode problemen
2002 – 2004: Bijna blinde acceptatie: nauwelijks kwaliteitszorg
Kosten, snelheid, concurrentie voor zijn
2005 – nu:
Opnieuw bezorgdheid kwaliteit online panels
dubbelgangers, dumpprijzen, geen richtlijnen
Daarom: NOPVO 2006
Twee goede redenen om NOPVO dit jaar in Nederland te starten
1. Goed antwoord vinden op toenemende kwaliteitszorg
2. Breed aanbod van panels in NL vormt een unieke situatie
Vraagstelling NOPVO
1. Wat is de omvang van de actuele panelsituatie in NL?
2. Wie is de online panelrespondent
3. Hoe responderen panelleden uit verschillende panels
op een gestandaardiseerde vragenlijst
4. In welke mate zijn opinie- en marketingdata afhankelijk van
panelkeuze?
Aanpak NOPVO in vogelvlucht
1. Inventarisatie online panels in Nederland op basis van ESOMAR
criteria
2. Empirische studie
• één vragenlijst met typische marktonderzoeksvragen
• elke panel levert een bruto sample van 1000 respondenten
• het bruto sample naar eigen inzicht gestratificeerd ten einde
NL representatief netto sample te verkrijgen
• gelijke veldwerkperiode van 7 dagen, geen reminders
19 panels hebben
deelgenomen:
samen > 90% van al
het online onderzoek
in Nederland
Aanpak NOPVO in vogelvlucht
Zeer uitgebreide gegevens beschikbaar:
Per panel:
-beloningsvorm
-leeftijd panel
-uitnodigingsbeleid
-etc.
Per panellid:
-panelhistorie
-aantal uitnodigingen
-gemiddelde response
-laatste keer deelname
-socio demo, etc.
Per respondent:
-responsegedrag
-check panelhistorie
-check sociodemo
-antwoorden op
vragenlijst
Vragenlijst empirisch onderzoek
• Werk en vervoer
• Politieke voorkeur
• Beoordeling kabinetsbeleid en JPB
• Religie en geloof in God
• Verhuisgeneigdheid en tevredenheid met woonomgeving
• Spontane en geholpen bekendheid bier/TV-merken
• Reclamebekendheid
• Participatie in online onderzoek
• Frequentie internetgebruik
• Verschillende soorten schaalvragen, 2 open vragen, vragen naar
getallen
Deelnemende panels NOPVO
Traditioneel Full Service behorend tot Internationale keten
5
Traditioneel Full Service
5
Internet start ups
5
Panel Only
4
Alleen 25 vragen ESOMAR
3
Wetenswaardigheden over de panels
• Meerderheid panels bestaat langer dan 5 jaar
• Uiteenlopende methoden voor werving panelleden
• Bijna alle panels belonen respondenten voor medewerking
• Gemiddeld € 1,20 voor 10 minuten
• Meeste panels leggen beperkingen op aan frequentie deelname
aan onderzoek
• Uitvoerige beschrijving van alle panels te vinden op
www.moaweb.nl
• “het 25 vragen van ESOMAR overzicht”
De kernvragen zijn……
In welke mate beïnvloeden
panelfactoren het gedrag van
respondenten?
en,
In welke mate leidt dit tot een
verschillende beantwoording van
vragenlijsten?
Eerst nog even dit……..
• Vanaf nu worden de panels niet meer bij naam genoemd
• Doel van NOPVO:
• Inzicht geven in verschillen en overeenkomsten van online
panels
• Discussie stimuleren over welke panelfactoren relevant zijn bij
opzet en onderhoud van panels
• Geen doel van NOPVO: Kwalificeren van goede of slechte panels
• Panels hebben inzicht in hun eigen prestaties via een benchmark
rapport
Het empirisch onderzoek
Respons
Paneloverlap
Aantal vragenlijsten
Aanzienlijke verschillen in respons per panel
Response per panel
77
49
%
36
18
39
39
39
40
54
55
56
60
60
62
66
68
70
41
19
Hoogte van respons hangt samen met verschillende panelkenmerken
• Panelleeftijd
• Wervingsmethode
• Beloningssysteem
• Panelbewaking
• Omgang met respondenten
Invloed van factoren afzonderlijk moeilijk vast te stellen
50
Hoge/lage respons nader verklaard (1)
• Panels met hoge respons hebben niet alleen maar trouwe
respondenten uitgenodigd…
Panels met hoge respons zijn hoofdzakelijk
• Panels die nog maar kort bestaan
• Beperkt aantal uitnodigingen hebben verstuurd
• Panels met lage respons zijn panels die weinig aan panelbewaking
doen
• Er worden respondenten uitgenodigd die al een jaar lang geen
vragenlijst hebben ingevuld
• Omvang panelbestand is belangrijk in communicatie naar de
markt
Hoge/lage respons nader verklaard (2)
• Panelleeftijd:
• Verse panelleden responderen beter dan ervaren panelleden
• Samenstelling steekproef naar panelleeftijd varieert sterk per
panel
• Wervingsmethode:
• Werving via onderzoek (-instrumenten) geeft hoogste respons
(zijn al bereidwillig)
• Zelf aanmelden of aangemeld via links/banners geeft duidelijk
lagere respons
• Beloningssysteem
• Zekerheid over beloning is van belang
• Stimulerend effect van de hoogte van de beloning stopt bij 1
euro
Hoogte respons heeft weinig invloed op de uitkomsten
• Er zijn GEEN verschillen tussen de panels gevonden die direct
verband houden met de hoogte van de respons
• Leden van online panels vormen een homogene groep
• Ze zijn onderzoekbereidwillig
• Heavy users van Internet
• Vertekening als gevolg van ontbrekende groepen bij online panels
is er nauwelijks (ze ontbreken in alle panels)
Beter meewerkende panelleden oververtegenwoordigd
Gem iddelde respons op uitnodigingen in afgelopen 12 m aanden
per respons categorie van NOPVO
Geslaagd
67%
54%
Afgehaakt
Non respons
Totaal
31%
51%
• Respons op uitnodigingen in afgelopen 12 maanden komt overeen
met NOPVO respons
• Respons per panel op basis van uitnodigingen in afgelopen 12
maanden is vergelijkbaar met respons bij NOPVO
• NOPVO netto steekproef is wat anders dan het panelbestand
Hoogte respons is niet relevant bij online panels
• Initiële non-respons bij werving wordt niet meegeteld
• Bij zelf aanmelden sprake van selectieve respons
• Hoogte respons is beïnvloedbaar door
• Uitsluiten moeilijk bereikbare groepen
• Selectie/behoud van goed responderende panelleden
• Hoogte van respons zegt meer over economisch
rendement van het panel
• Hoogte respons is geen indicator van de kwaliteit van de
steekproef
Wie zitten er (niet) in de panels?
• Samenstelling naar leeftijd, geslacht, opleiding en regio in meeste
gevallen in orde (er is op geworven en gestuurd)
• 65-plussers zijn niet meegenomen
• Beperkte afwijking van Sociaal Economische Klasse
(dus niet alleen maar studenten en werkelozen)
Structurele afwijkingen in alle panels
• Niet-westerse Allochtonen ontbreken praktisch volledig
• Heavy Internet users oververtegenwoordigd
• Te weinig CDA stemmers en teveel SP kiezers
• Weinig kerkgangers
Te weinig CDA stemmers en teveel SP kiezers
Stemgedrag bij verkiezingen 2003
%
16
CDA
ChristenUnie
2
D66
4
GroenLinks
5
7
5
LPF
29
3
6
7
27
27
PvdA
PvdD
SGP
1
0
1
2
SP
6
Uitslag 2e kam er 2003
14
17
18
VVD
Andere partij
NOPVO 2006
1
2
• Meer stemmers dan in werkelijkheid: 90% zegt gestemd te hebben terwijl
de opkomst 80% was
• CDA structureel te laag bij alle panels, SP te hoog
• CDA/SP afwijking ook zichtbaar bij stemintentie
Paneloverlap doorkruist panelmanagement activiteiten
Lidmaatschap aantal panels
1 panel
38%
2 panels
15%
Meer dan 10
panels
3%
6-10 panels
13%
3 panels
14%
5 panels
7%
4 panels
10%
• 62% respondenten is lid van meerdere panels
• Gemiddeld is een respondent lid van 2,73 panels
Bij deze mate van overlap heeft een restrictief beleid bij het uitzetten van
vragenlijsten weinig zin
• Overlap in het panelbestand is minder
Overlap met andere panels varieert sterk per panel
Gemiddeld aantal panellidmaatschappen per panel
5,42
5,27
4,64
4,04
4,04
3,92
3,85
3,78
3,32
3,16
2,96
3,25
2,91
2,77
2,54
2,39
2,15
• Gemiddeld aantal lidmaatschappen in NOPVO steekproef 3,25
• Gecorrigeerd voor panelomvang: 2,73
• 62% is lid van meer dan 1 panel
• Panel overlap varieert van 29% tot 88%
• Hoogste overlap tussen twee panels: 42%
1,98
1,86
1,69
Meeste paneloverlap bij gekochte adressen
Lidmaatschap aantal panels per wervingsmethode
28
20
22
14
9
18
34
6
29
29
35
46
46
7
16
%
39
45
43
19
Adressen
gekocht
26
28
Via links/
banners
Vanuit
bestaande
panels
63
60
53
40
33
38
Via onder Heeft zichzoek op
zelf aanw ebsites
gem eld
1 panel
Via traditioneel
onderzoek
2-5 panels
Sneeuw bal
m ethode
Telefonische
w erving
Totaal
m eer dan 6 panels
• Vier van de vijf paneleden die geworven zijn met behulp van gekochte adressen
is lid van meerdere panels
• Minste overlap bij telefonische werving (wel de kostbaarste wervingsmethode)
• Gemiddeld aantal panels varieert van 2,0 bij telefonische werving tot 4,3 bij
werving via aangekochte adressen
• Enige ruis aanwezig in deze uitkomsten vanwege de paneloverlap
Hoeveel panelleden zijn er eigenlijk in Nederland?
Ca. 900.000 unieke panelleden
• Volgens opgave panels 1.650.000 panelleden
• Kans om in de steekproef te komen is afhankelijk van het aantal
panels waar men van deel uit maakt
• Gemiddelde paneloverlap 2.73
• 6% dubbele adressen in de steekproef
Panelbestanden bestaan uit:
• Ca. 700.000 panelleden die in 1 panel zitten
• Ca. 200.000 panelleden die in gemiddeld 4,7 panels zitten
Panelleden hebben het er maar druk mee……..
Gem iddeld aantal uitnodigingen in afgelopen 12 m aanden per panel
bruto steekproef
Selectie: langer dan 1 jaar panellid
45,9
47,8
31,1
11,1
2,2
3,4
12,7
13,2
14,5
16,1
17,2
18,2
18,9
3,6
• Voor de goede vergelijkbaarheid alleen respondenten genomen die meer
dan 1 jaar panellid zijn
• Gemiddeld 19 uitnodigingen
• Aan restricties ten aanzien van aantal uitnodigingen blijken panels zich in
de praktijk te houden
• Lage aantal uitnodigingen wordt bepaald door gebrek aan projecten
• Niet alle panels hebben gegevens over uitnodiging voor handen
Panelleden hebben het er eigenlijk nog veel drukker mee….
Aantal uitnodigingen in afgelopen 4 weken van alle panels waar men lid van is
Gemiddeld aantal uitnodigingen in 4 weken
voorafgaand aan NOPVO per panel
4,4
4,9
5,3
2,9
2,1
1,7
5,7
2,9
6,1
5,4
5,8
6,0
6,2
6,7
6,5
6,6
7,4
7,0
6,6
2,8
2,1
2,2
2,7
3,0
Lid van 1 panel
2,4
2,7
7,3
7,6
8,2
6,4
3,7
3,2
7,3
4,6
4,0
2,8
1,9
2,1
2,5
2,7
Lid van >1 panel
• Gemiddeld 5,1 uitnodigingen per 4 weken
• Per panel varieert het gemiddeld aantal tussen de 2,8 en 7,2
• Slechts 2% heeft geen uitnodiging ontvangen
• Bij lidmaatschap meerdere panels gemiddeld 6,4 uitnodigingen
80-20 regel geldt ook voor invullen vragenlijsten
Op jaarbasis 25.000.000 ingevulde vragenlijsten
Respondenten, ingevulde vragenlijsten en lidmaatschap aantal panels
900.000 Panelleden
1%
4%
2%
4%
5%
6%
25.000.000 ingevulde
vragenlijsten
8%
25%
11 panels of m eer
6-10 panels
9%
78%
5 panels
12%
4 panels
13%
3 panels
2 panels
12%
1 panel
20%
• Beperkte groep panelleden vult substantieel deel vragenlijsten in
• Bij berekening van deze aantallen is rekening gehouden met
• Gemiddeld aantal panellidmaatschappen
• Respons op uitnodigingen van goed/slecht responderende panelleden
• Omvang panels
Het Panellid
Beweegredenen
Hoe reageert hij/zij op een vragenlijst
Soorten respondenten
Panelleden vinden het leuk…….
Redenen om aan online onderzoek mee te doen
%
Ik vind het leuk om vragenlijsten in te
vullen
43
26
38
ik w il graag m ijn m ening kw ijt
22
34
Ik vind de beloning interessant
17
21
Nieuw sgierigheid
9
Ik vind het leuk om nieuw e ideeën en
producten te zien
20
8
Ik vind de onderw erpen van de
vragenlijsten interessant
5
Ik vind het leuk om de resultaten van
onderzoeken te zien
5
Ik vind het leuk om onderdeel uit te
m aken van een online groep
Totaal redenen om m ee te doen
13
13
8
4
Belangrijkste reden om m ee te doen
Redenen om mee te doen verschillen
• Motieven om mee te doen verschillen per panel
• Motief beloning varieert van 2% - 27%
• Vind het leuk vragenlijsten in te vullen: 14% - 35%
• Jongeren worden meer door beloning aangetrokken
• Nieuwsgierigheid drijft de beter opgeleiden
Hoe reageren panelleden op een vragenlijst?
• Tijdstip/dag van invullen
• 75% vragenlijsten binnen 24 uur ingevuld
• Groot deel van werkenden vult vragenlijst op werk (tijden) in
• Snelheid van invullen
• Gemiddelde invultijd:12,5 minuten
• Gemiddelde invultijd snelste panel: 11,1 minuten
• Gemiddelde invultijd langzaamste panel: 15,5 minuten
• Van hoe meer panels men lid is des te sneller wordt de
vragenlijst ingevuld
> Lid van 1 panel :13,5 minuten
> Lid van 2-5 panels: 12,9 minuten
> Lid van 6-10 panels:
11,9 minuten
> Lid van 11 of meer panels:11,2 minuten
Benodigde invultijd varieert over panels: wijst op andere gedrag
2 snelste panels
2 langzaamste
Internetgebruik p. week
14,3 en 15,3 uur
7,9 en 8,5 uur
Doe mee uit interesse
31%, 40%
50%, 54%
Doe mee voor beloning
40%, 44%
11%, 25%
Aantal panels lid
5,3 en 5,4
1,7 en 2,4
Aantal reclames gezien
4,1 en 4,4
5,3 en 5,5
Bekendheid merken
geen effect
panels
“Door u aan te melden op deze website sluit u zich aan bij een
gemeenschap van professionele geënquêteerden…”
“Om zoveel mogelijk geld te verdienen, dient u
zich OP ZOVEEL MOGELIJK websites te
registeren”
“Het is de perfecte baan voor vrouwen die thuis
willen blijven bij hun kinderen of voor iedereen
die graag thuis wat bijverdient”
(Bron: www.thesurveypro.com/dutch.htm)
Aangenaam kennis te maken: de professionele respondent
•
Veel panels lid
•
Veel vragenlijsten ingevuld
•
•
Operationalisatie NOPVO:
‘professionaliteitsindex’=
1. aantal panels lid (Z) +
2. aantal vragenlijsten ingevuld afgelopen 4 weken (Z)
Geselecteerd voor analyse: top 10%
Het is fijn dat er beroepsrespondenten zijn……..
Gemiddeld responspercentage op uitnodigingen afgelopen 4 weken
naar lidmaatschap panels
1 panel
2 panels
83
respons %
88
91
3 panels
90
4 panels
5 panels
92
6-10 panels
92
95
11 panels of m eer
Totaal
88
• Gemiddeld heeft men 4,4 vragenlijsten ingevuld in afgelopen 4 weken
• Respons op uitnodigingen in afgelopen 4 weken is (zou zijn) 88%
• In hoe meer panels men zit,
• Hoe beter men respondeert
• Hoe sneller men respondeert
Aangenaam kennis te maken: de loyale respondent
•
De ‘loyale’ respondent: neemt de tijd om de vragenlijst in te
vullen en maakt zich niet gemakkelijk van open vragen af
•
Operationalisatie NOPVO:
‘loyaliteitsindex’=
1. duur interview (Z) +
2. lengte open vraag 1 (Z) + lengte open vraag 2 (Z) +
lengte open vraag 3 (Z)
•
Geselecteerd voor analyse: top 10%
Aangenaam kennis te maken: de gemakzuchtige respondent
• De gemakzuchtige respondent: contra loyale respondent
• Dus: sjeest door de vragenlijst en maakt zich gemakkelijk van
open vragen af
• Operationalisatie NOPVO:
‘gemakzuchtigheidsindex’= loyaliteitsindex * -1
• Geselecteerd voor analyse: top 10%
Professionele respondent is slechts incidenteel gemakzuchtig
• Bij selectie top 10% van de respondentindexen zeer beperkte
overlap in respondenttypen
Respondenttype & eigenschappen
• Professionele respondent
• hogere internetfrequentie
• vaker in nieuwe panels
•
•
•
•
lager opgeleid
vaker arbeidsongeschikt
minder tevreden met inkomen
minder tevreden met functioneren democratie
• minder gezond
• Loyale respondent
• hoger opgeleid
• Gemakzuchtige respondent
• minder ouderen
Panellidmaatschap: van wie komt het initiatief?
werving panellid (van 12 panels gegevens bekend)
21%
12%
17%
16%
14%
23%
24%
20%
7%
17%
Overig
14%
9%
17%
19%
Via links/banners op websites
Adressen aangekocht
30%
33%
Traditionele
dataverzamelingsmethodes
45%
31%
17%
14%
Totaal
Heeft zichzelf aangemeld
professioneel
professioneel:
vanuit
respondent
loyaal
loyaal:
vanuit panel
gemakzuchtig
gemakzuchig:
vanuit
respondent
Grote verschillen in motivatie
Hieronder staat een aantal redenen waarom mensen aan
onderzoek op Internet meedoen.
Wat is voor u de belangrijkste reden?
6%
1%
7%
54%
5%
59%
anders
75%
88%
intrinsieke motivatie
46%
50%
beloning interessant
34%
leuk om vragenlijsten in te
vullen
20%
60%
43%
Totaal
51%
33%
professioneel:
professioneel
leuk om
vragenlijsten
in te vullen
loyaal:
loyaal
intrinsiek
gemotiveerd
gemakzuchig:
gemakz
extrinsiek
gemotiveerd
Verschillen tussen typen lopen bij reclamebekendheid op tot 15%...
• Reclamebekendheid weergegeven als deviatie van totaal
• Grootste effect bij gemakzuchtige respondenten
12%
8%
4%
(0 lijn =
0%
totaal)
-4%
professioneel
loyaal
gem akzuchtig
Volkswagen
Vodafone
T-Mobile
ONVZ
Nivea
Mazda
Fortis
Dove
Citroën
Achmea
-12%
OHRA
-8%
-15%
professioneel
loyaal
gem akzuchtig
Viewsonic
Vestel
Toshiba
Thomson
Sony
Sharp
Samsung
Sanyo
Pioneer
Philips
Panasonic
Orion
NEC
Metz
Loewe
LG
Lenco
JVC
Hitatchi
Grundig
Finlux
Beko
Bang & Olufsen
Akai
Aiwa
Of zelfs tot boven de 20%...
merkbekendheid televisie weergegeven als deviatie van totaal
15%
10%
5%
0%
-5%
-10%
Grote variatie politieke interesse
In welke mate bent u geïnteresseerd in politiek?
12%
8%
11%
21%
34%
43%
42%
Sterk
Gewoon
50%
21%
Matig
Weinig
22%
21%
Niet geïnteresseerd
22%
16%
18%
7%
8%
Totaal
professioneel
professioneel:
geen
effect
18%
9%
2%
loyaal
loyaal:
sterke
politieke
interesse
15%
gemakzuchtig
gemakzuchig:
zwakke
politieke
interesse
Respondenttypen verschillen sterk tussen panels
totaal
laag gemakzuchtig
A
B
C
D
E
F
G
H
professioneel
I
loyaal
J
gemakzuchtig
K
overig
L
M
N
O
P
Q
R
hoog gemakuchtig
S
0%
20%
40%
60%
80%
100%
Typologie bepaalt reclamebekendheid
• Effect van respondenttype werkt door op panelniveau
• Dus: panels met veel loyale respondenten hebben een hogere
merkbekendheid dan panels met veel professionele en/of
gemakzuchtige respondenten !
12%
3 panels met meest loyale respondenten
8%
4%
0%
-4%
-8%
3 panels met meest gemakzuchtige respondenten
en
lk
sw
ag
e
Vo
da
fo
n
Vo
ile
ob
TM
VZ
O
N
RA
O
H
Ni
ve
a
a
az
d
M
rti
s
Fo
e
Do
v
n
Ci
tro
ë
Ac
h
m
ea
-12%
Grootste zorg: de gemakzuchtige respondent
• Q: Is de angst voor de professionele respondent terecht?
• A: Deels, want dit type respondent heeft wel een afwijkend
responspatroon, de effecten zijn echter klein
• Q: Is de loyale respondent ook de ideale respondent?
• A:
•
•
•
Dit blijft nog even een vraag.
Datakwaliteit hoog
Maar: afwijkend responspatroon.
Wie zijn er nu eigenlijk afwijkend? de loyalen of de minder
loyalen?
• Q: Is de gemakzuchtige respondent een gevaar voor
panelonderzoek?
• A: Absoluut: a-typische groep met grote effecten die zorgt voor
nodige ruis in data
Kwaliteit van data
Verschillen tussen panels
Kwaliteit van data o.a. afhankelijk van:
• Effort in open antwoorden
• Van een enkel woord tot een opstel
• Neiging tot gebruik categorie ‘wil niet zeggen’
• Neiging tot gebruik categorie ‘weet niet’
• ‘Doorklikkers’: respondent die op reeks schalen iedere keer
hetzelfde antwoordt
• Neiging tot gebruik van neutrale antwoorden
• Noemen van niet bestaande merken
Gemakzuchtige respondent levert minder bruikbare data
22%
21%
14%
14%
12%
12%12%
11%
7%
6%
6%
7%
6%
4%
2% 1%
2%
1%
1% 1%
1+ wil niet zeggen 1+ weet niet (12)
(7)
totaal
3% 3% 3%
0%
'doorklikkers'
professioneel
6+ neutrale score
op 5-p schalen (10)
loyaal
fake tv merk
genoemd
gemakzuchtig
0 reclames gezien
Verschillen in de uitkomsten van panels
• Wat we aan verschillen mogen verwachten
• Wat we aan verschillen vinden
• Merendeel verschillen niet veel groter dan
betrouwbaarheidsintervallen doen verwachten
• Extremen leiden wel tot andere conclusies
• Hoe we de verschillen kunnen verklaren
Wat we aan verschillen mogen verwachten
• Steekproefonderzoek vertoont per definitie enige fluctuatie
(sampling error)
• Responspercentages van panels verschillen aanzienlijk
• Dus netto steekproeven van een kleine 200 tot bijna 800
• Uitgaande van volledig aselecte steekproeven, geeft dit een
maximale 95%-betrouwbaarheidsinterval van 7% (+/-) voor de
kleinste netto steekproeven
• Verschillen toetsen niet zo zinvol
Aantal resultaten verschillen fors tot zéér fors…
Doet betaald werk voor
meer dan 15 uur per week
Met welke
vervoermiddelen gaat u
naar uw werk? OV
Merkbekendheid Corona
Aantal uur surfen per
week: 10+ uur
82%
77%
69%
62%
60%
53%
50%
35%
31%
21%
19%
12%
min
verschil
min/max:
tot
28%
max
min
tot
19%
max
min
tot
17%
max
min
tot
29%
max
Grote verschillen meestal door panels met extreme score
100%
verschil
min/max:
28%
15%
9%
n=17
n=15
19%
10%
9%
17%
9%
7%
n=15
n=19
n=17
n=15
80%
60%
40%
20%
0%
n=19
n=19
n=17
Doet betaald werk voor meer dan Met welke vervoermiddelen gaat
15 uur per week
u naar uw werk? OV
Merkbekendheid Corona
Veranderen van panel geeft kans op trendbreuken
12%
panels met hoge
reclamebekendheid
8%
4%
geen één reclame gezien:
•totaal: 11%
•min:
7%
•max:
16%
0%
-4%
-8%
panels met lage
reclamebekendheid
panel C
panel X
panel Y
panel Z
ag
en
Vo
lk
sw
af
on
e
Vo
d
TM
O
N
ob
ile
VZ
RA
H
O
iv
ea
panel B
N
a
M
az
d
rti
s
Fo
ov
e
D
itr
oë
n
panel A
C
A
ch
m
ea
-12%
Grote variatie in aantallen extreme scores
• Alle minima en maxima van
antwoorden op de vragenlijst
zijn geïdentificeerd per panel
• Resultaat: sommige panels
geven nauwelijks extreme
antwoorden, andere panels vaak
• Q: Lijken de antwoorden van de
panels met weinig extremen op
elkaar?
• Q: Lijken de antwoorden van de
panels met veel extremen op
elkaar?
Twee soorten kwaliteit: datakwaliteit en steekproefsamenstelling
Wat we aan verschillen vinden
• Het merendeel van de vragen levert geen schokkende verschillen
op
• Indien wel schokkend, dan meestal door panels met extreme
score
Hoe we de verschillen kunnen verklaren
• Deels: het type respondenten dat in panels zit
• Bij een aantal panels lijken vragenlijsten zorgvuldiger te
worden ingevuld dan bij andere
• Bij een aantal panels lijkt de steekproefsamenstelling beter op
orde te zijn dan bij andere
Conclusies
Conclusies NOPVO (1)
• Er is spraken van een selecte, afwijkende respondentengroep.
De selectie vindt plaats voordat iemand panellid wordt.
• Het grootste deel van de populatie zit niet in de panels:
zij geven die ándere antwoorden
• Om die reden is responsehoogte niet langer een indicator voor
kwaliteit van de steekproef maar een indicator voor het
economisch rendement van het panel
• Respondenten doen hun naam eer aan: ze zijn intensieve
vragenlijstinvullers:
• Er is grote overlap tussen panels waardoor invloed van
panelmanagement de facto beperkt is
Conclusies NOPVO (2)
• Een leereffect bestaat: respondenten met ervaring reageren
anders op bijvoorbeeld reclame- en merkbekendheid
• Panels variëren op de onderzoeksuitkomsten, echter dit kan niet
verklaard worden door onderliggende eigenschappen
• Twee kwaliteitsproblemen vormen een probleem bij
panelonderzoek: samenstelling van het panelbestand en kwaliteit
van data
• Aan de paneladministratie van sommige panels kan het nodige
verbeterd worden
• Paradox: wat drijft een panelexplointant: continuïteit en
kostenefficiënte exploitatie versus kwaliteit van onderzoek?: het
lijkt er op dat de effecten die we vinden vooral vanuit aspect 1
voortkomen.
Aanbevelingen (1)
• Bezint eer ge begint
• Gooi iedereen met een slechte responsekwaliteit uit je panel
• Gebruik online panels vooral voor trendmetingen en
concepttesting
• Wees voorzichtig met het gebruik van online panels voor
penetratiemeting
• Wissel niet van panel in continue onderzoek: effecten bij wisselen
komen niet zo zeer door verschil in panelmanagement maar
vooral door verschil in sampling
Aanbevelingen (2)
• Bij vergelijkingsonderzoek (0/1meting, continue onderzoek) dient
het de aanbeveling om samples te matchen op panelhistorische
kenmerken
• Een substituut voor de oude vraag “werk je bij
marktonderzoeksbureau” moet worden vervangen door “hoe vaak
heb je de afgelopen 4 weken aan zo meegedaan en hoeveel
uitnodigingen heb je gekregen”
• Vraag aan je sample provider een hash van het bruto sample
• Verzin een andere manier om je panel te werven: er staan nog 9
miljoen mensen voor je klaar…