1. Sampling (proef) bias

Samenvatting – Hoofdstuk 5
Observatie en beschrijving 2 : een paar technische problemen
Dit hoofdstuk gaat over hoe we soms misleidende data krijgen en wat we kunnen doen om dit
te voorkomen.
Hoe komen we aan misleidende data?
1. Probleem van sampling(proef) bias: het observeren van organismen die verschillen
van de organismen/gebeurtenissen waaruit we onze conclusie willen trekken.
2. Observer effect: mensen/dieren gedragen zich anders omdat ze geobserveerd worden.
3. Observer bias: degene die observeert ziet wat hij wil zien i.p.v. wat er echt te zien is.
4. Inferential (concluderen) bias: verkeerde conclusies trekken uit juiste data.
We willen dat deze vier problemen niet voorkomen om onze conclusie te beschadigen.
De technische problemen worden besproken over observaties maar kunnen ook voorkomen
bij experimenten.
1. Sampling (proef) bias
Welke groep gaan we observeren en tot welke populatie gaan we de resultaten generaliseren?
We willen algemene informatie.
Probleem: hoe komen we van specifieke observaties tot algemene conclusies?
Bij de meeste psychologie studies word daarom gekeken naar de overeenkomst tussen
verschillende studies.
- Sampling (proef) en populatie
Soep (populatie) kok proeft één hap (sample) en zegt soep is goed.
De kok trekt een conclusie over de hele populatie.
Je kan zelf de populatie kiezen en daaruit een sample maar deze kan biased zijn of unbiased.
- Het probleem van sampling (proef) bias
De kok moet wel eerst roeren, anders liggen de zware ingrediënten op de bodem en dan is dat
een niet representatieve of biased sample van de proef.
Een sample (lepel) en de populatie van interesse (soepkom) kunnen op een consequente
manier verschillen (zware ingrediënten op de bodem) als dat gebeurt spreken we van een
biased sample van de populatie.
- Verwerven van representatieve samples
Om sampling bias te vermijden, definiëren we eerst de populatie en zoeken we daarna een
representatieve sample (proef) van de populatie
- Random sampling
De beste manier om een representatieve sample te krijgen is door deze random te trekken uit
de populatie.
Random sample is iets technisch: het betekent dat ieder lid van de populatie evenveel kans
heeft om gekozen te worden.
Zo’n methode heeft veel nodig 1) maak een lijst van alle leden, 2) alle leden van de populatie
moeten een nummer / naam hebben 3) trek een random sample van nummers, 4) vindt de
personen die bij de nummers horen.
Het is belangrijk om te onthouden dat de populatie alles is wat ik zeg dat het is. Als ik zeg
iedereen in deze klas is dat niet hetzelfde als iedereen die zich heeft enrolled voor deze cursus.
Want sommige mensen hebben zich enrolled en komen niet opdagen.
- Varianten van random sampling
We hebben gezien dat random sampling veel bevat. Daarom zijn hier kortere methodes voor.
1. Multistage sampling
Vb. random sample van studenten in de VS. Geen lijst maken van alle studenten maar een van
alle universiteiten en daarzo random universiteiten uit trekken (1) en dan van alle
geselecteerde uni’s een random sample van de studenten trekken (2).
2. Systematic sampling
Handig wanner individuen moeilijk zijn (dieren)
2 nummers bijvoorbeeld 4 en 7 (random). In een straat pak je huis 4 en je telt 7 huizen verder
en dat is je random sample. Je observeert elke mth waarbij je begint bij nth en m en n zijn
random gekozen.
Random sampling garandeert geen representatieve proef maar de kans is klein dat het veel
verschilt van de populatie.
Én de onderzoeker heeft een regel waarmee hij selecteert dus de bias van de onderzoeker kan
de data niet beïnvloeden.
- Andere benaderingen van sampling
3. Purposive/opzettelijke sampling: je wilt specifieke karaktertrekken van mensen en
selecteert ze daarop
VB. alleen mensen die roken
4. Convenience sampling(voor het gemak): een onderzoeker op de UVT die onderzoek
naar studenten doet gebruikt UVT studenten, ook al is dit niet per se de meest
representatieve groep. Convenience sampling is gevaarlijk, als we alleen studenten
observeren kunnen we verschillen missen in leeftijden/andere culturen etc.
maar er worden altijd meerdere studies gebruikt ome en algemene conclusie te trekken. De
algemeenheid van de conclusies komt door de consistentheid van de verschillende
bevindingen en niet door de representativiteit van één studie.
- Wanneer hebben we representatieve samples nodig?
Als we bijvoorbeeld iets willen weten over de uitslag van eht stemmen moetten we niet alleen
universiteitsstudenten gebruiken want dat is geen representatieve steekproef.
2. Observer effects
Probleem: als mensen door hebben dat ze geobserveerd worden gedragen ze zich anders.
- Voorbeelden van observer effecten
Diergedrag: clever/kluge hans
Er was een paard en als je zei 7+4 trapte hij 11 keer op de grond. Maar dit kwam doordat de
observatoren naar voren bogen en anders keken als clever Hans bij het goede antwoord was
en dan stopte hij. Hans was dus wel slim, maar hij kon niet rekenen.
Clever hans effect: standaard effect dat ons herinnert dat, een observator zonder die intentie
aanwijzingen kan geven die effect hebben op wat het subject doet.
Een clever hans effect bij mensen, vergemakkelijkte communicatie
De performance van het kind was afhankelijke van het geven van aanwijzingen door anderen.
Een voorbeeld voor geheugen, leidende vragen
Het antwoord op een vraag kan afhankelijk zijn van de manier waarop de vraag wordt gesteld.
Als je vraagt naar snelheid met het woord botsen of rammen zullen de mensen bij het woord
rammen denken dat de auto sneller ging.
- Het controleren van observer effects
Er is geen echte oplossing maar hier komen een aantal voorbeelden van wat gedaan wordt in
zulke situaties.
• Verstoppen (hide)
• Afwachten (waiting it out): wachten totdat de proefpersonen aan je gewend zijn en dan
pas beginnen met de echte observatie.
• Misleiding/bedrog(deception): doen alsof je erbij hoort. Als je bijvoorbeeld een
geheime groep wilt observeren. Maar als we tijdens het observeren doen alsof we ook
gewone klanten zijn misleiden we ook.
Maar wat als we in de geheime groep horen dat ze een aanslag plegen? En is het
ethisch om te liegen tegen de groepsleden (H13).
• Onopvallend meten (unobtrusive measures): data verzamelen, niet door gedrag te
observeren maar door de consequenties te bekijken.
De term is niet zo handig gekozen omdat verstoppen ook onopvallend is.
• Blind observers: als je de observatoren ‘blind’ houdt betekent dat dat je ze niet verteld
wat de uitkomst moet zijn zodat ze de proefpersonen niet kunnen beïnvloeden. Dit is
niet mo het mysterieus te houden maar wel om het clever hans effect uit te roeien. Als
observatoren niet weten hoe de subjecten zich gewenst moeten gedragen kunnen ze ze
ook niet beïnvloeden.
3. Observer bias
Probleem: zien wat je wilt zien i.p.v. wat werkelijk gebeurt
- Voorbeelden
Je ziet dingen die in overeenstemming zijn met je theorie (natuurkunde).
Een beroemdheid zag ufo’s en vroeg aan anderen of deze ze ook zagen. Deze mensen keken
in de lucht met de verwachting om ufo’s te zien en zagen ze ook (psychologie).
Net als bij observer effects is er bij observer bias niet één oplossing maar er zijn meerdere
oplossingen.
•
•
•
Blind observing: net als bij observer effects kan dit bij observer bias helpen. Je laat
mensen observeren die niet weten wat de uitkomsten moeten zijn zodat ze niet
beïnvloed kunnen worden door wat ze willen zien.
Objectieve metingen: mensen hebben biasen maar objectieve metingen niet. Dat is wat
objectief betekent. Dus als we objectieve metingen gebruiken wordt het risico op een
bias gereduceerd. Objectief kun je bv. doen door niet alleen te kijken maar ook
systematisch de tijd bij te houden hoe lang iets duurt.
Meerdere observatoren: interobserver reliability (h3) is een check voor observer bias.
Als je meerdere mensen laat observeren en ze zien allemaal hetzelfde dan is de kans
groot dat dat ook echt is wat gebeurde.
4. Inferential bias
Inferential bias: verkeerde conclusies trekken uit juiste data.
En er is iets wat daarbij vaak gebeurd: correlatie (samenhang) verwarren met causaliteit
(oorzaak/gevolg).
Heel vaak zegt een studie X is de oorzaak van Y, terwijl dit niet het geval is maar de twee
gewoon correleren. Hoe komt het dat dit zo vaak gebeurd?
Toaster method of birth control: hoe meer elektrische apparaten in een huis (X) des te minder
kinderen (Y). dus als je weinig kinderen wil moet je veel elektrische apparaten kopen. Maar
het is niet logisch dat X de oorzaak is van Y het is logischer dat een andere variabele Z, X en
Y beïnvloedt.
Als je hoort over correlatie kan je beter de drie mogelijkheden bekijken:
• X is de oorzaak van Y
• Y is de oorzaak van X
• Z is de oorzaak van X en Y
Data vertellen ons niet welke uitleg juist is.