Hoofdstuk 1: Communication and organisational succes

Hoofdstuk 1: Communication and organisational succes
Dit hoofdstuk bestaat voor een groot deel uit opsommingen van onderzoeksuitkomsten. Ik
heb geprobeerd het belangrijkste eruit te halen, maar het is aan te raden toch het
hoofdstuk nog even door te nemen. Kijk ook even naar de recensie van dit boek (staat op
internet). Daar staat per hoofdstuk in wat besproken wordt.
Klanten gaan naar andere bedrijven, omdat ze onvolledige informatie krijgen
over de producten van het bedrijf. Personeel vertrekt naar de concurrent waar ze
de mogelijkheid hebben om hun ideeën uit te dragen.
Bovenstaande problemen bij bedrijven zijn het resultaat van slecht communicatie
beleid. Communicatie audits bestaan uit methoden en technieken die worden
ingezet om de kwaliteit van communicatie in kaart te brengen en te verbeteren.
Communicatie audits kunnen tekenen van ontevredenheid als eerste
identificeren en vormen zo een waarschuwingssysteem voor de organisatie.
Communicatie is de meest fundamentele en doordringende management
activiteit; werknemers moeten op de hoogte zijn van de ideeën van het
management en mogen niet zomaar uitgesloten worden van deelname aan
besluitvorming. Als het personeel niet betrokken is bij het bedrijf, zal het ook
weinig moeite doen om klanten te behouden. Het management moet informatie
dus delen (informatie-uitwisseling) met anderen en ervoor zorgen dat men
feedback geeft, zodat er ingespeeld kan worden op de wensen van
belanghebbenden.
Uit onderzoek blijkt dat veel effectieve managers veel tijd besteden aan
communicatie activiteiten. Effectief management bestaat uit open communicatie,
een interpersonele stijl en meer dialoog dan monoloog. Als de communicatie
binnen een bedrijf goed is, is het personeel meer betrokken en tevreden met het
werk en gaat het beter functioneren. Het belangrijkst is echter de prestatie van
het bedrijf zelf.
Onderzoeken wijzen uit dat verbeterde communicatie veel voordelen biedt voor
een organisatie, zoals:
- Verbeterde productiviteit
- Afname ziekteverzuim
- Hogere kwaliteit van producten en diensten
- Toename van vernieuwingsniveaus
- Minder stakingen
- Vermindering van de kosten
Communicatie binnen en tussen groepen is noodzakelijk voor de vernieuwing
van organisaties. Voortdurende verbetering ontstaat als mensen binnen en
tussen teams informatie uitwisselen, elkaar beïnvloeden en ideeën
samenvoegen.
Deelname in besluitvorming is ook een belangrijk onderdeel van het verhogen
van de betrokkenheid bij een organisatie.
Er schijnt een correlatie te zijn tussen goede prestaties en het bestaan van
interne communicatieprogramma’s.
Betrokkenheid van het management is noodzakelijk. De algemene
informatiestroom moet meer via informele en ‘face-to-face’
communicatiekanalen.
Tijdens het werk zetten mensen hun normale menselijke behoeften niet aan de
kant en we moeten dan ook ophouden met het idee dat organisaties
onpersoonlijke systemen zijn. Organisaties zijn systemen van menselijke
interactie en kunnen dan ook niet in elke wenselijke vorm gegoten worden. Het is
dus voor het management moeilijk om zonder goede communicatie
veranderingen door te voeren. Deze stuiten altijd op protest, wat ook een vorm
van feedback is.
De kwaliteit van de relaties met de medewerkers is cruciaal om de tevredenheid
vast te stellen. Deze tevredenheid correleert sterk met populariteit of acceptatie
door medewerkers. Het blijkt dat meer dan de helft van een organisatie het werk
ziet als meer dan ‘geld verdienen’, velen vinden de onderlinge verhoudingen met
andere werknemers erg belangrijk.
Werknemers van een bedrijf worden niet gemotiveerd doordat het eigen bedrijf
ineen veel winst maakt, of doordat het bedrijf alle doelen voor dat jaar bereikt
heeft. De betrokkenheid van personeel komt voornamelijk door de aandacht die
besteed wordt aan hun persoonlijke behoeften. Mensen zijn dus niet alleen maar
rationele wezens. Natuurlijk is het succes van het bedrijf wel van groot belang
voor het individu en voor het sociale welzijn, maar de menselijke behoeften
moeten ook aandacht krijgen. Juist daarom is het vervullen van de management
taken zo moeilijk
Naast goede communicatie met het personeel, moet er ook goed contact worden
onderhouden met klanten. Als een bedrijf een goed imago heeft, helpt dit bij het
uitstralen van betrouwbaarheid en geloofwaardigheid.
Er schijnt een correlatie te zijn tussen de bereidheid van een organisatie om de
externe relaties aan te spreken en de motivatie om de interne communicatie te
verbeteren.
Het is belangrijk om eerst intern de bedrijfscultuur duidelijk te hebben en deze
vervolgens door het gedrag en houding van het personeel naar de klanten te
communiceren. Het kan zijn dat een paar ongemotiveerde werknemers ervoor
zorgen dat er een aantal klanten vertrekken.
Interne en externe communicatie moeten door de organisatie als geheel worden
gezien en beiden moeten dan ook effectief zijn. Juist omdat de interne
communicatie zo belangrijk is voor de externe, moet het management op de
hoogte blijven van wat de werknemers echt denken en doen.
De rol van interne communicatie bij een organisatie bestaat niet alleen uit het
verkondigen van beslissingen en conclusies van het management naar de
werkvoer, maar bevat ook de volgende dingen:
- Het stimuleren van nieuwe ideeën, meedenken en mee doen
- Het netwerk van kennis en leren binnen de organisatie
- De betrokkenheid van alle werknemers bij vernieuwingen
- Manieren om toegevoegde waarde te creëren voor klanten
- De uiteenzetting van wat alle werknemers geloven is mogelijk
Kortom:
De rol van communicatie is niet de top-down verspreiding van de gedachten van
het management, maar de ideeën van diegene (bottom-up) die weten wat er
veranderd moet worden (werkvloer) naar diegene die die veranderingen door
kunnen voeren (management).
Hoofdstuk 2: Het onderzoeken van communicatie dmv audits om prestaties
te optimaliseren.
Introductie
Organisaties die slecht communiceren kunnen vergeleken worden met een
toneelstuk waarin niemand weet welke rol hij speelt en constant de verkeerde
tekst opgezegd wordt. In zulke situaties is het van belang dat interne en externe
betrokkenen van de organisatie aangeven hoe zijn het communicatieklimaat
waarnemen. Op deze manier schep je een realistisch beeld over de huidige
situatie in de communicatie. Hiervoor is de audit zeer geschikt.
De aard van de audit
Een communicatie – audit kan gedefinieerd worden als: “een veelomvattend,
grondig onderzoek van de communicatie filosofie, - concepten, - structuur, stroom en – uitvoering binnen een organisatie. Een audit helpt managers bij het
vormen van een objectief beeld van wat er gebeurt, in vergelijking met wat de
mensen aan de top denken (of verteld zijn) dat er gebeurt.
De communicatie audits hebben drie eigenschappen die op elk gebies
terugkomen:
1. Het verzamelen van informatie (diagnostische fase)
2. Het vormen van management systemen om controle te houden over de
communicatiestroom (prescriptieve fase)
3. De vergelijking van communicatiepraktijken met vastgelegde standaards
(accountability fase)
Goldhaber en Roger stelden eind jaren ’70 de volgende doelen op die bereikt
dienen te worden door de implementatie van een communicatie audit.
- Stel de mate van informatie under – of overload vast, die betrekking hebben
op de belangrijkste onderdelen, bronnen en kanalen van communicatie.
- Evalueer de kwaliteit van de informatie die gecommuniceerd wordt door deze
bronnen.
- Evalueer de kwaliteit van de communicatierelaties, gericht op:
- De mate van interpersoonlijk vertrouwen
- De hulpvaardigheid
- De gezelligheid
- De algehele jobsatisfactie
- Identificeer de operationele communicatienetwerken en vergelijk deze met de
geplande of formele netwerken.
-
-
-
Stel potentiële bottlenecks (knelpunten) en gatekeepers vast door
communicatierollen van belangrijk personeel te vergelijken met de verwachte
rollen.
Identificeer categorieën en voorbeelden van veel voorkomende positieve en
negatieve communicatie – ervaringen en – incidenten.
Beschrijf de patronen van feitelijke communicatiegedragingen op het gebied
van het individu, de groep en de organisatie in relatie met de bronnen,
kanalen, onderwerpen, lengte en kwaliteit van de interacties.
Lever algehele aanbevelingen die voortkomen uit de audit, die veranderigen
of verbeteringen eisen in attitudes, gedragingen, praktische uitvoering en
vaardigheid.
Hargie en Tourish pleiten dat audits een manager moeten vertellen:
- Tegen wie ze praten
- Tegen wie ze zouden moeten praten
- Over welke onderwerpen gepraat wordt
- Uit welke bronnen de informatie gehaald wordt
- Hoe de informatie de mensen bereikt ( media, face to face, discussie met de
managers, interne publicatie, etc.)
- De impact van dit alles op de relaties
Kortom, een communicatie audit komt neer op een onderzoek naar het
organisatieklimaat, die managers helpt de aankomende situatie te herkennen. Zo
kunnen verbeteringen in de communicatie bereikt worden.
Implementatie
In de ideale situatie wordt een audit ondergaan in de volgende stappen:
- Selectie van een onderwerp
- Specificatie van de gewenste situatie
- Dataverzameling van de huidige situatie
- Implementatie van veranderingen
- Dataverzameling van nieuwe situatie
Over het algemeen omvatten communicatie audits de volgende stadia:
-
-
Zorg ervoor dat het management meewerkt
- Maak het belang van de audits duidelijk, hun rol in de organisatie en het
belang van de medewerking van het management om zoveel mogelijk
effect te bereiken.
- Probeer enkele van de belangrijkste onderwerpen te identificeren
waarover gecommuniceerd wordt
- Stel de communicatiestandaards, waarvan het management vindt dat zij
deze moeten aannemen en naleven, ter sprake.
- Wijs een persoon uit de toplaag van de organisatie aan die als link tussen
de organisatie en het audit team kan fungeren.
Bereid de organisatie voor op de audit
Deelnemers moeten er, schriftelijk en mondeling, van overtuigd worden
dat hun antwoorden vertrouwelijk blijven.
- Waar mogelijk moeten deelnemers random geselecteerd worden. Dit
moeten zij zelf ook weten!
- Alleen het audit team mag toegang hebben tot de gegevens die de
respondenten kunnen identificeren.
- Het rapport moet zorgvuldig geschreven worden, om te voorkomen dat er
onopgemerkt dingen in komen te staan, die een deelnemer kunnen
identificeren.
- De onderzoeksinstrumenten moeten uit de buurt gehouden worden van
het management.
Dataverzameling: vindt plaats in twee fasen
- Vooronderzoek. Met behulp van random geselecteerde respondenten
worden interviews gehouden. Op grond van de feedback worden
vragenlijsten opgesteld.
- De uiteindelijke vragenlijst kan een pilot- test ondergaan. Dit hoeft, gezien
praktische belemmeringen als tijd en kosten, geen uitgebreid onderzoek te
zijn. Na de pilot- test kan de vragenlijst afgenomen worden.
Analyse en actiefase
Hierin wordt verslag gedaan van de communicatiepraktijken. Let hierbij op dat
negatieve zaken liever verzwegen worden. In zulke situaties moet openheid
van zaken gestimuleerd en beloond worden. Een stapje veredr hierin is: hoe
breng ik het slechte nieuws over aan het management? Dit wordt in een
ander hoofdstuk uitgewerkt. In ieder geval moeten er aanbevelingen en de
daarbij behorende concrete actieplannen in het verslag opgenomen worden.
Van belang is dat het verslag wijd verspreid wordt.
-
-
-
Het nut van communicatie audits
De sterke kanten van communicatie audits:
1. Ze bieden de mogelijkheid om subjectieve interpretaties van de werkelijkheid,
die leven onder belangrijke actoren in de organisatie omgeving te
identificeren.
2. Mensen kunnen, in eigen woorden of via een antwoordschaal, hun visie
aangeven op communicatie onderwerpen. De responsen van deze mensen
kunnen geanalyseerd worden, waaruit duidelijk wordt waar de problemen
liggen.
3. Algemene opvattingen komen naar voren.
4. De opvattingen die de deelnemers hebben over de communicatie kunnen
vergeleken worden met formele organisatiekanlen en – systemen, om kloven
te ontdekken tussen hoe de situatie voorgesteld wordt en hoe deze in
werkelijkheid is.
Toch wordt er weinig gebruik gemaakt van communicatie audits. Dit kan komen
doordat ze gevoelige aspecten behandelen: managers zijn niet graag open over
hun fouten. Hieronder worden enkele attitudes uiteengezet die dit onderschrijven:
Niet willen meewerken aan de audit
Omdat mangers vaak met overvolle agenda’s zitten, hebben ze geen interesse in
audits. Aan de onderzoeker is het dan de taak om een hele goede case op te
zetten, die het gewenste effect bereikt en geen onnodige tijd inneemt. Ook kan
erop gewezen worden dat audits als een rookmelder werken. Ga in op de
angstgevoelens die leven onder de managers over wat er kan gebeuren als er
niet goed meer gecommuniceerd wordt.
Obstakels in de vorm van attitudes
- Te veel informatie is commercieel gevoelig: het naar buiten brengen van deze
informatie werkt in het voordeel van de concurrent.
Wijs erop dat medewerkers, leveranciers en klanten geen concurrenten zijn en
juist openheid willen. Bovendien kunnen er geen geheimen bewaard worden:
daar komt men toch wel achter en dit wordt via de grapevine verspreid, vaak in
negatievere zin dan dat de kwestie in werkelijkheid is. Daarom is het beter om
als organisatie open te zijn, dan dat zij het imago van “onbereikbaar” krijgt.
- Communicatie zal in vele organisaties slecht zijn, maar ik communiceer goed
en alles is in orde met mijn organisatie.
Veel mensen schatten zichzelf hoger in dan dat zij in werkelijkheid zijn.
Bovendien is het zo, dat mensen aardig doen tegen hun “meerdere” en zeggen
wat deze wil horen. De manager moet hierop gewezen worden.
- Waarom moet er eerst onderzoek gedaan worden? Kan er niet gewoon een
al bestaande oplossing geïmplementeerd worden?
Wijs op het belang van een advies op maat. Je gaat ook niet een medicijn van
iemand anders slikken als je iets mankeert.
- Waarom zou ik me door mijn medewerkers de grond in laten trappen?
- Het gaat niet zozeer om de manager persoonlijk, maar om de
communicatieprocessen in hun geheel.
- Negatieve feedback is onvermijdelijk. Naast de positieve opvattingen,
bestaan er ook negatieve in een organisatie. Deze kunnen gebruikt
worden om de taak van het management, het verbeteren van de efficiency
en de effectiviteit van de organisatie, beter te kunnen uitvoeren.
- Het gaat erom een duidelijk beeld te creëren van de overheersende
stemming. Meestal is deze al bekend, maar het is juist de mate van deze
stemming die telt. Om in zo’n situatie als manager met oogkleppen rond te
lopen, levert niets op.
- Kan ik wel wat aan de communicatie veranderen met zoveel mensen in
dienst?
Het is van belang dat een organisatie echt iets wil verbeteren aan de
communicatie. Als dit zo is, zal een positieve verwachting ook succes boeken
(self fulfilling prophecy)
Structurele barrières van implementatie
-
-
Strategische en financiële barrières.
Manegers zijn van mening dat de te voeren strategie en financiële kwesties
belangrijker zijn dan relaties met medewerkers of cliënten.
Sociale barrières
-
-
“Als andere managers de communicatie niet aanpakken, waarom zou ik het
dan doen?” Daarnaast past deze aanpak niet in het beeld van de harde
werkelijkheid.
Machts- en politieke barrières
Managers wijken niet makkelijk af van hun huidige politiek. Bovendien zijn ze
van mening dat ze goed communiceren, dus zien ze het nut van een
verandering niet in.
Hiërarchische barrières
Managers willen hun machtige positie handhaven en negatieve feedback
vanuit de organisatie past hier niet in.
Conclusies
Een korte samenvatting van het hoofdstuk is te vinden op blz. 40 en 41
Chapter 3: The questionnaire approach
Phillip G. Clampitt
INLEIDING
De meeste organisaties zijn verrukt van vragenlijsten. Dit komt doordat de methodologie en de
afname ervan eenvoudig lijken en de interpretatie direct. Onderzoekers hebben echter
aangetoond dat wat respondenten van een vragenlijst aangeven te gaan kopen vaak erg verschilt
van wat zij in werkelijkheid kopen. Het doel van dit hoofdstuk is zowel de kunst als de
wetenschap van het ontwikkelen, verwerken, analyseren en interpreteren van vragenlijsten te
bespreken.
ONTWIKKELEN VAN EEN VRAGENLIJST
Er bestaat geen magische formule voor het ontwikkelen van een effectieve vragenlijst. De
methode die behandeld wordt, wordt gepresenteerd als een lineaire stap-voor-stap procedure. Dit
is een goede wijze om te werk te gaan, maar houd in je achterhoofd dat je moet terugkoppelen
en voorgaande stappen moet herhalen.
Stap 1: onderzoeken van de organisationele achtergrond
Een minimale kennis van de organisatie is essentieel voor het opstellen van een bruikbaar
onderzoek. Het geeft de onderzoeker namelijk de mogelijkheid om redelijke uitspraken te doen
over onvermijdelijke handelingen in het onderzoeksproces. Het geeft de onderzoeker ook de
mogelijkheid om de beste manier om het onderzoek af te nemen vast te stellen. Tenslotte zal de
organisationele achtergrond helpen bij een goede interpretatie van de data. ‘The 100 facts’
oefening is een manier om deze achtergrond informatie te verzamelen. Het doel is om een lijst
van 100 feiten over de organisatie te ontwikkelen. Dit is voornamelijk een exploratieve procedure,
dus hoe specifiek de feiten zijn is niet relevant. Deze informatie kan op heel veel manieren
verzameld worden, bijvoorbeeld door interviews met personeel, observaties van de organisatie in
de praktijk en bestudering van documenten. Het is belangrijk om de betekenis van deze feiten te
bespreken.
Stap 2: vaststellen van het doel
De belangrijke vraag hier is: Wanneer het onderzoek afgerond is, wat wil de organisatie dat er
gebeurt? Hoe kun je de effectiviteit van het proces vaststellen? Soms hebben organisaties
slechts een vaag idee over hoe ze de resultaten willen gaan gebruiken. De onderzoeker moet
hen helpen om hun doelen te verhelderen. Bij elk doel kan weer een verschillend type onderzoek
of methodologie nodig zijn. Soms hebben verschillende delen van de organisatie verschillende
doelen. Deze doelen combineren moet al in de planningsfase gebeuren.
Stap 3: vaststellen van het juiste instrument
Er zijn twee opties: een bestaand instrument gebruiken of er zelf een ontwikkelen. Aan beide
opties kleven voor- en nadelen. Bestaande instrumenten zijn wetenschappelijk getest en
ontwikkeld door professionals. Hierdoor kan je er zeker van zijn dat je onderzoek valide is, het
meet wat je wilt meten en dat het instrument betrouwbaar is, de resultaten blijven stabiel bij
herhaling. De nadelen van een bestaand instrument zijn de volgende. Het kan zijn dat je
toestemming moet hebben van de auteurs om het instrument te gebruiken. Sommige vragen van
een vragenlijst zijn niet van toepassing op de organisatie. Sommige vragenlijsten zijn te lang om
via een modern medium te gebruiken, zoals e-mail. Het zelf ontwikkelen van een instrument is
niet eenvoudig. Het is een kunst om een bruikbare vragenlijst te maken, je moet rekening houden
met de validiteit en de betrouwbaarheid. Wanneer je beslist om een vragenlijst te ontwikkelen is
het belangrijk om literatuur te raadplegen over hoe je dit moet doen. Goed ontwikkelde
vragenlijsten passen vaak beter bij de werknemers van een specifieke organisatie, door het
gebruik van termen die vertrouwd zijn bij de werknemers. Zelf ontwikkelde instrumenten
behandelen vaak meer specifieke onderwerpen dan de bestaande algemene instrumenten. De
keuze van het instrument is bepalend voor het succes van het audit proces.
Stap 4: kiezen van het instrument
De bestaande instrumenten die regelmatig gebruikt worden kunnen in twee typen verdeeld
worden: proces en ‘comprehensive’ instrumenten. Proces instrumenten bestuderen
communicatie meer op microniveau en onderzoeken onderwerpen zoals conflict management,
team building of communicatiecompetentie. De comprehensive instrumenten bestuderen
communicatietoepassingen meer op macroniveau. Er zullen hier een paar van de meest
gebruikte comprehensive instrumenten behandeld worden.
Communication Satisfaction Questionnaire (CSQ)
Downs en Hazen (1977) hebben dit instrument ontwikkeld om de relatie tussen communicatie en
job satisfaction te onderzoeken. Hieruit bleek dat hoe meer tevreden de werknemers waren over
de communicatie, hoe meer tevreden ze waren met hun baan. Vervolgens hebben ze acht
sleutelfactoren voor communicatie onderscheiden. Het instrument bestaat uit veertig kernvragen
met vijf items per factor. Hoewel de CSQ niet in alle details voorziet die nodig zijn voor specifieke
plannen, voorziet het wel in een goed overzicht van potentiële probleemgebieden die vervolgens
verder onderzocht kunnen worden.
ICA Audit Survey
Goldhaber heeft een pakket van instrumenten ontwikkeld om de organisationele communicatie
toepassingen vast te stellen. Een onderdeel hiervan is de ICA Audit Survey of de Communication
Audit Survey. De vragenlijst bestaat uit 122 vragen verdeeld in acht hoofdsecties. De eerste vijf
secties gebruiken hetzelfde schaal formaat. Werknemers worden gevraagd op een schaal van 1
tot 5 aan te geven hoeveel informatie ze op dit moment ontvangen over een bepaald onderwerp
en hoeveel ze nodig hebben. Hieruit kan een verschil score worden berekend. Er rezen echter
vragen over de validiteit van het instrument en het nut van de verschilscores. Er is door revisies
van het instrument geprobeerd deze vragen weg te halen. Dit instrument is een van de
krachtigste en meest uitgebreide pogingen om alle aspecten van een communicatie systeem van
een organisatie te meten.
Organisational Communication Development audit questionnaire
Osmo Wiio heeft de Organisation Communication Development (OCD) audit questionnaire
ontwikkeld. Het doel was vaststellen hoe goed het communicatie-systeem de organisatie helpt
om haar doelen te vertalen in verlangde eindresultaten. In de OCD komen verschillende
onderwerpen aan bod die niet bij andere instrumenten aan bod komen.
Organisational Communication Scale
Roberts en O’Reilly (1973) hebben de Organisational Communication Scale (OCS) ontwikkeld
om de communicatie toepassingen bij verschillende organisaties te vergelijken. De OCS Bestaat
uit 35 vragen die in 16 dimensies verdeeld zijn. Dit instrument is verreweg de kortste die hier aan
bod komt. Het heeft een aantal unieke inhoudsgebieden zoals ‘summarisation’ en ‘influence of
supervisor’ die niet in andere instrumenten voorkomen. De bondigheid van dit instrument zal
misschien de ontwikkeling van een uitgebreider zicht op andere belangrijke communicatie
onderwerpen beletten.
De vraag is nu welk instrument het beste is. Dit is afhankelijk van het doel van de audit en de
beperkingen van het audit proces. Het beste advies is om alle alternatieven zorgvuldig af te
wegen.
Stap 5: Maak geschikte aanpassingen aan de vragenlijst.
Twee wijzigingen moeten overwogen worden. Ten eerste welke demografische data er nodig zijn,
omdat deze een hulp kunnen bieden bij het onderscheiden van probleem gebieden. Ten tweede
welke onderverdeling in afdelingen of units nodig is. De verdeling moet specifiek genoeg zijn om
probleemgebieden te kunnen onderscheiden, maar ook zo specifiek dat de respondenten het
idee hebben dat hun anonimiteit gewaarborgd is. De kleinste groep moet op zijn minst zeven
personen bevatten. Deze items kunnen het beste aan het eind van de vragenlijst staan. Als de
werknemers deze informatie namelijk niet kwijt willen, zullen ze wel de voorgaande vragen
ingevuld hebben.
AFNEMEN VAN DE VRAGENLIJST
Betrouwbare afname procedures zijn essentieel voor een effectieve audit. Er zullen richtlijnen
besproken worden om de integriteit van het afnameproces te verbeteren.
1
Vaststellen van de benodigde steekproefgrootte
Onderzoekers hebben twee mogelijkheden:
 iedereen onderzoeken die wil deelnemen
 een steekproef uit de populatie onderzoeken
De eerste optie is meestal de beste voor organisaties. Hier zijn twee redenen voor. Surveys
worden vaak gebruikt als middel om de nieuwe organisatieagenda vast te stellen. Wanneer een
steekproef wordt gebruikt, kunnen de mensen die niet deel hebben genomen aan het onderzoek
commentaar hebben, omdat ‘zij niet de kans hebben gekregen om hun mening te geven’. Ten
tweede kan de onderzoeker resultaten verkrijgen voor alle groepen binnen de organisatie.
Sommige managers misbruiken de data door conclusies over een bepaalde groep te trekken die
gebaseerd zijn op de mening van één persoon binnen die groep. Door de gehele populatie te
onderzoeken kan dit probleem van voorkomen worden. Het nemen van een steekproef is een
efficiënte manier om bruikbaar te generaliseren over de gehele populatie. Daarnaast kan door het
nemen van een steekproef de moeite bespaard worden om de hele populatie te onderzoeken. Er
bestaan verschillende manieren om een steekproef te trekken waarbij de resultaten redelijk
unbiased zijn. De belangrijkste factor hierbij is randomisatie.
2
Ontwikkel een afname protocol
Hoe kunnen werknemers gemotiveerd worden om deel te nemen?
Onderzoekers worden geconfronteerd met de taak om de werknemers te motiveren. Dit is heel
moeilijk, omdat vragenlijsten bijna even gewoon zijn als junk mail en worden dus ook zo
behandeld. Er zitten twee aspecten aan dit dilemma. Ten eerste, hoe kunnen de angsten van de
werknemers weggenomen worden? Ten tweede, hoe kunnen werknemers worden overtuigd van
het feit dat deelname belangrijk is?
Werknemers zijn vaak bang dat op de een of andere manier de resultaten tegen hun gebruikt
zullen worden. Dit betekent dat de anonimiteit van de werknemers gegarandeerd moet worden.
Wie moet de vragenlijst afnemen? Meestal is de baas de slechtste keuze en een buitenstaander
de beste keuze. Zelfs wanneer werknemers vermoeden dat hun vragenlijst in de handen van de
baas kan vallen, is er een probleem. Daarom heeft ‘interoffice mail’ niet de voorkeur voor het
verzamelen van data.
Hoe de data gebruikt zal worden is een ander punt voor motivatie. Respondenten kunnen
vragenlijsten in hun voordeel in gaan vullen, wanneer ze weten dat de resultaten bijvoorbeeld
gebruikt zullen worden voor het toekennen van bonussen. Sterk reageren op audit data gebeurt
niet in veel organisaties, maar er moet wel rekening mee gehouden worden.
Er vanuit gaande dat de angsten van de werknemers weggenomen kunnen worden, zijn er
verschillende manieren om de deelname te vergroten. De WIIFM (What’s In It For Me) tactiek is
een mogelijkheid. Bijvoorbeeld door het belonen van het meewerken of een prijs te verloten
onder de deelnemers. Een andere tactiek is de WIIFO (What’s In It For the Organisation). Dit kan
door te benadrukken dat meewerken nodig is om de organisatie goed draaiend te houden. De
eerste tactiek blijkt echter beter te werken dan de tweede.
Hoe worden de data verzameld?
Er zijn verschillende afnamemogelijkheden. Een veelgebruikte methode is afname in een group
setting. Deze manier geeft de mogelijkheid om de respondenten van tevoren te instrueren. De
briefing bevat meestal de volgende elementen:
 Het doel van de audit beschrijven.
 Bespreken hoe de data gebruikt zullen worden.
 Vertrouwelijkheid van de data verzekeren.
 Het feedbackproces bespreken.
 Uitleggen hoe het onderzoek afgerond wordt.
 Vragen beantwoorden.
Het gebruiken van deze benadering vergroot het vertrouwen van de werknemers door het
verminderen van hun ongerustheid. Daarnaast zijn de participanten ook meer gemotiveerd om de
vragenlijst te beantwoorden. Een nadeel van survey groups is dat de verwachtingen van de
werknemers te hoog kunnen stijgen. Ze kunnen van het management gaan verwachten dat ze
sneller dan mogelijk op hun reacties zullen reageren. Daarnaast is er nog een logistiek probleem.
Zijn er genoeg ruimtes om het onderzoek af te nemen? Is er in de ruimtes voldoende privacy?
De meest gebruikte procedure is waarschijnlijk de post of de ‘interoffice mail’. Dit is de goedkope
manier om de grootste dekking te krijgen. Je kunt ook werknemers bereiken die op een andere
locatie zijn, of op een andere tijd werken. Er zijn ook wat nadelen. Er kan getwijfeld worden aan
de vertrouwelijkheid als de vragenlijsten via de interoffice mail geretourneerd moeten worden. Het
is ook moeilijker om de respondenten te motiveren, waardoor de respons meestal laag is.
Recent zijn er computer-based afnameprocedures gebruikt. Dit werkt goed wanneer de
vragenlijst kort is. Dit betekent dat de onderzoeker gedwongen wordt om beslissingen te nemen
over welke vragen wel en niet relevant zijn. De resultaten zijn dus minder uitgebreid dan bij
andere procedures. Ook de vertrouwelijkheid van data is iets om over na te denken. Het grootste
voordeel is echter de snelheid en het gemak waarmee de resultaten kunnen worden
weergegeven in tabellen. Computer-based onderzoeken zijn een effectieve manier om een
communicatiesysteem op routinebasis te checken.
3
Beslissen hoe de feedback gegeven zal worden
Welk formaat zal gebruikt worden om de resultaten weer te geven?
Kwantitatieve data kunnen op veel manieren weergegeven worden en op verschillende
statistische niveaus. Sommige organisaties zijn alleen geïnteresseerd in gemiddelden, andere
weer alleen in frequenties. Er zijn ook opties voor het weergeven van kwalitatieve data.
Sommige organisaties willen een lijst met de antwoorden op open vragen. Gevaar hierbij is dat
het management zich concentreert op wie wat gezegd heeft. Andere organisaties willen een
inhoudsanalyse, hierdoor krijgt men vaker een betere interpretatie van de data. Het vergt alleen
wel veel tijd om een inhoudsanalyse uit te voeren.
Hoe worden de resultaten gecommuniceerd?
De resultaten worden meestal zowel in een mondelinge als geschreven vorm gepresenteerd. Het
‘senior management’ ontvangt het rapport in het algemeen als eerste. Daarna worden de
resultaten door de rest van de organisatie verspreid. Gewoonlijk wordt er een geschreven
samenvatting gemaakt voor de deelnemers. De moeilijkste stap is vervolgens om actie te
ondernemen. Hierbij komt het volgende kijken:
 Wat zijn de belangrijkste problemen?
 Wanneer moeten deze problemen aangepakt worden?
 Hoe moeten deze problemen aangepakt worden?
 Door wie moeten deze problemen aangepakt worden?
Er zijn drie basis mogelijkheden voor de volgende stap:
 In sommige gevallen geeft het ‘senior management’ de resultaten nooit aan iemand vrij. Op
de lange termijn werkt dit tegen, omdat participatie aan onderzoeken in de toekomst minder
aantrekkelijk wordt.
 Soms wil het ‘senior management’ alle actieplannen voor ogen hebben, voordat de
diagnostische data aan de werknemers vrijgegeven worden. In dit geval ontvangen de
werknemers gelijktijdig een diagnostisch rapport van de onderzoekers en een actie plan van
het senior management.
 Andere organisaties waarderen input van de werknemers en maken een duidelijker
onderscheid tussen de diagnosis en het voorschrift. Ze presenteren dus de resultaten van de
audit en geven de procedures in hoofdlijnen aan die gebruikt zullen worden om te reageren
op de diagnosis.
In alle gevallen is het belangrijk de diagnosis en het voorschrift duidelijk van elkaar te scheiden.
Zal de onderzoeker helpen bij de interpretatie van de resultaten?
Sommige senior executives denken dat ze weinig hulp nodig hebben bij het interpreteren van de
data. De meeste organisaties hebben echter op zijn minst hulp nodig bij het interpreteren van de
resultaten.
4
Het testen van de afnameprocedures en de vragenlijst
Je kan vaststellen welke vragen moeilijk te begrijpen zijn en welke geen belangrijke informatie
verschaffen. Zelfs bij bestaande vragenlijsten is het belangrijk om het instrument en de
afnameprocedure te testen.
Het testen van de vragenlijst wordt meestal gedaan aan de hand van een focusgroep. Een
random selectie van de werknemers wordt gevraagd om de vragenlijst in te vullen. Vervolgens
worden aan de groep enkele vragen gesteld, zoals:
 Wat vond je het beste van de vragenlijst?
 Wat vond je het slechtste van de vragenlijst?
 Waren de instructies te begrijpen?
 Welke vragen waren moeilijk te beantwoorden en waarom?
 Waren er woorden die je niet begreep?
Een ‘trechter’ volgorde van de vragen werkt het beste, door te beginnen met de algemene vragen
en dan steeds specifieker te vragen.
DE DATA ANALYSEREN
De weergave van kwalitatieve en kwantitatieve data heeft grote invloed op de uiteindelijke
interpretaties van de informatie. Vaak blijken plaatjes de beste weergave te zijn. Onderzoekers
moeten goed nadenken over de keuzes voor het weergeven van data met de volgende opties in
het achterhoofd:
KWANTITATIEVE DATA
Rank-order methode
Deze methode is redelijk recht door zee. Van elke vraag worden de gemiddelden gebruikt en de
aan elkaar gerelateerde items worden van hoog naar laag gesorteerd. Met deze procedure kan je
onderliggende patronen in de data ontdekken. De ‘major drawback’ van de rank-order methode is
dat sterkten en de zwakten een bij product van deze techniek zijn (?). Wat wanneer alle
gemiddelde boven het conceptuele middelpunt zitten? (?)
Databank vergelijkingen (comparisons)
Bij de meeste onderzoeken zijn databanken beschikbaar. Dit geeft onderzoekers de mogelijkheid
om hun resultaten van hun organisatie te vergelijken met resultaten van andere organisaties in de
databank. Statistische toetsen kunnen gedaan worden om de significante verschillen vast te
stellen tussen de norm en de onderzochte organisatie. De nadelen: Organisaties verschillen vaak
significant van elkaar waardoor de het niet mogelijk is om de databank als vergelijking te
gebruiken. Soms geven de databank vergelijkingen tegenstrijdige bevindingen bij andere
analytische technieken.
Factor scores
De meeste standaard vragenlijsten zijn getest en vertonen verschillende sleutelfactoren. Dit zijn
groepen van vragen die hetzelfde onderliggende construct blijken te meten. Om deze te
ontdekken zijn statistische technieken, zoals factor analyse, principal component analyse en
regressie-analyse nodig.
KWALITATIEVE DATA
Aangezien veel vragenlijsten op zijn minst een paar open vragen bevatten, is het belangrijk om te
bekijken hoe je deze data wetenschappelijk kunt analyseren. Het proces is recht door zee, maar
soms intellectueel veel gevraagd.
1. De onderzoeker zou alle antwoorden op een vraag moeten lezen en zoeken naar
onderliggende thema’s. Als er te weinig categorieën ontdenkt worden is het moeilijk om
bruikbare adviezen te geven. Als er te veel categorieën ontdekt worden, wordt de
betrouwbaarheid twijfelachtig.
2. Een andere onderzoeker zal stap 1 moeten herhalen, terwijl de ontwikkelde categorisatie
ontwikkeld door de eerste onderzoeker onbekend voor hem is. Dit is om de betrouwbaarheid
en validiteit te vergroten.
3. De twee onderzoekers moeten elkaars categorisatie vergelijken en komen tot één categorie
systeem.
4. Vervolgens moeten de onderzoekers apart van elkaar de originele antwoorden in de
verschillende categorieën indelen. Beide onderzoekers moeten de antwoorden noteren die in
meerdere categorieën tegelijk vallen. Soms is de data set te groot om alle antwoorden te
bekijken. In dit geval is een steekproef de beste optie.
5. De onderzoekers moeten hun indeling vergelijken en het aantal overeenkomsten noteren. Ze
brengen de verschillen met elkaar in overeenstemming. De uitkomst zal 90% of beter moeten
zijn. Anders is het categorie systeem niet goed en moet het herzien worden.
6. De onderzoekers moeten een grafische voorstelling maken van hun data.
INTERPRETATIE VAN DE DATA
Het juist interpreteren van de resultaten van een audit vraagt om discipline, inzicht en perspectief.
discipline om te voorkomen dat je te snel conclusies trekt. Inzicht om onder de oppervlakte te
kijken en naar diepere patronen te zoeken en perspectief om het belangrijke van de details te
kunnen onderscheiden. Dit komt naar jaren ervaring. Een paar suggesties om het leerproces te
versnellen.
1. Scheidt de kwalitatieve en de kwantitatieve data.
Deze scheiding zorgt voor discipline tijdens de interpretatie. Aantallen en woorden kunnen
verschillende beelden scheppen. Het is belangrijk om van beide een duidelijk beeld te
hebben voordat je ze samenvoegt. Het is meestal het beste om met de interpretatie van de
kwantitatieve data te beginnen, omdat deze data meer recht door zee is en er minder kans is
op bias in de interpretaties.
2. Maak onderscheid tussen belangrijke en minder belangrijke items.
3. Maak onderscheid tussen macro en micro niveau.
Globale resultaten hoeven niet toepasbaar te zijn op alle niveau’s.
4. Voorkom verschillende interpretaties van vragen.
Bijna alle vragenlijsten bevatten onduidelijke items. Er zijn twee manieren om dit aan te
pakken. Onderzoekers kunnen een goede gok doen gebaseerd op ander bestaand bewijs.
Ten tweede kan er nader onderzoek gedaan worden door middel van andere methoden,
zoals interviews en focusgroepen.
5. Voeg de resultaten van de kwalitatieve en de kwantitatieve data samen.
Twee mogelijkheden:
Gelijke thema’s: Dit zijn conclusies waar alle databronnen naar verwijzen.
Ongelijke thema’s: Er zijn onvermijdelijk thema’s die wel uit de ene databron naar voren
komen en niet uit de andere. Dit betekent niet dat dit onbelangrijke bevindingen zijn.
6. Bedenk maatregelen die genomen moeten worden.
Stel verschillende maatregelen voor. In dit geval kan de klant de optie kiezen die het beste
binnen de organisatie past. Maak een duidelijk onderscheid tussen de diagnostische
resultaten en de aanbevelingen. Dit vergroot de geloofwaardigheid van de onderzoeker en
geeft de klant de mogelijkheid om in het beslissingsproces deel te nemen.
Chapter 4: The interview approach
Rob Millar & Mary Gallagher
INLEIDING
Het interview wordt beschouwd als een van de centrale instrumenten binnen interne en externe
communicatie audits.
EERSTE BESCHOUWINGEN
Waarom is een interview bruikbaar?
Definitie interview van Millar et al. (1992):
“A face-to-face dyadic interaction in which one individual plays the role of the interviewer and the
other takes on the role of interviewee, and both of these roles carry clear expectations concerning
behavioural and attitudinal approach. The interview is requested by one of the participants for a
specific purpose and both participants are willing contributors.”
Deze definitie benadrukt het sociale karakter van interviews. Dit is het meest onderscheidende
kenmerk van deze methode vergeleken met anderen.
De wederzijdse communicatiestroom die het interview karakteriseert biedt drie grote voordelen
ten opzichte van alternatieve informatieverzamelingsstrategieën.
1. Het is makkelijker om onverwachte informatie aan het licht te brengen en dieper op de
communicatie ervaringen in te gaan.
2. Ontmoetingen met individuen maken het voor de onderzoeker mogelijk om een beter beeld te
krijgen van de perceptie en interpretatie van organisatorische zaken door de staf,
werknemers, etc.
3. Het interview kan ook in de behoefte van zowel onderzoekers als respondenten voldoen om
een menselijk en sociaal aspect aan de ontdekking van informatie toe te voegen.
Wanneer is een interview bruikbaar?
Een interview kan op meerdere tijdstippen gedurende een communicatie audit toegepast worden.
1. Sleutelpersoneel interviewen om de soort audit vast te stellen die het best aan hun behoeften
zal voldoen.
2. Interviews kunnen gebruikt worden als eerste stap in het ontwikkelen van een vragenlijst die
aan een groot aantal respondenten afgenomen moet worden. Hieruit kunnen belangrijke
gebieden aan de orde komen die opgenomen moeten worden in het geschreven instrument.
3. Interviews kunnen gebruikt worden naast het verzamelen van kwantitatieve data om diepere
en betekenisvollere informatie te verkrijgen van een sub-steekproef van de respondenten.
4. Data analyse interviews kunnen waardevol zijn voor het begrijpen, uitleggen en interpreteren
van resultaten.
5. Interviews kunnen met meerdere doelen op verschillende momenten ingezet worden.
Exploratieve interviews kunnen als aanwijzing dienen voor meer specifiekere vervolg
interviews. Deze kunnen voor en na interventies plaatsvinden.
PLANNING
De precieze aard en diepte van de benodigde informatie heeft een grote invloed op de planning
van interviews. Er zijn een aantal belangrijke beslissingen en procedures omtrent de planning die
in beschouwing genomen moeten worden.
Wie leidt de interviews?
Het is belangrijk dat alle interviewers een goede vakkundigheid bezitten. Om de consistentie te
maximaliseren is training belangrijk. Collins (1997) geeft twee functies van training: interviewers
moeten er van overtuigd zijn dat een gestandaardiseerde aanpak essentieel is. Ten tweede moet
er een uniforme manier ontwikkeld worden bij de interviewers voor het verkrijgen van diepte
informatie. Naast de vakkundigheid van de interviewer spelen nog vele andere persoonlijke
factoren mee die invloed uit kunnen oefenen op effectiviteit van het interview. Als uit onderzoek
blijkt dat de factoren ras, cultuur, geslacht en leeftijd invloed hebben op de kwaliteit van de
afgenomen interviews, moet er een groep interviewers zijn met verschillende kenmerken en
achtergronden.
Wie wordt er geïnterviewd?
De participanten moeten representatief zijn voor de verschillende rollen in de organisatie en
moeten uit alle hiërarchische lagen komen. De uiteindelijke steekproef moet een random selectie
zijn uit de verschillende categorieën. Er zijn ten minste twee participanten uit elke subgroep nodig
om de anonimiteit te waarborgen. Daarnaast is het aan te bevelen om al het sleutel personeel te
interviewen. Er bestaan een paar criteria voor het aantal benodigde participanten. Het aantal
deelnemers uit elke subgroep moet genoeg zijn zodat er nog reserves zijn wanneer enkelen
besluiten om niet deel te nemen. Wanneer de steekproef geïdentificeerd is, hangt het besluit om
de steekproef te vergroten af van ten minste twee factoren:
 De soort communicatie audit: als het doel van de audit is om een algemene indruk te krijgen
van de communicatie kan een kleine steekproef voldoende zijn. Als de audit echter als doel

heeft om specifieke en belangrijke veranderingen in te voeren is een significante steekproef
uit elke subgroep noodzakelijk.
De beschikbare tijd en bronnen: interviewen is een tijdrovende, arbeidsintensieve en dure
vorm van dataverzameling. Een onderzoeker moet dan ook goed bedenken of een vergroting
van de steekproef wel past binnen de beschikbare hoeveelheid tijd, mensen en geld.
Hoe lang moet elk interview duren?
De lengte van een interview zal onder andere afhangen van het doel van het interview en van de
persoon die geïnterviewd wordt. Downs (1988) gaf het advies dat managers meer tijd vragen om
geïnterviewd te worden dan niet-managers. Wanneer de lengte vastgesteld is, moeten dit aan de
participanten bekend gemaakt worden, zodat zij hierop kunnen baseren of zij mee willen werken.
Men moet zicht strikt aan deze tijd houden, anders kan dit het vertrouwen in de interviewer
verminderen.
Een interviewschema ontwikkelen
interviewers moeten een soort van interviewschema of plan hebben om er zeker van te zijn dat
het doel van het interview bereikt wordt.
Exploratieve interviews
In de beginfase van een communicatieaudit is er vaak onduidelijkheid over welke typen informatie
beschikbaar zouden zijn en wat de reacties van respondenten zullen zijn. In exploratieve
interviews is het nuttig om een soort schema te hebben van de onderwerpen die aan bod moeten
komen, zodat de onderzoeker geen onderwerpen vergeet. Het weerhoudt de interviewer er ook
van om in te gaan op details, irrelevante onderwerpen en over te gaan in kletsen met de
participant. Het interview schema voor een exploratief interview moet bestaan uit een lijst van
brede openingsvragen die gesteld kunnen worden aan de hand van de antwoorden van de
respondent. Het is alleen belangrijk dat alle relevante vragen gesteld worden, de volgorde is hier
niet van belang.
Focused interviews
Onder omstandigheden dat de interviewer feitelijke informatie moet achterhalen, hij aan een
bepaalde tijd gebonden is, of dat de kwantiteit en vergelijkbaarheid belangrijk is, is een
gestructureerde en gestandaardiseerde benadering vereist. Bij focused interviews zijn de meeste
aspecten van het interview vastgelegd, zoals onderwerpen, vragen, volgorde en
antwoordmogelijkheden. Vaak is de inhoud van de vragen afkomstig van exploratieve interviews.
Focused interviews worden gekenmerkt door het gebruik van voornamelijk gesloten vragen. Ze
nemen minder tijd in beslag en kunnen erg nuttig zijn voor het generaliseren van verkregen
informatie in de eerste fase van een audit. De verkregen data kan makkelijker verwerkt en
geanalyseerd worden dan data van exploratieve interviews. Het gevaar bestaat echter dat de
interviewer de participanten in een bepaalde richting stuurt. Wanneer participanten overcommunicatief zijn moet de interviewer meer sturen door de respondent te focussen door het
gebruik van meer gesloten vragen.
AFNEMEN VAN HET INTERVIEW
Beide typen interviews vragen een structuur om de interviewer van begin tot eind te begeleiden.
Interviewers zouden getraind moeten worden in het volgen van het interviewschema en het
afnemen in een gestandaardiseerde manier. Elk interview bestaat uit drie fasen: de opening, de
kern en de afsluiting. De kern van het interview zal bij focused of exploratieve interviews erg
verschillen, de opening en afsluiting zal nagenoeg gelijk zijn.
De opening
Elk interview moet in een comfortabele omgeving afgenomen worden die privacy verzekert. De
interviewer moet professioneel overkomen. De respondent moet met zijn naam gegroet worden.
Er moet uitleg gegeven worden over hoe de respondent geselecteerd is. In het interview schema
moeten de punten staan die vermeld moet worden tijdens de opening: de betrouwbaarheid,
anonimiteit, de rechten op terugtrekking van deelname, het opnemen en maken van notities.
Daarnaast moet de interviewer aangeven wat de doelen zijn, hoe het interview zal verlopen en
een indicatie geven van de structuur, inhoud en tijdsduur van het interview.
De kern
Het is het beste om te beginnen met het vragen naar feitelijke en beschrijvende informatie. Dit
geeft de respondent de mogelijkheid om zich op zijn gemak te voelen.
Exploratieve interviews
Open vragen geven vrijheid, geven de respondent verantwoordelijkheid om te kiezen welke
onderwerpen ze willen bespreken en geeft hen de mogelijkheid om op onderwerpen diep in te
gaan. Het belangrijkste voordeel van open vragen ten opzichte van gesloten vragen is dat er
minder invloed op de participanten wordt uitgeoefend, zodat ze makkelijker hun meningen,
attitudes, gedachten en gevoelens weer kunnen geven. De volgorde van de vragen is een
belangrijke factor voor het slagen van exploratieve interviews. Hoe minder gestructureerd het
interview is, hoe belangrijker het is om de vragen te baseren op de al gegeven informatie door de
respondent. Uit de reacties van de interviewer is dan ook goed op te maken of hij goed luistert
naar wat de respondent zegt. Het nut van open vragen kan dan ook teniet worden gedaan door
het niet goed luisteren naar en reageren op de reacties van de respondenten. Het kan soms heel
moeilijk te begrijpen zijn wat respondenten bedoelen. In deze gevallen zal de interviewer verder
moeten vragen. Er bestaan verschillende manieren om door te vragen die op verschillende
manieren effectief kunnen zijn:
 Zoeken naar verdere verklaringen: ‘Coud you tell me exactly what you mean by that?’
 Naar voorbeelden vragen: Çould you give me an example of when you have felt like this?’
 De nauwkeurigheid nagaan: ‘You have never received this information?’
 Naar de relevantie vragen: ‘How do you think this affects communication?’
 Naar meer informatie vragen: ‘Could you tell me a bit more about that?’
Door doorvragen kan dubbelzinnigheid, vaagheid en contradictie verminderd worden. De manier
waarop de interviewer doorvraagt kan echter invloed hebben op de te verkrijgen informatie.
Daarom is training in doorvragen belangrijk. Het doel van doorvragen is om aan meer informatie
van de respondent te komen. Het gevaar bestaat echter dat de respondent het idee krijgt dat men
inbreuk maakt op zijn privacy, hem kwetsbaar maakt of dat hij zich moet verdedigen. Er moet dus
naar een balans gezocht worden tussen de behoeften van de interviewer en de respondent.
Luisteren is niet een simpel proces van horen en opnemen van wat gezegd wordt, maar omvat
het complexe proces van begrijpen en evalueren van de boodschap. Actief luisteren speelt een
belangrijke rol in het verkrijgen van relevante, betrouwbare en voldoende gedetailleerde
informatie.
Focused interviews
Het grote verschil met exploratieve interviews is het type vragen. Wanneer er feitelijke informatie,
snelle en kwantitatieve dataverwerking nodig is en de tijd beperkt is, zijn gesloten vragen gepast.
De vragen moeten erg precies zijn en gesloten. Er kan gebruik worden gemaakt van
antwoordmogelijkheden. Het gebruik van gesloten vragen brengt echter ook het volgende gevaar
met zich mee:
The significance is that the questioner who asks closed questions may be specifying categories
of thought that are unrepresentative of what respondents think, with the result that respondents
confirm our own frame of reference without our even realising it (Dillon, 1997, p. 120)
Deze bedreiging kan geminimaliseerd worden wanneer de inhoud van het interview tot stand is
gekomen op basis van resultaten van exploratieve interviews en de verwoording van de vragen
aan dezelfde criteria voldoet als die voor de constructie van vragenlijsten.
De afsluiting
Bij beide soorten interviews is het belangrijk om tijd in te plannen voor het afsluiten van het
interview. Het is belangrijk dat er geen twijfel is over het moment waarop het interview afgelopen
is. De respondenten moeten bedankt worden voor hun medewerking (social closure). Daarnaast
kan er een kleine samenvatting van het interview gegeven worden (cohnitive closure). Met dit
laatste geef je de respondent de mogelijkheid om de percepties van de interviewer te beoordelen
en eventueel te verbeteren. Wanneer er persoonlijke ervaringen van de respondent aan de orde
zijn gekomen is het belangrijk dat de respondent hier geen schade door oploopt.
Als er sprake is van vervolg interviews is het belangrijk dat de relaties hiertussen besproken
worden, zodat de respondent weet wat hem verder nog te wachten staat.
INFORMATIE OPNEMEN VAN INTERVIEWS
Het is uitermate belangrijk om de interviews op te nemen. King (1994) zegt dat alle kwalitatieve
interviews opgenomen zouden moeten worden. Als een interview opgenomen wordt is het niet
meer noodzakelijk om aantekeningen te maken. Dit versoepelt het verloop van het interview. De
onderzoeker moet echter wel de volgende punten in acht nemen:
 Er moeten goede redenen zijn voor het gebruik van een tape recorder. het gebruik is
belangrijker voor het achterhalen van de precieze formulering van de respondent dan voor
het achterhalen of een bepaald onderwerp genoemd is of niet.
 De participanten moeten geïnformeerd worden over de reden van de opname, hoe de
opname gebruikt zal worden, voor wie de opname beschikbaar zal zijn en tot op welke
hoogte de antwoorden te identificeren zijn.
 De interviewer moet actief blijven luisteren tijdens het interview, ondanks dat alles op tape
wordt opgenomen.
 Deelnemers moeten de mogelijkheid krijgen om zonder tape recorder geïnterviewd te worden
of op een bepaald moment de tape recorder stop te zetten.
 Er moet een ‘plan B’ zijn voor wanneer de tape recorder het niet doet of wanneer de
respondent wenst dat het interview niet opgenomen wordt.
 Interviewers moeten met een tape recorder om kunnen gaan.
Wanneer opnemen niet mogelijk is, moet de onderzoeker een techniek hebben om sleutel
woorden en zinnen te noteren als geheugensteuntjes. Aangezien het kan voorkomen dat de
opname niet te verstaan is, is het nuttig om altijd korte aantekeningen te maken. Daarnaast is het
dan noodzakelijk om meteen na het interview zo veel mogelijk van de inhoud van de respons te
reconstrueren. Er kan ook een assistant mee gaan met het interview die als enige notities maakt.
Dit heeft ook nadelen. De aanwezigheid van een tweede partij vermindert de neiging tot diepte
antwoorden, verhoogt de kosten en vereist toestemming van de respondent.
INTERVIEW DATA ANALYSEREN
De resultaten van het interview zullen zich structureren rond een aantal sleutelvragen uit het
interviewschema. Het zijn ook de antwoorden op deze vragen die het meest interessant zin voor
de onderzoeker. Er zijn verschillende methoden om kwalitatieve interviewdata te analyseren.
Deze bestaan uit drie stappen.
1. vertrouwd raken met de interview data
De eerste stap bestaat uit het vertrouwd raken met de verzamelde data. Dit houdt in luisteren
naar de opnames en meerdere keren herlezen van de interviews. Als er sprake is van
meerdere onderzoekers kunnen groepsdiscussies helpen om ideeën, thema’s en nieuwe
constructies te ontdekken.
2. zoek naar categorieën in de interview data
De inhoud van antwoorden op elke vraag kan gecategoriseerd worden in thema’s en de
frequentie hiervan kan gemeten worden. Deze frequenties kunnen statistisch getest worden
om verschillend tussen groepen of levels vast te stellen. Het kan belangrijk zijn om statistisch
bewijs te hebben voor bevindingen. In dat geval kan een kwantitatieve analyse een goed
argument vormen. Bij een puur kwalitatieve benadering kan door vertrouwdheid met de data
categorieën ontdekt worden of een codeboek gevormd worden. Een codeboek bestaat uit
een aantal categorieën die regelmatig bekeken moeten worden wanneer meer interview data
beschikbaar komen. Onderzoekers zouden het volgende moeten doen:
1. lezen van de interviews om categorieën te identificeren
2. alle uittreksels labellen zodat de oorspronkelijke locaties makkelijk terug gevonden
kunnen worden
3. de uittreksels van de geschreven tekst onder brengen in categorieën. Vervolgens deze
herlezen en binnen de categorieën proberen thema’s te ontdekken.
4. Verzekeren dat categorieën door zo veel mogelijk interviews ondersteund/aangedragen
worden.
5. een passend aantal hoofdcategorieën ontwikkelen. Niet meer dan tien en niet minder dan
2 of 3.
3. Maak thematische connecties binnen en tussen categorieën
dit houdt het zoeken naar patronen en thema’s in binnen categorieen en eventuele
herziening hiervan. Dit vereist van de onderzoeker om te kijken naar de antwoorden op alle
vragen betrokken in de audit en niet alleen naar één vraag.
BEVINDINGEN RAPPORTEREN
De laatste taak van de onderzoeker is het beknopt maar begrijpelijk weergeven van de
bevindingen. Er zijn verschillende methoden voor het rapporteren van bevindingen gebaseerd op
tekstuele data. De rapportage moet in het algemeen het volgende bevatten:
 Een samenvatting van de hoofd- en significante thema's in de tekst.
 Passages uit de interviews in de vorm van illustrerende citaten die de thema's
vertegenwoordigen.
 Het rapport moet duidelijk en een samenhangend geheel zijn dat makkelijk te lezen is en op
alle punten onderbouwd is.
Het is tenslotte belangrijk om rekening te houden met de mogelijke identificatie van bronnen. Om
anonimiteit te verzekeren moet de onderzoeker:
 Bepaalde details weglaten die gebruikt zouden kunnen worden om de identiteit van de
geïnterviewde te achterhalen.
 Details onherkenbaar maken om identificatie te voorkomen.
CONCLUSIE
De interviewbenadering erkent de rijkheid en authenticiteit van verhalen als belangrijkste bron
van informatie over organisaties.
Hoofdstuk 5
Handbook of Communication Audits for Organisations
The focus group approach
Introduction
Een focus group kan worden gezien als een groepsinterview met een klein
groepje participanten (die bepaalde karakteristieken delen die relevant zijn voor
het onderzoek). Samen met een bemiddelaar komt de discussie op gang over
een bepaald onderwerp, een serie onderwerpen of interesse van beide partijen.
Karakterestieken van zo’n bijeenkomst:
 Held at the behest of the moderator or research team to which s/he
belongs




De bemiddelaar neemt het initiatief voor het onderwerp van gesprek
De discussie wordt opgenomen voor latere analyses
Het doel van de focusgroep is ervaringen, begrip en perspectieven van de
participanten te leren kennen
Resultaten worden gerapporteerd
Focus groups: what they are and what they are not
Focus groups: een informele discussie door geselecteerde individueen over
specifieke situatie-relevante onderwerpen.
Focus groups: georganiseerde groupsdiscussies gefocust op een specifiek
thema.
Essentieel voldoen focus groups aan drie criteria:
1. ze zijn een manier om kwalitatieve gegevens te verzamelen (soms
kwantitatief)
2. de focus groep biedt een lens om directe aandacht aan een
nauwkeurig(/e) onderwerp/zaak (specifieke vragen en exploratief
onderzoek)
3. informatie wordt verzameld d.m.v. een groepsdiscussie (door interactie
komen onderwerpen ter sprake)
De inhoud van de gesprekken zijn verschillend. Er zijn ook andere
dataverzamelingstechnieken met groepen. Deze leggen meer de nadruk op vrije
discussie voor de participanten, er is geen discussie-leider aanwezig en er is een
andere wijze van het creeeren van data.
The popularity of focus groups
Focusgroups worden steeds populairder de laatste jaren. De techniek wordt
toegepast in vele soorten van onderzoek.
Focusgroepen worden op vele manieren gebruikt en voor verschillende stadia in
het auditing proces:
 voor een aanvankelijke schatting en moeilijke diagnose
 in voorbereidende stadium om een onderzoek te formuleren
 helpt resultaten van onderzoek en kwantitatieve bronnen te interpreteren
 stelt verwachte reacties van participanten vast over voorgestelde
veranderingen
 dient als een middel om nieuwe programma’s en procedures te evalueren
voordat ze worden geimplementeerd
Imago van de focus group: De techniek is goedkoop en snel in vergelijking met
andere onderzoeksmethoden en daardoor aantrekkelijk. “CHEAP & NASTY”.
Focus groups and qualitative research
Onderzoek a.d.h.v. focusgroups is kwalitatief onderzoek. Toch kun je het ook af
en toe kwantitatief onderzoek noemen. Kwalitatief onderzoek is ‘idiographic
investigation’ wat in houdt dat het intensief begrip van individuen wordt gelet en
dat de proefpersonen alles kunnen zeggen in hun eigen termen. En kwantitatief
onderzoek is ‘nomothetic research’ en dit gaat meer om het collectieve niveau.
Individuele data worden opgeofferd voor een generaliserend beeld van de groep.
Dus weinig begrip voor de individuele mening. Kwalitatief onderzoek en focus
groupen produceren emic-data en etic-data. Emic data zijn data in de natuurlijke
vorm. (in eigen termen) Etic informatie is gevormt voor de onderzoeker en door
zijn zicht op de situatie. (in hokjes gedrukt)
Veel mensen in een organisatie willen graag hun eigen mening kwijt en willen
niet dat hun antwoord op een vraag in een hokje wordt gedrukt en er alleen naar
dat wat er in het hokje staat wordt geluisterd. Er moet worden geluisterd naar het
volledige pure verhaal.
Uses of Focus groups in auditing communication
Focus groups hebben drie contrasterende vormen van informatieverzameling:
Focusgroups als één van de technieken in een ‘multi-method strategy’
Triangulatie: meerdere methode gebruiken voor 1 onderwerp.
Focus groups als hulpmiddel voor dataverzameling (hoofdinstrument is ander instrument)
Door de focusgroups ben je op bepaalde aspecten gefocused bij he maken van
de vragenlijst. Je kunt meteen de juiste vragen stellen aan de doelgroep.
Foucsgroups als alleenstaande techniek
Men moet hierbij wel denken aan de doel van het onderzoek (vaak verkennend)
De techniek is cheap en nasty als je hem voor een diepgaand onderzoek wil
gebruiken maar het unieke van de techniek is dat je de dagelijkse conversatie
kunt simuleren waardoor je nieuwe dingen ontdekt.
Conducting focus groups
Er zijn net als bij andere onderzoeksmethoden 4 fases die achter elkaar worden
besproken.
Planning and preparation
The objectives of the research
Wat moeten we onderzoeken. Wat voor vragen moeten we stellen.
Focusgrouponderzoek kan ervaringen bij elkaar brengen en de leden kunnen
van elkaars perspectief leren. Als het instrument wordt gebruikt voor gemakkelijk
en snelle manier van dataverzamelen dan moeten er andere vragen worden
gesteld. Dus let op welke methodologie het beste bij jouw onderzoek past.
Who should be involved in the audit
De vier hoofdgropen in een focusgroup zijn de organisatie, het onderzoeksteam,
de moderator en de deelnemers. De deelnemers uit een bedrijf moeten weten
dat alles wat ze zeggen niet wordt doorgegeven aan het management
bijvoorbeeld.
Belangrijk is het dat je een geschikte moderator vindt. Eisen die aan hem/haar
moeten worden gesteld zijn:
 hij moet geaccepteerd zijn door de deelnemers
 hij moet gewend zijn aan het auditproces
 hij moet volledig begrip hebben van datgene wat onderzocht wordt
 hij moet kennis hebben van de organisatie en het onderzoek
 bijdragen aan het voorbereiden van een interview-guide
 een centrale partij spelen in de analyse van de data
Where to conduct the sessions
In ieder geval in een kamer met observatie-mogelijkheid en opneemmogelijkheid
van geluid.
How to organise the focus group
Maak een begleiders handleiding.
Anticipating analysis
Je hebt verbaal en nonverbale gegevens.
Identifying and recruiting participants
Wie moet er mee doen en hoeveel proefpersonen moet je selecteren voor je
onderzoek? Diegene die de beste informatie hebben en die ook willen meedoen.
De groep moet een geheel vormen maar wel significant blijven voor de audit.
Neem dus in een organisatie de mensen van de werkvloer en het management.
Vaak worden focus groups gedaan met 6 tot 10 (of volgens Greenbaum 4-6)
mensen en duurt de discussie 1-2 uur. Intern in een bedrijf willen veel mensen
wel meewerken als het in hun voordeel is (en bedrijfsvoordeel), als het
onderwerk tijd is, als anonimiteit wordt gegarandeerd en als het onder lunchtijd
wordt gedaan.
Extern kan het nog wel een lastig worden mensen te werven. Telefonisch
onbekende mensen charteren lukt zelden. Door geld, een maal, een gift of een
hotelovernachting aan te bieden lukt het beter. Ook zijn er ‘groupies’ of
‘professional respondents’ die steeds willen meedoen, en liegen over hun
persoonlijke gegevens. Zij kunnen een gevaar vormen voor een onderzoek.
Moderating and recording the group interview
Rol van de moderator:
‘to guide the discussion and listen to what’s said but not to participate, share
views, engage in discussion, or shape the outcome of the group interview’.
Het beste zou zijn als de groep een discussie heeft en dat de moderator alleen af
en toe stuurt als het gesprek te ver van het onderwerp afdwaalt. (liever geen
vraag-antwoord idee)
Analysing the data and reporting outcomes
Er zijn drie hoofdstrategieen voor het analyseren:
Memory based
Door aantekeningen, herinnering en het hebben van de essentie van de
boodschap. Tekortkomingen van deze manier: kuren en vervorming van
geheugen.
Tape based
Goed luisteren naar tape-recordig, met hiernaast een uittreksel van de
uitgewerkte tape. Interpreteer zo de bevindingen.
Transcript based
Meest gewone manier en de meest kritische manier van onderzoek. Recordings
zijn geheel uitgewerkt op papier. Dit uitwerken kost wel veel tijd. Wanneer een
focus group is gekoppeld aan een gestructureerde interviewguide dan kan men
de ‘grid’ techniek van Knodel gebruiken. Een cel geeft dan een antwoord van een
specifieke group op een bepaald antwoord weer. Content analysis wordt ook
toegepast bij het uitwerken van de tapes. Dit houdt het coderen van data in
bepaalde themas in. Bij dit coderen kun je tekst indelen in woorden of paragrafen
op 3 manieren. Referential (op een specifiek persoon, gebeurtenis of iets als MD
of e-mail), propositioneel (bepaalde eigenschap of attribuut als bruikbaarheid,
verwarring) en thematisch (zaken als uitleggen en interpreteren van statements?)
Hoofdstuk 6
Data collection Log-sheet methods (DCL)
De DCL is een gestructureerd formulier waarop specifieke items gedetailleerd
ingevuld moeten worden.
Verschil met een vragenlijst is dat de respondent echte communicatiesituaties
evalueert direct nadat ze plaatsgevonden hebben. Vooral gericht op de
specifieke hier-en-nu-details die, als er niet direct geevalueerd zou worden vaak
minder accuraat of zelfs helemaal anders zouden zijn. De DCL is een goede
methode voor analyse op de langere termijn.
Diaries and network analysis
Beide DCL-methodes. Verschil is vooral dat de dagboekmethode de details van
de communicatie-verrichtingen van iemand zelf bevat, terwijl Netwerk Analyse
zich vooral richt op de interactie van de respondent met anderen. Met wie
bijvoorbeeld. Bij de dagboekmethode is het de bedoeling dat bijv. het
management hun eigen communicatie analyseert en deze bevindingen opschrijft
op een formulier zo snel mogelijk nadat de communicatie heeft plaatsgevonden.
Sociometry
Netwerk Analyse is een variant op sociometry. In z’n originele staat, vraagt Nwanalyse aan de respondenten van een groep om op te geven met welke
groepsleden hij of zij wel of juist niet wil samenwerken, socializen, of bijvoorbeeld
een kantoor wil delen. Op deze manier wil men (vaak voorkomende) contacten
en relaties in een bepaalde groep actoren vinden. Ook wil men er achterkomen
waarom actoren welke contacten gebruiken in verschillende situaties en met
welke gevolgen. Netwerk Analyse is er, en in het speciaal Sociale Netwerk
Analyse, op gericht de sociale structuren binnen een bepaalde groep actoren
vast te leggen.
Soc Nw Analyse wil mbv interviews en vragenlijsten er achter komen welke
verbanden er tussen mensen bestaan in termen van:





hun waardering van elkaar. (aardig, vertrouwen, vriendschap, etc.)
taak relaties (naar wie gaan mensen toe to get the job done)
informatie uitwisseling
fysieke links ( delen van een kantoor of zich juist ver van elkaar bevinden)
Associaties en overeenkomsten ( ras, geslacht, leeftijd, lid van dezelfde
clubs)
 Formele rollen ( collega’s, supervisors, managers, etc)
 Gedrag van de interactie (hoe vaak, door welke kanalen, onderwerpen)
In de communicatiesfeer is Nw-analyse er vooral op gericht om er achter te
komen hoe vaak en hoe goed bepaalde individuen communiceren met andere
groepsleden of stafmedewerkers in een organisaties. (of belangrijke mensen in
andere organisaties)
ECCO
Een ander voorbeeld van een DCL is “Episodic Communication Channels in
Organisation (ECCO). Deze DCL is er vooral ontworpen om
communicatienetwerken te analyseren en om de stroom en de verspreiding van
boodschappen te meten. Het is handig om de verspreiding en stroom van 1
bepaald stuk informatie te volgen door de organisatie. Respondenten worden
gevraagd hoeveel informatie ze precies weten (als ze al iets weten) en waar ze
de informatie vandaan hebben (kanaal, wanneer, van wie, etc). Op deze manier
kan men er achter komen hoe goed de communicatiestroom loopt, hoe lang
informatie er bijvoorbeeld over doet om bepaalde plekken te bereiken, welke
media ’t meeste geschikt zijn om dit voor elkaar te krijgen en waar er zich
problemen bevinden. ECCO-ondervraging is kort en duurt slechts een paar
minuten.
Advantages and disadvantages of diaries and logs
Voordelen:
 Dagboeken zijn bekend bij iedereen. Daarom zullen veel mensen ’t geen
probleem vinden om ’t te gebruiken en zullen ze ’t nut ervan eerder inzien.
 Als er herhaalde informatie vereist is van de respondenten over een bepaalde
tijd is het een goedkope methode.
 De methode geeft inzicht in de chronologische volgorde van gebeurtenissen
en geeft andere waardevolle gedetailleerde informatie over bijv. bron,
ontvanger, doel, waargenomen effectiviteit van de persoonlijke communicatie
van iemand (communicatie zoals hij of zij die heeft en waarneemt.)
 De classificatie van termen wordt gemaakt door de respondenten. Op deze
manier kan een beter “inside-view” verkregen worden.
Nadelen:
 De onderzoeker heeft geen controle over de kwaliteit van het uitvoeren van
de methode. Hoe vaak het gebeurt en hoe goed bijv. Hij of zij is daarvoor
afhankelijk van het management.
 De data kan minder valide zijn omdat respondenten niet helemaal eerlijk zijn
of omdat ze de gebeurtenissen anders construeren dan ze eigenlijk hebben
plaatsgevonden. Een oplossing hiervoor kan zijn (om zo dus de validiteit te
verhogen) om andere audits in combinatie met deze methode toe te passen.
 Er kan sprake zijn van een hoog uitvalpercentage en een laag aantal
teruggaven. Dit neemt toe naarmate de complexiteit toeneemt en de
onderzoeksperiode langer wordt.
 De methode en het uitvoeren ervan kan de respondenten beinvloeden zodat
ze er bijvoorbeeld rekening mee gaan houden in hun dagelijkse patroon en in
hun gedrag in bepaalde situaties. Op deze manier is de data minder valide.
Het optimaliseren van dagboeken en logs.
 









Planning is erg belangrijk. Wie doet er mee, welke onderwerpen moeten
onderzocht worden, hoe wordt de data precies opgeschreven/verzameld.
Er moet een goede sample genomen worden
De inhoud van de DCL moet duidelijk de doelen van de audit weergeven
en meten
Kies het meest toepasselijke schrijfsysteem voor de doelgroep.
Zorg dat de doelgroep van de DCL zoveel mogelijk training hebben in het
invullen van logs zodat ze goed voorbereid zijn.
Bijgevoegde instructies moeten zorgvuldig worden ontworpen en getest
Zorg voor een voorbeeld van een ingevuld dagboek
Het moet mogelijk zijn om direct na de communicatie het dagboek in te
vullen.
Zorg voor een regelmatig contact met de respondenten
Een beloning motiveert de respondenten. (geld bijv.)



Voor een dagboek waar gedetailleerde informatie voor vereist is, werkt de
foot-in-the-door-methode het best. Begin met korte beschrijvingen en voer
't later op.
Zorg ervoor dat de audit niet te lang duurt. Anders wordt het
uitvalpercentage steeds groter. (volgens het boek niet langer dan 1 week)
DCL's zijn vaak beter toepasbaar op mensen met een hogere functie. Die
zijn al gewend aan administratief werk. Mensen op de werkvloer moeten
vaak niks hebben van die bureaucratische rompslomp.
(zie blz. 115 voor een voorbeeld van een dagboek)
Undercover auditing
Mysterycostumer research (MCR), ook wel mysteryshopping genoemd is een
audit waarbij getraind marketingonderzoekspersoneel undercover naar
bedrijven/instellingen gaan om hun service te beoordelen en om problemen te
identificeren. Op deze manier kan een onderzoeker echt zien en meemaken wat
er in het bedrijf gebeurd, omdat hij of zij zich voordoet als een echte klant.
Achteraf worden er dan aantekeningen gemaakt.
MCR moet zijn:
1. Realistisch
2. Onpartijdig (niet bij 1 persoon een erg ongeloofelijk moeilijk onderzoek
afnemen bijv.)
3. Objectief
4. Consistent
Optimaliseren MCR:

Definieer duidelijk de doelen en daarmee dus de gevraagde uitkomsten
van het onderzoek.

Ontwerp het onderzoek speciaal hiervoor. (voor de doelen en uitkomsten)

Het ontwerp moet simpel, maar robuust zijn en moet goed getest worden
voor het toegepast wordt.

Selekteer de goede undercover-auditer voor de locatie die bezocht moet
worden. Hij of zij moet dus een geloofwaardige klant kunnen zijn.

Vertel het management dat ze bezocht worden, maar niet wanneer.

Train de undercover-auditers goed.

Voer de MCR regelmatig uit.

Zorg voor een beloning indien de MCR goede resultaten laat zien.

Presenteer duidelijke resultaten waarin sterktes en zwaktes goed naar voren
komen.

Leer het management hoe ze met de resultaten om moeten gaan, hoe ze ze moeten
interpreteren en wat de implicaties ervan zijn.
MCR moet wel met mate worden toegepast en de resultaten ervan mogen niet
gebruikt worden om het personeel te straffen. En zo zijn er nog een paar
ongeschreven regels van ethiek (blz 125).
Hoofdstuk 7 Samenvatting Handbook of Communication Audits for Organisations
Auditing professional practice
Introductie
Professionele audits vinden op verschillende niveaus plaats:
 grootschalig- kleinschalig
 gedetailleerd- niet gedetailleerd
 hoog in de organisatie- laag in de organisatie
Om al deze niveau’s te kunnen ondervangen zijn verschillende audit-methodologien
ontwikkeld om toezicht te kunnen houden op het communicatiegedrag in brede zin, en dit
te evalueren en te verbeteren.
Critical incident technique
Deze technologie maakt gebruik van concrete gebeurtenissen van effectief en
ineffectief gedrag in een context. Het is gebaseerd op de gedachte dat gevoelens
van tevredenheid of ontevredenheid met een persoon, beroep of organisatie het
resultaat zijn van ervaringen. Dus de manier waarop buitengewone
gebeurtenissen ervaren worden staan centraal in oordeelsvorming. Deze
oordeelsvorming leidt uiteindelijk tot het toedelen van een positieve of negatieve
beoordeling aan de bron. Deze beoordeling beïnvloedt hoe de bron in de
toekomst benaderd wordt.
Gesteld wordt dat wanneer naar een kritiek voorbeeld wordt gevraagd de
ervaring die genoemd wordt een veel breder beeld geeft dan die ervaring alleen,
de ervaring wordt namelijk opgevraagd uit ‘the relevant memory file’. Door deze
ervaring te bekijken wordt praktisch inzicht verkregen in de belangrijkste ‘key
areas’ van functioneel en niet-functioneel gedrag. Voorbeeld: Je zit in een
restaurant en de ober laat per ongeluk een glas rode wijn omvallen. Hoe er door
de manager van het restaurant om gegaan wordt heeft een groet invloed op jouw
attitude ten opzichte van het restaurant.
De Critical Incident Methode (CI-methode) bestaat uit drie hoofdfasen (Caves,
1988)
Bepalen van de doelgroep; hierbij moet een goede balans gevonden worden
tussen exclusiviteit en generaliseerbaarheid.
Verkrijgen van een beschrijving van de gebeurtenis. Twee factoren zijn hier van
belang:
 Hoeveel gebeurtenissen moeten verzameld worden? Er kan gesteld worden
dat hoe groter het aantal respondenten hoe minder incidenten een
respondent moet noemen.

Welke methode moet hiervoor gebruikt worden? Keuze tussen vragenlijst en
interview. Bij een interview moet aan de respondenten duidelijk worden
verteld wat er van hen verwacht wordt. Bij beide methodes moeten de
respondenten al van te voren hebben nagedacht over CI’s. Ook kunnen CI’s
verzameld worden door middel van groepsgesprekken. De eisen die aan een
CI gesteld worden zijn dat deze moet afwijken van de norm en dat deze in
detail beschreven moet kunnen worden.
Identificeren van de ‘competencies’: In deze fase vindt een inhoudsanalyse
plaats om de verkregen data om te zetten in duidelijk te onderscheiden
‘competencies’.
De CI-methode kan voor verschillende doeleinden worden ingezet, zowel intern als
extern.
voorbeeld intern: onderzoeken hoe verpleegsters, ouders, vrienden etc de
verpleging van bejaarden beoordelen.
voorbeeld extern: onderzoeken of patienten tevreden zijn met verschillende
aspecten van de zorg.
Het gebruik van de CI-methode binnen een organisatie
Bij het gebruik van het woord kritiek incident wordt vaak aan een negatieve
ervaring gedacht. Vandaar dat organisaties de term Communication Experience
hanteren. Bij deze methode wordt veelal een vragenlijst gebruikt (zie appendix
achterin boek) Mbv deze vragenlijst kan allereerst gekeken worden hoeveel van
de gerapporteerde incidenten effectief of ineffectief waren en op basis daarvan
kan een globaal beeld verkregen worden van het communicatieklimaat van een
organisatie. Hierna kunnen de bronnen van effectieve of ineffectieve
communicatie omlijnd worden.
Points for consideration
Face validity:
De meeste mensen zien op het eerste gezicht wel het nut in van de CI-methode
aangezien het hier om persoonlijke ervaringen gaat met communicatie.
Respondent-centred Nature:
Aangezien bij deze methode het referentiekader van de respondenten gebruikt
wordt is er geen sprake van ‘designer bias’.
Methodological reservations
Statistische analyse kan in principe niet gebruikt worden bij deze methode. Het
geeft echter wel een diepte-analyse van wat respondenten de belangrijkste
‘issues’ vinden en geeft hen de mogelijkheid dit in detail weer te geven. Deze
methode gaat dus vooral in op het waarom van tevredenheid en ontevredenheid
bij de respondenten.
Illumination of minority views
Ook al wordt een gebeurtenis slechts door een minderheid van de respondenten
genoemd, kan deze toch van groot belang zijn. In de CI-methode wordt deze
gebeurtenis niet weggelaten, maar tot in detail meegenomen in de analyse.
Inclusion of rating scales
Hoewel de CI-methode kwalitatief van aard is, toch kunnen de resultaten
gekwantificeerd worden. Zo kunnen respondenten verschillende aspecten van
een gebeurtenis een bepaalde waarde geven mbv bijvoorbeeld een likertschaal.
Time and labour
Deze methode neemt veel tijd in beslag zowel bij afname van de interviews als
bij de verwerking van de resultaten. Mede hierdoor is het een dure methode.
Positive models
De methode laat zowel ineffectieve als effectieve incidenten zien zodat er een
realistisch beeld verkregen wordt.
Constitutive ethnography
De constitutive ethnography methode (CE-methode) houdt een beschrijving in
van de interacties die plaats vinden tussen mensen die de cultuur vormen. Drie
criteria zijn hierbij van belang:
 De organisatie die de onderzoeker beschrijft moet overeenkomen met de
organisatie van de respondenten
 De analyse moet plaats vinden op basis van het verkregen materiaal
 De analyse moet begrijpbaar zijn.
Later werd door Saunders, Cave en Hargie de onderzoeker een centrale rol
toebedeeld. Deze methode maakt gebruik van video-opnamen en interacties
tussen professionals en cliënten waarna deze onderworpen worden aan peeranalysis.
Video-recording
Videobanden fungeren bij deze methode als een soort extern geheugen. Omdat
videobanden niet zomaar gebruikt mogen worden voor onderzoek moeten de
respondenten voor deelname aan het onderzoek een contract tekenen waarin de
doelen/privacy regels etc in beschreven staan.
CE in practice
Als de videopnamen klaar zijn worden ze geanalyseerd, zowel in groepen als
individueel, om de onderdelen te identificeren en te beschrijven van effectieve of
niet-effectieve incidenten.
stage 1: Individual analysis
Respondenten krijgen na het zien van de videoband een formulier waarop ze
moeten aangeven welke episodes effectief of niet-effectief waren en een reden
geven voor hun keuze.
stage 2: Triad sessions
Respondenten worden in groepen van 2 of 3 personen bij elkaar gezet en wordt
er gediscussieerd over de episodes die de respondenten hebben geselecteerd.
Uiteindelijk wordt er van elke respondent de meest effectieve en de meest
ineffectieve episode geselecteerd. Daarna moeten zij het gedrag wat ten
grondslag ligt aan de effectieve episodes beschrijven en vertellen wat gepast
gedrag zou zijn in de betreffende situatie.
Stage 3: Categorisation of behaviours
Respondenten moeten alle gedragingen classificeren en labelen wat uiteindelijk
tot één classificatiesysteem leidt.
Stage 4: Individual ratings of essential behaviours
Respondenten zien nog een keer alle episodes en geven de mate van
belangrijkheid op een 6 punt likertschaal aan. Deze oordelen worden dan
meegenomen om de belangrijkheid van de genoemde kenmerken te peilen.
Points for consideration
Logistics
Het is van groot belang dat er voldoende professionals meewerken aan dit
onderzoek. Ook is er veel geld, tijd en materiaal (videoapparaatuur) nodig.
Face-validity
Deze is hoog omdat de identificatie van kenmerken door de professionals zelf
gebeurt en niet door anderen.
Generalisability
De CE methode representeert de meningen van een klein aantal respondenten,
die wel of niet representatief zijn.
Expertise
Het is moeilijk om te ontdekken wie de professionals zijn in een onderneming,
het is afhankelijk van de context.
Analytical ability
Kritiek is hier dat de professionals niet getraind zijn in het geven van evaluaties.
Hier is dus een belangrijke rol weggelegd voor de onderzoeker zelf in het
begeleiden van de professional.
Professional-centred nature
Het perspectief van de cliënt wordt niet bij de ce-approach betrokken. Dit
betekent dat er andere audits gebruikt moeten worden om het beeld compleet te
maken.
Delphi technique
Bij deze methode wordt net als bij de ce-methode binnen een panel van experts gewerkt
naar het bereiken van consensus vanuit een individueel perspectief. Het verschil is dat
hier de experts elkaar niet te zien krijgen. De DT methode heeft 5 kenmerken:
 Een panel van experts is gevraagd om een analyse uit te voeren
 De experts ontmoeten elkaar nooit face-to-face; de experts werken quasianoniem. Dit wil zeggen dat ze weten wie er in het panel zitten maar niet van
wie welk stuk is. Zo wordt er een eerlijke mening gegeven en ook geen slecht
onderbouwde analyses.
 Het panel schrijft stukken, gecoördineerd door de projectleider.
 Twee of meer rondes vinden plaats waartussen de project leider een
samenvatting geeft van de vorige ronde aan de panelleden
 Na een aantal ronden vindt er een vorming van consensus plaats over de
gebieden van overeenstemming en tegenspraak.
Deze methode kan gebruikt worden om vast te stellen welke ‘keyplayers’
overeenstemmen met de meest belangrijkste communicatie-issues in een
organisatie. Andere doeleinden zijn oa (Reid et al):
 Hoe de staf de toekomst van de organisatie ziet
 De identificatie van huidige informatie- en communicatiezaken
Hoofdstuk 8: Auditing the communications revolution
Enter the intranet?
De groei van intranet is explosief geweest. De voordelen van een intranet zijn:
 De uitschakeling van onnodige hiërarchie: dmv intranet kunnen werknemers
zich organiseren in cluster rond werkactiviteiten en hoeven zij zich niet aan de
hiërarchie te houden.
 Employee self service ??
 Toegang: mensen kunnen informatie krijgen waar en wanneer ze maar willen.
 Tijd: Bestellingkosten, papierkosten etc kunnen gereduceerd worden.
De nadelen van een intranet zijn:
 Kosten: er zijn hardware- en software installaties nodig
 Impact op andere vormen van communicatie: het gebruik van een intranet kan ten
koste gaan van face-to-face communicatie.
 Impact op innovatie: een belangrijke functie van het intranet is het opslaan
van informatie, er moet voor worden opgepast dat deze informatie niet in
verkeerde handen terecht komt.
Er zijn verschillende richtlijnen voor het gebruik van een intranet opgesteld:
 Meet hoeveel de investering in een intranet oplevert: inventariseer of het
intranet verbeteringen in het bedrijfsproces heeft opgeleverd.
 Maak de site gebruikers-vriendelijk






Maak de site uniek, maar maakt het niet te gek
Zorg dat de mensen makkelijk op de site kunnen komen
Zorg dat mensen iets aan de site hebben
Hou de site up-to-date
Geef feedback
Wees creatief
Als gevolg van deze richtlijnen moet een audit betrekking hebben op
 Toegang: voelen mensen dat zij makkelijk in het systeem binnen kunnen
komen?
 Bruikbaarheid: voelen mensen dat het intranet voldoet aan hun wensen en
eisen?
 Timeliness: is het intranet up-to-date
 Feedbackmogelijkheid: kunnen de mensen interacteren met het intranet?
The growth of e-mail
E-mail is het meest gebruikt onderdeel van het intranet. Mbv e-mail kunnen
mensen onderin de onderneming gemakkelijk communiceren met mensen in de
top van de onderneming. De belangrijkste voordelen van e-mail zijn:
 Snelle uitwisseling van informatie
 De uitschakeling van hiërarchische barrières
 Status-verschillen kunnen verkleind worden
 Inter-departementale communicatie kan vergemakkelijkt worden
 Externe communicatie met klanten wordt makkelijker
E-mail kan echter ook een aantal gevaren met zich meebrengen. Zo kan face-toface communicatie door e-mailgebruik verminderd worden waardoor de kwaliteit
van relaties achteruit kan gaan. E-mail gebruik moet dus nauwkeurig in de gaten
gehouden worden. Een tweede gevaar van e-mails zijn de zogenaamde ‘flamemails’. Dit zijn een mailtjes die mensen hebben gestuurd zonder er over na te
denken, bijvoorbeeld uit woede over een bepaald besluit. Doordat je bij e-mail
geen gezicht voor je ziet gebeurt dit sneller dan bij face-to-face communicatie.
Een derde gevaar is smaad (defamation); e-mail is lang niet zo vertrouwelijk als
mensen denken. Het management kan precies nagaan welke mailtjes worden
gestuurd. Ook ontstaat er vaak een digitaal roddelnetwerk, genoemd de e-vine.
Onderzoek naar e-mail gedrag is nog in een vroeg stadium. Enkele thema’s die
aan de orde zijn gekomen zijn:
 De omvang van de gestuurde en de ontvangen mailtjes; dit kan verder
uitgebreid worden om te zien of het externe of interne zaken betreft, of het de
relatie versterkt of juist verzwakt etc.
 Of e-mail een aanvulling of vervanging vormt voor andere vormen van
communicatie.
 Hoe vaak e-mails informatie bevat die anders niet verstuurd zou worden.
 De kwaliteit van de communicatie tussen managers en de staf.


Hoe vaak e-mails flame-mails worden
Of er vastgesteld staat wie verantwoordelijk is en of er er daadwerkelijk
verantwoordelijkheid wordt genomen.
Om te kunnen kijken of de doelen die de organisatie heeft gesteld daadwerkelijk bereikt
zijn is het belangrijk dat organisaties:
 Een doel stellen voor de gehele onderneming
 Departementale doelen stellen
 Doelen stellen die betrekking hebben op hele departementen
 De staf en het publiek informeren over deze doelen
 Regelmatig controleren of de performance verbetert
Om dit te onderzoeken zijn er verschillende onderzoeksmethoden:
 Vragenlijst: hierin kan worden gevraagd naar de belangrijkste
communicatiekanalen etc
 Dagboekmethode: hierin wordt respondenten gevraagd bij te houden waneer
en voor welke doeleinden zij e-mail gebruiken
 Mystery shopping: een mystery e-mailer kan een mailtje sturen naar een
bedrijf en kijken hoe erop gereageerd wordt
 Interviews en Critical Incidents Methode; zie hoofdstuk 7
The Internet
De belangrijkste toepassingsmogelijkheden van het internet zijn:
 E-mail
 Informatie zoeken
 Online-services
 Informatiestroom en produktontwikkeling versnellen
De belangrijkste problemen van het internet zijn:
 Toegang tot een computer en telefoonlijn is vereist
 Veiligheid kan niet altijd gewaarborgd worden
 Computervirussen kunnen makkelijk verspreid worden
 Opstopping (congestion) door te volle sites, te weinig geheugen
Onderzoek op internet-gebied zou zich moeten richten op het volgende:
 De kwaliteit van informatie op de site
 De mate van informatie under- of overload
 Is er sprake van effectieve veilighiedsmaatregelen?
 Gebruikersaantallen
 De timeliness van de informatie opde site; dwz verandert de site snel is de
informatie up-to-date etc
Telephone Communications
De telefoon is niet meer weg te denken uit onze maatschappij, helemaal niet
meer nu de mobiele telefonie sterk toeneemt. Een nadeel hiervan is dat het
moeilijk is om te ontsnappen aan werkzaamheden. Daar komt bij dat het werk nu
ook veel beter gecontroleerd kan worden en er hogere eisen worden gesteld.
Kenmerken van communicatie via de telefoon:
 Interacties zijn korter en meer to-the-point
 Het ontwikkelen van een relatie is moeilijker
Doordat bij e-mail en telefoon de andere persoon niet fysiek aanwezig is, is de
kans op agressie en onbeleefdheid groter. Bijvoorbeeld stemvolume omhoog,
onderbrekingen etc.
Public dislikes
Zaken waaraan het publiek zich kan ergeren bij telefonische communicatie zijn:
 Laat antwoorden
 Voice-mail
Auditing telephone communications
Organisaties moeten doelen stellen hoe een telefoontjes afgehandeld moeten
worden. Deze doelen moeten zowel in de drukste als in de rustigste periode
gehaald kunnen worden. Onderzocht kan worden hoe lang het duurt voordat de
telefoon wordt opgenomen, hoe lang een telefoontje duurt, wat het de organisatie
kost etc. Dit alles kan gebeuren via de methodes die reeds genoemd zijn bij email onderzoek
Hoofdstuk 9
Crafting the audit report
Inleiding
Wanneer de audit is geïmplementeerd in de organisatie, de data verzameld en
geanalyseerd, dan moeten de resultaten gepresenteerd worden in de vorm van
een rapport. Dit is de laatste fase in het audit-traject. Het rapport moet wel goed
zijn, want ook in deze laatste fase kan er nog van alles fout gaan. De
aanbevelingen moeten duidelijk zijn, niet te veeleisend.
Structuring an audit report
Bowman en Branchaw beschrijven een rapport als een “georganiseerde
presentatie van informatie aan een specifiek publiek met als doel de organisatie
een doel helpen te bereiken”. Effectieve rapporten kunnen gezien worden als
een leidraad aan de hand waarvan actie ondernomen kan worden. Over de
eigenschappen van effectieve rapporten is men het over het algemeen eens,
namelijk:






Tijdelijkheid: het rapport moet uitkomen voordat het gepast is, en moet de
meest actuele informatie bevatten die op dat moment over het
communicatieprobleem beschikbaar is. Het rapport moet de lezers op de
uitdagingen van de toekomst voorbereiden.
Goed geschreven: het rapport moet duidelijk, beknopt en interessant zijn.
Geen spellingfouten en inhoudelijke fouten, want daarmee wordt de
geloofwaardigheid van het rapport aangetast.
Goed georganiseerd: het rapport moet selectief gelezen kunnen worden,
vanwege de meerdere lezerspublieken die het rapport onder ogen krijgen.
Daarom moet het rapport een uitgebreide samenvatting hebben (wat een hele
moeilijke taak is).
Aantrekkelijk: op het rapport moet duidelijk aangegeven staan waar het over
gaat, het moet in goede staat aankomen aan moet uitgerust zijn met een
aantrekkelijke lay-out en lettertype. Vaak kunnen beter plaatjes gebruikt
worden in plaats ingewikkelde tabellen en deze figuren verhogen meteen
weer de aantrekkelijkheid van het rapport.
Kosteneffectief: de aanbevelingen in het rapport moeten ontworpen zijn om
echte problemen op te lossen. Daarom kunnen het er nooit veel zijn. De
aanbevelingen moet duidelijk uitgelegd worden, geïmplementeerd kunnen
worden en kosteneffectief zijn.
Een rapport begint voor het begin: nog voordat de audit geïmplementeerd
wordt, moet er al rekening worden gehouden met hoe het eindrapport er uit
komt te zien.
De standaardindeling van een rapport ziet er over het algemeen zo uit:
Titelpagina
4. Methode
Inhoudsopgave
5. Bevindingen/ conclusies
1. Bedanken/ voorwoord
6. Aanbevelingen
2. Uitgebreide samenvatting
Bijlagen
3. inleiding
Referenties
1. Het voorwoord is ervoor bedoeld om belangrijke tussenpersonen uit de
organisatie te identificeren die bij de audit hebben geholpen. Hierdoor worden
organisatieleden meer bij het auditproces betrokken en zullen de auditors een
goede reputatie krijgen. Wanneer organisatieleden bij het auditproces worden
betrokken is de kans ook groter dat de organisatieleden de aanbevelingen
serieus nemen en er zich aan houden. De auditoren worden dan geloofwaardiger
bevonden, en zijn dus peruasiever dan wanneer ze de organisatieleden niet in de
audit betrekken. Eén van de belangrijkste oorzaken voor geloofwaardigheid in
een organisatie is macht. Er zijn drie soorten macht:
 Gelegitimeerde macht: die heeft de top van de organisatie door middel van
hiërarchie
 Gedwongen macht: aangezien de top sancties mag geven denkt de rest van
het bedrijf dat de top daarmee haar wil kan doordrijven
 Deskundige macht: de top wordt deskundig geacht en kan daarmee direct
mensen overhalen
2. De samenvatting moet de belangrijkste bevindingen en de aanbevelingen
bevatten. De samenvatting moet goed zijn, omdat dit vaak het enige deel van het
rapport is dat de mensen lezen. De samenvatting moet een leidraad zijn voor de
rest van het rapport; wanneer men iets interessants leest in de samenvatting
moet dat zo op te zoeken zijn in de rest van het rapport.
3. In de inleiding moet staan we opdracht heet gegeven tot de audit, wie
verantwoordelijk is geweest en het doel van het rapport. Ook moet in de inleiding
de structuur van het rapport toegelicht worden.
4. Het methode-deel bevat op gedetailleerde wijze alle stappen die ondernomen
zijn om de audit-data te verzamelen, zoals de technieken die zijn gebruikt, aantal
proefpersonen e.d.
5. de bevindingen en conclusies geven exact weer wat er is ontdekt tijdens de
audit. Ook wordt de belangrijkheid van de bevindingen geanalyseerd. Wat
betekent een tevredenheidspercentage van 80% nu precies voor de rest van de
organisatie?
6. In het aanbevelingendeel worden de gevonden data aan te ondernemen
stappen gelinkt. Aanbevelingen moeten eenvoudig af te leiden zijn uit de
resultaten. De voordelen van het implementeren van de aanbevelingen in de
organisatie moeten door dit hoofdstuk volkomen duidelijk worden. De nadruk
moet op huidige communicatieproblemen liggen, en niet op de toekomst.
Er bestaan geen regels over hoeveel aanbevelingen een rapport zou moeten
bevatten. Het moeten er in elk geval niet teveel zijn, wil je als auditor serieus
genomen worden. Teveel aanbevelingen veroorzaken onzekerheid in de
organisatie met betrekking tot het nut van de audit. Wanneer er teveel
aanbevelingen zijn is het niet duidelijk waar nu precies begonnen moet worden
met aanpakken van de problemen.
Ook moeten de aanbevelingen simpel zijn, zodat mensen ze makkelijk kunnen
onthouden en er naar kunnen handelen. Ongeveer tien aanbevelingen is vaak
genoeg. Aanbevelingen kunnen het beste voortbouwen op positief gedrag dat
momenteel aanwezig is in de organisatie, in plaats van met hele nieuwe waarden
en normen te komen. Dé belangrijkste vraag die in de aanbevelingen
beantwoord moet worden is: wat kan de organisatie doen, anders dan wat ze nu
al doet, en waarin verschilt de nieuwe aanpak van de huidige zodat de
problemen wel opgelost kunnen worden? Dit gebeurt aan de hand van de
indirecte beantwoording van vragen als: waarom deden we het eerst verkeerd,
wat zal hetzelfde blijven en hoe ziet de organisatie er over een jaar uit?
7. De bijlagen moeten ondersteunend materiaal bevatten, zoals bijvoorbeeld de
vragenlijsten en observatieschemas. Kortom, materiaal dat van belang is voor
sommige lezers maar weinig toevoegt aan de inhoud van het eigenlijke rapport.
8. de referenties staan in een lijst. Deze lijst bevat de belangrijkste bronnen die in
de tekst worden geciteerd. Referenties zijn het bewijs dat de inhoud van het
rapport op onderzoek en ervaring is gebaseerd en dat er dus geen onzin staat.
Dat komt ook ten goede aan de geloofwaardigheid van het rapport.
The significance of statistics
Roberts-Gray adviseert dat rapporten statistische informatie beter simpel kunnen
presenteren. Rapporten worden beter beoordeeld, naarmate ze minder statistiek
bevatten. De mens plaatst meer vertrouwen in verhalen en individuele
ervaringen, want die zijn makkelijker te reconstrueren en men kan zich er
makkelijker bij inleven dan in statistische gemiddelden. Statistieken vereisen
nauwkeurige interpretatie, want:
 Statistieken kunnen gebruikt worden om bewijs te leveren, de meest
effectieve overreders combineren de statistiek met een verhaaltje.
 Ze kunnen verwarrend zijn. Wanneer gebruik wordt gemaakt van een getal
om iets aan te duiden, moet er duidelijk bij aangegeven worden wat het nu
precies betekent. Het rapport moet geen misverstanden veroorzaken. In het
rapport moet daarom aandacht aan o.a. de volgende zaken worden besteed:
 Vergelijking met scores op vorige audits
 Zijn er subgroupen in de organisatie, en zoja, op welke groep heeft de
score betrekking?
 Wees voorzichtig met het rapporteren van significante verschillen
Breaking bad news
Een rapport van een communicatie-audit moet een eerlijk en nauwkeurig verslag
zijn van het communicatieklimaat dat in de betreffende organisatie is
geanalyseerd. Het is moeilijk voor de auditor om de slechte kanten van het
klimaat aan de managers duidelijk te maken. Het rapport moet daarom niet
alleen over de slechte kanten van de communicatie in de organisatie handelen,
maar ook over de goede, De organisatieleden moeten het idee krijgen dat er
reeds elementen aanwezig zijn waar ze op kunnen bouwen. Bij alleen negatieve
feedback kunnen lezers last krijgen van het “learned helplessness” syndroom,
waardoor ze de hele inhoud van het rapport verwerpen. Hoe kan zoiets nu
worden voorkomen?
1. Als positieve en negatieve feedback tegelijk gecommuniceerd moeten
worden, dan is de ontvanger eerder geneigd het te geloven wanneer de
boodschap begint met het positieve commentaar.
2. Geef aan hoe de resultaten vergeleken kunnen worden met gelijksoortig
gehouden surveys in andere organisaties., en leg uit hoe de aanbevelingen
verbeteringen kunnen impliceren op dit tijdstip in de geschiedenis van de
organisatie.
3. Het rapport moet in een niet-opwindende en neutrale stijl geschreven worden.
Er moeten niet teveel namen genoemd worden, want dat kan leiden tot grote
ergernissen en vergeldingen.
4. Kritische feedback moet zoveel mogelijk oordeelloos gegeven worden. Je
moet niet zeggen wat er niet is in de organisatie, maar wat er zou moeten
zijn.
5. Managers weten niet wat ze moeten doen als het rapport voor een groot deel
uit slecht nieuws bestaat. Moeten ze het verspreiden of stil houden? Ook dit
moet in het rapport aan bod komen: hoe de inhoud te verspreiden. Het beste
kunnen bijvoorbeeld (feedback)werknemersbijeenkomsten georganiseerd
worden, waarin aan hen het rapport toegelicht wordt.
Influencing and persuading to effect change
Het uiteindelijke doel van een audit rapport is, zoals gezegd, de organisatie
overhalen de aanbevelingen te implementeren. Dit alles moet plaatsvinden via
een persuasief proces. Overtuiging wordt gedefinieerd als een proces van het
leiden van mensen tot het aannemen van een bepaald gedrag, geloof of attitude
door de overreder via redenatie of beroepen op de emotie. Volgens Wells en
Spinks bevatten persuasieve boodschappen de volgende elementen:
 Aandacht trekken
 Psychologische behoeften opwekken
 Persuasieve informatie presenteren over hoe de ontvanger deze
psychologische behoeften moet vervullen
 Bewijs leveren om de eisen te ondersteunen
 Aandringen op actie
Er zijn een aantal elementen van overtuiging die deze doelen kunnen helpen
bereiken:
Threat/ fear: om te overtuigen wordt gebruik gemaakt van angstopwekkende
boodschappen het de dreiging van negatieve effecten wanneer een aanbeveling
niet wordt opgevolgd. Het succes van deze strategie is van drie zaken
afhankelijk: de strengheid en grootte van de negatieve uitkomst, de
waarschijnlijkheid van het optreden van de negatieve effecten en de effectiviteit
van de aanbeveling om het negatieve effect te vermijden.
Logical argument: vaak kan met redenatie en logica ook al heel wat bereikt
worden in een persuasief proces. Kenmerken van argumenten en manier waarop
zij naar voren komen kunnen de persuasieve kracht van een rapport verhogen:
 De boodschap moet volledig te begrijpen zijn
 Het rapport moet gedeeld worden met een paar sleutelpersonen in de
organisatie voordat het officieel gedrukt wordt, daardoor kunnen onnodige
fouten er nog uitgehaald worden
 De belangrijkste aspecten van de argumenten moeten benadrukt worden. De
belangrijkste resultaten moeten daarom een paar keer herhaald worden.
 De boodschap moet tweezijdig zijn; d.w.z. zowel de negatieve als de
positieve gevolgen van de aanbevelingen moeten aan bod komen.
 Er moeten levendige voorbeelden gebruikt worden in het rapport

De conclusies moeten duidelijk zijn. De lezer mag niet twijfelen over de aard
van de resultaten
Delivering the report orally
Naat een schriftelijke versie, wordt de inhoud van het rapport meestal ook nog
mondeling overgebracht op het management van de organisatie. Dit is het meest
uitdagende moment van het hele auditproces, omdat managers soms alleen nog
maar een klein deel van het rapport hebben gelezen. Hoe een boodschap wordt
overgebracht is erg cruciaal in het bepalen van de invloed van de boodschap.
Vertrouwen, duidelijkheid en een focus op de belangrijkste zaken is van
essentieel belang. Het audit team moet deze presentatie goed oefenen!
Conclusion
Dit hoofdstuk heeft laten zien welke maatregelen er zijn om te voorkomen dat
een audit rapport regelrecht in de vuilnisbak wordt gegooid, zonder dat het
gelezen is. Een van de belangrijkste zaken is om het management bij het proces
te betrekken. Vier dingen waaraan absoluut aandacht moet worden besteed:
1. Het produceren van nauwkeurige data
2. Een balans bereiken tussen positieve en negatieve resultaten
3. Aanbevelingen geven die betrekking hebben op echte problemen, en die
tweezijdig zijn
4. De organisatie overhalen van de voordelen van het implementeren van de
aanbevelingen.
Reader
Het eerste artikel wat niet in de reader staat!
Reader-Focused Text Evaluation: An Overview of Goals and Methods
Menno de Jong & PeterJan Schellens
Formative evaluation can be useful for all kinds of functional texts.
Three types of evaluation methods:
1. text focused (evaluation by the writer)
2. expert focused
3. reader focused (readers from the target audience)
Evaluation topics
The following conditions are useful for differentiating between the focuses of
various evaluation methods:
 Selection (the main issue is whether the readers can easily locate the
parts of the document that are relevant to their situation)
 Comprehension (minor comprehension problems can be harmful because
they may affect readers’ overall appreciation
 Application (readers must also be able to apply the above in a productive
way)

Acceptance (the readers must find statements in the text as acceptable as
possible)
 Appreciation (the way the information must be appreciated by the readers)
 Relevance and completeness (the text must contain the right information
for its intended readers)
Not all conditions are equally important for all kinds of documents.
Evaluation functions
We distinguish three main functions:
1. verifying the quality of a document: this has two drawbacks
- to decide on the quality of a document, one must have a set of
quality standards to compare the results with.
- Implementation problems may arise in the case of negative
findings, primary aim is to give a general indication of whether
anything is wrong with the text.
2. troubleshooting and improving a document: is aimed at locating and
diagnosing the problems that readers have with the text. Much of the
complexity involved in troubleshooting evaluations arises in the revision
phase that follows data collection.
3. facilitating a choice between alternatives: is aimed at identifying the
pros and cons of alternative forms of presentation.
An overview of pretest methods
Method
Topic
Function
selection
Portfolio
Verification/
method
troubleshoot
ing
Target-Plan
method
Reading
Behavior
Registration
selection
selection
Procedure
Participants are exposed to text in
combination with other texts. After
a short break they’re asked what
they have seen.
Verification/ 3 phases:
troubleshoot - the front page of a text is shown
ing
for a very short time, then ask
about first impression
- Participants can browse through
the text 1 or 2 min, then ask
about gathered information
- They have to read the entire
document, then ask about the
relevance of the information and
text features.
Verification/
troubleshooting
Participants are given a text
and are asked to read
whatever they want and their
reading behavior is
registered.
Cloze test
Comprehension
Verification
Comprehension
test
comprehension
Verification/
troubleshooting
Performance
test
application
Verification
User protocols
application
Verification/
troubleshooting
Text evaluation
questionnaire
All methods esp.
Acceptance
Verification/
troubleshooting
Attitude
questionnaire
Acceptance
Verification
Motivated
choice
technique
Plus-minus
method
Appreciation
Choice
supporting
Nonspecific
Troubleshooting
Signaled
stopping
technique
Nonspecific
Troubleshooting
Reader
protocols
Nonspecific
Troubleshooting
Every fifth word in a text has
been deleted and
participants have to fill in the
word. In this manner the
comprehension can be
measured.
Participants have to read a
text and get questions about
it.
Participants are given a
document along with a set of
tasks to perform. The
experimenter records their
results and the time taken.
Participants are asked to
read aloud and constantly
verbalize their thoughts.
Participants discuss their
reading experiences in
groups of four to six people.
Participants receive a
questionnaire about their
beliefs, attitudes and
behavioral intentions.
This technique is used when
more versions of a text are
available.
Participants are asked to
indicate the text elements to
which they react positively or
negatively by writing pluses
or minuses.
Participants are asked to
read the text and to put a
slash (/) in it every time the
flow of their reading is
disrupted, and are also
asked to use a code to
indicate the cause of each
disruption.
Participants are asked to
read aloud and to think
aloud when the text gives
rise to comments.
Towards a Document Evaluation Methodology
What does research tell us about the validity of evaluation methods?
Menno de Jong & Peter Jan Schellens
This article is an overview of the available research on troubleshooting evaluation
methods.
Usability evaluation research can be a fruitful way of monitoring, improving and
maybe even guaranteeing the user-friendliness and effectiveness of documents.
Research questions about document evaluation
- Method validity: Which evaluation method can best be used to collect
feedback on documents?
- Sample composition: Which participants can best be recruited to collect
feedback on documents?
- Sample reliability: What is the optimum sample size for an evaluation?
- Implementation and revision: How can the results of an evaluation be
translated into effective revisions?
Validity of evaluation methods
The main concern is, whether a method really measures what it is intended to
measure. The goal of validation research is to provide objective and empirical
evidence. The validity of evaluation methods can be investigated in several ways.
We distinguish between 2 main types of validation research:
- Predictive validity
- Congruent validity
Predictive validity
Do methods predict correctly the problems readers have?
Revision based studies
This research design is used to investigate the predictive validity of evaluation
methods uses revision as an intermediate step. Over the years, many revisionbased studies have been carried out, leading to the general conclusion that
evaluation studies are worthwhile. There are 6 types of methods:
Type of method
Text focused methods (bv checklists)
Expert- judgment-focused methods (bv checklists)
No
effect
1
1
Mixed
effect
Effect
1
1
2
1
1
1
1
3
Reader-focused methods using task outcome (comprehension tests)
Reader-focused methods using behavioral observation (think- aloud user
protocols)
Reader-focused methods using verbal self-reports (plus-minus method)
Reader-focused methods using a combination of task outcome, observation
and self-reports (One-to-one evaluation)
De cijfers stellen het aantal uitgevoerde onderzoeken voor en welke effecten daarbij gevonden zijn.
Problem-assessment studies
A second way to investigate the predictive validity of evaluation methods is by
collecting additional data regarding the severity of the problems detected. The
severity of reader problems can be determined by assessing their ‘likelihood’ and
their ‘impact’. The severity can be determined in two ways:
- check the occurrence of all problems detected
- have experts judge the severity of the problems detected.
Error-detection studies
A third way of investigating the predictive validity is to make use of the ‘errordetection’ paradigm. Four error-detection studies can be found focusing on the
validity of evaluation studies: 2 variations of the plus-minus-method, a
questionnaire (containing 5 types of problems: loaded questions, double
questions, ambiguous questions, inappropriate vocabulary and missing response
alternatives) and a personal (face-to-face)/ impersonal (written) evaluation
method.
Conclusion
Troubleshooting evaluation is worthwhile, however, little is known yet about the predictive
validity of particular evaluation methods. Revision-based studies can be used to obtain an overall
impression of the possible benefits of evaluating documents using a certain method. Problemassessment studies may be useful to differentiate between important and unimportant problems.
Error-detection studies may be a useful complement because it departs from a set of problems
that an evaluation method should have brought to light.
Congruent validity
This method focuses on similarities and differences in the evaluation results. Three aspects may
be involved in the comparison of methods:
-
the number of problems detected
the attention paid to various types of problems
the degree of overlap in the problems detected.
Ideally, research into the congruent validity of methods pays attention to all three
of aspects of comparison, but this is seldom the case.
In several studies variations on the following typology of problems were used.
- Comprehension
- relevance
- Acceptance
- completeness
- Appreciation
- graphic design
- Structure
- correctness
Expert vs reader feedback
Rothkopf found a negative correlation between the observed effectiveness of an educational
program and the predictions by experts.
Three other studies established that experts were not able to predict more than
15 percent of the reader problems detected in ‘plus-minus’ evaluation.
Others found that experts could 50% to 72% of the reader problems.
Professional writes are more likely to put forward new problems than
intermediaties.
(Lentz & Pander Maat) found that experts working with their ‘functional evaluation
checklist’ predicted all the problems in a brochure that were detected in a smallscale evaluation using the plus-minus method.
Observational data vs self reports
Observational data are supposed to be superior when it comes to identifying usability problems.
Self-reporting participants may not realize that they have a comprehension problem, but they
may be expected to give feedback on a broader range of characteristics.
Henderson et al compared think-aloud protocols to logged data, questionnaire
data and interview data. The think aloud method revealed more problems than
the logged data and the questionnaire, but there was no significant difference
with the interview data.
Another study, by Sienot confirmed that self-reporting evaluation methods reveal
a broader range of problems than methods based on a behavioral observation.
For websites he proved, that the plus-minus method revealed more problems
than the think-aloud protocols.
Individual vs group data collection
There were no differences regarding the number of problems detected per
participants, however there were differences regarding the types of problems
detected. They used the plus-minus method (De Jong & Schellens).
Conclusion
The method of evaluation makes a difference for the feedback collected about a
document.
Sample composition
The validity question depends on the type of data but also the characteristics of
the participants involved.
Conclusion
The few studies available suggest that the types of participants recruited may
indeed affect the evaluation results. Very little can be said about the exact ways
in which participants background characteristics may influence the results. In the
case of self- reporting methods, several intermediate factors may complicate the
relationship between target readers and participants: *metacognitive skills
*evaluation standards *metalinguistic skills
These three factors may be closely related to the educational level of
participants. Highly educated participants may provide more exhaustive and rich
feedback on documents, from which the readers with a lower level of education
may also benefit.
Sample reliability
So far: both method and sample composition may affect the usefulness of the
feedback collected. Other than in quantitative research, there are no clear-cut
statistical procedures to check the reliability of the evaluation data collected.
Conclusion
Very little is known yet about the required sample size in document evaluation. It
seems plausible that a sample size must be larger for self-reporting evaluation
methods than for behavioral observation methods. Special caution is necessary
with regard to expert evaluation. From de Jong and Lentz’s studies, the
conclusion must be drawn that experts simply do not agree regarding the
problems they detect in a document. A single expert review cannot be
considered a reliable evaluation approach: a review by ten or more experts, on
the other hand, can easily result in an unmanageable set of problems.
Implementation and revision
Very few studies have paid attention to the equally important problem of
interpreting evaluation results and translating them into effective revisions.
Differences between revisers
Evaluation results may depend on differences between individual revisers.
Use of evaluation results
Weston et al asked four instructional designers to revise a unit using varying
kinds of input. Revisers 1 to 3 based 62 to 78 percent of their revisions on their
own experiences and judgments. When using evaluation results the experts in
this study seemed to be more inclined to use reader than expert feedback. 80
percent of the revisions were based on the revisers’ own insights, rather than on
the evaluation data. In the remaining 20 percent, a significant preference for
evaluation data was found: 1) learner comments and target population expert
data, 2) subject-matter expert data and 3) test scores.
Identifying reader problems
Authors seem to suggest that the identification of reader problems follows
automatically from the data collected. In practice, this is not true. Only one study
investigated the identification of reader problems. Bolton developed a way of
automatically coding think-aloud protocols for the occurrence of reader problems.
Human coders have the advantage that they may include the adequacy of
answers in their observations. On the other hand, automatic coding may lead to
the identification of problems that human coders fail to detect.
Judging the severity of problems
It is important that experts can reliably distinguish the ‘real’ reader problems from
the non-problems. To please the researcher, participants may be inclined to
mention problems they do not really experience as such. A dysfunctional factor
was the participants’ inability to imagine the consequences of a problem: when
participants had difficulty imagining a problem’s consequences, they gave it a
higher severity rating. The experts appeared to have trouble restricting their
ratings to the likelihood and impact of problems, and often judged by exploring
the benefits of alternative formulations.
Selecting revision strategies
Schellens & de Jong asked five professional writers to revise brochure fragments
containing 18 reader problems concerning the acceptability of factual information.
The experts were askerd to judge the quality of all revisions. A relationship was
found, both in the revision strategies chosen and in the ratings of revisions,
between types of problems and types of revisions.
Conclusion
The results of a troubleshooting evaluation will only be worthwhile if they can be
used effectively during the phase of revision. The activities of identifying and
judging problems put forward by experts or reaers may require the development
of new professional skills.

N. Ummelen (2000). Studying the Process of
Information Selection in Manuals. (uit begin reader)
Introductie
Het artikel gaat over gebruiksaanwijzingen en wijst erop dat schrijvers van
gebruiksaanwijzingen weinig goed onderzoek hebben om hun
gebruiksaanwijzingen op te baseren. Het meeste onderzoek is kwalitatief en
daardoor veel minder precies dan het kwantitatieve onderzoek dat gedaan is om
het koopgedrag van mensen te analyseren. Het probleem met de eerdere
onderzoeken is de dataregistratie. Het is heel moeilijk om precies te bepalen wat
lezers lezen en selecteren, simpelweg omdat je niet over iemands schouder kunt
meelezen.
Het doel van het artikel is het geven van een overzicht van de tot nu bekende
onderzoeksinstrumenten (4) waarmee de informatieselectie in
gebruiksaanwijzingen wordt beschreven. Het geeft van elk instrument de vooren nadelen en of het voldoet aan de gestelde eisen.
Eisen waar de instrumenten aan moeten voldoen
In feite zijn er drie eisen:

Het instrument moet meten wat men wil weten en moet de relevante dat goed
registreren. ( betrouwbaarheid en construct validiteit)

De onderzoekssituatie moet de werkelijkheid ze dicht mogelijk benaderen (
ecologische validiteit)

Het instrument moet simpel zijn in gebruik en met weinig moeite veel data
kunnen verzamelen in weinig tijd. (feasibility)
De ecologische validiteit is van groot belang omdat de onderzoeksopzet het
natuurlijke gedrag van de proefpersonen heel snel kan verstoren. Het is dus van
groot belang, maar de auteur geeft aan dat het wel afhangt van de vraagstelling.
De laatste eis is vooral praktisch.
Technieken
1. Recording sentence reading times
Komt oorspronkelijk uit vroege psycholinguïstische studies naar tekst en
zinsbegrip. Het instrument werd dan gebruikt om te meten welk soort zinnen
meer tijd kosten om te lezen in samenhang met de structuur van een verhaal.
De basis onderzoeksopzet is een scherm met een woord of zin, mensen
moeten dat lezen en pas als ze aangeven dat ze begrepen hebben wat er
stond drukken ze op een knop en komt het volgende woord op het scherm.
De tijd die het kost om zo’n woord of zin te lezen wordt gemeten.
De techniek is ook gebruikt om de begrijpelijkheid van instructies te testen
(Wright & Wilcox 1978). Proefpersonen werden voor een scherm gezet en
kregen een opdracht (bv teken een rondje boven een vierkant). De
proefpersonen moesten een knop indrukken om de instructie te zien te
krijgen, daarna als ze het gelezen hadden, voordat ze begonnen met de
uitvoering en nadat ze klaar waren met de uitvoering. De manier waarop die
zinnen werden gepresenteerd werd gevarieerd. De onderzoekers maten drie
tijden. Ten eerste de leestijd (tijd die nodig is om de instructie te lezen), ten
tweede de denktijd (de tijd tussen het afsluiten van het lezen en het begin van
het uitvoeren van de opdracht) en als laatste de performance tijd (de tijd die
nodig is om de opdracht uit te voeren). Herhaling van de zinsvorm verkortte
de leestijd, herhaling van het voorzetsel verkortte de denktijd. De conclusie is
dat het onderscheid tussen lees-, denk- en uitvoeringstijd klopt en
betekenisvol is.
Uit een ander onderzoek dat ongeveer dezelfde opzet heeft concludeert
Dixon (1988) dat bij eenvoudige taken de zinsvorm er niet toe doet, terwijl bij
complexe taken een expliciete actie aan het begin van de instructie beter
werkt.
Dit instrument is voornamelijk gebruikt om te kijken hoe mensen een mentaal
plan maken voor de uitvoering van een instructie en dus niet voor selectie van
teksten.
Voldoet deze methode aan de eisen?
Ja: voor betrouwbaarheid, construct validiteit en feasibility.
Nee; voor ecologische validiteit omdat proefpersonen niet zelf een
informatieselectie kunnen maken en dat sluit niet goed aan bij de
werkelijkheid
2. Oogbeweging registratie
Traditioneel wordt dit onderzoek uitgevoerd door het hoofd van een
proefpersoon te fixeren. Door met licht in de ogen te schijnen kan de reflectie
van het hoornvlies worden gevolgd en daarmee kan tot op de letter
nauwkeurig worden bepaald wat de lezer leest. Met deze methode van microoogbeweging zijn vooral onderzoeken gedaan naar het begrip van woorden
en zinnen. De methode is minder geschikt voor onderzoek naar selectie van
informatie vooral omdat de ecologische validiteit laag is, de
onderzoeksomgeving lijkt niet goed om de normale situatie (het hoofd zit vast,
het document is anders, men kan niet kijken naar het apparaat waar de
instructie voor bedoeld is enz). Bovendien is het erg kostbaar en
specialistisch werk.
Moderner is het macro-oogbewegingsonderzoek (schumacher en waller
1985). Er zijn drie manieren om dit soort onderzoek uit te voeren.

Met een licht pen recorder. In een vrij donkere kamer zit een
proefpersoon. Hij kan een klein lampje met een joy-stick over de tekst
laten bewegen zodat het lampje aangeeft wat de proefpersoon leest. De
joy-stick is gekoppeld aan een computer die de resultaten opslaat.

Videotaping stand. Het document wordt op een platform geplaatst met
daarboven een glasplaat die spiegelt, maar waar je ook doorheen kunt
kijken. Een camera filmt over de schouders van de proefpersoon en ziet
dus de tekst en de weerspiegeling van de ogen van de proefpersoon.

Pen over grid. Het document wordt op een raster geplaatst, de lezer
beweegt met een speciale pen over de tekst geeft zo aan wat er wordt
gelezen.
Deze technieken worden gebruikt om leesstrategieën en leespatronen te
onderzoeken. Voor het onderzoek naar het selecteren van informatie zijn de
technieken wel meer geschikt, maar ze zijn niet perfect. De ecologische
validiteit is nog steeds niet goed (denk aan de donkere kamer of aan het
aanwijzen wat je leest) en ook is het niet praktisch.
Geheel nieuw is de onderzoeksmethode waarbij de oogbewegingen worden
geregistreerd door de computer dmv infrarood licht. Deze methoden zijn nog
niet gebruikt voor het onderzoek naar gebruiksaanwijzingen.
Techniek 3: Hard-op-denk methode
Deze techniek houdt in dat proefpersonen proberen om problemen op te
lossen of een document (stuk tekst) te gebruiken, terwijl ze alles wat ze denken
tijdens dit proces, ook onder woorden brengen. Bovendien kan de proefpersonen
gevraagd worden om de delen die ze gebruiken uit het document, hardop voor te
lezen. Eventueel kan de onderzoeker de proefpersonen aansporen hardop te
blijven denken of lezen, in het geval de proefpersoon dit vergeet. Alle uitingen
van de proefpersoon worden opgenomen of uitgetypt in een protocol.
Ten slotte worden de protocollen geanalyseerd om antwoord te krijgen op de
onderzoeksvraag.
De hard-op-denk methode is een algemeen bekend instrument en is al in
veel onderzoeken gebruikt. Vb. Holland & Redish hebben verschillende
strategieën die mensen gebruiken om formulieren in te vullen, afgeleid uit de
hard-op-denk protocollen. Neutelings & Pander Maat onderzochten en
beschreven het proces van lezen en beoordelen van beleidsdocumenten door
Nederlandse wetgevers met behulp van de hard-op-denk techniek.
Onderzoek naar het ontwerpen en gebruiken van handleidingen, is vaak
gebaseerd op de analyse van verbale protocollen. Op basis van de protocollen,
worden de strategieën en de wegen die gebruikers volgen om verschillende
vragen te beantwoorden, beschreven.
Dan komen er vrij veel voorbeelden waarbij de hard-op-denk methode is gebruikt (pag.
124, tweede kolom). Kun je even lezen, maar is denk ik niet heel belangrijk.
Het gaat er uiteindelijk om dat je kunt zien door middel van die voorbeelden dat
de hard-op-denk methode hoofdzakelijk gebruikt is voor verkenning en voor
beschrijvende onderzoekstaken, zoals het beschrijven van probleemtypen en
lees- of schrijfprocessen.
De hard-op-denk methode maakt het mogelijk om een nauwkeurige
beschrijving te verkrijgen van wat mensen selecteren uit een handleiding, hoe ze
van het ene deel naar het andere switchen (leespatronen) en waarom ze dat
doen (motiverende aspecten). De constructvaliditeit voor tijdmetingen is
twijfelachtig, omdat de leestijd omhoog kan gaan doordat de proefpersonen alles
hardop moeten lezen en hun gedachten ook onder woorden moeten brengen. De
ecologische validiteit van de hard-op-denk methode is ook bediscussieerd omdat
de methode het probleemoplossingproces of het leesproces zou kunnen
beïnvloeden, omdat bijv. Hard-op-denken een kunstmatig gedrag is of omdat de
last op het werkgeheugen van de proefpersoon te groot zou kunnen worden.
Echter, Ericsson laat zien dat absolute leestijden langer zouden kunnen zijn
(door de hard-op-denk methode), maar dat een effect van hard-op-denken op de
hoofdtaak, niet kan worden bewezen (ecologische validiteit hoog).
Ericsson & Simon concluderen dat het van belang is om de hard-op-denk
methode voorzichtig te gebruiken en dat het gebruik van andere methoden naast
de hard-op-denk methode (zoals eerder beschreven in deze samenvatting) zeer
nuttig kan zijn.
Een groot voordeel van de methode is de ecologische validiteit:
Proefpersonen hebben de vrijheid om hun strategie te kiezen en die delen uit
een tekst te selecteren waarvan ze denken dat deze nuttig zijn. Ze kunnen doen
wat ze normaal zouden doen.
Een groot nadeel van de methode is de haalbaarheid. Het is een erg
omslachtige techniek, vooral voor grote aantallen proefpersonen. Het intypen in
protocollen en analyseren van alle uitingen van de proefpersonen is enorm veel
werk en kost heel veel tijd.
Techniek 4: Klik & lees methode
Deze methode is ontwikkeld in 1994, voor een serie van experimenten waarbij
het selectiegedrag bij softwarehandleidingen werd bestudeerd. Bij een klik & lees
experiment wordt een kopie van een afgedrukte handleiding op het computer
beeldscherm getoond. Het beeld van de handleiding is een kopie van een boek:
de lezer ziet twee genummerde pagina’s op hetzelfde moment. De pagina’s
kunnen worden omgeslagen door te klikken op de knoppen links- en rechts
onderaan iedere pagina. De proefpersonen kunnen vanaf iedere pagina ook
direct naar de inhoudspagina gaan, door te klikken op content. Vanaf de
inhoudsopgave kunnen ze direct naar iedere pagina van de handleiding gaan
(door te klikken). De hoofdvraag van het onderzoek is nu hoeveel procedurele en
hoeveel verklarende informatie de proefpersoon selecteert, en hoeveel tijd hij
besteed aan de verschillende informatie typen.
Iedere pagina van de handleiding bevatte twee blokken met informatie:
procedurele en verklarende. Deze informatieblokken waren niet direct te lezen
(alleen de koppen waren te lezen), maar moesten aangeklikt worden. Wanneer
een blok werd aangeklikt, lichtte die op, de andere informatie bleef onleesbaar.
Wanneer een ander blok werd aangeklikt, werd het eerste weer onleesbaar.
Door middel van deze methode, kan iedere klik worden geteld en onder andere
de tijd die een proefpersoon gebruikt om een bepaald blok informatie te lezen of
gebruiken. Samenvattend: het selectiegedrag van de proefpersoon of gebruiker
wordt gemeten.
Uit onderzoeken is gebleken dat gebruikers veel vaker procedurele
informatie selecteerden dan verklarende informatie. Het is niet zo dat ze in het
geheel geen acht sloegen op verklarende informatie. Verder bleek het zo te zijn
dat procedurele informatie langer werd gebruikt dan verklarende informatie.
Hoe zit het nu met de constructvaliditeit, ecologische validiteit en de
uitvoerbaarheid van de klik & lees methode? De klik & lees methode geeft exacte
en betrouwbare kwantitatieve data over informatieselectie en informatiegebruikstijd.
Twee factoren die de resultaten zou kunnen beïnvloeden, zijn: de wazige
tekstblokken, welke aangeklikt moesten worden om duidelijk te worden, zouden
proefpersonen kunnen afleiden of juist extra aandacht naar zich toe trekken. Ten
tweede, is het lezen van een handleiding op een beeldscherm niet een gangbare
manier. Het belang van deze twee kenmerken werd onderzocht, door de
respondenten te observeren en na het experiment een aantal vragen te stellen.
Het eerste kenmerk werd door de gebruikers niet als een last gezien, ze hadden
alles gelezen wat ze wilden lezen en zich niet gestoord aan de vage
tekstblokken, of het moeten klikken op een tekstblok voor je het kon lezen.
Alhoewel de meeste van de proefpersonen het lezen van een beeldscherm
vermoeiender vonden dan het lezen uit een echte handleiding, werd dit effect
niet bevestigd in het onderzoek.
De klik & lees methode is een haalbare techniek, alhoewel het wel wat
voorbereidingstijd, een moderne computer en wat basis objectgeoriënteerde
programmeervaardigheden vereist. Maar, als alle voorbereidingen goed zijn
gedaan, is alle data meteen na het onderzoek beschikbaar en kan de dataanalyse meteen beginnen.
Overzicht van instrumenten en voorwaarden
Tabel 1 (pag. 129) laat zien in welke mate de vier instrumenten voldoen
aan de voorwaarden voor betrouwbaarheid, constructvaliditeit, ecologische
validiteit en uitvoerbaarheid. Moet je even bekijken.
Conclusies
Het overzicht laat zien dat de meeste methoden, op misschien het meten
van ‘sentence reading times’ en ‘micro eye movement’ na, zeer nuttig kunnen
zijn bij het bestuderen van informatieselectie in ‘lezen om te doen’ materiaal.
Iedere methode heeft zijn eigen kwaliteiten en eigen onderwerpen waarbij de
methode het best toegepast kan worden.
Toch blijven er veel onzekerheden: Vb. We weten niet zeker of de hardop-denk methode het informatieselectieproces beïnvloedt of niet en of
tijdmetingen moeten worden gedaan en onder welke omstandigheden. Er
worden nog een aantal voorbeelden gegeven. Je kunt ze even door lezen om het
verhaal beter te kunnen begrijpen (pag. 128, tweede kolom).
Een stap vooruit, zou het combineren van de verschillende methoden zijn, zodat
heel veel data gevonden wordt. Zo kan de onderzoeker zowel kwantitatieve als
kwalitatieve aspecten van informatie selectie analyseren.
Het is wel handig om de conclusie in zijn geheel nog even door te lezen.
Artikel:
Rethinking Validity and Reliability in Content Analysis
(W. James Potter and Deborah Levine-Donnerstein)
Content analyse: een sociaal wetenschappelijke methode die vereist is voor
onderzoekers die hun onderzoek sterk willen hebben met betrekking tot de
validiteit en de betrouwbaarheid van hun data.
Er zijn drie typen content analyse:
 Manifest content, datgene wat aan het oppervlak ligt en makkelijk te
observeren is. Bijvoorbeeld het voorkomen van een bepaald woord in een
geschreven tekst, het geslacht van een persoon in een film, etc.
 Latent Pattern, de betekenis ligt onder het oppervlak van de boodschap.
Concentreert zich op de patronen die zich in de inhoud bevinden, er zijn
verbanden tussen de verschillende elementen.
 Projective, de betekenis ligt ook onder het oppervlak van de boodschap.
Concentreert zich meer op de interpretaties die de “coders” geven aan de
elementen. Men vraagt bijvoorbeeld aan een coder iemands emoties te
beoordelen, dit is dus gebaseerd op zijn eigen interpretatie.
! Kijken naar tabel 1 op pagina 261 van de tekst
Wanneer er een onderscheidt gemaakt moet worden tussen pattern en projective content
analyse, moeten onderzoekers twee punten goed in de gaten houden:
- in welke mate kan men zelf interpretaties geven
- de mate waarin men in staat is de elementen uit de inhoud te onderscheiden
van de eigen interpretaties. (“Often experts construct a set of coding rules
composed of technical terms and arcane elements that are operationalized
well from a social scientific theory. But these rules can be very different from
how the average person would interpret as his/her meaning of the content.”)
Er zijn drie rollen van de theorie in content analyse:



Deductieve, onderzoekers beginnen met een theorie. (de definitie van
geweld is gegeven)
Inductieve, onderzoekers beginnen met observaties van de inhoud en gaan
daarna over op een theorie. (hier gaat men bijvoorbeeld discussiëren over de
definitie van het begrip geweld)
Geen theorie (no role), onderzoekers gebruiken geen theorie. Er wordt vaak
een beschrijving gegeven van iets dat in het onderzoek wordt geanalyseerd.
Men gebruikt slecht één variabele per keer, deze kunnen later wel aan elkaar
gekoppeld worden. ( hier moet men er bijvoorbeeld nog achter zien te komen
wat de definitie van geweld is).
Per type content analyse kunnen deze drie rollen worden toegepast, er zijn dus negen
verschillende manieren die onderzoekers kunnen gebruiken voor het analyseren van de
inhoud. Bijvoorbeeld de manifeste methode zonder het gebruik van theorieën. Er is niet
één methode die de beste is. Je moet nauwkeurig één type kiezen en dan goed in de gaten
houden wat de grenzen en krachten van juist die methode zijn. Content analyses zijn zwak
wanneer de onderzoeker niet precies weet met welke methode hij bezig is.
De “coding task” verandert bij de verschillende typen inhoud. “With manifest
content, the coding task is one of clerical recoding. Coders mark the occurence
on a coding sheet every time they see the appearance of het manifest content.
With latent content, the coding task is one of recognizing patterns. With
projective content, the coding task focuses primarily on constructing judgments
from one’s own schema.” De vraag rijst hierbij of “coders” objectief kunnen
blijven, niet zozeer bij manifeste maar juist wel bij latente methode. Dit omdat de
“coders” hun eigen schema in gang kunnen stellen, dit is bijna onvermijdelijk.
Maar dit wil niet zeggen dat de resultaten dan onbetrouwbaar en invalide zijn.
Validiteit
Het vaststellen van de validiteit is een twee-stap proces.
 Stap één, de eerste stap is het ontwikkelen van een codeschema dat de
“coders” begeleid bij de inhoudanalyse. Het stelt regels op waaraan “coders”
zich moeten houden wanneer zij hun observaties plaatsen in de juiste
datacategorie. Voor pattern en manifeste methoden geldt hier dat zij door het
gebruik van deze schema’s ervoor proberen te zorgen dat hun eigen
schemata zoveel mogelijk worden uitgeschakeld. Dit geldt niet voor de
projectieve methode. (waarom dit zo is, is mij niet geheel duidelijk, staat op
pagina 268, is heel lastig geformuleerd)
!!! If the scheme is faithful to the theory in its orienting coders to the focal
concepts, it is regarded as a valid coding scheme.
 Stap twee, de tweede stap is het vaststellen van de besluiten die door de
“coders” zijn gemaakt tegen standaarden. De vraag rijst alleen, wie stelt de
standaarden vast? Bij pattern content moet dit door experts gebeuren, bij
projectieve content wordt de norm de standaard en bij manifeste content
wordt dit bepaald door degene die de analyse uitvoert. Degene die bij
manifeste content de standaard opstelt hoeft geen expert te zijn, hij/ zij moet
zich alleen concentreren en moet correct handelen. Men moet bijvoorbeeld
het aantal knipogen in een gesprek meten.
!!! If the codes match the standard for correct decision making, then the coding is regarded as
producing valid data.
Betrouwbaarheid
Stabiliteit, reproduceerbaarheid en nauwkeurigheid zijn drie kenmerken van
betrouwbaarheid in content analyse. Met nauwkeurigheid wordt de mate waarin
het proces aansluit op het standaard bedoeld. Reproduceerbaarheid is de
sterkste methode om de betrouwbaarheid te meten, dit omdat het heel erg
moeilijk is om standaarden op te stellen, anders zou de nauwkeurigheid de
sterkste methode zijn. Bedreigingen van betrouwbaarheid:
Manifeste methode
-> vermoeidheid
Latent pattern methode -> het verkeerd toepassen van de coderegels.
Projectieve methode -> als “coders” veel verschillende schemata hanteren
dan is er geen
consistentie. Wanneer de “coders” tot dezelfde
eenheid behoren
hebben zij vaak dezelfde schemata.
Relaties tussen betrouwbaarheid en validiteit.
Manifeste methode
-> betrouwbaarheid is een noodzakelijke maar niet
voldoende
conditie voor validiteit.
Latent pattern methode -> er is sprake van een handel tussen betrouwbaarheid
en validiteit.
Projectieve methode
-> betrouwbaarheid en validiteit zijn gelijk. Als de
betrouwbaarheid
hoog is, is de validiteit ook hoog.
Er worden hier belangrijke beslissingen besproken die moeten worden genomen
wanneer men een analyse van projectieve content ontwikkelt, en men hierbij
gebruik maakt van “norm-based standards”:
Hoeveel “coders” moet men gebruiken om een consistente standaard te
creëren? Op zijn minst moeten twee “coders” naar hetzelfde materiaal kijken,
vaak worden verschillende paren met elkaar vergeleken. “The use of only two
coders or the division of a large group of coders into pairs who code separate
parts of the overlap makes for a weaker test than if all coders worked on the
same overlap.”
Hoe meet men de mate van betrouwbaarheid? “In computing the degree of
reliability, we recommend that percentages of agreement always be translated
into coefficients by using a formula that removes chance agreement. Several
good formulae are available, but each has its limitations and difficulties. With
norm-based coding, agreement due to chance highest at the mid-level of
agreement, with fever options and with fewer coders.”
Er worden hier ingewikkelde formules besproken als alpha en kappa, ik ga er niet
vanuit dat men hier iets van moet weten.
Measuring Corporate Images
(Cees B.M. van Riel, Natasha E. Stroeker and Onno J.M. Maathuis)
In
dit artikel worden de hoofdkenmerken, de sterke en de zwakke punten
beschreven van zes methoden die gebruikt kunnen worden voor het meten van
de gemeenschappelijke reputatie van een onderneming (corporate images).
Strategische en zakelijke overwegingen kunnen de keuze van een methode
beïnvloeden. Ook het gemak van de analyse, de kosten van de
dataverzameling, de uitkomsten van het onderzoek etc. kunnen ook van invloed
zijn. Twee onderzoeksvragen lopen als rode draad door het artikel heen,
namelijk:
- Geven de verschillende methoden verschillende uitkomsten met betrekking
tot corporate images?
- Welke methode is de beste, en onder welke omstandigheden?
!!! In tabel 1 van het artikel worden de zes methoden genoemd, en deze worden
geëvalueerd op acht dimensies, drie theoretische dimensies en vijf strategische
dimensies. De tabel is belangrijk.
Methode 1: Attitude scales
Data verzameling: Vragenlijsten of telefonische interviews, het meten van
evaluaties van kenmerken op een Likert scale (vijfpuntsschaal). Het is een
gesloten methode. Fishbein and Ajzen zien corporate images als een attitude.
Respondenten: Voor betrouwbare resultaten heb je grote steekproeven nodig(50
of meer). Er wordt vaak een grote betrokkenheid van de respondenten gevraagd.
Analyse en kosten: Kosten zijn matig. Analyse is gemakkelijk, taken voor de
respondenten zijn ook makkelijk en er komen duidelijke resultaten naar voren.
Output: Kwantitatieve data die representatief zijn voor een bepaalde groep
stakeholders.
Methode 2: Q-sort
Data verzameling: Er wordt aan respondenten gevraagd een aantal kaartjes
waarop opinies van een bedrijf staan te rangschikken naar de mate waarin zij het
met die stelling eens of oneens zijn (op een 10-puntsschaal). Je dwingt de
respondent om een mening te hebben (je mag de kaartjes namelijk niet op één
plaats leggen), je krijgt dan een normaalverdeling. Het is een gesloten methode.
Respondenten: Kan gebruikt worden met een beperkt aantal respondenten (2530). Moeten hoog tot gematigd betrokken zijn bij de onderneming.
Analyse en kosten: Kosten veel tijd en zijn voor de respondenten moeilijk te
beantwoorden omdat zij een mening moeten vormen. De kosten zijn hoog omdat
het geavanceerde computers vereist.
Output: Er komt naar voren hoe men over een organisatie denkt.
Methode 3: Photosort
Data verzameling: “It could be used to stimulate stakeholders to express their
feelings about a company.” De respondenten krijgen een set foto’s en moeten
deze sorteren, zij moeten aangeven bij welk bedrijf zij vinden dat de foto hoort,
kan ook zo zijn dat zij vinden dat de foto nergens bij hoort. Daarna wordt de foto
nogmaals getoond en de respondent moet vertellen bij welke foto hij affiniteit
voelt. Het is een open methode. Het gaat om emoties.
Respondenten: Vraagt om een lage betrokkenheid en heeft niet veel
respondenten nodig (30-100).
Analyse en kosten: De meeste respondenten vinden het leuk en het is niet duur
en vrij simpel.
Methode 4: Laddering
Data verzameling: Een open interview houden, men moet van stellingen zeggen
wat men ervan vindt. Open methode.
Respondenten: Men heeft maar een beperkt aantal respondenten nodig (10-25).
Men moet in een hoge mate betrokken zijn bij de onderneming, dit omdat men
over hele specifieke dingen zijn mening moet geven.
Analyse en kosten: Kost de respondenten veel moeite, moeten één uur lang hun
mening geven en dit ook kunnen onderbouwen. Dit geldt ook voor de interviewer,
de hoge investeringen in tijd en moeite zorgen ervoor dat de methode kostbaar
is.
Methode 5: Kelly Repertory Grid (KRG)
Data verzameling: Respondenten krijgen drie alternatieven geschreven kaartjes
voor hun neus (de naam van de organisatie of merk) en moeten de twee die voor
hun het beste bij elkaar passen eruit halen. Dit moeten zij toelichten. Daarna
moeten zij de kaartjes op volgorde leggen naar aanleiding van bepaalde
dimensies. Open Methode.
Respondenten: Vereist niet zoveel respondenten (10-40) met een lage tot matige
betrokkenheid.
Analyse en kosten: De kosten zijn laag, het is gemakkelijk voor de respondenten
alleen de analyse is moeilijk.
Methode 6: Natural Grouping
Data verzameling: Respondenten krijgen een groot aantal “corporate names”
(maximaal 80), die moeten zij in twee groepen opsplitsen, dit moeten zij
toelichten. Het is een open interview.
Respondenten: Groot aantal respondenten vereist (40-125), met een matige
betrokkenheid.
Analyse en kosten: Kan alleen uitgevoerd worden door experts dus is ook duur.
Het is een complexe methode.
De zes methoden worden in twee verschillende cases met elkaar vergeleken.
Conclusies:
Open methoden krijgen vaak als output kwalitatieve gegevens die weer gebruikt
kunnen worden voor de input van gesloten methoden. De keuze van de methode
is sterk afhankelijk van het doel van de studie. Open methode kunnen nieuwe
dimensies aan het licht brengen en produceren zeer gedetailleerde data.
Gesloten methoden krijgen de voorkeur wanneer men gegevens over een
bepaalde tijd wil hebben.
Samenvatting artikel: Measuring Corporate Reputation: a case example
Albert Caruana
Een positief corporate image kan erg handig zijn en kan uiteindelijk de corporate
performance verbeteren. Maar een goed onderzoek kan men pas uitvoeren als
de resultaten psychometrisch in orde zijn. De schrijver gebruikt een case studie
van de frisdrank industrie op Malta om weer te geven hoe een ‘reputatiemeetinstrument’ ontwikkeld wordt.
Er zijn twee onderliggende theorieën ten grondslag aan het concept
bedrijfsreputatie:
De ‘piecemeal-based processing’ theorie
- kenmerken (attributes) worden telkens opnieuw geëvalueerd als men ze
tegenkomt,
- evaluaties zijn onafhankelijk van andere aanwezige kenmerken en
- algehele oordelen worden gevormd door het combineren van deze
geïsoleerde elementen (bovengenoemde evaluaties, denk ik).
De andere theoretische inslag is de ‘categoriy-based processing’ theorie.
Volgens deze theorie zullen individuen eerst proberen om een stimulus in een
bekende categorie van het geheugen te plaatsen. De meeste concepten van
bedrijfsreputatie zijn op het piecemeal model gebaseerd. Maar concepten
kunnen alleen maar gebouwd worden op valide en betrouwbaar verkregen
resultaten.
Bedrijfsreputatie bestaat uit vier elementen:
 Emotionele reactie van de belanghebbenden
 De object-specifieke componenten waaruit een algeheel oordeel kan
bestaan: goed of slecht, betrouwbaar, fatsoenlijk en geloofwaardig. Deze
kunnen ook wel gegroepeerd worden naar elementen die voor de
organisatie economisch of niet-economisch zijn.
 Vroegere acties van het bedrijf
 Informatie cues die het resultaat zijn van directe en indirecte ervaringen
en ontvangen informatie.
Bedrijven hebben een hoeveelheid aan publieken, die elk de attributen van de
bedrijfsreputatie op een verschillende wijze zullen ‘gebruiken’ om de reputatie te
vormen.
Bedrijven met een goede reputatie hebben een waardevol bezit.
Het tijdschrift Fortune heeft een tijdje een corporate reputation index opgenomen
in haar blad. Kritiek hierop kwam van onderzoekers die de 8 items die Fortune
aan managers voorlegde op één item na toch konden correleren aan financiële
situatie van het bedrijf, i.p.v. puur aan reputatie te correleren.
Verder noemt hij nog meer onderzoekers die reputatieonderzoek gedaan
hebben, meestal aan de hand van een aantal items. Zie tabel 1 op blz. 3 v.h.
artikel. In de tabel kun je zien wat verschillende onderzoeksinstituten belangrijke
variabelen vinden in reputatie, merk en imago onderzoek.
Het Halo-effect in bedrijfsreputatie
Het halo-effect kan onderscheiden worden in twee dimensies:
General impression halo: een ondervraagde zal alle items al naar gelang
zijn/haar algehele attitude t.o.v. het bedrijf waarderen. Dus als men bijvoorbeeld
een algehele positieve attitude t.o.v. philips heeft, zal men alle items op de
vragenlijst positief t.o.v. philips beantwoorden. Ongeacht of dit per individueel
item gepast is of niet.
Dimension similarity halo: een ondervraagde waardeerd dezelfde dimensies die
hij of zij ziet als logisch gerelateerd of gelijk.
Het halo effect kan gebruikt worden door bijvoorbeeld ‘umbrella branding’ toe te
passen: onder hetzelfde merk meerdere producten uit brengen. De positieve
algehele indruk die men van het bedrijf heeft, zal zijn weerslag vinden in de
indruk die men van eventuele nieuwe producten heeft.
Umbrella branding kan op 2 manieren:
‘Endorsed’ – zoals General Motors: verschillende automerken vallen visueel
zichtbaar onder GM
‘Branded’ – zoals Proctor & Gamble: verschillende merken vallen niet visueel en
anderewijze moeilijk traceerbaar onder P&G.
De één is niet beter dan de ander, het hangt per industrie en situatie af welk type
umbrella branding een bedrijf het beste kan toepassen.
In de case study presenteert de auteur een model voor het ontwikkelen van een
reputation-instrument
Fase 1: Theoretische achtergrond van het construct
Fase 2: Ontwikkelen van een cognitive map om het construct te begrijpen: een
literatuurstudie en focus groups moeten de ontwikkeling van items (waarsch.
voor een vragenlijst) bevorderen
Fase 3: 1ste vragenlijst fase: purificeer metingen door de betrouwbaarheid te
checken en voer een explorerende factor analyse uit.
Fase 4: 2e vragenlijst fase: verbeter nogmaals de betrouwbaarheid van de items
en neem validiteits tests af.
In de eerste fase hebben de onderzoekers, gekozen voor het ‘piecemeal-based
processing’ model. De reden hiervoor is mij een beetje onduidelijk, maar heeft
ermee te maken dat er meer concurrentie plaatsvond en dat de industrie daarom
zijn best deed om de verschillende alternatieven aan te bieden. Waarschijnlijk
meerdere verschillende drankjes.
In de tweede fase hebben ze naast de literatuur die in tabel 1 staat, focus groups
gebruikt om het gebied van reputatie-items te verkennen. Men vroeg potentiele
frisdrank klanten om aan de hand van vijf elementen die Aaker noemt,
kenmerken te noemen die met de reputatie van de frisdrankindustrie te maken
hebben. Vervolgens is de lijst met kenmerken voorgelegd aan een groep
managers van de afdeling marketing van de frisdrankindustrie, die werden
gevraagd om ze de kenmerken te waarderen naar mate van belangrijkheid en ze
te rangschikken.
De derde fase bestond uit het maken van items uit de lijst met kenmerken en
deze af te nemen bij een test groep van 120 personen. Zodoende hoopten de
onderzoekers de schaal te kunnen purificeren. Zij hielden na een correlatie en
betrouwbaarheids analyse nog 12 items over.
Voor fase 4 hebben de onderzoekers een standaard-reputatie-meetinstrument
van zes vragen toegevoegd plus nog één algehele indruk-vraag, waardoor de
complete survey uit 19 items bestond. Deze is afgenomen onder een testgroep
van 160 1e jaars studenten, en had een goede betrouwbaarheid en validiteit. In
deze fase leggen de onderzoekers de betrouwbaarheids en validiteits resultaten
van hun eigen 12 items tegen de standaard 6 items van het andere
meetinstrument, om zo te checken of het genoeg valide is. Meten ze wel wat ze
willen meten? Ze hebben dus in feite 2 instrumenten die hetzelfde meten, maar
met andere items. Ze proberen de resultaten van hun 12 items ook te vergelijken
met items van andere onderzoekers om zo een nog beter beeld te krijgen van de
validiteit.
Met de algehele indruksvraag proberen ze te achterhalen of er een algeheel-halo
effect onder het publiek gemeten kan worden. De halo blijkt er inderdaad te zijn
en dat is goed, want het is een generaliserende kijk van het publiek op de
frisdrank industrie. Als die positief is, zal men de meeste drankjes van die
industrie ook positief waarderen.
De auteur concludeert dat de reputatie van een bedrijf, die heerst onder een
publiek sterk afhankelijk is –of sterk gecorreleerd is aan de algehele halo. Om
een positief halo onder het publiek te bewerkstelligen zal men als bedrijf altijd
eerlijk moeten zijn. Verder beschrijft de auteur de beperkingen van zijn
onderzoek: het is slechts op Malta uitgevoerd (een eiland met een kleine
gemeenschap), in de 2e fase zijn studenten gebruikt, de vragen zijn in het
Maltees gesteld en daarna vertaald naar het Engels, het onderzoek is beperkt tot
die frisdrank industrie en kan niet gegeneraliseerd worden naar andere
industrieën.
Artikel:
G.M. Broom & D.M. Dozier (1990). Using Research in Public Relations.
Applications to Program Management. Englewood Cliffs, NJ: Prentice Hall
[Chapter 2: “Using Research to Plan Programs”, pp.21-47].
Samengevat
“In short, public relations operates in an insetled and untidy setting.”
Dit hoofdstuk laat zien hoe onderzoek je kan helpen, bij het doen van
voorspellingen in bepaalde situaties en bij wat je moet weten om een public
relations programma te kunnen plannen.
Strategic planning
= beslissen waar je wilt zijn in de toekomst (doel) en hoe je daar wilt komen
(strategie)
De literatuur geeft PR weer als een cyclisch proces bestaande uit 4 stappen:
1. Probleem vaststellen
2. Plannen en programmeren
3. Actie ondernemen en communiceren
4. Evalueren
Ook wordt vaak de formule van Prof. J. Marston geciteerd: R-A-C-E planning
R esearch
A ction
C ommunication
E valuation
RESEARCHING THE PUBLIC RELATIONS PROBLEM
De betekenis van het woord probleem in deze context houdt in dat:
“Iemand gelooft dat er een gat is tussen het behaalde en gewenste.”
Met doorgaand onderzoek kan je het probleem niet up to date houden wanneer
condities veranderen: Scanning voor planning (van de omgeving)
Environmental Scanning: detectie, exploratie en omschrijving van de PR
problemen door formeel en informeel onderzoek.
(Door dit te doen, is de kans groter dat je resultaten de werkelijkheid
weerspiegelen.)
Het resultaat van de fase van informatievergaring is tweeledig:
1. Problem statement
2. Situation analysis
WRITING THE PROBLEM STATEMENT
In het algemeen heeft niets meer invloed op het strategische planningsproces
dan de vorm en inhoud van het problem statement. Het zou moeten beschrijven:
“Wat gebeurt er nu?”, in specifieke en meetbare termen.
Het proces van probleemdefinitie kan er als volgt uit zien:
 Questioning the initial problem statement
 Expanding your understanding of the problem situation
 Identifying the forces for and against solving the problem
 Restating the problem definition
 Organizing the situation analysis
 Represent a unabridged edition of the problem definition.
 Gives details about internal and external contexts
IDENTIFYING THE PUBLICS
Hieronder staan een aantal benaderingen over hoe men publiek kan definiëren
en beschrijven.

Geographics; Waar komen ze vandaan? Belangrijke verschillen?

Demographics; Leeftijd, opleiding, sexe, inkomen, etc.

Psychographics; Life style karakteristieken

Covert power; Mensen aan de top van de piramide handelen ‘across
situations’, hebben macht over anderen.

Position; Positie gezien door de individu zelf.

Reputation; Identificeren van ‘knowledgeables’ of ‘influentials’.

Membership; Redelijk breed gezien.

Role in decision proces; Observeren van individuen

Communication behavior; Prof. J. Grunig gebruikt een overlap van alle
andere strategieen om het publiek te beschrijven. Hij gebruikt:
 Problem recognition
 Constraint recognition
 Levels of involvement
Hij maakt verschil tussen ‘latent’ en ‘aware’ publics.
ANALYZING PUBLIC-ORGANIZATIONAL RELATIONSHIPS
De relatie tussen de organisatie en haar publiek resulteert in wat de individuen in
dat publiek:
 Van de organisatie weten;
 Hoe ze voelen;
 Wat ze doen.
Het meest gebruikte audit in public-organizational relationships:
a) Doen van interviews; positie v.d. issue
b) Ondervragen; kijk doelgroep op de issue
c) Calculeren van de afstand tussen de 2 zijden m.b.t. het issue
Een PR audit die gebruik maakt van ‘cross perceptions’ moet antwoord geven
op:
1. What are the organization’s views on the issue?
2. What is the dominant view within the organization of the public?
3. What are the public’s actual views on the issue?
4. What is the dominant view within the public of the organization?
Antwoorden op bovenstaande vragen, maken het mogelijk om drie co-oriëntatie
variabelen vast te stellen: “agreement, accuracy, perceived agreement”.
Wanneer er aan 1 kant van de relatie verkeerde ideeen bestaan over het
standpunt van de tegenpartij, zijn er 2 soorten fouten mogelijk:
1. False consensus: er is geen eigenlijke overeenkomst, maar wordt wel als een
overeenkomst gezien.
2. False conflict: er is een overeenkomst, maar wordt niet al zodanig gezien.
WRITING PROGRAM GOALS AND OBJECTIVES
PR objectives specificeren verandering in of onderhoud van meetbare levels van
kennis, gedrag etc. Om ze te kunnen schrijven heb je gedetailleerde maatstaven
en begrip van de situatie nodig.
Goals vs. objectives
 Goals: geeft weer wat de meer algemene uitkomst van het totaal programma
moet zijn.
 Objectives: beschrijft wanneer de specifieke resultaten moeten worden
behaald en voor welke doelgroep.
1. geven focus en richting
2. geven begeleiding en motivatie
3. geven de criteria voor programma impact
Obj. moeten worden behandeld als dynamische reflecties in een
veranderende omgeving.
Elementen t.b.v. het schrijven van objectives:
a) Begin with “to”, followed by a verb that describes what you what to happen
with respect to the criterion outcome.
b) Specify the criterion outcome to be achieved.
c) State exactly and in measurable terms how much change is to occur and
what outcome is to be maintained.
d) Say when the outcome is to be achieved.
Hierbij moeten 2 aspecten in de gaten worden gehouden
1. Objectives must be in writing
2. Objectives must be discussed
Samenvatting
H. Beyer & K. Holtzblatt (1998). Contextual design. Defining Customer-Centred
Systems. San Francisco, CA: Morgan Kaufmann. [Chapter 3: “Principles of contextual
Inquiry”, pp.41-66]
Principles of Contextual Inquiry
Er zijn verschillende mogelijkheden om je als interviewer in een interview te gedragen.
Een manier is je te gedragen als een leerling/stagair (apprentice). Het Apprentice Model
wordt dan gebruikt. Net als een apprentice iets leert van zijn meester, leert het design
team iets over het werk en hoe dat werk wordt uitgevoerd door zijn klanten
(‘Customers’). Zorg er wel voor dat je echt de rol als apprentice blijft aanhouden.
Men moet zich op een bepaalde manier gedragen opdat de gewenste informatie kan
worden verkregen. Men kan zich hiervoor houden aan de vier principes van Contextual
Inquiry. Deze vier principes van contextual inquiry zijn:
1. Context -> “ga naar waar het werk gedaan wordt en zie het gebeuren”
Het werk zien gebeuren is belangrijk omdat men over het algemeen niet goed kan
vertellen wat de precieze werkzaamheden zijn en hoe het dagelijks in zijn werk gaat.
Daarom is het een goede oplossing tijdens het werk over het werk te praten. Men krijgt
dan een meer gedetailleerd beeld van de werkzaamheden.
In de context blijven biedt de interviewer de mogelijkheid ongoing experience te
verkrijgen in plaats van summary experience, en concrete data in plaats van abstract
data. Summary data heeft niet de voorkeur aangezien dit soort data geen gedetailleerd
beeld geeft, alleen een soort van samenvatting van de gegevens, zonder de details.
Concrete data heeft de voorkeur boven abstract data omdat abstracte gegevens ook de
details vervagen. Als men praat over “generally”, of “we usually” is men aan het
generaliseren. De interviewer kan dit voorkomen door te vragen of de klant weer aan het
werk gaat en dan vertelt waar hij/zij mee bezig is.
2. Partnership -> ”praat over het werk met de klant terwijl het werk gedaan wordt”
Het doel van partnership is ervoor zorgen dat de interviewer en de klant samenwerken
om te komen tot een begrip van wat het werk voor de klant inhoudt.
Soms is het voor de interviewer moeilijk om niet terug te vallen in een expert rol, de
interviewer weet namelijk al hoe het werk gedaan zou moeten worden. Een oplossing
voor dit probleem is “withdrawal and return”. Afwisseling tussen kijken naar het werk
dat gedaan wordt en praten over het werk. Heeft de interviewer moeite in zijn rol als
apprentice te blijven, dan kan de interviewer de klant vragen weer verder te gaan met
werken.
Het gevaar van ‘uit je rol vallen’ is groot bij het apprentice model. Men valt gemakkelijk in
een ander, meer vertrouwt relatiemodel. Enkele bekende valkuilen zijn de rol aannemen
van:
Interviewer/interviewee: de interviewer stelt een vraag, de geinterviewde beantwoord
deze en de interviewer stelt weer een nieuwe vraag. Het probleem hierbij is dat de
vragen niet meer gaan over het werk, want er wordt op dat moment niet gewerkt, maar
over hoe het in het algemeen in z’n werk gaat.
Expert/novice: een gemakkelijke valkuil, want de klant ziet je gemakkelijk als de expert,
wat je ook eigenlijk bent als ontwerper. Maar als interviewer wil je juist weten hoe de
klant met het ontwerp omgaat, dus moet je je best doen om de klant jou te laten
behandelen als apprentice.
Guest/host: Je bent te gast op de werkplaats van de gast, dus ligt een rol als
gast/gastheer erg voor de hand. Gedraag je dus niet als gast, want dan kom je niet te
weten wat je wilt weten. Wees nieuwsgierig en stel veel vragen.
3. Interpretation -> “Zoek de ‘meaning’ achter de woorden en daden van de klant”
Het is niet voldoende alleen te observeren, het is belangrijk ook de resultaten te
interpreteren. Het ontwerp is ook opgebouwd uit interpretatie van feiten, dus de
interpretatie moet dan ook goed zijn!
4. Focus -> “let op het gehele plaatje, niet alleen op wat u denkt dat het belangrijkste is.
Evalueer uw eerste aannames”
De interviewer moet de klant leiden in het gesprek over relevante onderwerpen. Het
moet niet zo zijn dat de interviewer de controle helemaal overneemt van de klant. Focus
kan voor sturing zorgen. Leg de focus niet bij een punt van wat u denkt dat dat het
belangrijkste is, iemand anders kan de focus op een heel ander punt leggen. De
Meester bepaalt wat het belangrijkste is, de klant dus, en de interviewer kan daarin wel
sturen wat relevant is voor het onderzoek.
Tot slot nog iets over de structuur van het contextual interview:
The conventional interview
Het is belangrijk dat u (de interviewer) en de klant aan elkaar gewend raken. Stel uzelf
voor, beloof vertrouwelijkheid, vraag toestemming. U kunt vragen naar de mening van
de klant over het ontwerp en de voorwerpen (tools) hij/zij gebruikt. Dit is summary data,
nog geen contextual data.
The transition
Leg de regels uit; dit is een contextual interview – de klant doet zijn/haar werk terwijl u
toekijkt. U onderbreekt de bezigheden, met toestemming van de klant, als iets u iets
interessants waarneemt.
The contextual interview proper
De klant doet zijn/haar werk en u observeert en interpreteert. U bent de apprentice die
nieuwsgierig is en vragen stelt.
The wrap up
Aan het einde van het interview heeft u de kans alle observaties samen te vatten en af te
ronden. Dit is de laatste kans voor de klant om aanvullingen te maken en/ of correcties
aan te brengen.
User en task analyses for interface design
Joann T. Hackos and Janice C. Reddish
Wat is task analyses?
Als je een nieuw product maakt, is het belangrijk dat je weet wat de doelen van de
gebruikers zijn. Het is namelijk onwaarschijnlijk dat deze doelen ooit veranderen.
Het doel van taak analyses, waar dit artikel betrekking op heeft, is hoe je een product
kan ontwerpen of herontwerpen, 'de predisign stage'
Het gaat om het verzamelen van informatie, in samenwerking met de gebruiker, zodat je
kan besluiten welke taken een product moet ondersteunen, en welke procedures er
ingebouwd moeten worden in het product.
Dit betekent dat je gebruikers moet observeren in de werkelijkheid. Je wilt al de fouten
en problemen zien die de gebruikers hebben. Deze informatie kan je vervolgens helpen
bij het nieuwe ontwerp. Het uitvoeren van task analyses vóór het ontwerpen, kan
beslissingen ondersteunen over welke type communicatie nodig is voor welke gebruiker,
en hoe je deze types communicatie kan organiseren
1
Om te beginnen: gebruikersdoelen
Om een taak analyse goed uit te voeren moet je de doelen van de gebruiker goed
begrijpen. Ook moet je begrijpen hoe gebruikers vervolgens verschuiven van doelen
naar taken, naar actie. Producten slagen wanneer ze gebruikers helpen hun doelen te
bereiken, ze slagen niet wanneer ze het voor de gebruiker moeilijker of onmogelijk
maken hun doelen te bereiken.
 Relating goals to actions
Norman's seven-stage cyclus over hoe mensen zich gedragen in termen van het
bereiken van doelen en het uitvoeren van taken
1.
2.
3.
4.
5.
6.
7.
forming the goal
forming the intention
specifying an action
executing the action
perceiving the state of the world
interpreting the state of the world
evqaluating the outcome
 Seeing how users choose tasks to meet goals
Naast het kennen van de doelen van je gebruiker, moet je ook weten wat het
belangrijkste is voor ten eerste de 'decion makers' die je product kopen, en ten
tweede de mensen die het uiteindelijk gaan gebruiken. Je moet dus weten wat ze
belangrijk vinden; bijv. lage kosten, bereikbaarheid, gemak om te leren, snelheid,
etc.
 Seeing wat happens when users have problems
Het begrijpen van de tolerantiegrens van de gebruiker voor tijd en moeite voor
verschillende taken en verschillende technologieën, maakt deel uit van task
analyses
 Keeping goals as part of task analyses
Benyon (1992)noemt de goal level(Norman's first stage) the 'external task', en hij
zou deze level weglaten van taks analyses.
In veel gevallen heeft het probleem dat gebruikers hebben met producten,
voornamelijk te maken met de documentatie. Deze documentatie is voornamelijk
zeer gedetailleerd gepresenteerd, op en lage level van de taak. De gebruiker is
op zoek naar een manier om zijn doel te verwezenlijken, maar de
gebruiksaanwijzing bevat geen hoofdstukaanduidingen die relateren aan het doel
van de gebruiker.
2
Verschillende levels en types van task analyses identificeren
Doelen zijn een belangrijk onderdeel van task analyses, zo ook wat gebruikers doen om
dergelijke doelen te bereiken. Bij het plannen van task analyses, zal je geïnteresseerd
zijn in een of meer variaties op dit thema.
 Workflow analyses
In het begin van een project, wil je wellicht begrijpen hoe een bepaald proces
wordt bereikt, zelfs als meerdere mensen betrokken zijn in het afmaken ervan.
Dit noemt men 'workflow analyses' of 'business process analyses'. Veel bedrijven
willen het business process vereenvoudigen. Omdat dat te bereiken moet je
eerst het huidige proces begrijpen, kijken naar tekortkomingen en onnodige
stappen in het proces.
Workflow analyses is een zeer belangrijk type task analyses omdat er veel
situaties voorkomen waarbij verschillende mensen bij betrokken zijn.
Work flow analyses toont aan, wie wat doet, bij elke stap van het proces. Het
gaat in dit artikel daarnaast ook om het begrijpen van de doelen die verschillende
personen hebben.
 Job analyses
Een ander type task analyses dat je misschien vroeg in een project wil uitvoeren
is job analyses; het begrijpen van al het werk dat een persoon in een bepaalde
positie doet tijdens een week of een maand.
Als je workflow analyse kan zien als een horizontaal plaatje, over hoe werk zich
verplaatst tussen mensen, is job analyses een verticaal plaatje van al de soorten
werk dat stroomt door een bepaald persoon
Job analyses kan helpen bij:
1)
2)
2)
Het vinden van nieuwe marketing en ontwikkelingsmogelijkheden.
Het begrijpen van bepaalde kenmerken om in je product te bouwen
Het leren onder welke druk ze staan en wat ze belangrijk vinden
Om een job analyse uit te voeren moet je direct samen werken met de mensen
die de job uitvoeren, een job-beschrijving is niet voldoende.
Waarschijnlijk ben je niet alleen geïnteresseerd in een lijst met
werkzaamheden, maar ook in de onderstaande factoren:
1)
Frecuency. Hoe vaak doen de mensen een bepaalde taak?
2)
Criticality. Hoe belangrijk is elke taak vaar de job?
3)
Time to complete. Hoeveel tijd neemt elke taak in beslag?
4)
Difficulty. Brengt het vervullen van de taak bepaalde problemen met zich
mee?
5)
Division of responsibility. Doen alle mensen met die job deze taak?
Doen mensen met dezelfde job titel verschillende taken?
Het combineren van workflow analyses en job analyses
Een totale task analyses kan zowel workflow analyses als job analyses omvatten.
Als je alléén een nieuw programma ontwerpt voor de groep die je geobserveerd hebt en
mee gepraat hebt, kan het zijn dat het product niet zo wijdverspreid gebruikt gaat
worden of zoveel waarde gaat krijgen, als eventueel zou kunnen. Je zou je ook kunnen
afvragen; Wie anders in dit bedrijf zou dit programma kunnen gebruiken?
Je vraagt je dan eigenlijk af; Wie doet dezelfde taak? Je zegt eigenlijk: Welke job
analyses zou ik nog moeten doen?
Task analyses om een takenlijst of een taak inventaris te ontwikkelen
Deel van de predesign analyse is het opstellen van een takenlijst voor ieder product.
Een taken lijst is een inventaris van al de taken die de gebruiker zou willen/kunnen
bereiken met het gebruik van het product. Het geeft dus aan wat een gebruiker allemaal
met het product kan.
Je kan een takenlijst krijgen door het observeren van, en het luisteren naar gebruikers
Proces analyse, taak opeenvolging
Een taak opeenvolging is een serie van taken, op een lijst, die gebruikers
hoogstwaarschijnlijk in een bepaalde volgorde moeten uitvoeren.
De volgorde van zo'n opeenvolging is meestal zeer logisch, je kan geen bericht
versturen voordat je er een geschreven hebt.
Je kan informatie over taak volgorde verkrijgen op dezelfde wijze die je gebruikt bij het
maken van een takenlijst.
Taak hiërarchieën
Taak analyse is hiërarchisch. We kunnen een job in verschillende taken verdelen, iedere
taak kan vervolgens weer verdeeld worden in subtaken.
Procedurele analyse
Wanneer we één specifieke taak nemen en deze verdelen in de stappen en beslissingen
die de gebruiker doorloopt in het doen van die taak, zijn we bezig met 'procedural
analysis'.
Je kan dus een task analyses uitvoeren tot de individuele stappen en beslissingen die
gebruikers maken bij het uitvoeren van een taak.
Een dergelijke analyse zorgt ervoor dat je zowel de fysieke stappen die de gebruiker zet,
als de mental beslissingen die gemaakt worden terwijl de gebruiker een taak uitvoert,
begrijpt.
Je kan een procedurele analyse uitvoeren door gebruikers te observeren en naar hen te
luisteren als ze een echte taak uitvoeren.
3
Thinking of users to their stages of use
Als we denken aan gebruikers in termen van 'frequency' en 'expertise', kunnen we ze
plaatsen in verschillende 'stages of use', van beginner tot expert.
Model die de verschillende 'stages of use' karakteriseert is van Dreyfus en
Dreyfus(1986)
Elke gebruiker op elk willekeurig moment met een bepaald product, bevindt zich in een
van de vier fases van 'use'
 Novice
 Advanced beginner
 Competent performer
 Expert
De fases van 'use' verschaffen een bruikbare manier om gebruikers te categoriseren,
bovendien kunnen ze een kader bieden waarin men kan denken over interface en
informatie ontwerp.
De gebruikers veranderen in de tijd. Het vergemakkelijken van de beweging door de
verschillende fases zou het doel van een ontwerp moeten zijn.
1)
novice:
Nieuwe gebruikers van een product zijn allen 'novices' in het begin.
Fig. 3-14 geeft kenmerken van 'novice users'
Twee kritische generaliseringen voor de ontwerper:
 novices zijn zeer doel en taak georiënteerd
 novices willen vaak niet leren, maar doen
De ontwerper moet zich goed afvragen waar gebruikers zich bevinden in termen
van 'subject matter', domein kennis, ervaring met de technologie, ervaring met
vroegere versies van het product.
2)
advanced beginner:
Wanneer novices bewegen voorbij de angst van falen en beginnen met het
uitvoeren van taken, die hen toelaten hun doelen te bereiken, worden ze
gevorderde beginners. Kenmerkend voor deze gebruiker is dat deze vooral
gefocust is op het zo simpel, snel en pijnloos een bepaalde job uitvoeren als
mogelijk is.
Fig. 3-15 geeft kenmerken van 'advanced beginners'
3)
competent performers:
Competent performers kunnen we karakteriseren als die gebruikers die
voldoende aantal taken geleerd hebben en die een vast mentaal model gevormd
hebben van de 'subject matter' en het product.
Fig. 3-16 geeft de kenmerken van 'competent performers' weer
De capaciteit om een actieplan van taken te creëren en deze te volgen tot een
succesvolle conclusie, de capaciteit om te herkennen, een diagnose te stellen,
en problemen op te lossen terwijl men probeert een taak uit te voeren, zijn de
waarmerken van een competent performer.
4)
expert performers:
Competent performers worden experts wanneer ze hoog gemotiveerd zijn, het
product veel gebruiken als een integraal deel van hun werk en persoonlijke
activiteiten en hobby's, een aanzienlijk 'subject matter' kennis hebben, en
ervaren zijn in het oplossen van hun eigen problemen en de problemen van
anderen
Fig. 3-17 geven de kenmerken van 'expert performers' weer
Reader, artikel: K. Baker & C. McDonald (2000).
What is Important to the Customer? Can the Customer Tell Us?
Wat is belangrijk voor de klant als hij kiest tussen een aantal competitieve
producten of merken? Dit is de fundamentele vraag bij ‘choice modelling’. In dit
artikel worden de voor- en nadelen van verschillende technieken van choice
modelling besproken.
Het belangrijkste van alle marktonderzoek-problemen is de vraag hoe de klant
zijn keuze maakt. Twee basis ingrediënten zijn hierbij van belang:
 De hoogte van de concurrerende details van het product of de dienst
 De waarde die daaraan gehecht wordt
Marktonderzoekers proberen continu de voorspellende waarde van hun modellen
te vergoten, maar stuiten op 2 problemen:
 Heeft de onderzoeker alle relevante informatie verzameld
 Geeft de informatie daadwerkelijk de emoties en invloeden weer die de
merkkeuze beïnvloeden
Daarom is het van belang dat de onderzoeker alle relevante informatie voor het
onderzoek verzameld.
Ondervragen
Iemand kan niet direct gevraagd worden ‘waarom’ hij of zij een bepaald merk
verkiest boven een ander merk. Als dat wel op zo’n manier gedaan wordt, wordt
er een vals beeld gegeven. Daarom moeten indirecte methoden gebruikt worden,
zoals experimenten en kwalitatieve methoden.
Directe ondervragingsmethoden
Directe methoden gebruik je als je snel resultaten wilt hebben. Echter, ze zijn niet
gelijk aan de werkelijkheid. De antwoorden geven discriminatie weer. Een van de
methoden is Direct scoring. Hierbij moet de respondent een score geven tussen
de 1 en de 10, waarmee de belangrijkheid of de invloed van de kenmerken van
het product worden weergegeven. Een andere methode is Semantic scales.
Hierbij worden termen als ‘erg belangrijk’, ‘redelijk belangrijk’ etc. gebruikt om
een score aan te geven.
Een nadeel van dergelijke methoden is dat de scores samen klieken. Ook als
respondenten bepaalde attributen belangrijk vinden zullen ze niet altijd het
uiterste van de schaal gebruiken. Twee andere technieken zijn Constant sum
preference en Unbounded scales. Deze technieken vergelijken verschillende
items van vragen met elkaar. Constant sum preference komt beter overeen met
de werkelijkheid. Deze techniek probeert hogere levels van discriminatie te
bereiken (?).Unbounded scales is een methode die vooral veel gebruikt is in de
psychologie en nog niet zo veel in het marktonderzoek. Hierbij mag de
respondent zelf weten hoeveel L’en (Like) of Ds’sen (Dislike) hij bij een product
zet. De achterliggende gedachte is dat iemand altijd iets wel meer of minder kan
waarderen dat iets anders (het gaat dus weer heel sterk om het vergelijken van
de producten en eigenschappen met elkaar!!). Als de respondent geen mening
heeft mag hij er een N (Neutral) bijzetten. Door het vergelijken en de simpelheid
van de methode is het de meest gebruikte en de meest directe
ondervragingsmethode.
Indirecte ondervragingsmethoden
Correlation methods is een methode die de belangrijkheid of invloed van
variabelen onderzoekt, en vaak gebruikt wordt als onderdeel van een
klantvriendelijkheidsonderzoek (in de vorm van een vragenlijst). Hierbij is het zo
dat hoe hoger de correlatie tussen het kenmerk van het product of de service en
de waarde zoals het geëvalueerd wordt, des te hoger dat kenmerk als ‘driving
satisfaction’ wordt gezien. Deze ‘drivers’ worden weergeven als R2.
Met directe ondervragingsmethoden wordt vooral het psychologische aspect van
het product belicht. Bij indirecte methoden worden meer de 'softere' variabelen
weergegeven.
Een nadeel van deze methode is dat er kans is op het ‘halo effect’. (Als ik de
winkel prettig vind, geef ik elk aspect ervan een hoog cijfer) Dan is er nog een
nadeel van de methode, dat wel de ‘treshold consideration’ genoemd wordt. Het
gaat hierbij om het feit dat sommige attributen voor lief genomen kunnen worden,
puur omdat dat nou eenmaal cruciale aspecten van producten zijn, en die niet de
ultieme basis zijn waarom de producten verschillen. Het zijn noodzakelijke
aspecten (bijvoorbeeld dat de broek moet passen!) die, als je er naar zal ragen,
door iedereen als belangrijk zullen worden gezien.
Het grootste voordeel van op correlatie gebaseerde methoden is dat ze van meer
kanten op de belangrijke aspecten kijken en dat de vergelijkingen indirect zijn.
Trade-off / conjoint techniques
Klanten kunnen niet altijd producten op een zinvolle manier van elkaar
onderscheiden. Vaak moeten ze gewoon kiezen tussen een aanlat imperfecte
opties. Bij de trade-off methode wordt daarom vooral gekeken naar het gedrag.
Mensen moeten kiezen tussen alternatieven en daaruit wordt opgemaakt wat
voor hen belangrijk is bij het maken van hun keuze. De full concept trade-off
methode is de makkelijkste van alle analyse methoden. Deze methode wordt
vaak gebruikt als maar een paar kenmerken van de service met elkaar
vergeleken worden. Er wordt een heel voorbeeld over gegeven. Uit het voorbeeld
blijkt dat als mensen moeten keizen, ze het liefste kort reizen en weinig betalen.
Maar ze vinden ze het belangrijker om kort te reizen dan om meer te betalen. Ze
zullen als tweede optie dus meer betalen om even kort te reizen, als derde optie
nog meer betalen om even kort te reizen, en pas daarna weer iets minder
betalen om korter te reizen (zie blz. 244). Scalar conjoint si een veel gebruikte
methode als het gaat om producten of services die maar een ‘level’ hebben,
bijvoorbeeld als het gaat om de klantvriendelijkheid in hotel. Hierbij wordt er
paarsgewijs vergeleken, waarbij de respondent aan moet geven welk van de
twee opties voor hem belangrijker is (snelle service aan de bar of het hebben van
een mini bar op z’n kamer) en in welke mate (veel belangrijker, een beetje
belangrijker). Het grootste voordeel van de methode is dat het makkelijk is om
weer te geven hoe de experimenten gehouden zijn. Full profile conjoint is een
techniek die geschikt is wanneer slechts een paar kenmerken worden
geëvalueerd, maar waarbij elk van de kenmerken verschillende ‘levels’ heeft. De
respondent wordt gevraagd om de verschillende opties die hij voorgelegd krijgt in
volgorde van belangrijkheid te leggen. Deze methode is open. Het is makkelijk
om te zien hoe vaak elke elke ‘level’ gebruikt is in de vergelijkingen. Met
Adaptive conjoint analysis (ACA) wordt de respondent aan het begin van een
interview gevraagd welke aspecten hij van een product of dienst helemaal niet
waardeert. Zo wordt een drempel gecreëerd. Het proces is interactief. De
respondent wordt gevraagd om keuzes te maken tussen verschillende objecten
die overblijven.
Samenvatting
We hebben verschillende technieken bekeken die de mate van belangrijkheid
van bepaalde kenmerken van producten en diensten naar voren halen. Tevens
zijn de voor- en nadelen van de methodes behandeld. Zowel bij de conjoint als
bij de correlation techniques is het van groot belang dat er geen overload aan
respondenten is. Als de onderzoeker begint aan het onderzoek moet hij eerst de
verschillende methoden tegen elkaar afwegen en bovenal kijken naar de
respondenten.
Vanaf hier hoeft niet, is van vorige jaren:
M.E. Smith & D.C. Brandenberg (1991). Summative Evaluation.
Summatieve evaluatie is gedefinieerd als het proces om de waarde, effectiviteit of
efficiency van een object te achterhalen, om dit te gebruiken in het beslissingsproces
over dat object.
Summative Evaluation (S.E.)
Summatieve evaluatie houdt zich bezig met hoe goed iets is en/of met de vraag: is het
wat we nodig hebben?
Summatieve evaluatie heeft veel te maken met uikomsten, kosten, betalingen en cliënt
acceptatie (decision-maker acceptance). De combinatie van summatieve evaluatie met
de diagnose stellende formatieve evaluatie geeft vaak nog meer informatie voor de
decision-maker.
Planning Process
Evaluatie activiteiten zijn in te delen in vijf fases:
1) planning
2) materiaal ontwikkeling
3) data verzamelen
4) analyse
5) rapporteren
De meeste problemen met evaluatie hebben direct of indirect te maken met slechte
planning. Daarom hebben de schrijvers van het artikel een 8-stappen proces voor
planning van een evaluatie opgesteld:
stap 1: specificeer de beslissing
Begin de planning met de vraag: wie zal welke beslissing maken over wat?
Bij deze stap wordt meestal de decision-maker geïnterviewd die de evaluatie sponsort
en verder ook de andere stakeholders. In essentie om er achter te komen wat hun
verwachtingen zijn over welke data gebruikt moet worden, wat de criteria zijn voor het
maken van beslissingen, welke andere stakeholders geconsulteerd moeten worden en
hoe de planning in elkaar moet zitten.
stap 2: Vertaal beslissingen in Onderzoeksvragen
De punten van de decision-maker moeten bij deze stap in een onderzoeksdesign
vertaald worden. Het planningsproces gaat hier van algemene punten naar specifieke
plannen. Vanuit dit perspectief is stap 2 de spil in het planningsproces tussen cliënt
(decision-maker) en evaluator.
Een format voor de onderzoeksvraag is om te indiceren (a)de te meten dimensie (b)de
mensen die worden gemeten (de data leveren) & (c)de standaard voor het analyseren
van de data.
stap 3: Het Design schetsen
Bij deze stap moet de Onderzoeksvraag vertaald worden naar een plan. De te meten
dimensie wordt vervangen door de meer specifieke naam van een meettechniek.
Bij deze stap moet ook een beslissing worden genomen over de standaard die gebruikt
wordt voor de evaluatie. Deze standaarden kunnen relatief zijn (norm-referenced) of
absoluut (criterion-references).
Het derde deel van deze stap is de omschrijving van mensen die zullen participeren in
de evaluatie.
Stap 4: Analyseer gedwongenheid, bronnen en mogelijkheden
In deze stap moet je uitvinden wat praktisch is in jouw situatie. Bekijk je design om uit te
vinden welke benodigdheden je nodig hebt. De meest normale benodigdheden die nodig
zijn voor evaluatie projecten zijn:
1)Tijd, 2)Onderzoeksleiders, 3)Toegang tot data bronnen, 4)Politieke overwegingen,
5)Budget.
Stap 5: Specificeer instrumenten, procedures en sampling.
In deze stap ben je klaar om de hoofdlijnen die je tot nu toe had verder uit te werken.
Bij 'Procedures' zit inbegrepen hoe de datacollector instrumenten zal gebruiken om de
data te verkrijgen. 'Sampling' refereert naar het proces waarbij de deelnemers van jouw
studie geselecteerd worden.
N.B. Nieuwe meettechnieken zijn wellicht vereist voor de evaluatie.
Stap 6: Schetsen van de data analyse
Hoe wil je variërende sets van data samen nemen, welke statistieken moeten gebruikt
worden, en welke aantallen wil je hebben om een antwoord te krijgen op de
onderzoeksvraag en de vragen van de decision-maker.
Stap 7: Specificeer de administratieve vereisten van het project.
Met een duidelijk idee van wat je wilt doen, kun je nu een schema ontwikkelen; beschrijf
de personele bezetting (wie zal welke taken doen) en plaats alles binnen het budget.
Stap 8: Documenteer het Onderzoeksdesign.
Dit designdocument geldt als een blauwdruk voor de evaluatiematerialen en procedures
en voor het uitdragen van de evaluatie. In het designdocument zitten alle stappen
verwerkt.
Issues
Het volgende representeert de hoofdproblemen waarmee evaluatiespecialisten
geconfronteerd worden:
-Het verkrijgen van client/sponsor's commitment om te handelen naar de uitkomsten van
de evaluatie.
-Het evalueren van de effectiviteit van de trainingsorganisatie zelf
-Evalueren Management training
-Institutionaliseren van het evaluatie proces
-Kosten/baten analyse van de impact van het programma.
Client's commitment
Hoe krijg je de decision-maker zover om te handelen naar de uitkomsten van de
evaluatie?
Het is essentieel te weten wie de echte decision-maker is en wat de echte beslissing is.
Je moet ervoor zorg dragen dat de decision-maker de studie ziet als iets dat ook van
hem is. De trainingsorganisatie moet ook actief bezig zijn om de cliëntorganisatie naar
zichzelf te laten kijken en te kijken welke opties het heeft om zijn problemen op te
lossen.
Evaluating the training organization
Er is een groeiende bewustwording van het enorme bedrag dat jaarlijks gespendeerd
wordt aan werknemerstraining en ontwikkeling.
Hieronder zijn vier benaderingen van hoe trainingsorganisaties, hun services en interne
operaties te meten zijn:
(a) client satisfaction survey,
(b) focus groups
(c) operational measurements
(d) organizational audits
Alle vier focussen ze op de organisatie, niet op individuele programma's.
(a) Client satisfactie vragenlijst
Bij deze techniek wordt gebruik gemaakt van een korte vragenlijst per mail of telefoon bij
managers wiens mensen op training zijn geweest.
(b) Focus groepen
Een focus groep is een ad hoc groep die moet discussiëren over een issue.
(c) Operationele meting
Een organisatorische meting is een statistiek die enkele karakteristieken van interne
operaties of externe services van de organisatie beschrijft. Een meting geeft de
organisatie gedurende een specifieke periode weer (b.v. per maand of per kwartaal).
Voorbeelden zijn: gemiddelde kosten om één werknemer te trainen voor één dag.
Twee veel voorkomende problemen in het gebruik van metingen om trainingorganisaties
te meten: De eerste is het ongeïnformeerd gebruik van metingen voor het vergelijken
van één trainingsgroep met een andere, zonder de unieke omstandigheden mee te
nemen die er vaak voor zorgen dat het niet juist is om die groepen te vergelijken. Het
tweede is het gebruik van zelfrapporterende metingen, waar vaak ruis in zit.
(d) Organisatorische Audits
Een audit is een intensieve studie van een organisatie die ingezet wordt om wegen te
vinden ter verbetering van de organisatie.
Audits genereren veel informatie, maar ook veel kosten.
Evaluating Management Training
Het is belangrijk dat training ingebed wordt in een bredere strategie en in een stijl
aangeleverd wordt die aansluit bij de veranderingen in de organisatie. N.B. De gehele
strategie van verandering van de organisatie moet het doel van een evaluatie zijn, niet
alleen de training. Tevens moet het evaluatieplan elk stukje van verandering bevatten en
deze beoordelen op of ze goed geïmplementeerd zijn en welke problemen daarbij
ondervonden werden.
Institutionalisering van het Evaluatie Proces.
Evaluatie kan zeer effectief organisatorische doelen dienen en kan het effectiefst
uitgevoerd worden wanneer het een standaardprocedure is binnen een organisatie.
Kosten/baten impact
Twee hoofd componenten: (a) analyse van de kostenfactoren & (b) waarde inschatten
van de voordelen van de impacts.
Het grote voordeel van de kosten/baten-analyse is dat men vergelijkingen kan trekken
tussen verschillende projecten en doelgroepen en dat gelijke objecten niet vereist zijn.
Kosten/baten-analyses zijn bekritiseerd, omdat aannames voor het gebruik ervan de
werkelijkeheid rekken. Echter voor het grootste gedeelte zijn auteurs het er over eens
dat kosten/baten-analyses gebruikt moeten worden voor een indicatie van de resultaten.
Artikel:
D. Wilkinson (1999) Cost-Benefit Analysis Versus Cost-Consequences Analysis.
Dit artikel pleit er voor dat CCA in principe niet verschillend is van CBA.
Bronnen zijn gelimiteerd, terwijl wensen ongelimiteerd zijn. Daarom is het een
verplichting t.o.v. de maatschappij om men ervan te verzekeren dat deze
bronnen op zo’n manier gebruikt worden dat ze leiden tot maatschappelijk gezien
de beste uitkomst.
Kaufman en Watkins (hebben CCA ontwikkeld) beargumenteren dat veel
evaluaties van overheidsprogramma’s zijn gebaseerd op een incorrecte
specificatie van outputs, i.p.v. uitkomsten. De auteur van dit artikel zegt echter
dat CBA in principe ook gebaseerd is op uitkomsten.
CBA is een procedure dat winsten en verliezen meet van individuen,
gebruikmakend van geld als maatstaf; en het samenvoegen van de geldwaarde
van deze winsten en verliezen, uitgedrukt in netto sociale winsten of verliezen.
(Pearce) De winsten voor de maatschappij zouden de kosten moeten overtreffen.
Het maatschappelijke component is belangrijk, de inschatting in hoeverre het wel
of niet doorgaan met een actie, afhankelijk is van de netto maatschappelijke
uitkomst.
Boris and Tash zeggen dat impactevaluatie beleidsmakers zou moeten voorzien
van 5 essentiële sets van informatie:
(1) alle data moet aanwezig zijn die nodig is om de beslissing te maken
(2) er moet gedemonstreerd worden welk alternatief programma de grootste
winst verkrijgt tegen de laagste kosten
(3) per component of programma moet info gegeven worden welke het meest
effectief is bij een gegeven uitgave
(4) de eerste drie typen informatie voor mensen met verschillende
karakteristieken moeten gegeven worden, zodat de besluitvormer kan
beoordelen welke individuen het best worden gediend bij elk programma
(5) data moet verzameld worden over nieuwe methodes om problemen aan te
pakken.
Voordat ex post evaluatie kan plaatsvinden moet de doelen van het programma
gespecificeerd worden. Dit is tegelijkertijd het moeilijkste van de hele evaluatie.
Wanneer een programma meerdere doelen heeft, is het misschien nodig om
gewichten toe te kennen aan de verschillende doelen. De uitkomsten die
gemeten worden moeten over het algemeen gedrags- en tastbare veranderingen
zijn, zoals inkomensverandering, verandering in de gezondheidsstatus, enz.
(Deze veranderingen zijn makkelijker te meten, stabieler over de lange termijn en
meer betrouwbaarder en valide dan bijv. data over houdingen.) Daarnaast
moeten omgevingsinvloeden (demografisch, economisch, enz) meegenomen
worden. Simpele correlatie analyse kan leiden tot het overschatten van
individuele variabelen. Analyse die meer dan één factor meeneemt bij de meting
is realistischer en voorziet in een beter begrip van de vele invloeden die
plaatsvinden in de werkelijkheid.
Het probleem dat ontstaat bij het meten van uitkomsten is dat het vaak gaat om
gedragsrelaties. Het is moeilijk om op de lange termijn gedragsveranderingen te
meten, die dus zouden voortkomen van het programma. Er moet dus een
middenweg gevonden worden: het tijdsframe moet voldoende zijn om alle
benefits vast te leggen, maar ook weer niet te lang, zodat aanpassingen van
programma’s of beslissingen over hun continuïteit binnen een redelijke tijd
gemaakt kunnen worden.
Het kiezen van de juiste manier van evalueren hangt af van de doelen van de
evaluatie. De beschikbare data dicteren hoe gedetailleerd de analyse kan zijn.
Kaufman en Watkins (1996) stellen voor om de cost-consequences analyse
(CCA) te gebruiken voor het bepalen van de maatschappelijke kosten en benefits
van programma’s. Return-on-investment (ROI) is weliswaar belangrijk, het is
echter vaak meer gedetailleerd dan gewenst, of mogelijk is om uit voeren door
besluitvormers. Zij hoeven slechts een grove relatie tussen kosten en
consequenties van de investering te begrijpen. Volgens hen is CCA een ‘coarsegrained’ (grove structuur??) schatting van wat men in het systeem stopt en wat
men eruit krijgt. De vraag is echter of ROI als deze wordt teruggebracht tot een
enkele metric (matrix?), nog steeds gedetailleerder is dan gewenst. Daarnaast
kan men zich afvragen, als de data blijkbaar niet beschikbaar is, waarom zou
ROI, of CBA dan verschillen van CCA. De auteur van dit artikel beweert dat CCA
niet verschillend is van CBA. Beide metrics doen een poging de ratio van inputs
naar uitkomsten te beoordelen. De uitkomsten worden gemeten op een
maatschappelijk level (binnen de limieten van de beschikbare data). Wat er
gemeten wordt is voor beide methode hetzelfde, het gaat er alleen om hoe het
gemeten wordt.
H. Puchan, M. Pieczka & J. L’Etang (1999)
Rethinking PR Evaluation
Het hoofddoel van dit artikel is bij te dragen aan het huidige debat over het
evalueren van public relations.
The development of evaluation research
Evaluatie leidt tot twee hoofdvoordelen: feedback en de documentatie van
effectiviteit. In de publieke sector is de verantwoordelijkheid van het management
voor de publieke gelden van primair belang, al kan het succes van sociale
programma’s niet alleen gemeten worden in termen van geld. Andere sociale en
politieke criteria benadrukken dat er een winstconcept is voor de maatschappij
als geheel. Daarom zijn er andere maten dan geld geïntroduceerd en verder
ontwikkeld.
De interesse in evaluatie is gestimuleerd door verscheidene belangrijke
maatschappelijke trends: toenemende interesse voor de consument (kan
producten maken en breken), de implementatie van een maat die de bestuurlijke
effectiviteit verbetert (nieuwe managementtechnieken) en de tendens van
professionalisatie in zowel de private als de publieke sector (sociale
voorzieningen).
Evaluation research and methodological debates
Met de vestiging van evaluatie als een academische discipline, begonnen
onderzoekers het evaluatieproces zelf te onderzoeken: waren evaluaties te
kostbaar en te laat? Gebruikten evaluatoren de juiste hulpmiddelen, methoden
en maten om de juiste antwoorden te vinden? Hierop volgde het
kwalitatief/kwantitatief debat in de jaren ‘70-’80. Uiteindelijk kwam men tot de
conclusie dat evaluatie de complexiteit van het geëvalueerde project in
beschouwing moet nemen, een programma en de omgeving. Een soort van
systeembenadering voor evaluatie moest ontwikkeld worden.
Evaluation as the ‘Holy Grail’
Praktijkmensen hebben de neiging meer geïnteresseerd te zijn in het idee van
het erkennen van specifieke evaluatiestrategieën voor public relations. Er is een
debat geweest over wat er in de PR geëvalueerd zou moeten worden, waarover
Pavlik zegt: ‘Pogingen de effectiviteit te meten van PR is bijna net zo moeilijk als
het vinden van de Holy Grail. Wat moeten we meten en hoe moeten we dat
meten?’
Evaluation: myth and practice?
Samenvattend kan het volgende gezegd worden. Allereerst hebben de PReducators voorstellen gedaan voor kwantitatieve wetenschappelijke
benaderingen voor evaluaties. Zij erkennen ook het feit dat evaluatie kan
plaatsvinden op verschillende levels van complexiteit van wat wordt geëvalueerd,
bijv. het vasthouden (retention) van boodschappen of sociale verandering. Ten
tweede gebruiken de PR-beoefenaars verschillende meettechnieken, al wordt
evaluatie nog niet routinematig in programma’s gebruikt en zijn de budgetten
hiervoor nog steeds heel klein. Als derde is evaluatie een discipline met
duidelijke links naar het meten van complexe sociale fenomenen en is dus net
als de sociale wetenschappen verwikkeld in een debat over methodologieen, nog
steeds in afwachting van een duidelijke uitkomst.
Het succes van evaluatie hangt af van het karakter van de doelen. Problemen
met evaluaties ervaren door PR zijn absoluut niet uniek. Het evalueren van
eenvoudige dingen, zoals programma-ouputs, of een houdingsverandering van
het publiek levert geen uitdaging meer op voor de beoefenaars. In andere
woorden, de micro level van evaluatie in ieder geval de theorie is behoorlijk
gevestigd. Wat overblijft is het probleem van evaluatie op macro level, het level
van diepere sociale impact. Terwijl wetenschappers wetenschappelijk onderzoek
aanbevelen, dat kan worden toegepast bij specifieke programma’s namens
klanten, meer pogingen zijn nodig om de impact van PR op sociale
veranderingen te evalueren.
Een ander onopgelost vraagstuk voor PR is het bedenken van maten die
communicatieactiviteiten in verband kunnen brengen met andere organisatieelementen. Ondanks het feit dat financiële maten nuttig zijn als ze mogelijk zijn,
het is fout om te denken dat geen andere maten de waarde van PR activiteiten
kunnen laten zien. (dus niet alleen uitgaan van media-inhouds-analyse).
Wanneer PR wordt belast met het managen van relaties en sociale
veranderingen, issues van macht, politiek en cultuur worden belangrijker, omdat
ze de relatie tussen de organisatie en het publiek diepgaand beïnvloeden. In
deze context zou onderzoek niet enkel gezien moeten worden als een instrument
gebruikt door de organisatie maar als een uiting van de identiteit van de
organisatie en een manier om relaties op te bouwen met het publiek.
Zie nog de conclusie, maakt het geheel iets duidelijker.
M.F. Vos (1992). The Corporate Image Concept. A strategic Approach.
Samenvatting artikel ‘methods of measurement’
The elements of corporate image research:
- How familiar is the public with the organization, products, policies etc
- Characteristics various publics attribute to the organization
- Degrees of positive and negative perceptions
Nelissen includes also behavioral aspects and opinions on communications
methods.
To summarize, the basic elements of corporate image measurement are:
- Familiarity with the organization
- Characteristics people atribute to it
- Value assesment
- Position in relation to other organizations
Gray gives the following items for an measurement of the corporate image,
based on the fortune survey ( komt ook in het vorige artikel naar voren):
- Quality of management
- Quality of products of services ( product image)
- Innovativeness
- Value as long-term investment
- Financiel soundness
- Ability to attract and keep talented people
- Community and environmental responsibility
- Use of corporate assets
Blauw includes here familiarity and value assessment.
The corporate image barometer: measures the general impression of a hundred
companies and how well known they are, as well as giving a detailed evaluation
of a maximum of 20 companies based on the following image aspects:
- Quality of management
- Profit
- Sense of social responsebility
- The company as employer
- Innovativeness
- Market orientation
- Relevance to the Dutch economy
- Future expectations with regard to the organization
- Quality of the products/ services
- Active dissemination of information about the company
Because this barometer focusses only on comparison, the information provided
on each company is limited. So this better could be seen as a supplement to
image research on a specific organization.
In comparative research, a general list is used with topics that apply to all
organizations:
- Specific problems that gave rise to the research
- Aspects that are very important for the continuity of the organization
- Aspects about which there is a high degree of uncertainty
- Aspects which provide evident opportunities for corporate image policy
Defining publics: it is very important to break the audience into two meaningful
subgroups, otherwise, valuable information for policy development will be lost, it
would fail to show a number of people who have negative opinions. Also can
different publics attache more value to different characteristics. So image
research involves carefully targeted populations.
Image reseacrch starts with an overview of publics of the organization involved.
Priority may be given to publics where problem areas have been observed,
publics that are important for the continuity of the organization, or publics that
show a potential for corporate image policy.
Corporate image reearch is often carried out in order to measure the effect of
public relation activities, so more frequent evaluation is to be recommended. In
that way, you can underpin your policy to it.
Methods
The article gives two kind of methods:
1. Qualitative research: social reality experienced by personal observation.
Exploratory and orientational. Normally used when researching the corporate
image( can be supplemented by quantitative) It is important for exploring the
problem.
2. Quantitative research: obtain data that can be used for statistical processing.
The aim is to test. Can provide more certainty about differences between
publics. It can offer a numerical underpinning.
Image Measurement System:the person questioned must choose the statements
he or she feels best represent the company, out of a series of positive and
negative statements. ( Maitland calls this a 'cafetaria technique‘)
Kotler and Fox opt for a two- step approach:
1. Familiarity and favourability: awareness and value assessment are each
measured with the use of a scale
2. The location of the organizations image along major relevant dimensions:
- Identifying the dimensions that people use to reflect the object
- Reducing the set of relevant dimensions
- Administring bipolar adjectives to a sample of a respondent
- Averaging the result
- Checking on the image variance, to see if the image is highly specific of
diffused
This approach makes it possible to compare the organization with competitors, to
discover differences between varying publics and to point out changes over a
period of time. ( het grafiekje dat hier bijhoort, blz 116, kon ik helaas niet
interpreteren. Ik snapte er niet zoveel van)
Perception and preference analysis
When researching product images, it is customary to analyse preference as well
as perception.
Perception analysis looks at the extent to which the respondents feel that certain
characteristics apply to the organization. The following measurement methods
are given ( Beijk en van Raay):
- The frequency with which a certain characteristic is attributed to a certain
object during an open interview
- Thought listing ( verbal reactions at a confrontation with the object)
- Grouping methods ( respondent places a large number of objects in clusters
and is asked for the relevance criteria)
- Kelly repertory grid ( asking which two out of three objects are the most
similar and why)
All the respondents have the freedom ( in all these methods) to express their
opinion in their own words. Dowling calls this type of method: non- attribute
based (Wierenga calls it decompositional, VErhallen calls it implicit). Simplespace MDS can be used here; multi-dimensional scaling techniques, in which a
minimum of 7 objects is used to determine the perception of respondents.
Objects that resemble each other closely in the eyes of the respondent, will be
close to each other in the multi-dimensional area. Zie figuur 15, hier worden
verschillende concurrerende merken in clusters geplaatst door de respondenten.
Attribute-based techniques are techniques in which respondents point out the
degree to which they regard the characteristics as actually applying to the object.
Non-attribute can be used for preliminary research, and non-atribute can be used
for subsequent research. Attribute-based scaling procedures ( compositional by
Wierenga and explicit by Verhallen). The relevant attributes are known in
advance by managerial research and exploratory methods. Verder snapte ik hier
vrij weinig van, sorry. Kijk maar even op blz 118/119.
Preference analysis looks at the importance attached by the respondents to the
various characteristics and their personal preferences per characteristic.
Differentiating between publics is of great importance here because preferences
differ more than percertions among publics. Respondents can be asked to list
comparable objects in order of preference. Op blz. 120 staan allemaal mooie
grafiekjes en tekeningetjes, hier mogen jullie zelf nog even naar kijken, want
helaas helaas, ik snapte er weer helemaal niks van. ( volgens mij zit dit er
globaal achter... respondenten moeten karakteristieken op voorkeur leggen. De
hoogste geliefde karakteristiek moet dan iets van een ideaal punt voorstellen, en
alles wat er nog dicht omheen zit is ook nog geliefd en alles wat verder weg zit
niet meer.
The corporate image measurement model
The model constructed by the author that incorporates all the elements that could
be of interest in a general measurement of the corporate image.
Primary impression
1. The primary impression that people have of the organization, based on free
association. Capture the first image or the most recent event that the
respondent calls to mind at the mention of the organizations name
Familiarity
2. The familiarity with the organization and its activities. Awareness of the
organization, knowledge of its products of services, people who form part of it
and policy aspects. It is necessary to know on what basis people have formed
an image
Perception
3. The characteristics which are spontaneously attributed to the organization
4. The extent to which the respondents feel that various relevant characteristics
are applicable
Preference
5. The preference people have for each characteristic and the relative weight of
the
characteristic for the respondent
Position
6. The position that is attributed to the organization in relation to other
organizations.
The measurement model serves to lay down essential elements on which policy
can be based. It is a target model. In important element of the model is peoples
primary impression of the organization.
Environmental monitoring
The results of environmental monitoring should also be incorporated into the
interpretation of corporate image research. It is the investigation of the social
surroundings with the purpose of observing any developments. Environmental
monitoring involves both observing developments ( scanning) and following them
( tracking). The purpose is to discern whether certain trends need closer
attention.
Baskin and Aronoff point the importance of boundary spanners, who act as doors
and windows of organizations. Also a form of monitoring is knowing the
community and tracking social developments.
Environmental forecasting
Forecasts are made to help identify problems of to help solve problems by
anticipating the consequences of alternative courses of action. It also involves
keeping track of demographic trends and lifestyles.
The Delphi-method is frequently used in research into future perspectives. This is
based on individual statements by experts which are compared and analysed for
agreement and contradiction. The questions presented to the expert may
concern the likelihood of a future event etc.. an essential element is here the
repeated approach. The experts are approached in a number of rounds. What
was said in the previous rounds is used as input for the following rounds. The
Delphi-method can provide a meaningful contribution to the analysis of very
diverse and complex policy problems. So environmental monitoring should also
be involved when interpreting results relating to corporate image.
Measuring Online Service Quality
Dave Chaffey and Mary Williams Edgar
Introductie
Het gebruik van digitale media is op dit moment een hele belangrijke methode
voor het bezorgen van diensten aan klanten.
Door stijgende online transacties en dalende prijzen als gevolg van de ‘price
transparency’ tussen websites, is het kwaliteitsniveau van de dienstverlening de
belangrijkste ‘differentiator’ voor online diensten.
In het paper worden de factoren geëvalueerd, die relevant zijn voor het
beoordelen van verschillende niveau’s van ‘online service quality’. Het is de
bedoeling om door middel van deze evaluatie de ‘online service quality’ te
bekijken voor de marketing van zowel tastbare producten (bijv. boeken, bureau
benodigdheden) als ontastbare producten (bijv. financiële- of reisdiensten) en
daarbij te ontdekken dat het aanbod van ieder product gepaard gaat met zowel
tastbare als ontastbare elementen.
Bestaande ‘service quality’ frameworks
De bestaande frameworks voor het beoordelen van het kwaliteitsniveau van online
diensten zijn gebaseerd op het concept van een ‘service-quality kloof’ tussen het serviceniveau van wat de klant verwacht (door eerdere ervaringen en mond-op-mond reclame)
en de waarneming van de klant van het actuele niveau van de service.
De dimensies van ‘service quality’, gesuggereerd door Parasuraman et al., waarmee
klanten de verwachte en waargenomen ‘service quality’ beoordelen zijn (volgens het
SERVQUAL instrument) de volgende:
- tastbaarheden: de fysieke- en visuele aanwezigheid van faciliteiten
- betrouwbaarheid: het vermogen om de dienst consistent en accuraat te kunnen
leveren
- ontvankelijkheid: het willen helpen van klanten en voorzien in ‘prompt’ service
- garantie: de kennis en beleefdheid van werknemers en hun vermogen om
vertrouwen uit te drukken
- mee voelen met: het geven van zorgzame, individuele aandacht.
‘Service quality’ staat in relatie met klanttevredenheid.
Verschillen in communicatie technieken vereist bij digitale media
Het verschil tussen digitale communicatie media en andere kanalen, moet beschouwd
worden met de identificatie van de determinanten van ‘online service quality’.
Een belangrijk verschil is de toegenomen mogelijkheid van interactie met de klant. Het is
veel meer ‘bi-directional one-to-one communication’ (tussen bedrijf en klant) dan de
traditionele ‘one-to-many’ communicatie (van bedrijf naar klanten) zoals het geval is bij
massa-communicatie.
Een ander kenmerk van digitale media is dat de interactie niet persé alleen tussen klant en
bedrijf is, alhoewel dit over het algemeen wel de vorm van communicatie is die het meest
gewaardeerd wordt. Het medium biedt de mogelijkheid tot ‘many-to-many’
communicatie.
Figuur 1 (pagina 365 reader) vat de voornaamste methoden van interactieve digitale
communicatie samen.
De eerste belangrijke methode is verzoek om informatie op webpagina’s door de klant als
hij klikt op een hyperlink en het bezorgen van informatie door de webserver.
De tweede belangrijke methode is het gebruik van e-mail die zowel inbound (klant naar
bedrijf) als outbound (bedrijf naar klant) inhoudt.
Integratie tussen traditionele en digitale media
Naast de methoden van interactieve digitale media, laat figuur 1 ook zien dat online
service quality niet kan worden beoordeeld zonder gebruik van andere media; de ervaring
van de klant zal afhangen van een combinatie van traditionele communicatie (zoals
telefoon/post) en digitale communicatie. Bovendien zullen klanten voor verschillende
aspecten van hun contact met het bedrijf, de voorkeur geven aan verschillende
communicatiekanalen. In figuur 2 (pagina 367) wordt het ‘switchen’ door de klant, tussen
online media en traditionele media bij het eventueel kopen van een product weergegeven.
Om een goed service niveau te kunnen leveren als bedrijf zijnde, is het niet alleen van
belang om zowel een goede service te bieden via de traditionele en digitale kanalen, maar
er moet ook een mogelijkheid geboden worden waarin de klant makkelijk kan ‘switchen’
van het ene kanaal naar het andere (zoals bijv. een ‘call-back’ mogelijkheid op de
website).
Samenvattend: om een goed niveau van online klantenservice te bereiken, is een goede
ondersteuning van de ‘voorkeurs’communicatiekanalen van de klant belangrijk.
Determinanten van online service quality
Identificatie van factoren die online service quality bepalen, kan bereikt worden door het
bekijken van een bestaand, veelomvattend framework van factoren, die de waarneming
van service quality beïnvloeden. Tabel 1 (pagina 368/369) laat de waarnemingselementen
van de klant zien en de evaluatie van hoe deze elementen gerelateerd kunnen worden aan
de beschikbare mogelijkheden in de aanwezigheid van een website en e-mail
communicatie.
De evaluatie die in tabel 1 is samengevat, laat de volgende belangrijke kenmerken van
online service quality voor de dimensies van SERVQUAL, zien:
- tastbaarheden
- betrouwbaarheid
- ontvankelijkheid
- garantie
- mee voelen met
Belangrijke verschillen in de toepassing van SERVQUAL in de online context zijn dat:
- SERVQUAL benadrukt de kennis en begrip van de werknemers, maar
toegankelijke en relevante informatie op een website, bepaald ook het online
service niveau
- Geschikte infrastructuur en website design om te voorzien in beschikbaarheid en
ontvankelijkheid van informatie-aanvragen (door de klant) worden belangrijk
-
Geschikte software bij het ondersteunen van de klantenservice wordt belangrijk
bij de bemiddeling tussen klant en bedrijf en de informatie op de website
Figuur 3 (pagina 371) laat de verschillende attributen van informatiekwaliteit zien,
waarmee geconstateerd moet worden of de inhoud van de informatie tegemoet komt aan
de behoeften van de klant.
Dan komt er een hoofdstukje met een onderzoek waarin de toepasbaarheid van de
dimensies van de SERVQUAL wordt geïllustreerd op de service quality van e-mail
respons.
Van 361 bedrijven werden website adressen geselecteerd. De onderzoekers wilden naar
deze bedrijven via e-mail, drie vragen sturen. De vragen waren gericht vanuit het oogpunt
van de klant. Hierbij werd rekening gehouden met de producten of diensten die de
individuele organisatie bood.
In het kort de resultaten:
Tastbaarheden: niet van toepassing
Betrouwbaarheid: afhankelijk van de beschikbaarheid van e-mail. Van de 361
geselecteerde websites, waren er 331 toegankelijk op het moment van het onderzoek. Van
deze 331 websites, hadden er 299 de mogelijkheid tot e-mail contact. Er werden mails
gestuurd naar deze 299 bedrijven, 9 mails waren ‘undeliverable’. Dus op het moment van
het onderzoek, was service beschikbaarheid zeker niet universeel.
Ontvankelijkheid: Van de 290 succesvolle gestuurde mails, reageerde 62% binnen 28
dagen. Een derde van de bedrijven reageerde niet.
Garantie: moet beschouwd worden als de kwaliteit van het antwoord. Van de 180
antwoorden, bestond 91% uit persoonlijke antwoorden en 9% uit automatische
antwoorden, die geen antwoord gaven op de individuele vragen.
Mee voelen met: 91% van de vragen was persoonlijk beantwoord, waarvan 29%
doorgegeven was binnen de organisatie. Van deze 53, werden 23 nieuwe antwoorden
gegeven binnen 28 dagen. 30 van de doorgegeven vragen, kreeg verder nooit meer een
antwoord.
Toepassing van SERVQUAL instrument dimensies op website karakteristieken
Ook weer een onderzoek met het SERVQUAL instrument, maar nu op websites (wat
betreft inhoud, snelheid van downloaden, up-to-date zijn, enz. Als je het wilt lezen:
begint op pagina 372.
In tabel 2 op pagina 375 staat een soort samenvatting van de onderzoeken.
De samenvatting moet je eigenlijk gewoon maar even doorlezen, staat op pagina 376. Zo
lastig om van een samenvatting weer een samenvatting te schrijven.
B.J. De Santo (2000). Getting to Know You: Psychographics’Place in Public Relations
Research.
Abstract
In dit artikel wordt de bijdrage van psychographics aan public relations
behandeld. Als het op de juiste manier onderzocht wordt kan psychographics
informatie over gedragingen en attitudes toevoegen aan de traditionele
demografische categorieën.
Introduction
Diversiteit is het meest significante aspect van het massa publiek. Door snelle
veranderingen zijn er een aantal dingen waar onderzoekers goed op moeten
letten:
- ze moeten onderzoek uitvoeren dat betrouwbaar en valide informatie van de
juiste groepen naar boven brengt
- ze kunnen vaak niet met een enkele onderzoeksmethode af om het complete
beeld van de situatie en het publiek weer te geven.
From demographics to psychographics
Marketeers en adverteerders zijn de eerste mensen geweest die consistent
informatie verzamelde over hun publiek (de doelgroep), omdat zij geloofden dat
eerder vertoond gedrag een goede voorspeller was van later gedrag. Met
onderzoek werd de motivatie van consumenten en de waarden van hun
demografische kenmerken (man/ vrouw, opleiding etc.) gekoppeld met het te
voorspellen gedrag. Er werden verschillende methoden hiervoor ontwikkeld. De
methode VALS 2 wordt behandeld. Het doel van deze methode is om de
persoonlijke dimensie te koppelen aan het te voorspellen gedrag. Er was dan wel
geen zekerheid over de wetenschappelijke validiteit en betrouwbaarheid van
deze methode, maar de grootste bijdrage van de methode is wel dat er een soort
richtlijn in de vorm van ‘het gezicht van het publiek’ uit de gegevens kwam, waar
de marketeers en adverteerders zich op konden richten.
Een andere methode die genoemd wordt is PRIZM, een zogenaamd
geodemografisch systeem dat de gebieden zoekt waarin inwoners van een
bepaalde specifieke psychografische categorie leven. Bepaalde levensstijlgroepen worden zo gecategoriseerd. Kritiek op deze methode is dat
psychografische systemen te algemeen zijn. Maar de informatie die door de
groepen naar boven komt is wel erg waardevol omdat deze direct van de
respondenten zelf afkomstig is. Misschien wel de grootste waarde van de
methode is dat het het verschil tussen waarheid en data belicht. Andere punten
van kritiek op de psychografische onderzoeksmethode is dat men niet weet of
mensen in de toekomst hetzelfde zullen doen als wat ze in het verleden hebben
gedaan. Verder kan de informatie die door de respondenten gegeven wordt op
geen enkele manier getest worden op de betrouwbaarheid en validiteit bij een
buitenstaande bron. Tot slot zijn er te veel oncontroleerbare factoren die in de
weg kunnen staan bij het te voorspellen gedrag. Ondanks deze kritiek heeft
psychografisch onderzoek wel bijgedragen aan het gegeven dat de informatie
over doelgroepen in de (globale) markt nog steeds gewenst is.
Applying psychographics to public relations practice
Terwijl marketeers en adverteerders de psychografische aanpak gebruiken om
klantenprofielen te ontdekken en daaruit groepsprofielen te vormen, gebruiken
communicatiedeskundigen de sociologische aanpak, om de publieke opinie van
groepen naar voren te halen.
Attitude en gedragsveranderingen zijn de traditionele doelen geweest in PR
programma’s.
Om informatie naar boven te krijgen over attitudes en waarden, zijn door PR
mensen vele methoden gebruikt, zoals de Likert schaal, focus groups etc. Vaak
waren de resultaten geclusterd (zie vorige artikel). Traditionele demografische
factoren zoals leeftijd, opleiding en inkomen spelen een kleinere rol bij de ‘op
keuze gebaseerde’ maatschappij van tegenwoordig. Omdat psychografie kijkt
naar de levensstijl en de omgeving waarin mensen leven en werken, en de
belangrijkste waarden die mensen er op na houden, kan het waardevolle
informatie geven over vroeger gedrag, prioriteiten van het publiek, veranderingen
binnen het publiek en elementen die hieraan bijdragen. Daarom is het van groot
belang dat de attitude van het publiek in kaart gebracht wordt. Door het creëren
van groepsprofielen kan een strategisch plan gevormd worden.
Vervolgens worden er een aantal case studies beschreven (niet echt van
belang).
Implications for public relations practice
Crisis situaties kunnen voorkomen worden als men weet wat belangrijk wordt
gevonden door verschillend publiek. Door attitudes en motivaties met behulp van
psychografie naar voren te halen, kan een boodschap effectief bij de juiste
doelgroep overkomen (bij de juiste mensen, via het juiste kanaal, op de juiste
tijd…). Misschien wel de grootste bijdrage van psychografie is dat eerst
begrepen wordt hoe individuen denken en daarna meerdere mensen die net zo
denken erbij gezocht worden.