Inhoudsanalyse van leermiddelen

3.d.8. ANALYSE EN BEOORDELING VAN LEERMIDDELEN
Terug
Inleiding
Onderzoek naar schoolboeken en andere leermiddelen komt voor in een aantal varianten:
- analyse van de inhoud en opzet;
- beoordeling op een aantal kenmerken;
- onderzoek ten behoeve van de ontwikkeling;
- onderzoek naar het gebruik;
- onderzoek naar de leereffecten (van het gebruik).
In deze paragraaf komen de eerste twee varianten aan bod. Zie voor de laatste drie varianten onder
2.b.4. op deze site.
Inhoudsanalyse en beoordeling (de beide eerste varianten) kan men tot op zekere hoogte zien als twee
alternatieve manieren om zicht te krijgen op kenmerken van leermiddelen. Voor een aantal relevante
kenmerken geldt dat ze zowel via inhoudsanalyse als via beoordeling kunnen worden onderzocht. De
keus hiertussen kan men dan mede laten afhangen van het beschikbare budget (inhoudsanalyse is in
veel gevallen tijdsintensiever en dus duurder).
Voor sommige kenmerken geldt echter, dat ze het beste op de ene of juist op de andere manier kunnen
worden onderzocht.
Inhoudsanalyse van leermiddelen
Inhoudsanalyse is een algemenere methode (zie daarvoor 3.d.7).
Een inhoudsanalyse van leermiddelen kan zich richten op diverse aspecten. We noemen hier:
- de leerstofinhoud; relevante vragen hierbij zijn bijvoorbeeld:
- welke selectie is gemaakt?
- sluit de inhoud aan op wat over het vak resp. onderwerp bekend is? is het gestelde feitelijk juist?;
komt in de inhoud een bepaalde structuur tot uiting en sluit deze aan bij een bepaalde bekende en
als adequaat en bruikbaar geaccepteerde kennisstructuur?
- sluit de inhoud aan op vastgelegde doelen van het onderwijs (bijv. kerndoelen of eindexamenprogramma's)? is de inhoud voldoende dekkend, is de verdeling evenwichtig?
- de didactische aspecten; vragen zijn bijvoorbeeld:
- welke didactische uitgangspunten zijn in de samenstelling van het leermiddel verwerkt?
- sluiten de didactische kenmerken aan bij hetgeen bekend is over condities voor effectief leren,
zelfstandig leren, authentiek leren?
- zullen deze aspecten voor leraren voldoende acceptabel en hanteerbaar zijn?
- de afstemming tussen de componenten van het leermiddel; bijvoorbeeld: de functionaliteit van de
illustraties, de aansluiting tussen tekst en opdrachten, etc.
- de (eventuele) 'verborgen' waarden en normen; vragen zijn bijvoorbeeld: in hoeverre komen in de
formuleringen, voorbeelden, illustraties, etc. eventuele vooroordelen tot uiting over bepaalde
groepen in de samenleving? in hoeverre sluit een en ander voornamelijk aan bij bepaalde waarden
en normen?
- de leesbaarheid (hiervoor zijn indices ontwikkeld, mede op basis van linguistisch onderzoek).
1
Bij inhoudsanalyse van leermiddelen doen zich enkele methodische en praktische problemen voor,
waaronder de volgende:
- de omvang van de te analyseren materialen is vaak groot (per schoolvak worden per leerjaar een of
meer boeken gebruikt, terwijl voor elk vak door een aantal educatieve uitgeverijen dergelijke
reeksen op de markt zijn gebracht); daardoor is het meestal nodig om eerst een steekproef te
trekken, hetgeen op verschillende manieren kan gebeuren;
- de analyse kan zich richten op het geheel of bepaalde delen of hoofdstukken van het materiaal en/of
bepaalde aspecten en/of bepaalde onderwerpen of thema's (dwars door de delen heen);
- de analyse kan al dan niet vergelijkend zijn (tussen diverse leermiddelen, bijvoorbeeld schoolboeken van verschillende uitgeverijen voor hetzelfde vak en schooltype en leerjaar).
Van de bovengenoemde te analyseren aspecten kunnen met name de didactische aspecten behalve via
inhoudsanalyse ook worden onderzocht via beoordeling.
Andere aspecten zullen bij voorkeur worden onderzocht via beoordeling, zoals de 'aantrekkelijkheid'
van het materiaal voor leraren resp. leerlingen.
Een specifiek aspect betreft de te verwachten 'levensduur': hoe lang zal het leermiddel meegaan?
Hieraan zit enerzijds een technische kant: hoe stevig is het materiaal, en hoe en hoe vaak en intensief
zal het worden gebruikt? Daarnaast is ook sprake van een te verwachten levensduur in relatie tot
ontwikkelingen in het onderwijsbeleid, de samenleving, de kennisbasis van het betreffende schoolvak,
en dergelijke: hoe snel zal het materiaal zijn verouderd, achterhaald? Ook dergelijke vragen kunnen
slechts worden beantwoord via beoordeling.
Beoordeling van leermiddelen
We maken hier onderscheid tussen beoordeling van leermiddelen op de te verwachten effectiviteit, en
beoordeling op factoren die het kiezen en in gebruik nemen van leermiddelen bevorderen.
Beoordeling op te verwachten effectiviteit
Zoals gezegd lenen met name de didactische aspecten van leermiddelen zich (ook) voor onderzoek
door middel van beoordeling. De voornaamste insteek is daarbij uiteraard in hoeverre kan worden
voorspeld dat gebruikers van het leermiddel ervan zullen leren. Uitspraken daarover kunnen worden
gebaseerd op hetgeen bekend is uit onderzoek en theorievorming over de effectiviteit van didactische
aanpakken en typen leeractiviteiten.
Volgens huidige inzichten in leerpsychologie en didactiek is het onder meer belangrijk om
leerinhouden gestructureerd aan te bieden, aan te sluiten bij de reeds bij de lerenden aanwezige kennis,
te werken vanuit realistische situaties (ook wel 'contexten' genoemd), leerlingen te activeren tot
zelfstandig leren, en regelmatig feedback te geven. Concreet betekent dit onder andere dat voldoende
vaak moet worden gewerkt met verduidelijkende schema's, dat leerlingen problemen moeten oplossen
en vaardigheden moeten kunnen oefenen, dat is voorzien in mogelijkheden tot toetsing, en dergelijke.
Een en ander stelt eisen aan het lesmateriaal dat wordt gebruikt, en natuurlijk ook aan de leraar.
Educatieve producten kunnen naast lesmateriaal voor de leerlingen ook een handleiding voor de leraar
betreffen. Voorzover leraren op hun beurt moeten leren om bepaalde lessen te geven of activiteiten te
organiseren, zal een handleiding voor een deel aan soortgelijke eisen moeten voldoen als hierboven
voor lesmateriaal genoemd. In een handleiding kunnen aanwijzingen worden gegeven voor het
gebruik van het leerlingmateriaal, voor de organisatie van lessen en buitenlesactiviteiten, en
dergelijke. Ook kunnen de keuzes die bij de ontwikkeling van het materiaal zijn gemaakt worden
verantwoord.
Gezien de trend om lerenden in toenemende mate zelf de regie te geven over hun eigen leerproces, ligt
het voor de hand te overwegen in hoeverre de leraar nog over meer informatie moet beschikken (via
een handleiding) dan de leerlingen. Een verantwoording van de keuze van inhouden en van de opbouw
2
van studiemateriaal, bijvoorbeeld, kan ook in leerlingmateriaal functioneel zijn. Schriftelijk materiaal
kan ook zijn bedoeld om zelfstandig door te nemen. Zulk studiemateriaal zal deels aan andere of
aanvullende eisen moeten voldoen dan materiaal dat wordt gebruikt onder begeleiding van een leraar
(of cursusleider, etc.). Het materiaal moet dan zeer eenduidig en in principe volledig zijn, in de
aanwijzingen die worden gegeven, de hulp bij eventuele problemen, de oplossingen (antwoorden) bij
de aangeboden problemen, opdrachten en vragen, en dergelijke.
De 'toepassing' van de bovengenoemde inzichten op de kenmerken waaraan educatieve materialen
zouden moeten voldoen, is niet heel direct. Aanbevelingen zijn altijd voor een deel ook gebaseerd op
traditie en praktijkervaring.
De aanbevelingen die kunnen worden gedaan, hebben grotendeels de vorm van een lijst van
onderdelen die idealiter zouden moeten voorkomen. De beoordeling of evaluatie van een product
bestaat dan uit het (laten) beoordelen of en in hoeverre deze onderdelen voorkomen (in voldoende
mate, van voldoende kwaliteit, adequaat op elkaar afgestemd, etc.).
Educatieve producten kunnen veel vormen aannemen: schriftelijke leermiddelen, audiovisuele
producten (dia's, film, video), leskisten, hulpmiddelen (voor bijv. veldwerk), educatieve software,
schriftelijke producten die geen lesmateriaal zijn (zoals een routebeschrijving) etc.
We beperken ons hier tot de meest voorkomende vorm, die van schriftelijke leermiddelen.
De volgende kenmerken van schriftelijke educatieve producten lijken bevorderlijk voor het realiseren
van een verantwoorde didactiek en voor het bereiken van de beoogde leerresultaten (zie o.a. Pilot,
Van Hout-Wolters, Kramers-Pals, 1992; Elen, Lowyck. Van den Branden, 1991; Reints, Akkermans,
Van der Ploeg, Tuyp, 1988; Boekenoogen, Eberg, Stokking, 1992):
- een motiverende opening
- een of meer expliciete doelstellingen
- een opsomming en uitleg van gebruikte (specifieke) begrippen
- een inleiding, ter oriëntatie
- een inbedding in een of meer relevante 'contexten', resp. bij lerenden bekende situaties
- een koppeling aan (verwijzing naar) andere, resp. reeds eerder geleerde kennis
- een uitleg van de opbouw
- argumenten voor gemaakte keuzen (ook in termen van relevantie)
- suggesties voor de wijze van bestudering (zeker bij zelfstudiemateriaal)
- indicaties voor de benodigde tijd, eventuele prioriteiten, te gebruiken middelen
- een duidelijke presentatie van de 'stof' (informatieve tekst)
- schema's (overzichten; grafische weergaven)
- voorbeelden (casus)
- opdrachten, voor verschillende stadia van het leerproces: oefening, verrijking, herhaling, e.a.
- suggesties voor verdere studie of oefening (verwijzingen naar literatuur, e.d.)
- mogelijkheden tot het krijgen/bieden van feedback en hulp
- een of meer vormen van toetsing resp. afsluiting
- een bijlage met oplossingen/antwoorden (zeker bij zelfstudie)
- zo mogelijk aanwijzingen voor analyse van gemaakte fouten (zeker bij zelfstudiemateriaal)
- een samenvatting
- een functioneel gebruik van illustraties
- een duidelijke en aantrekkelijke lay-out, met adequate markeringen, e.d.
Beoordeling op factoren die het kiezen en in gebruik nemen van leermiddelen bevorderen
Uit een aantal onderzoeken en publicaties is bekend welke kenmerken van educatieve producten
bevorderlijk zijn voor de adoptie en (getrouwe) implementatie ervan (zie: Fullan, 1982; Van den
Akker, 1988; Schermer, 1991; Lagerweij & Haak, 1994). We beschrijven eerst de productkenmerken
die bevorderlijk zijn voor de adoptie, dus de acceptatie of aanvaarding van het product.
3
Adoptiebevorderende kenmerken
1 Bekendheid met het product
Een minimale voorwaarde is uiteraard dat men op de hoogte is van het bestaan van het product. Wil
een product geadopteerd worden, dan moeten de gebruikers (bijvoorbeeld leraren) niet alleen op de
hoogte zijn van het bestaan ervan, maar ook van de wenselijkheid of zelfs de noodzaak om het te
gaan gebruiken of om het op z'n minst aan te schaffen (en dus beschikbaar te hebben). Dit kan
worden bevorderd door bekendheid te geven aan het product door middel van publikaties in
bijvoorbeeld tijdschriften, door daarbij de relevantie duidelijk te maken, en door in het product zelf
informatie over die relevantie op te nemen.
2 Praktische bruikbaarheid (zoals waargenomen)
De kans dat een product wordt geadopteerd is groter wanneer het product aansluit bij de situatie en
bij de behoeften en wensen van de gebruikers. De kwaliteit moet dus om te beginnen worden
gezocht in de bruikbaarheid, en niet zozeer in het aan de orde stellen van allerlei nieuwe aspecten
(bijvoorbeeld een nieuwe didactiek) die volgens de ontwikkelaars van het product wenselijk zijn.
Naarmate in het product meerdere (complexe) vernieuwingen zijn opgenomen, zullen de
betrokkenen deze veranderingen minder snel adopteren.
3 Relatief voordeel
Dit kenmerk sluit aan bij het voorgaande. Een verandering die voor de gebruiker een relatief
voordeel kan opleveren, zal eerder worden geadopteerd dan een verandering die dat niet of minder
doet. Voorbeelden zijn: beter gemotiveerde leerlingen, minder benodigde voorbereidingstijd, meer
arbeidsvreugde voor leerkrachten.
4 Overeenstemming met bestaande kennis, opvattingen, gedragingen, mogelijkheden
Een verandering die overeenstemt met de eigen situatie, opvattingen en werkwijzen van
betrokkenen (bijvoorbeeld over een wenselijke didactische aanpak) heeft een grotere kans om te
worden geadopteerd.
5 Duidelijkheid van de inhoud
Het is gebruikelijk vernieuwingen te propageren onder fraai klinkende begrippen (bijvoorbeeld
zelfwerkzaamheid, modularisering, etc.). De wijze waarop aan dit soort termen op de werkvloer
inhoud kan worden gegeven, is vaak nog allerminst duidelijk. Voor een juiste voorstelling van wat
de gebruiker te wachten staat, is een zo concreet mogelijke beschrijving een belangrijke steun.
6 Beproefbaarheid
Wanneer het mogelijk is een bepaald product eerst uit te proberen, liefst in onderdelen, zodat men
kan blijven overzien wat er gebeurt, zullen betrokkenen het eerder adopteren.
7 Waarneembaarheid van resultaten
Een product waarvan de resultaten direct waarneembaar zijn, zal eerder worden geadopteerd. (Dit
hangt uiteraard samen met de aard van de doelstellingen die worden nagestreefd).
De hierboven genoemde kenmerken zijn enigszins theoretisch geformuleerd. In de praktijk blijken de
kenmerken echter wel degelijk een rol te spelen. Dit is niet alleen het geval bij zogenoemde
additionele materialen, maar bijvoorbeeld ook bij de keuze van een nieuwe methode (schoolboeken
van een educatieve uitgever). Uit onderzoek blijkt (zie Leenders, Stokking en Van der Vegt, 1993), dat
leraren daarbij de volgende criteria hanteren:
- beschikbaarheid, prijs, levertijd (vergelijk bovengenoemd kenmerk 1);
- vormgeving, niveau (leerjaar), mogelijkheden voor differentiatie en zelfstandig werken (3, 4);
- de keuze van de leerstof, de actualiteit, opbouw, doelstellingen (4 en 5);
- de gehanteerde didactische uitgangspunten, de aanwezigheid van oefenstof, de mogelijkheden voor
verwerking en voor toetsing (2, 3, 4 en 7);
- de aansluiting bij de interesse en het niveau van de leerlingen, bij andere leerjaren en vakken en bij
exameneisen (hier letten vooral leraren in het voortgezet onderwijs op) (2, 3 en 4).
4
Implementatiebevorderende kenmerken
1 Behoefte en relevantie
Dit sluit aan bij wat reeds is genoemd bij de adoptie van een product. Het betreft de mate waarin het
product tegemoet komt aan daadwerkelijke behoeften bij gebruikers. Dit kenmerk is dus ook
bevorderlijk voor de implementatie. Daarbij gaat het vooral om de relevantie zoals in de praktijk
wordt ervaren.
2 Helderheid
In het product moet duidelijk worden gemaakt waar het nu precies over gaat. Wat zijn de doelen,
wat zijn de essentiële kenmerken, wat wordt er nu precies verwacht van de gebruikers? Naarmate
deze aspecten helderder worden, is de kans op implementatie groter.
3 Moeilijkheid
Ook de eisen die een product stelt, zijn van invloed op de implementatie. Hoeveel componenten
(bijvoorbeeld werkvormen en organisatie) van de dagelijkse praktijk (van bijvoorbeeld
leerkrachten) worden door het product beïnvloed, en hoe sterk wijken deze af van de bestaande
praktijk? Hoe moeilijk is het om de noodzakelijke veranderingen te leren toepassen? In welke mate
krijgt de gebruiker concrete handelingsaanwijzingen aangereikt om nieuwe taken aan te vatten en
problemen het hoofd te bieden?
4 Praktische bruikbaarheid
Deze factor kwam ook aan de orde bij de adoptie van materiaal. Bij de adoptie gaat het er vooral
om of materiaal bruikbaar lijkt. Tijdens de implementatie gaat het er om of het materiaal ook
werkelijk bruikbaar blijkt. Daarom moet een product door de ontwikkelaar eigenlijk eerst worden
uitgeprobeerd. Bij het uitproberen van een product kan worden achterhaald aan welke eisen het
moet voldoen om praktisch bruikbaar te zijn. Deze vraag moet vanuit het perspectief van de
gebruiker worden bekeken. Bijvoorbeeld: wanneer een belangrijke doelstelling is dat leerlingen
discussies gaan voeren en de leerkracht moeite heeft met het op gang brengen en het leiden van een
discussie, zouden daarvoor concrete richtlijnen (bijv. voorbeeldvragen) in het materiaal kunnen
worden opgenomen.
Beide groepen kenmerken
Tot zover de kenmerken die bijdragen aan de adoptie en implementatie van producten. De kenmerken
zoals besproken zijn enigszins algemeen gesteld. Het kan van product tot product verschillen wat nu
precies leidt tot 'duidelijkheid', 'bruikbaarheid', etc. Het gaat er in feite vooral om dat het product in de
ogen van de doelgroep deze kenmerken heeft (het zijn vooral zgn. 'toegeschreven' kenmerken).
Soms wordt ook de 'kwaliteit' van een product als apart kenmerk onderscheiden. De term 'kwaliteit' is
echter eerder een overkoepelende uitdrukking voor de waarde die iets heeft. Een 'kwalitatief goed'
product voldoet aan zoveel mogelijk van de bovenstaande kenmerken.
Met het begrip 'kwaliteit' van een educatief product wordt ook regelmatig bedoeld dat met het product
(dus: door het product te gebruiken) de beoogde leerdoelen kunnen worden bereikt. Het is dan
duidelijker om te spreken van 'effectiviteit'. Deze kan op basis van het materiaal worden ingeschat (zie
hiervoor, bij 'beoordeling op te verwachten effectiviteit'). Uiteindelijk echter 'moet kwaliteit blijken',
en is voor de vaststelling daarvan onderzoek nodig (en wel evaluatie-onderzoek).
Beoordeling van courseware
In toenemende mate worden ook computerprogramma's als leermiddel ingezet. Het beoordelen
daarvan brengt een aantal specifieke aspecten met zich mee. Bij Onderwijskunde in Utrecht is
daarvoor een analyse-instrument ontwikkeld, zie Kanselaar en De Tombe (1991).
5