2016. Comit. Een onderzoek dat de Toets kan doorstaan Blz 1

2016. Comit.
Een onderzoek dat de Toets kan doorstaan
Blz 1
MANAGEMENT SAMENVATTING & COLUMN
Begin 2016 kregen wij de opdracht van Comit om onderzoek te doen naar de technische voorzieningen voor veilig
toetsen. We begonnen met desktopresearch of beter gezegd, we voerden Google wat keywords, en al snel stuitten
we op Sugatra Mitra, bekend va The Hole in the Wall, met Ted Talks die tientallen miljoenen bekeken waren.
Stel, vertelde Sugatra, dat ik een student ben en een toets moet doen: begrijpend lezen in het Engels. En stel dat
hulpmiddelen niet zijn toegestaan. Dan moet ik het doen zonder bril en zou het resultaat van de toets zijn: Sugatra
Mitra kan geen Engels lezen. Gezakt! Echter, als ik gebruik had kunnen maken van hulpmiddelen (een bril, een
smartphone) dan had ik wellicht de toets kunnen maken in het Japans. Zijn argument: mensen, en studenten zijn ook
mensen, zijn meer en meer versmolten met hun smartphone (en internettoegang). Hun capaciteiten worden meer
en meer bepaald door die samensmelting dus waarom mogen ze die hulpmiddelen niet gebruiken tijdens een toets?
Moet je niet juist toetsen wat ze kunnen samen met hun hulpmiddelenL?
Klinkt goed, dachten wij. Eens! Ook omdat we dan lekker snel klaar waren met ons onderzoek. Je hoeft je dan
namelijk niet meer druk te maken over de beveiliging van de toetsafname. Geen toetszalen, policies, beveiligde PC’s
of toets software die onderworpen wordt aan ethical hacks. Gewoon capaciteiten toetsen met de hulpmiddelen
waarmee studenten versmolten zijn.
Tijdens de interviews in de instellingen hoorden we regelmatig hetzelfde sentiment. Sugatra Mitra heeft gelijk.
Eigenlijk moeten we stoppen met beveiligde, summatieve toetsen! Maar nu kan dat nog niet. De praktijk die we
aantroffen was dan ook heel anders. Instellingen waren druk bezig met aanbestedingen, opschaling of implementatie
van toets software. Ze waren plannen aan het maken voor de opschaling van toetscapaciteiten. Er waren problemen
met de technische voorzieningen. We vonden overal documenten van Surf(net) en andere partijen over digitaal,
veilig toetsen. We zagen overal experimenten en oplossingen voor de technische voorzieningen. Mmm, dachten wij,
dat wordt toch meer werk dan we dachten.
We ontdekten al snel dat de meeste instellingen véél beveiligde, summatieve toetsen afnemen maar dat slechts 1020% daarvan digitaal plaats vindt. Ook hoorden we de verwachting dat meer en meer beveiligde toetsen digitaal
plaats gaan vinden, zeker omdat er voordelen zijn in termen van efficiency en kwaliteit. Én we hoorden zorgen over
de schaalbaarheid, veiligheid, kosten en beschikbaarheid van de onderliggende technische voorzieningen, die wij al
snel de Veilige Toets Infrastructuur begonnen te noemen. De VTI®.
Ons oorspronkelijke doel was om een consumentenbondachtige vergelijking te maken van de verschillende VTI’s.
Onmogelijk, ontdekten wij. Er waren teveel verschillende oplossingen en inrichtingen waren steeds anders. Daarom
hebben we de verschillende VTI’s in 4 clusters verdeeld. Op die manier was het wél mogelijk om de voor,- en nadelen
beter in kaart te brengen.
Die informatie gaf ons inzicht in de mogelijkheden en onmogelijkheden van de verschillende VTI’s en hielp ons om
een aantal adviezen te formuleren voor de instellingen. Zo adviseren wij om een onderscheid te maken tussen
verschillende vormen van toetsen. Toetsen in productivity software (autocad, etc..) kunnen beter anders
gefaciliteerd worden dan toetsen in online toets software (zoals QMP). Dit onderscheid geeft ruimte om te
experimenteren met nieuwe oplossingen. Er zijn een aantal oplossingen die het potentieel hebben om op een
schaalbare, flexibele manier een goedkope, robuuste en veilige VTI te bieden.
Dit onderzoek biedt u (1) inzicht in allerlei publicaties rondom toetsen, (2) inzicht in VTI’s die nu gebruikt worden
met hun voor,- en nadelen in een uitgebreide matrix, (3) een structuur in clusters, (4) inzicht in verschillende soorten
toets software, (5) heldere adviezen, (6) een weergave van ons veldwerk en (6) een mooi plaatje. Met dit onderzoek
kunt u beginnen om uw VTI verder in te richten.
Echter, wij hebben ook geconstateerd dat het niet genoeg is om dit alleen te doen binnen de instellingen. Ons advies
is om een SIG VTI in het leven te roepen (of een ander samenwerkingsverband). Deze SIG heeft als functie om
enerzijds best practices te delen, te communiceren over de ontwikkelingen en om de experimenten structureel aan
te jagen en te begeleiden met de markt, Surf en andere instellingen. De SIG moet gekoppeld zijn aan de bestaande
expertgroepen rondom toetsen. Op die manier zijn wij er van overtuigd dat betere oplossingen breed beschikbaar
zullen komen en beveiligde, summatieve toetsen beter, goedkoper en gemakkelijker afgenomen kunnen worden.
Tot we erachter komen, dat het niet meer nodig is, natuurlijk.
2016. Comit.
Een onderzoek dat de Toets kan doorstaan
Blz 2
INLEIDING & SCOPE
Er gebeurt heel veel ‘digitaals’ rondom toetsen. Van het maken van
vragen op tekstverwerkers tot het mailen naar de repro, tot het inlezen
van schrapkaarten in OCR’s. Dit onderzoek, echter, beperkt zich tot één
stap in de toetscyclus, namelijk het AFNEMEN van de toets.
En nog meer specifiek gaat het om een onderzoek naar de benodigde
Technische Infrastructuur tijdens het afnemen van summatieve
digitale (beeldscherm)toetsen in een beveiligde omgeving (de student
mag niet ‘geholpen’ worden).
Het bovenstaande betekent dat een aantal zaken expliciet niet in de
scope van dit onderzoek zijn opgenomen:
1.
2.
3.
4.
De benodigde technische infrastructuur voor formatieve toetsen (aangezien daaraan geen of minder
beveiligings,- en beschikbaarheidseisen gesteld worden);
De benodigde technische infrastructuur voor summatieve toetsen waar beveiliging niet van belang is (bijv.
het filmen en opslaan van een presentatie);
We hebben de verschillende soorten online toets software alleen bekeken op hun mogelijkheden om veilig
toetsen mogelijk te maken. We hebben niet gekeken naar de inhoudelijke kwaliteit van de verschillende
oplossingen;
We hebben niet gekeken naar toetsen buiten de school locatie (online proctoring e.d.). Noch hebben we
gekeken naar speciale oplossingen voor deelnemers met een functiebeperking.
TOETS: Een student moet een opstel maken over de wereld van The Donald
WEL in Scope
Niet in Scope
De student maakt het opstel, zonder internet toegang
De student krijgt een week de tijd en kan het thuis maken
De student maakt het opstel, zonder spellingschecker
De student moet het digitaal inleveren (in een inleverbox)
De student levert het opstel in, vanaf veilige PC, digitaal
Het opstel moet gechecked zijn voor plagiaat
Het opstel moet aan voorwaarden voldoen
De student maakt het opstel op school, mag internet gebruiken
De student maakt het opstel op school, met spellingschecker
Het onderzoek is uitgevoerd in opdracht van Comit. Centraal staan een drietal vragen:
1.
2.
3.
Welke manieren van summatieve, beveiligde, digitaal toetsen worden er gebruikt en met welke technische
voorzieningen wordt de afname gefaciliteerd?
Welke voor,- en nadelen worden gezien met de verschillende combinaties van summatieve, beveiligde
toetsen en gebruikte technische voorzieningen?
Welke adviezen kunnen gegeven worden aan de bij Comit aangesloten instellingen?
Leeswijzer
U heeft het al gemerkt in dit kleine stukje hierboven. Bij toetsen komen heel wat termen kijken. Daarom beginnen
we met een begrippenlijst van een hele pagina om begripsverwarring te voorkomen. Daarna stellen we ons de vraag
of dit een zinnig onderzoek is. Immers, als beveiligd digitaal toetsen aan het uitsterven is of als er al dikke rapporten
over dit onderwerp zijn verschenen, heeft dit onderzoek niet zo veel zin. U begrijpt het al, gezien het rapport dat
voor u ligt. Het antwoord is JA. Heel zinnig.
Op de pagina daarna zetten we het model dat we hebben ontworpen uiteen om daarna 4 verschillende clusters van
technische voorzieningen voor beveiligde digitale toetsen te bespreken. Vervolgens geven we op 2 pagina’s een
advies aan de instellingen.
in dit onderzoek noemen we bewust geen namen van instellingen of leveranciers. Wel hebben we een literatuurlijst
opgenomen waarin alles wat in dit rapport staat terug te vinden is. Daar leest u ook (veel) meer over oplossingen die
we kort hebben besproken. Als ergens een L staat vindt u meer info in de literatuurlijst.
2016. Comit.
Een onderzoek dat de Toets kan doorstaan
Blz 3
BEGRIPPENLIJST
Eén van de constateringen in dit onderzoek is dat de aansluiting tussen de IT afdeling en de
rest van de toets organisatie niet altijd even goed geregeld is. Reden te meer om hieronder
een pagina te spenderen aan een begrippenlijst, zodat we zeker weten dat we in de rest van
het onderzoek dezelfde taal spreken.
Summatief
Voor het echie. Toets die meetelt. Stelt in
veel gevallen strenge eisen aan
beveiliging om te voorkomen dat de
student hulpmiddelen gebruikt of
geholpen wordt.
Internet Kiosk / Site
Kiosk / Kioware
Formatief
Voor de vorm. Stelt meestal geen eisen
aan de beveiliging.
Veilige Toets Infrastructuur. De
technische voorzieningen die aangeboden
worden om een digitale, summatieve
toets veilig af te kunnen nemen.
Personal Computer in eigendom van de
instelling die primair gebruikt wordt voor
toetsen. Vaak worden er extra
veiligheidsmaatregelen genomen, zoals
het dichtlijmen van de USB-aansluitingen
of monitoren met anti-spiekfolie. Dit is
een managed werkplek.
Personal Computer in eigendom van de
instelling die gebruikt wordt voor allerlei
doeleinden. Dit kan een les zijn, of als
internet PC of als toets PC. Deze staan
vaak in computerlokalen. Dit is meestal
een managed werkplek.
Lock Down Browser
Dit is een laptop in eigendom van de
student. De hardware van en de software
op de laptop wordt door de student
gekozen en onderhouden;
Dit zijn instellingen op door de
hogeschool gemanagede software
waarmee ongewenst gedrag kan worden
voorkomen;
Software die wordt gebruikt om een PC
die eigendom is van de instelling te
managen (bv Powerfuse). Hiermee
kunnen applicaties worden aangeboden
en voorkomen worden dat de student
ongewenst gedrag vertoond;
Software waarbij de toets plaats vindt in
de browser. Het gaat dan meestal om
multiple choice of open vragen, maar ook
steeds vaker kunnen bepaalde applicaties
aangeboden worden in de browser (bv.
QMP, Surpass, OnCourse, Remindo,
Maple TA)
VTI®
Toets PC
Common PC
Studentenlaptop.
Microsoft
Policies.
Shell Software
Online
Toetssoftware.
Productivity
Software
PXE Boot
USB Boot
2016. Comit.
Dit is een beveiligde browser of andere
software (installatie op werkplek is
vereist). Hiermee worden mits goed
geconfigureerd, de reguliere
functionaliteiten (internettoegang,
gebruik van applicaties en documenten,
en meer) voorkomen.
Zie hierboven
Safe Exam Browser
Zie Site Kiosk. Sommige toets systemen
hebben hun eigen cliënt / safe browser
(zoals Surpass en QMP)
Safe Testing
Environment (STE)
Servergebaseerde oplossing, incl AD
policies, met daarbij planningsmodule,
afnametool en beheertool, voor managed
werkplekken. STE ondersteunt
webgebaseerde toetsen en toetsen
gebaseerd op softwareapplicaties.
Monitoring
Software
Dit is software die (gedrag op) de
werkplek monitored. Dit kan variëren van
software die alleen sluiten van een
browser in de gaten houdt, tot software
die op gezette tijden (bv elke x seconden)
een ‘foto’ maakt van de werkplek; welke
processen zijn gestart, welke applicaties
zijn actief, wat staat er op het scherm van
de werkplek, welke URL’s zijn opgezocht,
etc
BYOD
Dit is de eigen laptop van de student. Dit
kan van alles zijn; Mac, tablet, Phablet,
Windows, Linux, Chromebook, etc.
Chromebook
Een laptop met een linux based Chrome
operating systeem, wordt door sommige
instellingen ingezet om toetsen af te
spelen.
Veilige toets oplossing van Microsoft (zie
ook lockdown browser)
Take A Test
Comit
Kennisnetwerk van IT managers van HBO
instellingen
Dit is software waarin de student een
bepaalde proeve van bekwaamheid moet
afleggen. (bv. Autocad, MS-Office, SPSS);
Een manier om de computer te laten
zelfstarten via het netwerk
Een manier om de computer te laten
zelfstarten via de USB – poort
Een onderzoek dat de Toets kan doorstaan
Blz 4
IS DIT EEN ZINNIG ONDERZOEK?
Ondanks het feit dat de opdracht van dit onderzoek gegeven is door de wijze heren van Comit hebben we ons toch
eerst verdiept in de zinnigheid van het onderzoek. Daarvoor hebben we onszelf drie vragen gesteld:
1.
2.
3.
Wat is de ontwikkeling van summatief, beveiligd, digitaal toetsen en blijft er – ook in de toekomst –
behoefte aan een Veilige Toets Infrastructuur (VTI ®)?
Is er sprake van eerder onderzoek naar VTI’s of zijn er documenten met vastgelegde best practices?
Worden er problemen ervaren met VTI’s?
Blijft er de komende 5-10 jaar behoefte aan een veilige toets infrastructuur?
Tijdens het onderzoek hebben we gesproken met mensen van de IT – afdelingen en mensen die verantwoordelijk
waren voor het toetsen of het toets beleid. Het beeld dat we terugkregen is dat alle instellingen druk bezig zijn met
digitale, summatieve, beveiligde toetsen. Sommige instellingen doen dat omdat ze geloven dat digitale toetsen
kwalitatief meer mogelijkheden bieden, anderen doen het vanuit efficiency – overwegingen. De meeste hebben
beide motieven.
Veel instellingen geven aan dat ze uiteindelijk een toekomst zien waarin de druk af neemt op de Veilige Toets
Infrastructuur. Ze verwachten dat toetsen individueler worden (meer gespreid) en meer en meer plaats maken voor
toetsen waar geen beveiligde omgeving voor nodig is. De meeste instellingen denken dat het meer en meer normaal
wordt dat studenten hulpmiddelen mogen gebruiken tijdens toetsen of meer competentiegerichte assessments
zullen doen. Echter de instellingen geven ook aan dat ze nu pas (gemiddeld) 10-20% van hun
summatieve, beveiligde toetsen afnemen op een digitale manier en dat met name in de eerste
leerjaren de behoefte aan beveiligde (kennis)toetsen blijft. De verwachting is daarmee dat zeker
de eerste jaren het aantal digitale toetsen alleen maar zal toenemen. En daarmee de behoefte
aan een veilige, beschikbare, betaalbare, flexibele en schaalbare VTI.
Voegt dit onderzoek iets toe aan eerder onderzoek of zijn er best practices?
Surf heeft grote hoeveelheden zeer lezenswaardig materiaal gepubliceerd over (veilig) toetsen L. Zo is er ook een dik
Handboek Veilig Toetsen L dat op detailniveau richtlijnen geeft voor een veilige toets. De inrichting van de VTI wordt
niet of nauwelijks besproken. Dat wordt toch voornamelijk gezien als een zaak van de IT –
afdeling. Ook bij andere documenten L wordt de VTI slechts zijdelings geraakt of alleen bekeken in
de klassieke vorm (in toets zalen), zoals bijvoorbeeld in de whitepaper over de businesscase van
digitaal toetsen L. Er is wel een richtsnoer veilig toetsen L en een experiment veilig toetsen L, die
dieper in gaan op de VTI en enkele praktijkvoorbeelden geven. Echter, deze documenten zijn uit
2014. Daarnaast hebben we geconstateerd dat bijna alle instellingen andere keuzes maken. Er is
géén best practice. Er zijn een groot aantal verschillende componenten die door de instellingen allemaal anders
gebruikt worden.
Worden er problemen ervaren met de huidige VTI?
Wij constateerden dat de meeste instellingen héél goed zijn in wat ze doen. Jarenlange ervaring leiden ertoe dat ze
op een veilige en robuuste manier toetsen aan kunnen bieden. Tegelijkertijd constateerden we dat veel instellingen
worstelen met problemen rond schaalbaarheid en flexibiliteit. De beschikbare VTI is vaak te klein en overbelast.
Opschalen is complex, duur en huisvesting technisch een uitdaging L.
Ook zagen we veel instellingen die vragen stellen over veiligheid en beschikbaarheid. Ze hebben
(wel eens) alternatieven overwogen voor hun huidige oplossing maar die al snel terzijde
geschoven. We kwamen instellingen tegen die oplossingen hadden geïmplementeerd voor
problemen waar andere instellingen op dit moment mee worstelden en we merkten dat er
weinig inzicht is in het hele landschap van VTI’s. Waar Surf heel actief is in het bijeenbrengen
van kennis op het gebied van toetsen, ligt de kennis van de VTI’s vaak lokaal bij de IT – afdelingen van de instellingen.
Conclusie: Dit is een zinnig onderzoek. Gelukkig.
2016. Comit.
Een onderzoek dat de Toets kan doorstaan
Blz 5
VTI® MODEL
Het oorspronkelijke doel van dit onderzoek was om een consumentenbondachtige vergelijking te maken van de
verschillende veilige toets infrastructuren. Zeg maar, wasmachine 1 tot en met 6 en dan steeds gescoord op dezelfde
aspecten. Gedurende het onderzoek werd echter steeds duidelijker dat, dat geen haalbare kaart is. Immers alle
instellingen organiseren op verschillende manieren de infrastructuur rondom de digitale toets. Ze gebruiken wel vaak
dezelfde componenten maar zetten die steeds op een andere manier in.
We hebben daarom gekozen voor een andere aanpak om de resultaten van het onderzoek te structureren. Wel
hebben we uiteraard in de bijlage Dé Matrix L opgenomen voor een compleet overzicht.
Hoe werkt het?
1. Er zijn in hoofdlijnen twee soorten summatieve, digitale, beveiligde toetsen: Toetsen in online toets software (bv
QMP) en toetsen in productivity software (bv Autocad);
2. Een VTI wordt opgebouwd uit meer klassieke en meer experimentele bouwblokjes. We hebben tientallen
combinaties aangetroffen;
3. De keuze van de bouwblokjes leidt tot een score op een zestal aspecten, te weten beschikbaarheid,
schaalbaarheid, flexibiliteit, beheerlast, veiligheid en kosten.
4. Niet elke VTI ondersteunt elke manier van toetsen.
Door dit model te gebruiken hebben we 4 clusters van VTI’s
geconstateerd. Op de volgende 6 bladzijden gaan we
daarmee aan de slag. We bespreken de 4 manieren waarop
de instellingen hun VTI organiseren.
Al doende zullen we zien dat we niet alle bouwblokjes met
elkaar kunnen combineren en dat niet alle toetsen
uitgevoerd kunnen worden met alle blokjes. Ook zullen we
zien dat onze keuzes steeds leiden tot verschillende scores.
Ons doel is om op deze manier een beeld op te roepen van 4
verschillende manieren waarop VTI’s nu ingericht worden.
Tegelijkertijd stellen we daar een aantal kanttekeningen bij:
1.
2.
3.
We hebben meer dan 20 instellingen bekeken en
iedereen maakt net andere keuzes L. Veel
instellingen hebben zelfs meerdere oplossingen operationeel;
We hebben veel mensen ontmoet, die ontzettend goed zijn in wat ze doen. Ze weten bijvoorbeeld alles van
Microsoft Policies en daarom is hun dienstverlening van hoog niveau. Dat geldt niet automatisch voor een
andere instellingen die zo’n VTI zouden willen kopiëren;
Let wel, onze opmerkingen in dit rapport zijn de echo’s van de geïnterviewden. We hebben binnen de scope
van het onderzoek niet elke bewering objectief kunnen toetsen.
De volgende 4 clusteringen van oplossingen worden de komende 6 bladzijdes besproken:
1.
2.
3.
4.
Klassiek Toetsen (Toetsen in toets zalen op toets pc’s);
Klassiek Managed Toetsen (op common PC’s in klaslokalen);
Flexibel Toetsen op studentenlaptops met een managed OS;
Flexibel toetsen op studentenlaptops zonder managed OS.
Per cluster zullen we niet alle mogelijke combinaties bespreken maar proberen we een zo duidelijk mogelijk beeld te
schetsen van de verschillende VTI’s.
Op de volgende pagina staat het model groot geprint.
2016. Comit.
Een onderzoek dat de Toets kan doorstaan
Blz 6
2016. Comit.
Een onderzoek dat de Toets kan doorstaan
Blz 7
1. KLASSIEK TOETSEN (TOETSEN IN TOETS ZALEN OP TOETS PC’S)
Het toetsen in toets zalen op toets pc’s is de meest gecontroleerde van de varianten. Deze toetsen vinden plaats in
een gecontroleerde ruimte met bureaus in een toets opstelling, vaak met schotten of anti-spiekmonitoren. Er wordt
getoetst op beveiligde PC’s vaak zonder (werkende) USB-poorten die aangesloten zijn op het stroomnetwerk en op
een bedraad netwerk. In een aantal gevallen mogen de PC’s ook gebruikt worden als er geen toets is, maar het
primaire gebruik van de zaal is om te toetsen. Soms zijn de lokalen zo ingericht dat er ook makkelijk analoge
(papieren) toetsen plaats kunnen vinden. De PC, meestal Microsoft, is voorzien van strenge policies en daarbovenop
draait in een aantal gevallen nog een extra beveiligingslaag (shell – software). De studenten loggen meestal in met
een speciaal account en op netwerk-niveau is vaak ook beveiliging aangebracht (bv. v-lan switching).
De PC geeft de student gegarandeerd alleen toegang tot toegestane software. Dat kan een online toets zijn of
productivity software, zoals bijvoorbeeld Autocad. In dat geval worden vaak mappings gemaakt en/of zijn additionele
(soms webbased) inleverboxen beschikbaar.
Deze manier van toetsen is zeer veilig en geeft een hoge
beschikbaarheid. De omgeving is volledig gecontroleerd
en frauderen op de toets infrastructuur is moeilijk (de
traditionele spiekbriefjes kunnen natuurlijk wel). Deze
manier is geschikt voor toetsen in online toets software
én productivity toetsen. Er is een hoge mate van
zekerheid dat de toets software gaat werken. PC’s
kunnen vooraf getest worden en zijn aangesloten op het
netwerk.
Het grootste nadeel van deze oplossing is het gebrek aan
schaalbaarheid en flexibiliteit. Vele instellingen met deze
oplossing geven aan te weinig toets werkplekken te
hebben. De redenen zijn dat de meeste toetsen in dezelfde periode plaatsvinden en dat soms heel veel studenten
tegelijk moeten toetsen. Het probleem wordt alleen maar groter als je bedenkt dat soms in dezelfde ruimte ook
analoge toetsen plaats vinden. Sommige instellingen hebben grote aantallen toets werkplekken (1000+) en nog moet
een docent een jaar van tevoren een ‘slot’ reserveren. En, vergeet niet, ook in deze instellingen vindt slechts rond de
10%-20% van de toetsen digitaal plaats.
Uitwijken naar andere instellingen of regionale toets centra L zijn over het algemeen geen optie, aangezien die
hetzelfde probleem hebben. Uitwijken naar compleet andere locaties (bv. Computrain) is vaak complex omdat dit
soort klassieke oplossingen nauw verweven zijn met de campus IT infrastructuur.
Een ander nadeel zijn de kosten. Vierkante meters en PC’s zijn duur. In veel gevallen is er ook dure beheer/shell
software. De beheerlast valt over het algemeen mee, zeker omdat wij ervaren hebben dat er heel veel kennis zit bij
de instellingen en dat er veel ervaring is met het schedulen en beheren van de toets werkplekken.
Opvallend: We hebben geen instelling ontmoet die ook daadwerkelijk een berekening maakt van de complete kosten
van de toets infrastructuur. Wel is dit de oplossing waarin gerekend wordt met in de whitepaper over businesscases
van toetsen L..
Ondanks dat deze oplossing veel voorkomt, hebben we geen Best Practice aangetroffen. De inrichting is meestal
nauw verbonden met de inrichting van de rest van de campus IT – infrastructuur waardoor er steeds verschillen zijn.
Niettemin geven de instellingen aan behoefte te hebben aan het delen van technische oplossingen en Best Practices.
Deze oplossing kent zijn grenzen. Immers als er meer summatief, beveiligd, digitaal getoetst gaat worden, zijn er al
snel onvoldoende technische voorzieningen. En onthoud, nu is vaak pas 10%-20% van de toetsen digitaal.
2016. Comit.
Een onderzoek dat de Toets kan doorstaan
Blz 8
2. KLASSIEK MANAGED TOETSEN (OP COMMON PC’S IN KLASLOKALEN)
Veel instellingen die we bezocht hebben, gebruiken de desktop – computers die ze hebben staan in klaslokalen voor
les,- en algemene doeleinden (common PC’s) ook om beveiligd, digitaal te toetsen. Dit gebeurt op een aantal
verschillende manieren. Sommige instellingen werken met een speciaal image dat ze uitrollen vlak voor een toets.
Andere werken met tentamenaccounts met daaraan gekoppeld speciale rechten, soms mappings en waar van
toepassing applicaties (vaak via App-V). Weer andere instellingen maken gebruik van maatwerk – software of
oplossingen zoals Surfnet Secure Testing Environment L. De omgevingen zijn bijna altijd Microsoft gebaseerd.
Sommige instellingen hebben PC’s met een open inrichting
en moeten veel aanpassen voor een tentamen. Andere
instellingen hebben dichtgetimmerde PC’s en volstaan met
een Lock Down Browser/SiteKiosk o.i.d.
De veiligheid en beschikbaarheid van deze manier van
toetsen is afhankelijk van de kwaliteit van de inrichting.
Over het algemeen zien we instellingen die veel ervaring
hiermee hebben en goede oplossingen hebben gekozen. In
2014 scoorden de Lock Down Browsers goed op een ethical
hack L. Niettemin zien veel instellingen een oplossing
waarbij alleen een Lock Down Browser wordt afgetrapt op
een PC die niet helemaal dicht zit als fraudegevoeliger dan
een oplossing waarbij een compleet nieuw image én een tentamenaccount wordt aangeboden. De laatste oplossing
brengt echter weer meer beheerlast met zich mee.
Ook bij deze oplossing zijn de schaalbaarheid en flexibiliteit minder goed. Immers, het aantal toets werkplekken is
één op één verbonden aan het aantal PC’s in klaslokalen. Met de enorme opkomst van studenten met eigen laptops
worden computerlokalen steeds minder van belang, behalve dan voor toetsen. Instellingen die een ‘geen desktop’ of
een ‘Bring Your Own Device’ beleid willen hanteren voor studenten, worstelen met de juiste toets voorzieningen.
Daarnaast is het logistiek complex om grootschalige toetsen uit te voeren over meerdere lokalen heen en geven
instellingen aan dat de huidige voorzieningen vol zitten. Ook extra lokalen ergens anders huren is niet eenvoudig, zo
ontdekten wij L.
Ook hier opnieuw de opmerking dat nu slechts 10-20% van de toetsen digitaal plaats vindt en dat uitwijken naar
andere lokaties/toetscentra complex is, omdat dit soort oplossingen nauw verbonden zijn met de Campus IT
Infrastructuur.
De kosten van deze oplossing zijn hoog. Het lijkt een voordeel dat de PC’s ook gebruikt kunnen worden voor andere
doeleinden (les, algemene PC) maar omdat de meeste studenten tegenwoordig zelf een laptop hebben, is er steeds
minder behoefte aan dat soort computerlokalen. Veel instellingen geven aan dat deze lokalen nog wel veel gebruikt
worden, maar ze weten ook dat als ze niet meer aangeboden worden, studenten simpel overstappen op hun eigen
laptop. Uit de HBO – benchmark blijkt dat er nog steeds ongeveer één PC staat op elke 10 studenten, á 400 euro per
jaar. Een VTI als deze voorkomt gedeeltelijk, dat hier op bespaard kan worden.
De beheerlast van deze oplossingen is vaak hoog. Er is in veel gevallen sprake van complexe logistiek. PC’s moeten
steeds voorzien worden van andere images en inrichtingen. Dit kost vaak veel tijd en er is op veel plaatsen sprake van
dure maatwerkoplossingen, scheduling sofware of high-maintenance inrichtingen.
Opnieuw hebben we geen Best Practice aangetroffen. Sommige instellingen beschouwen bijvoorbeeld een gewone
PC met daarop een Lock Down Browser en online toets software als een goede oplossing. Anderen vinden dat
buitengewoon onveilig. De Surfnet Secure Testing Environment komt nog het meest in de buurt van een Best
Practice, maar op herhaaldelijke vragen mbt de verspreiding van het gebruik bij instellingen, kregen wij van de WUR
geen antwoord.
2016. Comit.
Een onderzoek dat de Toets kan doorstaan
Blz 9
3. FLEXIBEL TOETSEN OP STUDENTENLAPTOPS MET MANAGED OS
We hebben zojuist 2 meer klassieke varianten van het organiseren van een VTI besproken. Dit zijn ook de varianten
die veruit het meeste voorkomen. We zouden nog veel meer klassieke variaties kunnen bespreken, die we ook zijn
tegengekomen, zoals bijvoorbeeld het werken met laptop – karren. Ondanks dat de technische oplossingen anders
zijn, zijn de karakteristieken grotendeels hetzelfde. Dat doen we dus niet. Wel wijzen je nog een keer op Dé Matrix in
de bijlage L.
Juist omdat de probleemstelling van het rapport nadruk legt op de groei van summatieve, beveiligde, digitale toetsen
én de bijbehorende schaalbaarheidsproblematiek, hebben we gekozen om twee meer flexibele varianten
uitgebreider te bespreken. Te beginnen met flexibele toetsen op studentenlaptops met een gemanaged OS. Wat we
daarmee precies bedoelen, leggen we hieronder uit.
In het algemeen kun je zeggen dat als je gaat toetsen op de laptops van studenten, dat je dan 3 belangrijke
uitdagingen hebt:
1.
2.
3.
Hoe zorg je ervoor dat de beschikbaarheid (robuustheid) van de toets (en dus de werkplek) hoog is?
Immers, toetsen vinden vaak plaats via het draadloze netwerk én er is de afhankelijkheid van de hardware
van de student;
Hoe zorg je ervoor dat de toets (en dus de werkplek) veilig is. Immers, opnieuw, je hebt te maken met de
hardware en software – inrichting van de student?
Wat is het beleid van de instelling? Staat de instelling toetsen toe op laptopschermen? Hoe gaat de
instelling om met studenten die geen (goede) laptop hebben / of willen hebben?
Uiteraard is de laatste vraag het belangrijkste. Maakt het beleid van de instelling het mogelijk om toetsen uit te
voeren op laptops van studenten? In de WHW (artikel 7.50) L staat dat je studenten geen laptop kunt verplichten (dat
geldt overigens ook voor boeken), maar als het aantal studenten met een laptop groot genoeg is, kun je de
resterende aantal procenten voorzien van een leenlaptop en daar duidelijke afspraken over maken. Je moet dan wel
toetsen op kleinere schermen toestaan. De andere twee vragen behandelen we hieronder in twee varianten.
Booten van USB met Windows
Een eerste variant werkt met een bootable USB – schijf. Op
deze schijf staat een geprepareerd image (Windows To Go).
Het image is (vaak) beveiligd op de manier die ook gehanteerd
wordt voor de rest van de campus infrastructuur. Het kunnen
policies zijn, maar ook andere software, of een combinatie. Het
voordeel van deze oplossing is dat de VTI aangeboden wordt
vanaf de USB – stick én de laptop wordt slechts gebruikt voor
input en output én netwerk – connectiviteit. Deze eigenschap
in combinatie met de ‘klassieke’ beveiliging maakt deze
oplossing erg veilig. Een ander groot voordeel is dat deze
oplossing kan worden toegepast op eigen laptops van
studenten én op bestaande common pc’s of toets zalen. Dat
maakt deze oplossing erg schaalbaar en flexibel. Ten slotte is deze oplossing geschikt voor zowel productivity
toetsen als toetsen in online toets software.
Er kleven echter ook nadelen aan deze oplossing. Ten eerste is de oplossing niet heel erg kosteneffectief. Weliswaar
zijn er geen vaste werkplekken meer nodig maar de USB-stick is (nog) duur. De beheerlast is ook stevig. Er moeten
nog steeds images, policies en software beheerd worden. USB-sticks moeten worden gerepliceerd en ingespoeld en
de logistiek om de sticks moet worden georganiseerd. De veiligheid kan in het gedrang komen als sticks verloren
gaan (alhoewel deze met nieuwe technologie te encrypten zijn) én het is lastiger om het netwerk zo in te richten dat
de toets alleen in het betreffende lokaal/zaal afgenomen kan worden.
Het belangrijkste nadeel is de beschikbaarheid. De USB-stick werkt niet met alle laptops en dat is niet altijd
voorspelbaar, waardoor er flankerende maatregelen getroffen moeten worden. Daarnaast gaat de toets via het WIFI.
Bij een haperende verbinding kunnen er problemen ontstaan, zeker als de toets software daar niet tegen bestand is.
2016. Comit.
Een onderzoek dat de Toets kan doorstaan
Blz 10
Oplossingen daarvoor in combinatie met de typen toets software moeten nog worden onderzocht. De
beschikbaarheidsissues stellen ook andere andere/hogere ICT eisen aan een surveillant.
Niettemin wordt deze oplossing al succesvol in de praktijk gebruikt.
Booten van USB (of PXE) met Linux
Deze variant is in essentie dezelfde als die hierboven staat
met het verschil dat er een Linux – besturingssysteem
wordt gebruikt. Op dit systeem wordt een (secure)
browser opgestart waarin getoetst kan worden met online
toets software. Binnen de browser kan ingeregeld worden
wat er wel en niet toegestaan is voor de student.
Deze oplossing kent een aantal dezelfde voordelen als de
vorige. Omdat je kunt toetsen op allerlei soorten
werkplekken, inclusief studentenlaptops, wordt de VTI
schaalbaarder en flexibeler. De oplossing is (relatief) veilig
omdat er opgestart wordt vanuit een beveiligd operating
systeem. Er is dus sprake van meerdere lagen van
beveiliging.
Bijkomend voordeel is dat de USB-sticks veel goedkoper kunnen zijn (héél goedkoop) en dat de beheerlast lager is,
maar niet heel veel lager, want nog steeds is er beheer over driverpacks in Linux voor de veranderende hardware.
Een ander nadeel is dat er géén productivity toetsen plaats kunnen vinden met deze oplossing.
De andere nadelen die hierboven opgesomd zijn, gelden ook voor deze oplossing. Máár ook deze oplossing wordt op
kleine schaal in de praktijk al gebruikt.
Tijdens ons onderzoek kwamen we nog een aantal andere varianten tegen die in dezelfde categorie vallen. We zagen
het toetsen met chromebooks, wat eigenlijk dezelfde variant is als hierboven, alleen wordt dan ook de hardware
meegeleverd. Het voordeel van toetsen met chromebooks ten opzichte van het booten van USB met Linux is dat de
beschikbaarheid hoger is, de beheerlast lager en dat de oplossing (wellicht) beter te beveiligen is. Het nadeel is dat
het een duurdere en minder flexibele/schaalbare oplossing is.
Er zijn ook instellingen die toetsen met Thin Clients. Op de Thin Client wordt dan een virtuele werkplek (of applicatie)
aangeroepen. Dergelijke oplossingen zijn duidelijk minder flexibel en schaalbaar en lijken qua karakteristieken
eigenlijk weer meer op een klassieke oplossingen (1 & 2).
Ook zagen we een oplossing waarbij er via Linux een operating system wordt aangeboden met daarin specifieke
productivity software (bv mat lab en andere op Linux gebaseerde tools)L. Het voordeel van deze oplossing is dat ook
met productivity software veilig getoetst kan worden op studentenlaptops. Het nadeel is dat, dat lang niet geldt voor
alle productivity software.
In een aantal gevallen zagen we specifieke oplossingen voor specifieke toetsen, soms was er niet eens een
netwerkverbinding nodig. Ook dan werd gebruik gemaakt van een USB-boot (of PXE) maar werd een heel specifieke
toets omgeving aangeroepen. Dat werkt prima, maar je kunt amper spreken van een VTI omdat het steeds één
oplossing is voor één specifieke toets L.
Samenvattend kun je zeggen dat de ontwikkelingen veelbelovend zijn. De architectuur is interessant omdat er twee
of meer lagen van beveiliging zijn én er is de belofte van meer schaalbaarheid en flexibiliteit wat heel belangrijk is
bij de toename van digitale, summatieve, beveiligde toetsen. Er zijn echter ook nog veel vragen en zaken die verder
uitgediept en geflexibiliseerd moeten worden alvorens deze oplossingen op grote schaal kunnen worden uitgerold.
2016. Comit.
Een onderzoek dat de Toets kan doorstaan
Blz 11
4. FLEXIBEL TOETSEN OP STUDENTENLAPTOPS ZONDER MANAGED OS
Tot nu toe hebben we oplossingen besproken waarvan we weten dat ze op grote schaal of kleinere schaal in
productie zijn bij de onderzochte instellingen. In Dé Matrix uit de bijlage L staat een compleet overzicht. Tijdens dit
onderzoek kwam er echter ook een andere vraag naar voren: waarom voer je niet gewoon summatieve, beveiligde
digitale toetsen uit op studentenlaptops, zonder dat je een ander operating systeem aanbiedt?
Je neemt een studentenlaptop, installeert (of lanceert) cliënt software van een toets applicatie of een lockdown
browser en je voert daarin de toets uit. Het grote voordeel daarvan is dat de beheerlast laag is, dat je heel flexibel en
schaalbaar bent en dat de kosten laag blijven.
Toch?
We hebben de instellingen gevraagd waarom ze niet
kozen voor deze oplossing. Dat leidde tot heel
verschillende antwoorden. Sommige hadden wel eens
geëxperimenteerd en het was niet stabiel. Andere
dachten dat het niet veilig was. Weer anderen hadden
er niet aan gedacht of vonden het WIFI
onbetrouwbaar. Weer anderen vonden dat het
installeren op een laptop te lang duurde en te fragiel
was. Op zich allemaal valide redenen, maar wij
kwamen slechts zelden instellingen tegen die écht
structureel, recentelijk en vasthoudend
geëxperimenteerd hadden en/of oplossingen
gefundeerd hadden afgewezen.
Wat ons opviel was dat er vier prominente ontwikkelingen zijn, die een structureler onderzoek rechtvaardigen.
De gereedschapskist van de leveranciers van online toets software wordt steeds voller
We hebben tijdens het onderzoek gesproken met een drietal leveranciers van online toets software en allemaal zijn
ze druk bezig met de beveiliging van de toetsen vanuit hun software. Allemaal zien ze de beveiliging als een
gezamenlijke verantwoordelijkheid van de instelling én de leverancier van de toets softwareL . Niettemin wordt de
gereedschapskist van de leveranciers steeds voller. Ze kunnen checken op IP-adres, het opstarten van een tweede
toets voorkomen, checken of een Safe Exam Browser, checken op hypervisors, o.i.d. draait, toetsencombinaties
uitschakelen, full screen modus afdwingen, etc…).
Het WIFI – probleem wordt steeds kleiner
Eén van de bezwaren die we vaak te horen kregen was dat het WIFI netwerk niet betrouwbaar en/of stabiel genoeg
was om te toetsen op deze manier. Echter, een aantal leveranciers die wij spraken hebben een oplossing waarbij ze
lokaal cachen en om kunnen gaan met (kortdurende) WIFI – storingen. Daarnaast worden de WIFI – netwerken van
de instellingen steeds krachtiger/stabieler en adviseren we om dit ook mee te nemen als ontwerpeis bij de WAAS –
dienstverlening van Surf (TWAAS, Toets Wireless As A Service).
Een belangrijkere rol voor Safe Exam Browser, Lock Down Browsers, KioWare en eigen clients;
Het is steeds beter mogelijk om te toets veilig te ontsluiten middels een eigen cliënt van de online toets software of
software die een veilige toetsomgeving creëert. Tijdens door Surf uitgevoerde Ethical HacksL bleek deze software
mits goed geconfigureerd heel veilig. Een nieuwe ontwikkeling op dit gebied is Take A Test van MicrosoftL. Nog geen
ideale oplossing maar wel een teken aan de wand dat de grote leveranciers hier ook mee bezig zijn.
De ontwikkeling van applicatie distributie software
Leveranciers van applicatie distributie software (zoals App-V of Application Jukebox) zijn steeds beter in staat om
applicaties (streaming) aan te bieden op unmanaged devices. Dat opent mogelijkheden in combinatie met
LockDownBrowsers of cliënts. Dit is ook een interessante invalshoek om te combineren met het voorgenomen traject
Application Delivery As A Service.
Bovenstaande opsomming laat zien dat er veel ontwikkeling is op dit gebied. Daarmee is er nog geen kant-en-klare
oplossing. Natuurlijk blijven er grote vragen rondom veiligheid. Het zou best kunnen zijn dat een bepaalde oplossing
in zijn design veilig is, maar je komt wel in het gebied van High Stakes/High Rewards. Als je in de vorige clusters van
2016. Comit.
Een onderzoek dat de Toets kan doorstaan
Blz 12
oplossingen (1-3) wil frauderen, dan moet je door meerdere veiligheidslagen heen én dan heb je het alleen opgelost
voor jouw instelling. Als je Take-A-Test van Microsoft kraakt, of de cliënt van een toets applicatie, dan heb je meteen
‘de hele wereld gekraakt’. En wat doe je als instelling als je op die manier al je toetsen hebt georganiseerd en het is
plotseling niet meer veilig?
Echter hetzelfde geldt andersom. Er zijn namelijk grote potentiële voordelen. Een VTI met de software rechtstreeks
op de studentenlaptop is flexibel, schaalbaar, goedkoop en de beheerlast is laag. Zeker voor de online toets software.
Het grote vraagstuk is de beschikbaarheid. Immers, niet alle cliënts zijn compatibel met alle operating systemen.
Daarnaast is het installeren van cliënts en lock down browsers vaak tijdrovend, complex en de uitkomsten niet altijd
voorspelbaar. En daarnaast natuurlijk de veiligheid.
Een variant op deze VTI die we ook gezien hebben is dat vragen en antwoorden uit elkaar getrokken worden. In deze
variant worden de vragen uitgereikt op papier maar moeten de antwoorden digitaal ingeleverd worden. Het
scheiden van vraag en antwoord geeft iets meer speling in de veiligheidseisen en opent (wellicht) deuren voor een
andere inrichting van de VTI.
Monitoring achteraf
Een heel andere manier om te toetsen zonder een
managed OS is om gebruik te maken van monitoring
software. Tijdens ons onderzoek hebben we bij alle
clusters van oplossingen bepaalde monitoring
aangetroffen. Het gaat dan steeds om monitoring van
software of PC’s zodat je kunt zien of iemand de browser
sluit of wie achter welke PC heeft gezeten. Een andere
oplossing is echter dat een instelling tijdens het toets
moment geen directe beveiliging of beperking aan het
systeem aanbrengt, maar alleen het gedrag van de
student monitort (door verplicht te installeren
monitoring software op de eigen studentenlaptop). Na
afloop van de toets wordt dit gedrag geautomatiseerd
geanalyseerd en alleen de opmerkelijke of dubieuze
gevallen worden door menselijk handelen verder beoordeeld. In detail worden de actieve processen/applicaties,
screenshots en url’s die bezocht zijn vastgelegd. De veiligheid is goed, evenals de flexibiliteit en schaalbaarheid. De
beheerlast is moeilijk te voorspellen en kan hoog zijn, maar de hardware kosten zijn daarentegen laag.
We kennen één instelling die deze oplossing hanteert tot tevredenheid. Uiteraard zijn er vraagstukken over de
privacy van de studenten, over veiligheid (kun je de monitoring software omzeilen) en is het grootste probleem dat
de monitoring software steeds aangepast moet worden op nieuwe operating systemen, releases en updates. Dat
laatste maakt de beheerlast heel hoog, maar hoe zou dat zijn als meerdere instellingen samen deze software
onderhielden?
De monitoring oplossing wordt gepresenteerd met een 100% pakkans én het is de ervaring dat dat heel goed werkt
bij de (angstige) studenten. Zo goed, dat het bijna te overwegen is om een placebo – cliënt te installeren om
daarmee elke vorm van fraude te ontmoedigen.
Samenvattend kun je zeggen dat alle instellingen de potentiële voordelen onderkennen van het toetsen op
studentenlaptops met alleen de cliënts van toets software of lock down browsers. We hebben alleen niemand
aangetroffen die het aandurft. De perceptie is dat de technologie nog niet rijp is máár de technische ontwikkelingen
op het gebied van applicatie distributie, WIFI én cliënt software denderen voort.
Dat rechtvaardigt continu en structureel onderzoek in samenwerking. Daarover meer in het laatste hoofdstuk, ons
advies!
2016. Comit.
Een onderzoek dat de Toets kan doorstaan
Blz 13
ADVIES AAN DE INSTELLINGEN
In dit rapport hebben we
een aantal zaken
vastgesteld. Ten eerste
constateerden we dat
vrijwel alle instellingen
een groei in digitaal
toetsen voorzien. Bij
sommige wordt dat
ingegeven door een
zoektocht naar kwaliteit,
bij andere door een
behoefte aan efficiency, bij de meeste aan beide.
Ook merkten we dat vrijwel alle instellingen nog maar beperkt digitaal toetsen. Van alle summatieve beveiligde
toetsen, wordt er maar ca. 10-20% via het beeldscherm uitgevoerd.
Toch is er bij de meeste instellingen NU al een hoge druk op de onderliggende voorzieningen. De zalen, PC-lokalen en
andere voorzieningen zijn vaak volgeboekt, soms al wel een jaar van te voren. De reden hiervoor is dat er te weinig
capaciteit is, zeker omdat veel toetsen tegelijk plaats moeten vinden als gevolg van het ritme van het onderwijs of
om frauderen te voorkomen.
Alle instellingen zien toekomstige oplossingen voor dit probleem (onderwijs op maat, anyone?), zoals individueel
toetsen (toetsen als je er klaar voor bent), toetsen waarbij je niet meer kunt frauderen (omdat ze gerandomiseerd
zijn) en dus geen beveiligde omgeving meer nodig hebt. En een toename van summatieve toetsen (assessment-,
competentiegerichte toetsen of toetsen met hulpmiddelen) die geen beveiligde omgeving meer nodig hebben. De
meeste instellingen zien echter ook dat voorlopig het aantal digitale, summatieve beveiligde toetsen zal toenemen
en ze verwachten de komende jaren dus een sterke behoefte aan meer mogelijkheden om beveiligde toetsen af te
kunnen nemen. Dit geeft grote uitdagingen in kosten maar ook in praktische mogelijkheden.
Op dit moment is er géén sprake van één Best Practice noch wordt er diep ingegaan op de VTI in de indrukwekkende
hoeveelheid literatuur die geproduceerd is rondom toetsen. Wij adviseren daarom de volgende stappen:
1. Gebruik dit rapport als uitgangspunt voor de discussie en om inzicht te krijgen in de problematiek rondom
2.
3.
4.
5.
het aanbieden van een VTI. Zorg dat de VTI een meer prominente plek krijgt in de problematiek rondom
toetsen. Wij adviseren een SIG VTI;
Splits de VTI voor productivity software en online toets software;
Experimenteer met nieuwe oplossingen, zeker voor VTI’s voor online toets software;
Doe dit samen met elkaar, Surf, en de markt. Nogmaals, richt hiervoor een SIG VTI op;
Maak de VTI integraal onderdeel van het Beleidsplan Digitaal Toetsen, bepaal een roadmap en stel die
constant bij op basis van de technische mogelijkheden (experimenten) én een structurele dialoog met het
onderwijs.
Dit rapport als uitgangspunt
We hebben geconstateerd dat er nog niet heel veel bekend is over de VTI. Er is géén referentiemodel, er zijn geen
Best Practices en er is niet automatisch aansluiting bij alle andere activiteiten rondom toetsen. Niettemin wordt de
VTI steeds belangrijker als enabler om goed, veilig digitaal te kunnen toetsen. Geadviseerd wordt daarom om een SIG
VTI op te richten (onder Surf) waarin dergelijk modellen kunnen worden ontwikkeld (bv richtsnoer voor
aanbestedingen), experimenten kunnen worden begeleid, maar waarin ook operationele knelpunten en oplossingen
(bv. rondom ethical hacks e.d.) besproken kunnen worden. Fontys heeft bijvoorbeeld recentelijk een aantal
studenten de toetsomgeving laten ‘hacken’ en vervolgens enkele gaten gedicht. Deze informatie is zeker ook
interessant voor andere instellingen. Daarnaast kunnen vanuit de SIG samenwerkingen worden geïnitieerd en
oplossingen opgeschaald.
Splits de VTI voor productivity software en online toets software
Vrijwel alle toetsen die worden uitgevoerd in productivity software zijn al digitaal. Immers, hoe moet je anders de
2016. Comit.
Een onderzoek dat de Toets kan doorstaan
Blz 14
toets faciliteren? Dat betekent dat de groei vrijwel volledig is te verwachten op het gebied van toetsen in online toets
software. Daarnaast zie je dat toetsen in productivity software meer en meer ook gefaciliteerd kunnen worden in
online toets software. Denk hierbij aan een Rich Text Editor in de online toets software, waardoor bv MS Word als
tekstverwerker niet meer gebruikt hoeft te worden; hiermee verschuift de focus van het gebruik van de VTI van
productivity software naar de VTI van de online toets software. Ook geven de instellingen aan dat toetsen in
productivity software steeds vaker niet meer beveiligd hoeven te worden (omdat ze ‘open boek stijl’ gegeven
worden). De VTI voor productivity software wordt dus steeds meer een niche, terwijl de druk op de VTI voor online
toets software toeneemt. In de roadmaps en het ontwerp adviseren wij daarom om beide te splitsen. Hiermee
wordt voorkomen dat met een kanon op een mug wordt geschoten én het geeft ruimte om te experimenteren met
andere oplossingen voor online toetssoftware.
Experimenteer met nieuwe oplossingen, zeker voor VTI’s voor online toets software
Omdat de VTI voor toetsen in productivity software meer en meer een niche wordt, kan het de moeite lonen om te
experimenteren met nieuwe oplossingen. Een goed voorbeeld is om deze toetsen uit te voeren op studentenlaptops
met behulp van Windows To Go USB sticks of de Safe Testing Environment van Surfnet. Belangrijker is echter om te
experimenteren met oplossingen voor online toets software. Bij voorkeur richt je een VTI in die werkt op elke
willekeurige werkplek, zowel op de eigen toets/common PC’s als op laptops van studenten. Dat geeft maximale
flexibiliteit en schaalbaarheid. De ideale oplossing zou zijn als op deze werkplekken alleen een toets cliënt of een safe
exam browser zou hoeven te worden geïnstalleerd. Dit leidt vooralsnog tot problemen met beschikbaarheid en
vooral veiligheid. Kansrijker lijkt het voorlopig om te experimenteren met een oplossing waarbij de PC en/of
studentenlaptop overgenomen wordt door een light operating systeem waar de online toetssoftware op afgetrapt
wordt. Een goed voorbeeld is een bootable USB stick (Linux met een browser). Een andere te onderzoeken
oplossingsrichting is om cliënts of safe exam browsers middels applicatie distributie programma’s ‘te verpakken’ en
uit te serveren (ADAAS).
Het voordeel van die oplossing is dat er meerdere lagen van beveiliging zijn, dat er geen afhankelijkheden zijn met
het onderliggende operating systeem (dus goed voor de beschikbaarheid), dat de toets op elke werkplek kan
plaatsvinden en dat er dus stappen worden gezet om problemen met schaalbaarheid en flexibiliteit op te lossen. Er
zijn echter ook nog genoeg vragen, bijvoorbeeld rondom de netwerkverbinding, de compatibiliteit met toets
software, etc… Reden te meer om gestructureerd te experimenteren en de resultaten te delen.
Experimenteer met elkaar – werk met elkaar
Wij hebben geconstateerd dat er bij een (flink) aantal instellingen een afstand is tussen de werknemers die
verantwoordelijk zijn voor het toetsen en de werknemers die verantwoordelijk zijn voor de VTI. Surf pleit in zijn
documenten voor de rol van Ketenregisseur Toetsen, maar die is lang niet altijd ingevuld. Wij zagen veel
voorbeelden waarbij de aansluiting tussen de IT – afdeling en de Toets verantwoordelijken niet vanzelfsprekend was.
Dat deze cruciaal is en veel meerwaarde heeft, heeft dit onderzoek – hopelijk – duidelijk gemaakt.
Ook hebben we geconstateerd dat de VTI-specialisten elkaar niet structureel op zoeken. Het is van groot belang dat
er structureel gezocht wordt naar een betere VTI en dat de resultaten van die zoektocht gedeeld worden en dat
samen met elkaar, met Surf en met de markt gezocht wordt naar oplossingen. We pleiten daarom voor een SIG VTI
of een andere wijze van structurele afstemming. Vergeet niet, soms zijn oplossingen niet haalbaar voor één
instelling maar wel in een groter verband.
Maak het onderdeel van het (digitaal) toetsbeleidsplan
Surf heeft een Handreiking Beleid voor Digitaal Toetsen en een stappenplan. Eén van die stappen is infrastructuur.
Wij adviseren om die stap in een SIG VTI verder uit te werken. Om overwegingen toe te voegen rondom het wel of
niet gebruiken van studentenlaptops? Om ervaringen en experimenten beschikbaar te maken en onderdeel te maken
van de afweging en om afhankelijkheden tussen keuzes voor toets software en de onderliggende VTI helemaal
duidelijk te maken (bv een richtsnoer voor aanbestedingen). Deze afhankelijkheden moeten immers integraal
onderdeel zijn van de selectie.
Endnote: Wij zijn van Fontys. Wij hebben een innovatieprijs gewonnen voor het bouwen van een VTI met Windows
To Go. Wij waren er dan ook van overtuigd dat dát de beste manier was om toetsen te organiseren. Simpel! Nu we
klaar zijn met het onderzoek, weten we zeker dat toetsen met Windows To Go niet de beste oplossing is. Zeker niet
voor alle soorten toetsen. Voor ons was dit dus een interessante exercitie met veel meerwaarde.
Hopelijk voor jullie ook.
2016. Comit.
Een onderzoek dat de Toets kan doorstaan
Blz 15
BRONNENLIJST
LITERATUUR
Wat
Omschrijving
Sugata Mitra over leren met telefoons (artikel)
Artikel van Keynote Speaker Sugata Mitra (van Hole in
the Wall). Lees ook vooral de comments (publiek
beschikbaar)
Stappenplan van Surfnet voor het schrijven van een
digitaal toetsbeleid. Het belang van een VTI wordt
onderkend, maar slechts beperkt uitgewerkt (publiek
beschikbaar).
Handreiking van Surfnet voor het schrijven van een
digitaal toetsbeleid. Het belang van een VTI wordt
onderkend, maar slechts beperkt uitgewerkt (publiek
beschikbaar).
Kosten en baten van digitaal toetsen worden op een rij
gezet. Kosten zijn kwantitatief, maar gebaseerd op een
klassieke VTI (toetszalen). Baten zijn vooral kwalitatief
(publiek beschikbaar)
Beschrijving van de voordelen van digitaal toetsen. Gaat
vooral om de voordelen aan de onderwijskant. Weinig
tot geen vermelding van de VTI (publiek beschikbaar)
Stappenplan Digitaal Toetsbeleid Schrijven – Surfnet
Handreiking Beleid voor Digitaal Toetsen – Surfnet
Whitepaper Businesscase van Digitaal Toetsen – Surfnet
Kansen voor het Hoger Onderwijs: inzichten in effecten van digitaal
toetsen…. (Surf, 2014)
Toetsen als Integraal Onderdeel van het Leerproces (Surf, 2016)
Ervaringen met toets systemen (Surf 2014)
Richtsnoer veilige digitale toetsafname (Surf, 2013)
Werkboek Veilig Toetsen (Surfnet, 2016)
Begrippenkader voor digitaal toetsen (Surf, 2013)
HO Baseline Informatiebeveiliging
Webinar Veilig digitaal toetsen
Tool Secure Test Environment - een veilige toetsomgeving – Surfnet
Webinar Tool Secure Test Environment – Surfnet
Experiment veilig toetsen in de cloud, 2014, surfnet
Fraud-Resistant Computerised Examninations (v1.3 jan 2016, TUe, Kees
Goossens / Martijn Koedam)
Wendbaarheid en Veerkracht, Hogeschool Rotterdam
Gecontroleerd digitaal toetsen – technische opties (en vooral vragen)
(TUe, Kees Goossens / Martijn Koedam / Floris Verhagen)
Onderzoek naar toetszalen
2016. Comit.
Uitgave van Surfnet over digitaal toetsen. Weinig tot
geen vermelding van de VTI (publiek beschikbaar).
Beschrijving van de voor,- en nadelen van verschillende
toetssystemen. De paragraaf veiligheid wordt beperkt
uitgewerkt (soms ook niet). De relatie met VTI’s wordt
niet besproken (publiek beschikbaar).
Document over de inrichting van alle componenten van
(veilig) digitaal toetsen. Ook de VTI wordt hierin
besproken en de ervaringen bij verschillende instellingen.
Nadeel is dat het al wat ouder is, niet kijkt naar BYOD en
algemeen blijft (publiek beschikbaar).
Document over de inrichting van alle componenten van
veilig toetsen. In tegenstelling tot het document uit 2013
komt de VTI hier bijna niet in voor (publiek beschikbaar).
Begrippenkader / lijst voor digitaal toetsen. Het begrip
VTI staat er (uiteraard) niet in. Publiek beschikbaar.
Algemene HO Baseline voor informatiebeveiliging. Raakt
maar heel zijdelings aan toetsen (publiek beschikbaar)..
Webinar over toetsen met Windows2Go (publiek
beschikbaar)
Beschrijving van de Secure Test Environment zoals die
door Surf wordt aangeboden. Huidige status is niet
helemaal bekend (werd niet gereageerd op mail).
(publiek beschikbaar).
Webinar over Secure Test Environment (zie hierboven).
(publiek beschikbaar).
Document waarin een aantal belangrijke aspecten van
verschillende oplossingen voor de VTI geraakt worden en
een aantal oplossingen met elkaar worden vergeleken.
Nog geen BYOD in het document (publiek beschikbaar).
Beschrijving van de oplossing van de Tu/e voor toetsen
met een Linux OS (via USB of PxE). (Document
beschikbaar via Comit).
Onderzoek naar de fraudebestendigheid van het proces
van examinering binnen Hogeschool Rotterdam (publiek
beschikbaar).
Beschrijving van de oplossing van de TU/e voor toetsen
met eenLinux OS (via USB of PxE) (Via Comit) –
Presentatie Windows To Go en Presentatie Monitoring
door HvAntwerpen
Eigen onderzoek naar toets zalen en of je die extern kunt
opschalen (beschikbaar via Comit)
Een onderzoek dat de Toets kan doorstaan
Blz 16
Take tests in Windows 10 – vanaf build 1607.
War on fraud (Fontys Hogescholen Techniek en Logistiek, Pieter van den
Hombergh)
Dè Matrix met alle oplossingen
Wet op het hoger onderwijs en wetenschappelijk onderzoek
Link naar document in bijgaande URL:
https://www.utwente.nl/ces/toetsing/nieuwsberichtenToetsing/Vreemde%20ogen%20dwingen/
Rapport Innovatiebudget Toetsen
Q en A met Remindo
Beschrijving van de werking van de Take-a-Test app van
Windows 10 (publiek beschikbaar)
Onderzoek naar mogelijke fraudegevallen rondom
(digitaal)toetsen en maatregelen die hiertegen genomen
kunnen worden – via Comit
Matrix met allerlei verschillende soorten oplossingen en
de voor,- en nadelen (via Comit)
Overzicht van alle artikelen in de WHW. Verwijzing in de
tekst naar artikel 7.50; de instelling dient de student te
faciliteren in het volgen van Onderwijs (publiek
beschikbaar)
Vreemde ogen dwingen – advies aan het hbo om de
toetskwaliteit te verhogen (publiek beschikbaar)
Via de Surf Innovatie Site
Vragen en antwoorden over de VTI aspecten van
Remindo (via Comit)
MET INPUT VAN
Wie
Organisatie
Meta Keijzer-de Ruijter
Koen Mulderij
Erwin van Tuijl
Kees de Vroom
Violeta Beganovic-Vidovic
Esther Haykens
Vincent Kalis
Edwin Groeneberg
Hans Dingemans
Eky Fioole
Paul Minnaert
Andy McAnulla
Patrick van Gijzen
Monique Houtman
Jeroen Bakker
Pieter van den Hombergh
Erwin Rensink
Rene Smout
Egbert van de Winckel
Jolanda Schout
Marcel Dynamus
Bert Kremer
Ludo Zwaan
Kees Codee
Jaap Boer
John van den Hooven
Ewout van Beek
Wiebe de Jong
Joost van Veldhoven
Liesbeth Roerdinkholder
Michiel Duijvestein
Robert Kremer
Chris Helfrich
Herman van Rhijn
R. Sies
Karin van Bakel
Peter Haemers
Arjen Visser
Dominique Lemoin
Maarten van Etten
Joost Jeurissen
Ger Roelen
TU Delft
TU Delft
TU Delft
Hogeschool Utrecht
Hogeschool Utrecht
Hogeschool Utrecht
UvT
UvT
Avans
Avans
Avans
Surpass
NHTV
Remindo (Paragin)
Remindo (Paragin)
Fontys Hogescholen
Saxion
NTHV
BTL
Questionmark
AHK
Artez
CHE
Driestar Eduactief
Driestar Educatief
Han
HHS
HHS
HAS
HAS
HRO
WHM
WHM
HZ
HZ
Inholland
Inholland
Leiden
Van Hall Larenstein
Van Hall Larenstein
HS Zuyd
Roc Midden NL
2016. Comit.
Een onderzoek dat de Toets kan doorstaan
Blz 17