Cascadis 2007: start benchmarkgroep

Evaluatie van
gemeentelijke websites
Leo Lentz
Han van Wel
Cascadis 2007: start
benchmarkgroep
Twee conclusies in 2007:
• gemeentesites houden te weinig rekening met wat de burger
werkelijk wil (en kan)
• De Overheidmonitor wordt als beperkt ervaren:
•
techniek viert boventoon
•
te veel een lijst met punten die afgevinkt worden
•
te veel op oppervlakkige kenmerken gericht
•
geen echte indicatie van kwaliteit
Conclusies HCI-handbook 2008
• User centered design is een standaard aan het worden
• De resultaten van usability evaluaties lijken sterk
afhankelijk te zijn van de evaluator
• Er is weinig overlap tussen de resultaten van
verschillende methoden
• Veel gebruikersonderzoek is beperkt tot een klein
domein van de website
• Benchmarking van methoden onderling is zeer wenselijk
Benchmarking tussen gemeentes
Gemeentes
Organisaties
Vlissingen
Borsele
Den Haag
LeidschendamVoorburg
Amstelveen
Nijmegen
Almelo
Eindhoven
VNG
SGBO
Nedstat
Parantion
Cascadis
Datadirection
GX
PWC
Universiteit Utrecht
Essentie in modellen (1):
Essentie in modellen (2):
Benchmark met 5 onderdelen
1. Bezoekers van de site geven oordelen via een survey (WEQ)
over navigatie, ontwerp, inhoud (Universiteit Utrecht)
2. Via analyse logfiles worden de resultaten van de WEQ
verbonden met gedrag van de invullers van de vragenlijst
(NedStat)
3. Met een feedback button op de eigen site verzamelen
gemeentes commentaren en suggesties van bezoekers
4. Met behulp van een scenario-analyse wordt voor vier cruciale
taken een expertanalyse uitgevoerd van elke site (Universiteit
Utrecht)
5. Met behulp van andere scenario’s vindt een analyse plaats van
de processen aan de “achterkant” van de site.
1. De Survey vragenlijst (WEQ
Website
Evaluation
Questionnaire
Procedure vragenlijstevaluatie
• De gemeente plaatst een link naar de
vragenlijst
• Bezoekers kunnen vragenlijst invullen
• Resultaten worden geanalyseerd
• Rapport met conclusies en aanbevelingen
4. Voorbeelden in de praktijk
Resultaten bereikbaarheid
Bereikbaarheid
Gemiddelde score
Bereikbaarheid algemeen
3,27
Gebruiksgemak
3,59
Navigatie
3,39
Oordelen van gebruikers vergeleken
WEQ tot nu toe
Gemeentes
Resultaat
•
•
•
•
•
•
•
•
Ranking van deelnemers
op de dimensies:
Amersfoort
Apeldoorn
Dordrecht
Deventer
Nijmegen
Purmerend
Utrecht
Zwartewaterland
- Navigatie
- Inhoud
- Ontwerp
gebaseerd op oordelen van
burgers die de site
gebruiken.
2. Feedback button
Op elke pagina:
Het feedback formulier
Resultaat feedback button
• Analyses uitgevoerd op feedback van
• Rotterdam (2007)
• Utrecht (2007)
• De feedback button oogst veel bijvangst
• Vragen (wanneer komt Sinterklaas in Utrecht?)
• Commentaar op beleid en personen
• Verzoek om gegevens te corrigeren
• Verzoek om bepaalde informatie te plaatsen
• Meldingen en aanvragen die doorgeleid moeten worden
• Oogst van Utrecht in 16 maanden: 8000 reacties
• Dat zijn er 500 per maand
Classificatie van feedback
Vu Anh (2007) “Uw opmerkingen
over de website horen wij graag”
Scriptie Universiteit Utrecht
3. Scenario evaluatie
Belangrijke verschillen:
• geen oordelen van bezoekers maar van experts
• Beperkt tot een klein domein van de site
• niet kwantitatief (zoals de WEQ) maar kwalitatief
Kenmerken:
• Identificatie van aantal cruciale taken die mensen
goed op de site moeten kunnen uitvoeren
• Uitschrijven scenario’s op die taken
•
•
kenmerken gefingeerde gebruiker
concrete vragen van gebruiker
• Analyse door expert met Infocus
Voorbeeld van een scenario
• Mevrouw Jansen woont in een huurwoning in Apeldoorn. Zij heeft van
de verhuurder het aanbod gekregen om de woning waarin zij woont te
kopen voor €160.000,-. Zij zou graag op dit aanbod ingaan, maar de
prijs is eigenlijk te hoog. Zij heeft wel eens gehoord dat gemeenten
financiële steun geven aan mensen die voor het eerst een woning
kopen. Zij gaat op de website zoeken of de gemeente Apeldoorn een
regeling heeft om nieuwe kopers te steunen en of zij voor deze
regeling in aanmerking komt.
• 1a. Hoe heet de regeling waarmee de gemeente Apeldoorn financiële
steun geeft aan mensen die voor het eerst een woning kopen?
• 1b. Komt zij als koper in aanmerking voor deze steun? Waarom
wel/niet?
1c. Hoe zou zij een aanvraag kunnen indienen voor deze steun?
• Kenmerken: mevrouw Jansen is nog niet zo heel erg ervaren op het
Internet. Ze surft weinig en voelt zich gauw onzeker. Ze heeft echter
wel een goede opleiding en wil graag het naadje van de kous weten.
Ze leest alles wat maar relevant lijkt en geeft niet gauw op.
Scenario’s tot nu toe
Scenario-evaluaties:
• Formulieren van Amsterdam
• Website van
• Utrecht
• Amersfoort
• Dordrecht
• Gemeentes provincie
•
Gelderland (www.gelreweb.nl)
•
Utrecht
In het laboratorium (niet in benchmark)
• Hardop denken
• Tijdens taakuitvoering
• Na het uitvoeren van de taak (retrospectief)
• Registratie oogbewegingen
• Proefpersonen voeren taken uit
• Oogbewegingen worden geregistreerd
• Meestal in combinatie met hardop denken
• Altijd in combinatie met de vragenlijst (WEQ)
• Uitgevoerd op sites van Amersfoort, Apeldoorn,
Dordrecht en Nijmegen (N=240)
Benchmark tot nu toe
• Een interessante werkgroep met een veelbelovende
combinatie van gemeentes en experts in usability
• Grote bereidheid om een stap verder te zetten in
kwaliteitszorg voor gemeentes op het Web
• Uitstekend plan voor een pilot ontwikkeld met een
interessante combinatie van methoden
• Interessant aanbod van marktpartijen om daar tegen
bodemprijzen aan mee te werken
• Uitdagingen:
•
•
•
financiering vinden bij de betrokken gemeentes budget
Relatie ontwikkelen met landelijke initiatieven (ICTU en BZK)
Inbedden in benchmark-ambities VNG
Conclusies Benchmark
• Eerste waardevolle aanzet in de richting van serieuze
kwaliteitszorg voor het web
• Sterke punten:
•
•
•
•
•
•
Gemeentes werken samen en leren van elkaar
Organisaties met expertise in usability werken samen
Diverse metingen / instrumenten waardoor de resultaten veel
betrouwbaarder zijn
Ervaringen van gebruikers worden gecombineerd met expert-oordelen
Zowel globale kwantitatieve resultaten als meer diagnostische kwalitatieve
resultaten
Zowel aandacht voor de voorkant als de achterkant
• Problemen:
•
•
Gemeentes hebben nauwelijks budget
Geen overkoepelende ondersteuning