- Praktijkproef Amsterdam

Monitoring en evaluatie smart mobility.
Leren ván en óver de ontwikkelingen op het gebied van smart mobility in Nederland.
Achtergrond
Nederland heeft de ambitie om koploper te zijn om het gebied van smart mobility diensten en om middels
smart mobility bij te dragen aan de bereikbaarheid, veiligheid en leefbaarheid van Nederland, de
concurrentiepositie van het Nederlandse bedrijfsleven en de kwaliteit van de dienstverlening aan reizigers.
Er worden dan ook veel initiatieven ontplooid op smart mobility gebied, variërend van kleine pilots tot
grootschalige programma’s (zie voor een overzicht het “ITS Overzicht” op www.connectingmobility.nl). Om te
kunnen leren van en over de ontwikkelingen op smart mobility gebied in Nederland en gevonden effecten te
kunnen interpreteren en opschalen, is aan TNO gevraagd een raamwerk te ontwikkelen voor het monitoren
van Smart Mobility in Nederland dat de bijdrage van smart mobility ontwikkelingen aan de
beleidsdoelstellingen van het ministerie van Infrastructuur en Milieu in kaart brengt en dat
toekomstbestendig is voor nieuwe ontwikkelingen.
Dit document omschrijft het ontwikkelde raamwerk en doet een voorstel om dit raamwerk toe te passen voor
het vaststellen van de ontwikkelingen in het smart mobility werkveld in Nederland. Eerst wordt de context
van monitoring en evaluatie geschetst.
Monitoring en Evaluatie
De termen monitoring en evaluatie worden vaak door elkaar gebruikt. Toch zijn het onafhankelijke processen
met zeer verschillende doelen.
Monitoring is het herhaaldelijk meten van (delen van) een situatie, om te kijken of er iets veranderd is. Het
heeft tot doel om ontwikkelingen in de tijd te volgen, maar biedt niet de mogelijkheid om te verklaren waarom
bepaalde verschillen optreden of in te schatten hoeveel effect een bepaalde dienst 1 zal hebben. Evaluatie
gaat over het inschatten en het bepalen van de (verwachte) effecten van maatregelen. Dat kan zowel vooraf
gebeuren (door een inschatting te maken op basis van voorspellingen over de werking en het gebruik), als
achteraf (door daadwerkelijk verrichte metingen te analyseren). Met “evalueren” wordt dus expliciet niet
“oordelen” bedoeld.
Doelstellingen routekaart en metingen tot nu toe
De routekaart BGOW kent vier doelstellingen:




Bijdragen aan de IenM beleidsdoelstellingen voor bereikbaarheid, leefbaarheid en veiligheid
Verbeteren van de dienstverlening naar reizigers
Verbeteren van de (kosten)effectiviteit en efficiëntie van publiek verkeersmanagement
Versterken van de concurrentiepositie van het Nederlandse bedrijfsleven
Voor een aantal van deze doelstellingen zijn al acties ondernomen om de voortgang hierop in kaart te
brengen. Zo is recent een rapport van Decisio verschenen over de concurrentiepositie van het Nederlandse
1
Met een dienst wordt in dit document bedoeld een werkende functionaliteit waarvan een reiziger in theorie gebruik kan maken.
Dit kan zijn een in-car advies over rijstrookkeuze of snelheid, een volledig connected voertuig of een geïntegreerd en real-time
navigatiesysteem.
bedrijfsleven, dat door Connecting Mobility is uitgebreid met een internationaal overzicht (doelstelling 4). Ook
is er een onderzoek gedaan naar het bezit en gebruik van C-ITS diensten door reizigers, met als doel om
beter inzicht te krijgen in de dienstverlening (doelstelling 2). Het voorliggende document omschrijft het
raamwerk om overkoepelend inzicht te krijgen in de ontwikkelingen in het smart mobility werkveld.
Het meten en verklaren van Smart Mobility ontwikkelingen
De doelstelling van het hier omschreven raamwerk kent een overstijgend doel: het volgen van de voortgang
in het werkveld van smart mobility, het inventariseren van de veranderingen hierbinnen en het verklaren van
de effecten daarvan. Connecting Mobility en TNO hebben op basis van deze brede doelstelling zes
categorieën geïdentificeerd waarop metingen naar smart mobility diensten plaats kunnen vinden. Deze
categorieën vormen de basis voor de onderzoeksvragen die input zijn voor de stappen in monitoring en
evaluatie. In tabel 1 staan deze zes categorieën beschreven, met voor elke categorie een voorbeeldvraag
die is toegespitst op real-time navigatie. Het is niet de intentie bij elke individuele evaluatie alle zes de
categorieën te beantwoorden; ze dienen als overzicht van het werkveld.
Tabel 1. Zes onderzoekscategorieën
Categorie
Focus
Techniek
Welke technische uitdagingen zijn er voor de uitrol van Smart Mobility diensten?
Hoe ver is de ontwikkeling van smart mobility dienst X?
Uitrol2
Wat moeten we nog oplossen voordat uitrol van dienst X plaats kan vinden?
Bezit
Hoeveel mensen hebben beschikking over dienst Y?
Gebruik
Hoe gaan mensen om met dienst X?
Opvolgingsgedrag
Hoe verandert het reisgedrag / rijgedrag van gebruikers van smart mobility dienst Y?
Effecten
Welke effecten hebben Smart Mobility diensten op de beleidsdoelstellingen?
De zes categorieën komen aan bod in zowel monitoring als evaluatie, al zullen sommige thema’s (zoals
bezit) vaker terug komen in monitoring en andere (zoals effecten) vaker in evaluaties. Om de ontwikkelingen
op het gebied van smart mobility in Nederland in de tijd te volgen (monitoring) gebruiken we periodieke
metingen van indicatoren uit bovenstaande zes categorieën. Hoeveel diensten zijn er beschikbaar voor
reizigers? Hoeveel mensen bezitten die diensten? Hoe intensief worden deze diensten gebruikt? En welke
veranderingen zien we optreden in het verkeerssysteem? Op deze manier kan een uitspraak worden gedaan
over ontwikkelingen door de tijd heen. Voor het vaststellen welke bijdrage een bepaalde dienst of een
specifiek project op de categorieën heeft gehad, wordt evaluatie ingezet. Monitoring en evaluatie hebben
elkaar nodig om de veranderingen te kunnen verklaren. Door zowel in de tijd te volgen wat er op het gebied
van smart mobility gebeurt, als te leren van de ontwikkelingen van individuele diensten en projecten, kunnen
integrale uitspraken worden gedaan over de stand van zaken van smart mobility in Nederland. Het
monitoringsgedeelte wordt daarmee gebruikt als “thermometer”, puur om te weten wat de stand van het
vakgebied is. Door de toevoeging van evaluatie kan ook input gegenereerd worden die voor
investeringsbeslissingen of agendering van volgende projecten of diensten van belang is (het inrichten van
een leerproces).
Het door TNO ontwikkelde raamwerk (figuur 1) brengt monitoring en evaluatie bij elkaar.
2
Hier wordt vaak de bredere Engelse term ‘Deployment’ gebruikt
Figuur 1. Voorgesteld raamwerk voor monitoring en evaluatie van smart mobility diensten
De twee verbindende (groene horizontale) lijnen tussen monitoring (links) en evaluatie (rechts) zorgen er
voor dat er binnen het proces van monitoring en evaluatie ook doorlopend geleerd en bijgestuurd kan
worden. Het is bijvoorbeeld mogelijk dat een van de zes onderzoekscategorieën over enige tijd niet langer
relevant is, of dat er nieuwe vragen opdoemen. De eerste lijn verbindt de onderzoeksvragen uit de zes
categorieën met de doelstellingen van geëvalueerde (of te evalueren) projecten of diensten. De tweede lijn
koppelt de resultaten van de projecten terug naar het monitoringswerk, wat input oplevert voor het verklaren
van gemonitorde veranderingen en de bijsturing van de onderzoeksvragen in de zes categorieën (het leren).
Voor een aantal programma’s of projecten (zoals Beter Benutten Talking Traffic) kan het volgens TNO
wenselijk zijn om op een hoger schaalniveau afstemming te zoeken, dit wordt aangegeven door de grijze
verbindingspijl.
Voorstel concrete invulling monitoring
Een succesvolle monitoring van smart mobility diensten bestaat uit een aantal onderdelen:
- Het vaststellen van de uitgangssituatie, het “nu”
- Periodieke herhalingsmetingen van de gemeten variabelen
- Vaststellen van de relevante contextvariabelen, zoals het aantal smartphone bezitters of het aantal
files op het weggennet
Deze onderdelen worden hieronder uitgewerkt.
Vaststellen huidige situatie, “nu”
Voor het vaststellen van de huidige situatie is het nodig dat de relevante categorieën geïnventariseerd wordt
hoe de stand van zaken in Nederland is. De inventarisatie van de Techniek en Uitrol kan voor een groot deel
gebeuren op basis van bestaande rapporten, zoals de nationale rapportage die in het kader van het ITS
Directive in Europa opgeleverd wordt. In deze rapportage (ITS in the Netherlands Progress Report 2010 2014) staat de huidige situatie van smart mobility diensten beschreven en hoe deze zich ontwikkeld hebben
in de afgelopen tijd.
Parallel moet de huidige situatie van het Bezit en Gebruik van Smart Mobility diensten in Nederland in kaart
worden gebracht, evenals het Opvolggedrag. Een eerste aanzet hiertoe is gedaan in de studie die vorig jaar
door RWS en Goudappel Coffeng is uitgevoerd onder leden van het Mobiliteitspanel Nederland (“Monitoring
wegverkeer gerelateerde informatiediensten 2015”). Om als volledige startmeting te kunnen functioneren en
een goede “foto” van de huidige stand van zaken te kunnen leveren, vraagt deze meting om een uitbreiding.
In de resultaten is bijvoorbeeld het onderscheid tussen verschillende typen navigatieadviezen (met
voorspellende, actuele of zonder verkeersinformatie) niet altijd duidelijk en is het bezit van enkele Smart
Mobility diensten niet meegenomen. De aanvulling wordt voorzien voor het voorjaar van 2017 (voorbereiding
Q3/Q4 van 2016).
Het Opvolggedrag en de Effecten van Smart Mobility diensten kunnen momenteel nog niet los van
bestaande verkeersmanagementdiensten worden gezien, omdat er overlap is in zowel functionaliteit als
locatie. TNO werkt aan een analyse van de overlap tussen klassieke verkeersmanagement diensten en de
Smart Mobility use cases, en inventariseert de reeds bekende effecten hiervan in een poging een beter
inzicht te bieden in de effecten van VM en C-ITS (verwacht in Q3 van 2016). De volgende stap, een
uitgewerkte analyse, kan dienen als de startmeting voor de Effecten op bereikbaarheid, veiligheid en
leefbaarheid van smart mobility diensten in Nederland.
Periodieke (herhalings)metingen
De bepaling van Techniek, Uitrol, Bezit, Gebruik, Opvolggedrag en Effecten wordt jaarlijks herhaald met
dezelfde middelen. Indien mogelijk wordt de meting van Bezit van smart mobility diensten aangevuld met
informatie van organisaties als BOVAG of RDW, die mogelijk relevante aanvullende informatie hebben.
Contextvariabelen
De ontwikkelingen van smart mobility diensten staan niet op zichzelf maar vinden plaats in de context van
andere trends, ontwikkelingen en investeringen. Daarbij kan gedacht worden aan de beschikbaarheid van
4G (of 5G) internet, het smartphonebezit in Nederland, de ontwikkeling van beleidsindicatoren en de
aanwezige traditionele verkeersmanagementsystemen.
Voor een aantal van deze contextvariabelen kan worden aangesloten bij:
- Publicaties en brondata CBS
- Mobiliteitsbeeld (jaarlijkse KiM rapportage)
- TrafficQuest jaarbericht
- Jaarrapportage Rijkswaterstaat
Uit deze publicaties worden onder andere de volgende aspecten gehaald:
- Smartphonebezit in Nederland (inclusief doelgroepen)
- Het gebruik van mobiel internet (buitenshuis / onderweg beschikbaar)
- De ontwikkeling van de beleidsindicatoren (voertuigverliesuren, verkeersdoden en emissies)
- De ontwikkeling van de verkeersprestatie (voertuigkilometers en netwerk)
- De aanwezige bestaande verkeersmanagement systemen (aantallen en locaties, voor zover
bekend)
- Vernieuwing / ontwikkeling van het wagenpark.
Organisatie: wie doet wat?
Connecting Mobility organiseert via een marktonderzoeksbureau de metingen van de huidige situatie en de
periodieke herhalingen hiervan. Dit zal leiden tot een jaarlijks rapport. De eerstvolgende meting is voorzien in
Q1 van 2017.
Het vaststellen van de contextvariabelen kan op meerdere manieren plaatsvinden. Veel gegevens over de
bredere trends en ontwikkelingen in Nederland (bijvoorbeeld op het gebied van smartphonebezit,
internetgebruik, autobezit, vvu’s en afgelegde kilometers) worden door organisaties als CBS, SCP, RWS of
BOVAG vastgelegd. Bij voorkeur wordt gebruik gemaakt van deze data, gezien de betrouwbaarheid en
representativiteit voor Nederland. Indien een deel van gewenste data niet beschikbaar is, of indien
geoordeeld wordt dat de data niet recent genoeg zijn, is het te overwegen om deze data als onderdeel van
de periodieke metingen te verzamelen. De afweging hiertoe zal indien nodig per onderwerp worden
gemaakt.
Voorstel concrete invulling evaluatie
Evaluatie is van belang om de veranderingen zoals monitoring die in kaart brengt te kunnen verklaren. De
basis voor de evaluaties ligt in projecten en diensten die uitgevoerd en uitgerold worden (en waarvan de
resultaten worden verzameld). Om hieruit de juiste informatie te kunnen destilleren zijn moeten de juiste
projecten geselecteerd worden (1). Op basis van de resultaten kunnen leerpunten worden gehaald (2), en
resultaten kunnen vervolgens met elkaar geïntegreerd worden (3). De laatste stap is het combineren van de
gevonden veranderingen binnen monitoring en de verklaring van effecten uit de evaluaties (4). De eerste
twee onderdelen worden in deze paragraaf besproken, de overige twee in de volgende omdat ze de
verbinding vormen tussen monitoring en evaluatie.
Selectie van projecten en diensten
Hoewel voor een optimale leeromgeving alle beschikbare diensten en projecten onderdeel uitmaken van de
evaluaties, is dit praktisch (en zeker in de eerste jaren) niet haalbaar. Daarom is een methode gekozen om
kansrijke projecten en diensten te selecteren. De methode is een Multi criteria analyse, die op basis van 4
hoofdthema’s (criteria) scores toekent aan projecten of diensten. De dienst met de hoogste score is het
meest interessant, maar een controle op basis van “gezond verstand” of de lijst wel de juiste projecten
oplevert moet nog steeds uitgevoerd worden.
Hieronder staan de 4 criteria genoemd met tussen haakjes de indicator die hiervoor gebruikt kan worden. In
de rest van de paragraaf besteden we aandacht aan de uitwerking van deze criteria. Het spreekt vanzelf dat
dit niet een vaststaand lijstje is; als blijkt dat bepaalde onderzoeksvragen, typen diensten of locaties niet
voldoende in de evaluatie zitten, wordt hierop bijgestuurd.
Het ITS Overzicht biedt een waardevol startpunt voor de selectie. Bovendien wordt met de
onderzoeksvragen / categorieën en voor de selectie van projecten aangesloten bij de bevindingen in dit
overzicht.
De criteria:
1) Onderzoeksvragen (aantal en onderwerp)
2) Smart Mobility diensten (aantal, enkele diensten of bundels)
3) Grootte (deelnemers, gebied)
4) Uniciteit (mate waarin een dergelijke dienst al is geëvalueerd)
Ad 1) Voor een goede overkoepelende evaluatie worden projecten of diensten geselecteerd die aansluiten
op (een of meer van) de zes genoemde categorieën van Techniek, Uitrol, Bezit, Gebruik, Opvolggedrag en
Effecten. Een project dat goed aansluit bij (een of meer van) deze onderzoeksvragen is interessant om te
evalueren; hoe meer vragen beantwoord zouden kunnen worden met de evaluatie van het project of de
dienst, hoe interessanter het project of de dienst wordt om te evalueren. Er wordt zo dicht mogelijk bij de
inventarisatie van het ITS Overzicht gebleven.
Ad 2) Dit criterium maakt onderscheid naar twee verschillende onderdelen:
- Aantal diensten dat geëvalueerd wordt (hoe meer diensten in een project geëvalueerd worden, hoe
beter)
- Individuele of bundels van diensten die geëvalueerd worden. Op dit moment is samenhang van
effecten van gecombineerde diensten nog erg onduidelijk. Dat betekent dat projecten die de effecten
van bundels van diensten evalueren interessante onderzoeksvragen kunnen beantwoorden.
Ad3) Projecten met een grote verwachte impact krijgen een hogere prioriteit. De resultaten van projecten of
evaluaties van diensten worden duidelijker en beter onderbouwd naarmate er meer deelnemers zijn.
Ad 4) Uniciteit van de diensten. Diensten die nog niet zijn meegenomen in het proces van M&E, en die dus
nieuwe informatie bieden, zijn interessanter dan diensten waarvan al meerdere varianten geëvalueerd zijn.
De criteria zijn verschillend van aard en niet makkelijk te vergelijken. Een eenvoudige Multi criteria analyse
(tabel 2) ondersteunt daarin om de selectie van projecten eenvoudige te maken. De analyse geeft voor elk
project een score op basis waarvan projecten onder elkaar gezet kunnen worden.
Overigens kan de weging eenvoudig gewijzigd worden als de focus van de selectie verandert, net als geldt
voor de selectiecriteria zelf.
Tabel 2. Criteria voor selectie van projecten en diensten
Criterium
Onderzoeksvragen
Smart Mobility
diensten
Aantal
Individueel of
bundel
Omvang
Deelnemers
Gebied
Uniciteit
Scoring
Geen vraag
beantwoord
(0)
0 (1)
Lokaal (1)
Eerste
evaluatie
(4)
Weging
3
Aantal
diensten
(punten)
(punten)
1
>1000
(4)
#deelnemers
(punten)
3
Landelijk
(5)
Dekking
(punten)
2
(punten)
2
3-5 (3)
6 of meer
(4)
1-2
(2)
3-5 (3)
6 of meer
(4)
Individueel (1)
<100 (1)
Uitleg
Aantal
vragen
(punten)
1-2
(2)
Bundel (4)
100500
(2)
Stad
(2)
500 –
1000
(3)
Metropool
(3)
Reeds
geëvalueerd
maar
nieuwe
situatie (2)
Al in meer
situaties
geëvalueerd
(1)
1
Werkingsmechanismen voor verklaring en verbinding met doelstelling
Om op basis van een evaluatie een uitspraak te kunnen doen over de beoogde doelstellingen, moet er van
tevoren worden nagedacht over hoe de gemeten variabelen samenhangen met die doelstelling. Dat klinkt
vanzelfsprekend, maar in de praktijk blijkt dat er in het uitdenken van werkingsmechanismes vaak cruciale
denkstappen worden overgeslagen waardoor de uitkomsten niet direct gerelateerd kunnen worden aan het
oorspronkelijke doel van het project. Een inzichtelijk middel om dit te voorkomen is het causaliteitsdiagram.
Dit causaliteitsdiagram geeft inzicht in de relaties tussen verschillende werkingsmechanismen. Het laat zien
dat als bijvoorbeeld voertuigverliesuren moeten worden bepaald een groot aantal beïnvloedingsfactoren mee
moeten worden genomen voordat een effect aan een specifieke dienst kan worden toegekend.
Op micro niveau zijn vervolgens nog een aantal mechanismen te onderscheiden.
Figuur 2. Causaliteitsdiagrammen
TNO levert in Q3 van 2016 meerdere causaliteitsdiagrammen, waarmee de doelstellingen en metingen
eenvoudig aan elkaar gelieerd kunnen worden. Dit kan ook onderdeel uitmaken van een eventuele M&E
toolkit die in de toekomst beschikbaar zou kunnen worden gesteld aan projecten of opdrachtgevers van
projecten.
Kwaliteitsborging monitoring en evaluatie
Veel van de projecten en diensten in Nederland hebben zelf al zeer succesvol hun evaluaties georganiseerd
en bij voorkeur zouden we op basis van een synthese van de beschikbare evaluatierapporten conclusies
trekken over de voortgang op de genoemde zes categorieën van Techniek, Uitrol, Bezit, Gebruik,
Opvolggedrag en Effecten.
Soms sluit een evaluatieplan of –rapport echter niet naadloos aan op de vooraf beoogde doelstelling binnen
een project, of is te voorzien (bijvoorbeeld op basis van het causaliteitsdiagram) dat er een stap gemist wordt
in de evaluatie. In een dergelijke situatie zijn er grofweg twee mogelijkheden: de evaluatie afwachten en
achteraf besluiten of het project meegenomen kan worden in de leerervaringen, of in gesprek gaan met
opdrachtgever / marktpartij / project om te kijken welke mogelijkheden er zijn voor aanpassingen en
aanvullingen.
Een concreet voorbeeld van zo’n situatie is een cluster aan Use Cases binnen Talking Traffic, waarin
beoogd wordt om de verkeersafwikkeling te beïnvloeden. Voor het vaststellen van de effecten is een GPS
trace uitgevraagd. Er is echter niet voorzien in een GPS trace van rijden zonder dienst (hetzij in een
nulmeting, hetzij parallel), om de verschillen op hetzelfde niveau te kunnen vergelijken. Het risico bestaat
hierdoor dat de eventuele effecten niet te zien zijn tegen de achtergrond van alle andere dingen die op de
weg gebeuren. Bij voorkeur zou er een extra meting van GPS traces (vooraf of parallel) worden
georganiseerd; middels simulaties kunnen dergelijke bevindingen vervolgens worden opgeschaald naar
potentiele effecten op de weg. Dit maakt echter geen onderdeel uit van de uitvraag. In een overleg tussen
Connecting Mobility en met Beter Benutten is recent besloten gezamenlijk een memo op te stellen over de
meerwaarde van een dergelijke meting en de mogelijkheden om hiertoe te komen (in Q3 van 2016.). Zodra
een partij zich heeft ingetekend kunnen Connecting Mobility en Beter Benutten samen met de betrokken
partij concreet de mogelijkheden bespreken om deze evaluatie aan te scherpen of uit te breiden.
Ook voor toekomstige vergelijkbare situaties wordt een vergelijkbare aanpak voorgesteld, door meerwaarde
te bieden in kennis en eventuele andere ondersteuning.
Verbinding monitoring en evaluatie
Het ophalen van de verschillende evaluatie resultaten levert niet direct een verklaring op voor effecten die
buiten op de weg zichtbaar zijn. Hiervoor zijn twee aanvullende stappen noodzakelijk:
1) integratie van evaluatie resultaten voor dezelfde Smart Mobility diensten
2) bepaling van potentiële en huidige bijdrage aan beleidsindicatoren.
Zodra een effect van een specifieke smart mobility dienst in een specifieke situatie vastgesteld is, kunnen
(na aanvullende analyses) uitspraken worden gedaan over de te verwachten effecten in een andere situatie.
Daarbij kan gedacht worden aan het vergroten van de penetratiegraad (een groter aandeel reizigers in
hetzelfde gebied gebruikt de dienst), het uitbreiden van de geografische dekking (de dienst wordt over een
groter gebied uitgerold), of het samenbrengen van verschillende typen diensten (naast connected/real-time
navigatie wordt ook in-vehicle signage uitgerold). Door de evaluatieresultaten uit verschillende evaluaties
van een specifieke Smart Mobility dienst (bijvoorbeeld een slimme VRI) samen te brengen, te vergelijken en
te integreren, volgt één gemiddeld verwacht effect voor de specifieke referentiesituatie dat vervolgens kan
worden opgeschaald naar potentiële effecten voor Nederland (zie voor een voorbeeld figuur 2, ‘Overzicht
effect navigatie met real-time info’). De integratie en opschaling van resultaten is dus essentieel om te
kunnen leren van evaluaties voor heel Nederland. Dit proces valt uiteen in een viertal stappen.
Stap 1: Voor de integratie wordt gekeken naar de mogelijkheid tot het integreren van verschillende resultaten
voor gelijkwaardige diensten en welke effecten deze diensten laten zien. Op deze manier kan gekeken
worden wat de bandbreedte van het te verwachten effect is wanneer een specifieke dienst geïmplementeerd
wordt.
Stap 2: Op basis van de context waarin de evaluatie is uitgevoerd (bijvoorbeeld op het hoofdwegennet of
alleen autobezitters) kan vervolgens bepaald worden welk potentiële effect de smart mobility dienst teweeg
kan brengen. Dit noemen we opschaling. Bij opschaling kijken we naar het effect zoals behaald gedurende
de evaluatie en wordt op basis van een aantal contextvariabelen (bijv. wegtype, weertype, gebruiker)
gekeken hoe vaak deze situatie in Nederland voorkomt gedurende één jaar. Door deze twee factoren (effect
x aantal situaties) met elkaar te vermenigvuldigen ontstaat het beeld van de potentiële bijdrage die een
smart mobility dienst kan hebben. Let op: De effecten van verschillende diensten kunnen niet klakkeloos bij
elkaar worden opgeteld.
Stap 3: Daarnaast kan door de combinatie van de bandbreedte van het effect en de referentiesituatie
bepaald worden wat de bijdrage op dit moment is van een specifieke dienst aan de beleidsindicatoren.
Bijvoorbeeld het effect van real-time verkeersinformatie op voertuigverliesuren wat gecombineerd wordt met
de beschikbaarheid van deze huidige diensten op dit moment en het gebruik van deze diensten om files te
vermijden. De combinatie van deze factoren geeft inzicht in de bijdrage (positief of negatief) aan
voertuigverliesuren zoals die zich ontwikkelen.
Afhankelijk van het aantal projecten dat wordt geëvalueerd worden deze analyses verschillende keren
uitgevoerd en wordt gekeken naar het opgetelde potentiele effect van verschillende diensten. Het is wel
noodzakelijk om voor elk gevonden effect een expliciete referentiesituatie te bepalen, zodat de opschaling
naar een nieuwe situatie vanuit het goede uitgangspunt gebeurt.
Figuur 3. Integratie resultaten en opschaling van effecten
Voor dit opschalen zijn tools (modellen) nodig. TNO heeft beschikking over de tool SCENIC die deze
mogelijkheid biedt. Met de geïnitieerde ontwikkeling van SimSmartMobility is een grote stap gezet richting
een eigen tool om bovendien zelf opschalingssimulaties uit te voeren.
Samenhang met andere initiatieven voor M&E
Er vinden al verschillende initiatieven plaats op het gebied van Monitoring en Evaluatie. Zo leveren projecten
en pilots hun eigen evaluatierapporten op, zijn er recent verschillende studies verschenen over het bezit van
in-car informatiediensten (Goudappel Coffeng, 2015) en de concurrentiepositie van het Nederlandse
bedrijfsleven (Decisio, 2016), en is het initiatief genomen om samen met TNO en de TU Delft een nieuwe,
open simulatietool voor smart mobility diensten te ontwikkelen, genaamd SimSmartMobility. Hoe verhouden
deze initiatieven zich tot het hier gepresenteerde raamwerk voor monitoring en evaluatie?
De evaluatierapporten van onderzochte diensten en projecten passen naadloos in het voorgestelde
raamwerk. Zoals gezegd wordt aangehaakt bij de evaluaties die projecten zelf doen. Waar er een afwijking
lijkt te zijn tussen het beoogde doel en de gekozen aanpak, of wanneer eenvoudig een extra vraag
toegevoegd zou kunnen worden aan de evaluatie, kan in gesprek worden gegaan over de mogelijkheid tot
een eventuele aanvulling of aanscherping.
De studies die recent zijn verschenen, dragen allemaal bij aan het grotere geheel van het krijgen van inzicht
in de doelstellingen uit de routekaart BGOW. De routekaart kent meerdere doelstellingen, die niet allemaal
meteen met het voorgestelde raamwerk geëvalueerd zullen worden. De opgeleverde rapporten over de
andere doelstellingen zijn in de huidige fase een zelfstandig middel om de voortgang op specifieke
doelstellingen te bekijken. In een volgende fase zullen de activiteiten voor monitoring en evaluatie worden
uitgebreid met inzichten over zaken als de internationale concurrentiepositie, organisatorische inbedding en
samenwerking.
SimSmartMobility ten slotte is een simulatietool die wordt ontwikkeld in samenwerking met TNO en de TU
Delft. Er zijn momenteel weinig simulatiemodellen waarin smart mobility diensten goed zijn doorgerekend.
En vanwege de commerciële toepassing die vaak ten grondslag ligt aan de bestaande simulaties (op basis
van vraagsturing wordt een specifieke dienst doorgerekend, maar daarbij worden niet gratis allerlei andere
diensten ook meegenomen) is er geen model waarin smart mobility diensten in samenhang kunnen worden
bekeken. Het door de drie partijen ontwikkelde simulatiemodel is een open platform, waarop de reeds
doorgerekende simulaties gevisualiseerd en gecombineerd kunnen worden. Hierdoor kunnen ex-ante
inschattingen worden gemaakt van effecten, kunnen gedragsaanpassingen worden vertaald naar KPI’s als
aantal minuten vertraging op het netwerk of aantal ongevallen, en kunnen verschillende diensten naast en
door elkaar worden getoond, wat vergelijking en opschaling dichterbij brengt. Deze ontwikkeling is dus een
toevoeging aan het hier gepresenteerde raamwerk.