Slide 1 - Het Vlaams Innovatienetwerk

Gids voor de meting van effecten van
Competentiepolen en projecten TETRA en Collectief
Onderzoek
Infosessie VIN netwerk
IDEA Consult
(www.ideaconsult.be)






Opgericht in 1998, gebaseerd in
Brussel, 40 werknemers
Ecorys groep (met kantoren in o.a.
Nederland, VK, Spanje, Rusland,
Turkije, Hongarije)
Onderzoek & advies
Beleid
Nationale en Europese overheden
4 kennisvelden
 Competitiviteit en Innovatie
 Arbeidsmarktbeleid
 Regionale en stedelijke
ontwikkeling
 Vastgoed en ruimtelijke
ontwikkeling
2
Agenda


Achtergrond

Over deze studie

Het belang van effectmetingen

Onderliggende principes en bouwstenen
Het meetproces in vier stappen

Doelstellingen

Effecten

Indicatoren

Meting
3
Over deze studie
Doelstellingen

Ontwikkelen meetmethodiek
(generieke set van parameters)



Voor CP: om als managementtool te gebruiken en
ter verantwoording van (publieke en private)
middelen.
Voor IWT: om als tool te gebruiken om de relevante
resultaten en directe/indirecte effecten te meten en
de werking van het programma te kunnen evalueren.
3 verschillende programma’s (CP, VIS-CO en
TETRA), 1 generieke meetmethodiek.
4
Over deze studie
Interrelatie met andere studies

Selectie van gerelateerde IWT studies
(www.iwt.be/publicaties):





Studie 48: ‘Making the Difference: The Evaluation of
"Behavioral Additionality" of R&D
Subsidies’
Studie 56: 'What difference do IWT R&D grants
make for their clients’
Studie 59: 'De effectiviteit van het Vlaamse
Innovatiesamenwerkingsverband (VIS)’
Studie 61: 'Werking en effecten van Collectief
Onderzoek’
Studie 62: 'Zelfevaluatie van competentiepolen'
5
Over deze studie
Aanpak
F1: Inceptiefase



Empirische toepassing
door middel van 7
‘testmetingen’.
Studie bouwt voort op
“methodiek
zelfevaluatie van
competentiepolen”.
Concept eindrapport is
beschikbaar.
F2: Gezamenlijke ontwikkeling
meetmethodiek
F3: Empirische toepassing
F4: Optimalisatie meetmethode
F5: Eindrapportage en valorisatie
6
Belang effectmetingen?

Investeren in O&O
 Studies op bedrijfsniveau (O&O) leidt tot bruto
rendementen tot 20-30%
 Inclusief kennisverspreiding, loopt dit op tot 30-40%
Alle bedrijven doen aan O&O dus? Nee, want:
onzekerheid, toe-eigening, destructie
 Marktfalen, dus overheid moet rol opnemen
(CP, TETRA, CP)
 Verantwoording in functie van keuzes en
beperkte middelen

7
Onderliggende principes en bouwstenen

Algemene principes
meetkader/handleiding







Meten van gerealiseerde effecten
Meten van waardecreatie bij de ‘ontvangers’
Toelaten ‘bottom-up’ aanpak
Werken met ‘blauwdrukken’
‘Pick list’ van indicatoren (‘type’ indicatoren)
Praktische tips en suggesties
Beperken van administratieve lasten
8
Effecten en hun dimensies

Drie dimensies:



Niveau waarop de effecten zich
kunnen voordoen (ontvanger,
uitvoerders).
Soorten effecten waarop een
project gericht is.
De tijdsdimensie waarop deze
effecten te verwachten zijn (KT, MT,
LT).
9
Soorten effecten
Input
Netwerking en
samenwerking
Schaal en
reikwijdte
Competentie- en
expertiseopbouw
Versnelling
Risico
Strategievorming
Output
Bijkomende O&O investeringen/inspanningen door bedrijven als
gevolg van deelname aan het project/programma.
Effecten rond uitbreiding/verbreding van netwerken en
intensivering van samenwerking.
Effecten in relatie tot de grootte en reikwijdte van een project en
zijn uitkomsten.
Effecten in relatie tot opbouw, uitbreiding en verdieping van kennis,
ervaring en competenties.
Effecten in relatie tot het sneller toegang krijgen tot competenties
en expertise, en dus het sneller kunnen realiseren van output.
Effecten in relatie tot het kunnen nemen van meer risico in een
bepaald project.
Effecten rond verbetering van managementroutines, erkenning
innovatie als strategisch belangrijk en/of uitwerking innovatieplan.
Tastbare resultaten die het gevolg zijn van deelname aan het
betreffende project/programma (bijv. nieuw product of proces).
10
Tijdsdimensie effecten
KT: ‘tijdens’ of ‘net na’ de uitvoering van een
project
 < 1 jaar na afloop van een project
 Ev. rekening houdend met verlengde looptijd
 MT: ‘na’ de uitvoering van een project
 >1 en <3 jaar na afloop
 Ev. rekening houdend met verlengde looptijd
 LT: ‘ruim na afloop’ van een project
 > 3 jaar
 Attributie probleem

11
Het meetproces in vier stappen (1)
Vraag 1: Welke doelstellingen stellen wij (als projectaanvragers) centraal?
Hulpvragen:
1.1 Welke doelstellingen staan centraal in het betreffende IWT programma (resp. CP/TETRA/CO)?
1.2 Welke klemtonen willen wij leggen in ‘ons’ project en kan/mag dit?
1.3 Kunnen en mogen we (van het IWT) de nodige activiteiten uitvoeren om deze doelstellingen te
bereiken?
Vraag 2: Welke effecten willen we vervolgens bereiken?
Hulpvragen:
1.4 In functie van de gelegde klemtonen bij de beantwoording van de vorige vragen, welke effecten
zullen zich voordoen, of welke effecten wilt u realiseren?
1.5 Houd hierbij rekening met de soort effecten, het niveau waarop de effecten zich kunnen
voordoen, en de termijn waarbinnen de effecten te verwachten zijn (IWT regels).
12
Het meetproces in vier stappen (2)
Vraag 3: Welke indicatoren zijn het geschikt om de effecten te meten en dus
te monitoren?
Hulpvragen:
1.1 Effecten zijn op verschillende manieren te meten; welke indicatoren zijn het meest geschikt om
de vooropgestelde effecten te meten?
1.2 Zorg hierbij voor voldoende variëteit in uw indicatorenmand! Kwantitatieve en kwalitatieve
indicatoren dienen zich af te wisselen.
Vraag 4: Welke meetaanpak is hierbij geschikt?
Hulpvragen:
1.3 Ligt de gegevensverzameling binnen uw bereik of bent u tevens afhankelijk van aanlevering
door anderen? Wie moet wat doen? Maak hierover afspraken!
1.4 Maakt de meetaanpak integraal deel uit van het management van uw project(en)? Voorzie
voldoende tijd en middelen om de indicatoren op te volgen.
13
Vraag 1 - Doelstellingen

Vraag 1


Gewenst resultaat


Welke doelstellingen stellen wij (als projectaanvragers)
centraal?
Een helder overzicht van de doelstellingen die u als
projectaanvrager/-uitvoerder met uw project nastreeft.
Mogelijke hulpmiddelen



De IWT handleidingen die in detail aangeven welke
activiteiten, en dus doelstellingen, gefinancierd kunnen
worden.
De blauwdruk van doelstellingen voor CP, TETRA en CO die
te vinden zijn in bijlagen 1, 2 en 3 (zie handleiding)
waardoor u zich kunt laten inspireren.
Het ‘Logic Model’ principe.
14
Blauwdruk
Activiteiten
Intermediaire Doelstellingen
Strategische Doelstellingen
Impact
Hier neemt u de dagdagelijkse
activiteiten op die wil uitvoeren om
uw doelstellingen te behalen. Dit
zijn de activiteiten die eveneens
gefinancierd kunnen worden (zie
IWT handleidingen).
Hier geeft u de doelstellingen weer
die een resultaat reflecteren bij de
onmiddellijke doelgroep, vaak de
bedrijven (de zogenaamde
‘beneficiaries’).
Hier geeft u de doelstellingen weer
die overeenkomen met de
verwachte strategische effecten
(zelfs impact) van het gefinancierde
project of gefinancierde projecten.
Hier geeft u de ambitie weer die
samenhangt met de globale impact
van de interventie (lees: het
steunprogramma in zijn geheel)
Voorbeelden:
Voorbeelden:
Voorbeelden:
A1. Uitvoeren van
contractonderzoek, coöperatief
onderzoek en collectief
onderzoek
A2. Maken van publicaties
(vakinhoudelijk en nietvakinhoudelijk)
A3. Organisatie van evenementen
(workshops, conferenties, …)
Voorbeelden:
ID1. Verhogen van het aantal
innovaties bij bedrijven
ID2. Verhogen van kennis en
competenties bij bedrijven
ID3. Verbeteren van afstemming,
samenwerking en coördinatie
binnen en rond de sector
…
SD1. Vergroten van het
innovatievermogen van
bedrijven in de sector
SD2. Verhogen van de
internationale zichtbaarheid
van de bedrijven en de
sector
…
I1. Versterken van de
concurrentiepositie van de
sector en verhogen van de
werkgelegenheid
…
…
Tijd
15
Vraag 2 - Effecten

Vraag 2


Gewenst resultaat


Welke effecten wilt u bereiken?
Een helder overzicht van de effecten die u via uw
project wenst te bereiken en waarover u als
projectuitvoerder verantwoordelijkheid draagt.
Mogelijke hulpmiddelen




De IWT handleidingen die in detail aangeven welke
doelstellingen en resultaten worden verwacht van
een soortgelijk project.
De ‘grid’ die wij voor u hebben ontwikkeld in het
kader van deze handleiding.
Het ‘Logic Model’ principe zoals eerder uitgelegd.
De door u vooropstelde intermediaire doelstellingen
die feitelijk uw uitgangspunt moeten zijn.
16
De ‘grid’
Naam project: [titel van het project]
Type project: [onder welk programma past het project?]
Datum invulling: [datum/versie invulling]
Soorten
effecten
Niveau en termijn waarop effecten te
verwachten zijn
Ontvangers
(bedrijven)
Input
Gaan er bijkomende
investeringen/inspanning
en zijn?
Netwerking en
samenwerking
Zullen er effecten zijn
rond netwerking en
samenwerking?
Schaal en
reikwijdte
Laat het project toe om
bedrijven deel te laten
nemen aan onderzoek op
grotere schaal?
Competentie- en
expertiseopbouw
Zal het project leiden tot
competentie- en
expertiseopbouw?
Uitvoerders
(kennisinstellingen)
KT: [invulling]
KT: [invulling]
MT:
MT:
KT:
KT:
MT:
MT:
KT:
KT:
MT:
MT:
KT:
KT:
MT:
MT:
17
Vraag 3 - Indicatoren

Vraag 3


Gewenst resultaat


Welke indicatoren zijn geschikt om de effecten te
meten en dus te monitoren?
Een selectie van indicatoren die toelaten om op
periodieke basis de vooropgestelde effecten te meten
en dus het succes van de eigen werking te kunnen
aantonen.
Mogelijke hulpmiddelen


De IWT handleidingen die in detail aangeven welke
indicatoren (vooral activiteiten) periodiek
gerapporteerd moeten worden.
De in deze studie ontwikkelde lijst met ‘type’
indicatoren per soort effect (toegespitst naar niveau
en tijdsdimensie).
18
Indicatoren

21 voorgestelde indicatoren



Fiche uitgewerkt per indicator
Lijst met overige type indicatoren
Kenmerken goede indicatoren







Relevantie
Afbakening
Acceptatie
Geloofwaardigheid
Eenvoud
Betrouwbaarheid en robuustheid
Consistentie en vergelijkbaarheid
19
Menu van ‘type’ indicatoren (zie indicatorenfiches voor nadere duiding)
Indicatoren die effecten meten bij de ontvangers, zijnde
veelal de bedrijven
(Focus bij CP, TETRA en CO)
Input
Gaan er (bijkomende)
investeringen/inspanningen zijn?
Netwerking en
samenwerking
Zullen er effecten zijn rond netwerking
en samenwerking?
Schaal en reikwijdte
Laat het project toe om bedrijven deel
te laten nemen aan onderzoek op
grotere schaal?
Competentie- en
expertiseopbouw
Zal het project leiden tot competentieen expertiseopbouw?
Versnelling
Zal het project de snelheid van O&O
verhogen dan anders het geval zou zijn?
Risico
Leidt het project tot risico verkleining (in
relatie tot onzekerheid van en bij
onderzoek?)
Strategie
Zal het project de strategie van het
bedrijf rond O&O veranderen?
Output
Zullen er nieuwe producten of processen
ontwikkeld worden? Of sterke
optimalisaties?
1.
2.
Co-investering (directe financiële en niet-financiële projectinbreng)
Bedrag aan vervolginvesteringen (materieel en immaterieel)
3.
4.
Aantal bedrijven dat zijn relevante netwerk heeft kunnen uitbreiden
Aantal bedrijven dat een formele vervolgsamenwerking aangaat (naar
type samenwerking)
Aantal succesvol doorverwezen bedrijven
Aantal en evolutie in het betalende ledenaantal (CP)
5.
6.
7.
8.
Indicatoren die effecten meten bij de uitvoerders,
zijnde veelal de kennisinstellingen
(Expliciet bij TETRA en CO projecten)
Aantal bedrijven dat deelneemt aan de projecten (en karakteristieken
van deze bedrijven)
Aantal bedrijven dat zonder dit project het uitgevoerde onderzoek niet
zelfstandig zouden (kunnen) uitvoeren
9.
Aantal bedrijven dat zijn competentie en expertise verder heeft
ontwikkeld
10. Aantal bedrijven dat ‘voor het eerst’ een projectaanvraag indient voor
publieke financiering
11.
12.
13.
14.
Toename in onderzoekscapaciteit
Aantal wetenschappelijke (peer review) publicaties
Aantal afgeleverde thesissen/doctoraten
Aantal nieuwe onderzoeksthema’s en/of onderzoekslijnen
15. Aantal bedrijven dat erin geslaagd is om sneller tot ‘ontwikkeling’ over
te gaan
16. Aantal bedrijven dat het projectrisico niet alleen zou kunnen of willen
dragen
17. Aantal bedrijven dat een onderzoek- en/of innovatiestrategie heeft
ontwikkeld
18. Aantal bedrijven dat zijn O&O projectmanagementvaardigheden heeft
vergroot
19. Aantal ontwikkelde prototypes (en/of testopstellingen)
20. Aantal nieuwe (of vernieuwde) producten en/of diensten
21. Aantal procesoptimalisaties/-vernieuwingen
19. Aantal ontwikkelde prototypes (en/of testopstellingen)
20. Aantal nieuwe onderzoeksthema’s en/of onderzoekslijnen
20
Fiches indicatoren - Voorbeeld I
2
Bedrag aan vervolginvesteringen (materieel en/of personeel)
MT (tussen 1 – 3 jaar na afloop)
KT (tijdens of < 1jr na afloop)
Tijdsdimensie
INP
Type effect
N&S
OVERIG
UITVOERDER
ONTVANGER
Meetniveau
S&R
C&E
VER
RIS
STR
OUT
Beschrijving
Deze indicator meet vervolginvestering (materieel en of immaterieel) die gedaan
worden om de resultaten/uitkomsten van het project verder te ontwikkelen en/of
te exploiteren. Hierbij kan het gaan om een fysieke investering (bijvoorbeeld een
machine) al dan niet in combinatie met het aanwerven van nieuwe werknemers.
De investering moet tijdens of kort na afloop van het project plaatsvinden.
Nodige variabelen
1. Bedrag aan investeringen in machines
2. Loonmassa gekoppeld aan nieuwe aanwervingen (en/of VTE besteding aan
exploitatie)
Mogelijke
subindicatoren
1. Gedane investering als % van gemiddelde jaarlijkse investeringen
Niveau indicator
Bedrijf
Periodiciteit
[Te bepalen in overleg met het IWT]
Meetmethode
Via bevraging/feitelijke data bedrijf
Bijkomende informatie /
Input (INP)
Netwerking en Samenwerking (N&S)
Schaal en Reikwijdte (S&R)
Competentie- en Expertiseopbouw (C&E)
Versnelling (VER)
Risico (RIS)
Strategie (STR)
Output (OUT)
21
Fiches indicatoren - Voorbeeld II
3
Aantal bedrijven dat zijn relevante netwerk heeft kunnen
uitbreiden
Meetniveau
ONTVANGER
Tijdsdimensie
KT (tijdens of < 1jr na afloop)
Type effect
Beschrijving
UITVOERDER
INP
N&S
S&R
OVERIG
MT (tussen 1 – 3 jaar na afloop)
C&E
VER
RIS
STR
OUT
Deze indicator meet het aantal bedrijven (evt. uit gebruikersgroep) dat door
deelname aan een project zijn netwerk heeft kunnen uitbreiden. Netwerking is
van groot belang in het kader van kennisdeling en dus ‘openheid’ tot innovatie
(en samenwerking).
Het moet hierbij gaan om een uitbreiding die direct aan het project kan worden
gerelateerd en wel met actoren die relevant zijn (zoals collega bedrijven,
kennisinstellingen, etc.).
Nodige variabelen
1. Aantal bedrijven dat zijn relevante netwerk heeft uitgebreid met bedrijven
2. Aantal bedrijven
kennisinstellingen
dat
zijn
relevante
netwerk
heeft
uitgebreid
met
3. Aantal bedrijven dat zijn relevante netwerk heeft uitgebreid met [OVERIG]
Mogelijke
subindicatoren
1. Uitbreiding met bedrijven – nationaal
Niveau indicator
Bedrijf
Periodiciteit
[Te bepalen in overleg met het IWT]
Meetmethode
Via bevraging/opinies van bedrijven
Bijkomende informatie
/
2. Uitbreiding met bedrijven – internationaal
22
Vraag 4 - Meetaanpak
Vraag 4
 Welke meetaanpak is het meest geschikt?
 Gewenst resultaat
 Een concreet aanpak/plan voor de verzameling
van de nodige variabelen/data (rekening
houden met efficiëntie)
 Mogelijke hulpmiddelen
 De indicatorenfiches
 Aangereikte type vragenlijst om de meeste
indicatoren te meten (en overige tips)
 Het rapport ‘Zelfevaluatie Competentiepolen’

23
Vraag 4 - Meetaanpak


Belangrijk om afspraken met leden/bedrijven
te maken op voorhand
Integratie met huidige rapportagetools


Efficiënte meting en rapportage (aanzet
vragenlijst in rapport)


Zelfevaluatie, RAP, …
Onafhankelijk van verplichtingen richting IWT
Belangrijk om meerdere gegevensbronnen
met elkaar te confronteren (validatie)
24
Contact
Arnold Verbeek
Manager – Senior expert Innovatie & competitiviteit
[email protected]
Sjouke Beemsterboer
Analist Innovatie & competitiviteit
[email protected]