Analyse van resultaten van ICT

Analyse van resultaten van ICT-projecten
In de afgelopen decennia zijn met enige regelmaat berichten in de pers verschenen over
problemen met automatiseringsprojecten. Sommige van die projecten zijn zelfs compleet
mislukt. Met name de resultaten van zeer grote ICT-projecten laten te wensen over. Bij
die projecten treden effecten op die te vergelijken zijn met onder meer de Deltawerken,
de HSL of de Noord-Zuidlijn. Kennelijk gaat de complexiteit van dit type projecten het
organisatievermogen van mensen te boven.
Er zijn sinds de 60-er jaren verschillende
onderzoeken uitgevoerd naar de oorzaak van
het mislukkingen van IT-projecten. Daar is
uiteraard lering uit getrokken, maar door de
enorme ontwikkeling die de IT de afgelopen
decennia heeft doorgemaakt is onderlinge
vergelijking van projecten lastig. Ook omdat
de aard en de scope van ICT-projecten
ingrijpend zijn veranderd. Dat heeft ertoe
geleid dat men zich met elk nieuw IT-project
op nieuw en onbekend terrein heeft begeven.
Aan het mislukken van IT-projecten hebben
daardoor steeds andere oorzaken ten
grondslag gelegen. Wat echter in de publieke
opinie blijft hangen is dat de dienstverlening
van de ICT-sector ondermaats is. Men
beschouwt automatiseringsprojecten als zeer
risicovol.
Dit is een ongenuanceerde voorstelling van
zaken, die heeft gezorgd voor een slechte
reputatie van IT-ers, omdat vaak te
makkelijk wordt verondersteld dat zij die
problemen hebben veroorzaakt.
Meerjarig marktonderzoek
Hoe lastig het ook is om IT-projecten
verspreid over een aantal decennia met
elkaar te vergelijken, er is wel degelijk lering
uit te trekken. Met name uit grootschalig
statistisch
marktonderzoek
kunnen
waardevolle conclusies worden getrokken.
Het zou daarom goed zijn dat bedrijven hun
plannen aan dat soort onderzoek toetsen om
daarmee een betere inschattingen te kunnen
maken
over
de
slaagkans
van
hun
toekomstige projecten.
Het marktonderzoekbureau Standish
Group
International
doet
sinds
1985
onderzoek naar het slagen en falen van ICTprojecten. Dat gebeurt al sinds 1994 op basis
van case studies. Inmiddels zijn meer dan
80.000 projecten geanalyseerd en op basis
daarvan kan de overall ontwikkelingen ten
aanzien
van
ICT-projecten
worden
aangegeven. Het zijn projecten, die zich voor
50 procent in ondernemingen in de USA
hebben afgespeeld en voor een kwart in
Europa, de overige ICT-projecten hebben
vooral betrekking op Azië, Australië en
Canada. De projecten in de database zijn
afkomstig van meer dan 1.000 organisaties,
waarvan 50 procent grote, 30 procent
middelgrote en 20 procent kleine bedrijven.
De onderzochte projecten worden ingedeeld
in drie categorieën: Geslaagd, Mislukt en
Problematisch. Geslaagd betekent dat een
project binnen de planning en begroting is
afgesloten. Mislukt wil zeggen dat het
beoogde systeem niet in gebruik is genomen.
De projecten die niet “geslaagd” of “mislukt”
worden problematische projecten genoemd.
Deze duren langer dan gepland, kosten meer
dan gebudgetteerd en bieden minder
functionaliteit
en/
of
kwaliteit
dan
overeengekomen en/of verwacht.
Uit het langjarig onderzoek van de
Standish Group wordt duidelijk dat het met
name de heel grote IT-projecten zijn waar
problemen ontstaan. Wanneer die heel grote
IT-projecten buiten beschouwing worden
gelaten zien we een aanzienlijk positiever
beeld. Van alle projecten met een omvang
van minder dan 1 miljoen dollar aan
arbeidskosten die in 2010 zijn uitgevoerd
wordt slechts 4 procent als mislukt
bestempeld. Daar steken de grote projecten
heel negatief bij af, want van de IT-projecten
met arbeidskosten van meer dan $ 10
miljoen mislukte in 2010 zelfs 44 procent.
Het aantal problematische projecten in deze
categorie bedroeg 49 procent. Daaruit kan
men concluderen dat slechts 7 procent van
de projecten als geslaagd kan worden
aangemerkt.
Dat is overigens wel een verbetering
ten opzichte van vorige jaren, waarin geen
enkel project van deze omvang volgens
planning en begroting kon worden afgesloten.
Wat zijn de oorzaken van het mislukken
van ICT-projecten?
Bij de statistische analyse van mislukte en
van problematisch IT-projecten (2010) kwam
duidelijk tot uiting welke oorzaken in welke
mate hebben bijgedragen tot het mislukken
(tabel 2). Voor 64 procent wordt dit
toegeschreven aan problemen op het gebied
van organisatie en communicatie. ICTgerelateerde kwesties zijn voor 36 procent
debet aan het mislukken. In onderstaande
tabel staan de oorzaken over alle projecten:
Top 10 oorzaken van mislukte en
problematische ICT-projecten
door het ontbreken van adequaat:
Executive Management support
Betrokkenheid gebruikers in het project
Heldere bedrijfsdoelstellingen
Volwassen gedrag
Optimalisering van de scope
Agile aanpak
Expertise projectmanagement
Vakkennis en -ervaring
Uitvoeren van projecten
Tools & Infrastructuur
statistisch onderzoek kan ook dat verband
onder de loep worden genomen.
Complexiteit van ICT-projecten kan in
drie onderdelen worden verdeeld (figuur 1),
die elkaar onderling beïnvloeden: Omvang
van de onderneming, omvang van het te
implementeren informatiesysteem en omvang
van het project. In de figuur staan per
onderdeel in een kader nog de ‘extra
complicerende factoren’ aangegeven.
De omvang van de onderneming is
van grote betekenis voor de complexiteit van
een project, want kleine projecten bij grote
ondernemingen
scoren
slechter
dan
vergelijkbare projecten in het MKB.
Belang
in %
19
18
15
12
11
9
6
5
4
1
Tabel 2: Top 10 oorzaken van mislukte en
problematische ICT projecten
Eenvoud in complexiteit
Nu bekend is wat de werkelijke faalfactoren
zijn en in welke mate deze zich voordoen, is
het mogelijk vooraf een complexiteitsfactor
aan te geven en daarmee het risico van een
te starten ICT-project te bepalen.
De grootste complexiteitsfactor is de
schaalgrootte, omvang of scope van een
project. Dat is geen onverwachte uitkomst. Al
tientallen jaren is bekend dat grote projecten
ook grote risico’s met zich meebrengen, en
dat is voor IT-projecten niet anders. Voor die
laatste geldt echter dat nooit eerder duidelijk
was hoe groot de risico’s precies waren.
Evenmin is er veel aandacht besteed aan de
onderlinge verhouding tussen succes- en
faalfactoren. Op basis van langdurig
Figuur 1: Complexiteitsonderdelen
De omvang van een project kan het best
worden
aangegeven
met
het
aantal
projectleden dat gemiddeld per maand aan
het project heeft gewerkt of zal gaan werken.
Vaak is het eenvoudiger om vast te stellen
wat de arbeidskosten van eigen en
ingehuurde medewerkers zijn (geweest). Hoe
groter het project des te groter is de kans op
uitloop of mislukking.
De omvang van het te ontwikkelen
systeem kan worden aangegeven met het
aantal te ontwikkelen ofwel te implementeren
functies
en
het
aantal
(toekomstige)
gebruikers. Duidelijk zal zijn dat wanneer alle
drie de complexiteitsonderdelen uit figuur 1
maximaal zijn, de kans levensgroot is dat het
IT-project onbestuurbaar wordt.
Los
van
deze
drie
primaire
complexiteitsfactoren zijn ook de ‘kwaliteit
van de specificaties’ en de vraag of het om
een ‘basistoepassing’ gaat of om een volledig
nieuwe applicatie een belangrijke rol.
Wanneer een systeem niet volledig of onjuist
is gespecificeerd heeft dat onmiddellijk
repercussies voor de planning, kosten en
kwaliteit. Gaat het om een financieel
informatiesysteem,
dat
al
vaker
is
geïmplementeerd,
dan
is
dat
veel
eenvoudiger dan een informatiesysteem
waarmee geen of weinig ervaring is
opgebouwd.
Complexiteitsmatrix voor ICT-projecten
In 2011 publiceerde Standish een studie naar
complexiteit van ICT-projecten (figuur 2). De
redenen van mislukking, die het meest
werden vermeld, zijn gecorreleerd met de
project- systeem- en ondernemingsaspecten.
De
resultaten
zijn
opgenomen
in
complexiteitsmatrix. Op die manier is het
mogelijk om ICT-projecten in te delen in 25
complexiteitscategorieën. Met behulp van
deze matrix kan van een te starten, lopend,
afgesloten of afgebroken ICT-project worden
vastgesteld of het gaat om een eenvoudig
dan wel zeer gecompliceerd project. Een
dergelijke objectieve vaststelling is nuttig in
discussies
tussen
opdrachtgevers
en
opdrachtnemers.
Figuur 2: De complexiteitsmatrix
Met behulp van de complexiteitsmatrix kan
worden bepaald hoe complex een bepaald
ICT-project
is.
De
meest
dominante
complexiteitsfactor is de Omvang (figuur 1).
In figuur 2 is deze omvang op de Y-as
beperkt tot de projectomvang op een schaal
van 1 tot en met 5. S1 (seize) staat voor
arbeidskosten van minder dan $ 1 miljoen
dollar en S5 voor meer dan $ 10 miljoen.
Ondernemingsomvang en systeemomvang
kunnen afzonderlijk worden meegewogen. In
het onderzoek bleek dat toename van deze
complexiteitsonderdelen bijna altijd een
toename van de projectomvang tot gevolg
had. De factoren op de X-as: C1 tot en met
C5 staan voor extra complexiteit. De
vaststelling daarvan vloeit voort uit de
antwoorden
van
een
beperkt
aantal
essentiële vragen.
De cellen van de matrix bevatten een
complexiteitsgetal lopend van 100 (zeer
eenvoudig) tot 1000 (zeer complex).
Met behulp van deze methode kan objectief
de complexiteit worden vastgesteld van een
te starten project (op basis van de state of
work, blue print, planning, budget) en van
lopende/afgesloten/afgebroken projecten.
De keuze van de schaalgrootte
(minder dan $1 miljoen tot meer dan $ 10
miljoen) is het gevolg van de omvang van de
onderzochte ICT-projecten. Het is goed
mogelijk om deze matrix te vertalen naar een
complexiteitmatrixen voor het MKB, voor een
specifiek
softwarehuis
of
voor
grote
ondernemingen met veel ICT-projecten.
De projectaanpak hangt af van de
complexiteit
De besturing van ICT-projecten gebeurt vaak
in een projectorganisatie naast de staande
organisatie van een onderneming. De
klassieke
aanpak
is
een
stuurgroep,
verschillende deelprojectgroepen en werkgroepen bestaande uit gebruikers uit de
organisatie en ICT-ers. Voor kleine projecten
is deze organisatievorm vaak te zwaar en
voor zeer grote projecten niet altijd
adequaat.
Bedrijven/softwarehuizen
zweren
meestal bij één en dezelfde projectaanpak
voor alle uit te voeren ICT-projecten. Grote
moderniserings-projecten (transformeren en
aanvullen van bestaande sourcecode) zijn
minder complex, modat de uitvoering
daarvan in hoge mate onafhankelijk van de
bestaande organisatie kan plaatsvinden.
Complexe ICT-projecten (met complexiteitsgetal 750 en hoger) vereisen de grootst
mogelijk bestuurlijke aandacht en de best
mogelijke professionele bemensing.
Prof. Lec. Dr. Ing. Hans Mulder MScBA
Prof. Theo Mulder
Inventive System B.V.
Patrijsweg 14
2289EX Rijswijk
070-3368080