Verbetering kennisregels ecologische effecten Ten behoeve van de KRW-verkenner Planbureau voor de Leefomgeving 19 februari 2015 Conceptrapport BC8148 HASKONINGDHV NEDERLAND B.V. RIVERS, DELTAS & COASTS Larixplein 1 Postbus 80007 5600 JZ Eindhoven + 31 88 348 42 50 Telefoon +31 88 348 42 51 Fax [email protected] www.royalhaskoningdhv.com Amersfoort 56515154 Documenttitel E-mail Internet KvK Verbetering kennisregels ecologische effecten Ten behoeve van de KRW-verkenner Verkorte documenttitel EEE4 Status Conceptrapport Datum 19 februari 2015 Projectnaam EEE4 Projectnummer BC8148 Opdrachtgever Planbureau voor de Leefomgeving Referentie Auteur(s) Collegiale toets Datum/paraaf Vrijgegeven door Datum/paraaf RDC_BC8148_R001_901530_d1 drs. M.D. Schipper en ir. A.H.H.M. Schomaker drs. ing. C.H.M. Evers …………………. …………………. ir. R.A.E. Knoben …………………. …………………. A company of Royal HaskoningDHV EEE4 Conceptrapport -i- RDC_BC8148_R001_901530_d1 19 februari 2015 INHOUDSOPGAVE Blz. 1 INLEIDING 2 OPZET 2.1 2.2 2.3 3 1 Methodiek Verbetering datasets Training neurale netwerken RESULTATEN 2 2 2 5 10 BIJLAGEN 1. Beschrijving NN langzaam stromende beken 2. Beschrijving NN snel stromende beken 3. Beschrijving NN diepe meren 4. Beschrijving NN ondiepe meren 5. Beschrijving NN kanalen 6. Beschrijving NN sloten 7. Beschrijving NN zwak brake wateren 8. Beschrijving NN brak tot zoute wateren EEE4 Conceptrapport RDC_BC8148_R001_901530_d1 19 februari 2015 1 INLEIDING Het afgelopen jaar hebben de waterbeheerders hard gewerkt om de waterlichamen, doelen en maatregelen aan te passen en vast te stellen voor hun waterbeheerplannen en SGBP2. Het Planbureau voor de Leefomgeving (PBL) gaat net als in 2007 en 2009 voor SGBP1 analyseren in hoeverre de geplande maatregelen leiden tot het bereiken van de doelen (in de zogenaamde Ex Ante evaluatie). Dit gebeurt in samenwerking met Deltares waarbij met de KRW-verkenner de effecten van de maatregelen op de ecologische toestand worden doorgerekend. Om dit mogelijk te maken, is echter eerst een aanpassing van de ecologische rekentools in de KRW-verkenner noodzakelijk. Deze zijn namelijk nog opgesteld op basis van de oude maatlatten en waterlichaamkarakterisering. De ecologische rekenregels zijn ondergebracht in een rekenmodule Expertsystseem Ecologische Effecten. Waarbij voor dit project de versie 3 is aangepast naar versie 4 (EEE4) Royal HaskoningDHV heeft van PBL opdracht gekregen om voor de KRW-Verkenner: Bestaande datasets aan te passen aan de nieuwe maatlatten en aan te vullen als dat mogelijk is. Nieuwe neurale netwerken te trainen voor de acht verschillende watertypen (EEE4). De verkregen netwerken te testen en tezamen als ‘stand alone’ executable te compileren voor gebruik in de KRW-verkenner. In deze korte rapportage wordt de methodiek, opzet en resultaten van de neurale netwerken beschreven. In bijlagen 1 t/m 8 worden de concrete resultaten van deze netwerken voor elk van de acht watertypen gegeven. EEE4 Conceptrapport RDC_BC8148_R001_901530_d1 -1- 19 februari 2015 2 OPZET 2.1 Methodiek Met de aangevulde en verbeterde datasets zijn nieuwe neurale netwerken getraind met de Neural Network Toolbox V7.0 (R2010b) in Matlab V7.11 (R2010b) van Mathworks®. Het daarbij gebruikte type neurale netwerk is een zogenaamd feed forward back propagation netwerk dat ook toegepast is voor het trainen van de EEE21 en EEE32 netwerken. Voor elk te trainen netwerk zijn de datasets verdeeld in een set met 80% wateren voor de training en validatie en een set met 20% wateren voor het testen. Deze zelfde 20% worden ook bij de andere tools (PUNN en Regressiebomen) gebruikt om te testen. Deze 20% testdata is in het verleden wel eens (foutief) validatiedata genoemd, maar wordt dus enkel gebruik voor het testen en onderling vergelijken van de drie rekentools. De aldus verkregen netwerken zijn vervolgens gecompileerd tot de executable EEE4.exe met Matlab Compiler V4.14 (R2010b). Deze executable leest een csvinvoerbestand in en genereert twee uitvoerbestanden, te weten: Een csv-bestand waarin eventuele te hoge of te lage waarden van een stuurvariabele als ‘outliers’ zijn aangegeven. Een csv-bestand met voorspelde EKR’s voor alle kwaliteitselementen. Deze executable is aan Deltares geleverd voor koppeling aan de KRW-verkenner. 2.2 Verbetering datasets Uitgangspunten Bij de verbetering van de dataset zijn de volgende uitgangspunten van toepassing: De clusters van regionale watertypen blijven gelijk. De stuurvariabelen binnen de genoemde watertypeclusters blijven ook gelijk. De kwaliteitselementen zijn: fytoplankton, overige waterflora (macrofyten, gecombineerd met fytobenthos in de stromende wateren), macrofauna en vis. De datasets voor training (incl. validatie) en testen (verder trainingset genoemd) per watertype en biologisch kwaliteitselement die voor EEE3 (Expertsysteem Ecologische Effecten) zijn samengesteld in 2012 waren het startpunt. De verbetering van de trainingsets is vooral gericht op de effecten van de nieuwe maatlatten. Omdat het Waterkwaliteitsportaal (meest recente KRW-toetsing) voor alle kwaliteitselementen nieuwe gegevens bevat, is vervanging van deze gegevens in de trainingset noodzakelijk. Daarnaast moeten de EKR’s voor overige waterflora en vis van de Limnodata-toetsingen en de expertoordelen ook vervangen worden omdat deze maatlatten zijn gewijzigd. Dat is gedaan met nieuwe toetsingen, waar beschikbaar, of met een factor of formule waar er een duidelijke relatie is tussen de oude en nieuwe maatlatten. Voor macrofauna in M30 (zwak brakke wateren) en fytoplankton in M20 (diepe zoete meren) geldt hetzelfde. 1 Rapport ‘Verdere ontwikkeling Expertsysteem Ecologische Effecten en evaluatie gebruik in de Ex ante evaluatie KRW’, voor Planbureau voor de Leefomgeving, Royal Haskoning, 16 april 2009. 2 Rapport ‘Verbetering kennisregels ecologische effecten ten behoeve van de KRW-verkenner’, voor STOWA, Royal HaskoningDHV, 6 februari 2013. RDC_BC8148_R001_901530_d1 19 februari 2015 EEE4 -2- Conceptrapport Veranderingen in dataset Voor het trainen van nieuwe neurale netwerken ten behoeve van EEE4 zijn de datasets voor de acht verschillende watertypen zoals gebruikt voor de verdere ontwikkeling van EEE3 in 2012 aangevuld en verbeterd. Tabel 2.1 geeft hiervan een overzicht. Voor zes watertypen zijn de datasets uitgebreid, voor één watertype is de dataset gelijk gebleven in aantal records en voor één watertype is er één record minder. Van de uitgebreide datasets springen de watertypes langzaam stromende beken, ondiepe meren en kanalen erbovenuit met aardig wat meer records, om precies te zijn 10, 11 en 13 records. Na deze update is voor alle watertypenclusters op de diepe meren na een dataset van voldoende omvang (circa 190-200) verkregen. Het aantal diepe meren dat in Nederland als waterlichaam is aangewezen is echter zo laag dat een dataset met vergelijkbare omvang niet mogelijk is op dit moment. Ondanks de relatief kleine dataset waren er voor alle kwaliteitselementen van dit type waterlichaam toch goede netwerken te trainen. Samenvattend zijn er iets meer records beschikbaar en meestal hetzelfde of meer echte metingen. Bij meer records kan dat soms tot een iets lager percentage ‘echte waarnemingen’ leiden. Tabel 2.1: Aantal records in de datasets voor ontwikkeling EEE4 en aandeel monsters dat getoetst is aan de KRW-maatlatten (uit Limnodata, Piscaria of uit het WKP), eventueel aangepast n.a.v. ontbrekende data of andere gegevens. Resterend aandeel ingevuld op basis van expert judgement. Tussen () het aantal records c.q. percentage getoetst bij EEE3 Watertypencluster Aantal Percentage records gebaseerd op echte biologische records monsters die aan KRW-maatlatten getoetst zijn. Fytoplankton Overige waterflora Macrofauna Vissen 96 (93) 97 (97) 69 (66) 63 (56) 97 (97) 62 (54) 56 (58) 90 (90) 28 (30) 79 (80) 39 (39) 84 (85) 22 (21) 71 (66) 75 (74) 95 (94) 52 (41) 69 (75) 93 (93) 26 (31) 94 (93) 59 (59) 93 (96) 23 (15) 95 (95) 23 (24) 97 (96) 10 (10) Langzaam stromende beken 212 (202) Snel stromende beken 195 (195) Ondiepe meren 204 (193) 66 (66) Diepe meren 129 (128) Kanalen 211 (198) Sloten 195 (193) Zwak brakke wateren 209 (203) Brakke tot zoute wateren 185 (186) Verandering in oordelen na aanpassing maatlat In beide clusters stromende wateren was het verwerken van de nieuwe maatlatten voor overige waterflora (specifiek de macrofyten) en vis het meest ingrijpend. Met name voor vis zijn de oordelen op dezelfde locaties nu een stuk lager dan voorheen. In de zwak brakke wateren heeft de aangepaste maatlat voor macrofauna het meeste effect op de EKR’s. In het zoete bereik (<1000 mg Cl/l) zijn de oordelen hoger dan voorheen en in het zoute bereik (>2000 mg Cl/l) juist lager. EEE4 Conceptrapport RDC_BC8148_R001_901530_d1 -3- 19 februari 2015 In de diepe zoete meren heeft de aanpassing van de deelmaatlat voor chlorofyl geleid tot hogere EKR’s voor fytoplankton. De nieuwe maatlatten voor overige waterflora en vis leiden in de meeste gevallen tot wat lagere EKR’s. In de sloten en kanalen zijn met de maatlataanpassingen (vis en overige waterflora) hoofdzakelijk fouten opgelost. Dit heeft niet geleid tot een structurele verhoging of verlaging van de EKR. De maatlatfouten spelen uiteraard niet in de expertoordelen en zijn dan ook niet aangepast. Dit geldt ook voor overige waterflora in de ondiepe meren. Bij vis in de ondiepe meren is wel overwogen om de expertoordelen wat te verlagen. De relaties tussen de EKR’s van oude en nieuwe maatlatten was echt niet goed genoeg om een juiste factor af te kunnen leiden. Daarom is eerst getraind en zijn vervolgens expert oordelen aangepast waar de berekende oordelen die duidelijk afwijken van de ingevoerde waarden. De volgende codes zijn gebruikt in de trainingsets om de herkomst van de gegevens te kunnen herleiden en of het betreffende record is gebruikt voor training (+ validatie) of testen: Herkomst locatie: LD (meetpunt uit Limnodata), WL (Waterlichaam uit Waterkwaliteitportaal/WKP) en DF (Default locatie op basis van de referentiebeschrijvingen). Herkomst EKR per kwaliteitselement: 1 (KRW conforme toetsing meetpuntgegevens), 2 (EKR waterlichaam uit WKP SGBP2), 3 (expertoordeel), 4 (eigen default) en 5 (EKR waterlichaam vorige ronde SGBP1, soms enige mogelijkheid). Combinaties zijn ook mogelijk. Toepassing EKR kwaliteitselement: T (gebruikt voor de training) en V (gebruikt voor testen3). 3 Werd bij EEE3 validatie genoemd, maar dit was eigenlijk het testen. Nu wordt het ook testen genoemd in het rapport, maar de V komt nog van Validatie in de opgeleverde sets (zodat die overeenkomen met de vorige versie). Zie ook paragraaf 2.3. RDC_BC8148_R001_901530_d1 19 februari 2015 EEE4 -4- Conceptrapport 2.3 Training neurale netwerken De Matlab scripts die zijn opgesteld om de neurale netwerken te trainen zijn geupdate, waarna nieuwe neurale netwerken zijn getraind met de datasets die ten opzichte van de sets in 2012 zijn aangevuld en verbeterd. In tabel 2.2 is een overzicht gegeven van de watertypen, de verschillende neurale netwerken en het aantal trainingscycli dat is uitgevoerd. Tabel 2.2: Watertypen, neurale netwerken en trainingscycli Watertype Codering Omschrijving R4, R5, R6 en R12 Langzaam stromende beken R13, R14, R15, R17 Snel stromende beken en R18 M20 M14, M23 en M27 M3, M4, M6a/b, Diepe meren Ondiepe meren Kanalen M7a/b en M10 M1a/b, M2 en M8 M30 M31 Sloten Zwak brakke wateren Brak tot zoute wateren Neuraal netwerk voor Aantal trainingscycli Overige waterflora Elk netwerk Macrofauna 11 000 Vissen Overige waterflora Elk netwerk Macrofauna 11 000 Vissen Fytoplankton Elk netwerk Overige waterflora 11 000 Macrofauna Vissen Fytoplankton Elk netwerk Overige waterflora 11 000 Macrofauna Vissen Fytoplankton Elk netwerk Overige waterflora 55 000 Macrofauna Vissen Overige waterflora Elk netwerk Macrofauna 11 000 Vissen Fytoplankton Elk netwerk Overige waterflora 55 000 Macrofauna Vissen Fytoplankton Elk netwerk Overige waterflora 55 000 Macrofauna Vissen EEE4 Conceptrapport RDC_BC8148_R001_901530_d1 -5- 19 februari 2015 In Tekst box 1 is de opbouw van een training en de bijbehorende begrippen verder toegelicht. Tekst Box 1 De opbouw van een training Met het trainen van een neuraal netwerk wordt in eerste instantie het complete proces bedoeld waarmee het beste neuraal netwerk wordt bepaald dat gebruikt kan worden in de KRW-verkenner. Echter binnen deze training zitten onderliggende trainingen. Elke training (complete proces) bestaat namelijk uit herhalingen van een trainingscyclus. Binnen één trainingscyclus bestaat er ook weer een training van een netwerk. Deze training in de trainingscyclus bestaat uit maximaal 100 epochs (default). Een epoch is één training met meteen daaropvolgend de validatie van het getraind netwerk. In figuur 2.1 is een voorbeeld te zien van een performance grafiek van de training van een netwerk binnen een trainingscyclus. Te zien is dat voor elke epoch gekeken wordt naar de mean squared error (mse), de netwerkfout, van de traindata en validatiedata. In dit specifieke geval gaf de 7e epoch de laagste mse voor de validatiedata. Als de mse de volgende zes epochs niet lager is (default), wordt dit netwerk gekozen als het beste netwerk uit deze trainingscyclus. Afhankelijk van de bijbehorende R2 en RC wordt het netwerk wel of niet opgeslagen. Figuur 2.1: Voorbeeld van een performance grafiek van de training van een neuraal netwerk. Trainen, valideren en testen Zoals al is aangegeven in paragraaf 2.1 is de dataset willekeurig verdeeld in 80% (train-) en 20% (test-)data. De 80% data is vervolgens voor elke trainingscyclus opnieuw willekeurig verdeeld in 80% voor de training en 20% voor de validatie. Tijdens de training worden de netwerkfout in de trainingset en de netwerkfout in de validatieset continu gecontroleerd. Beide fouten nemen tijdens de eerste fase van de training gewoonlijk af. Wanneer het netwerk zichzelf overtraint (‘overfitting’), zal de fout in de validatieset meestal groter worden. De netwerkparameters worden dan vastgelegd op het minimum van de validatiefout. De verdeling van de dataset in training + validatie (80%) en testen (20%) van de uiteindelijk vastgestelde neurale netwerken zijn vervolgens ook beschikbaar gesteld voor het trainen van de andere twee typen expertsystemen (PUNN’s bij Witteveen en Bos en regressieboomanalyses bij Planbureau voor de Leefomgeving). In deze datasets is de testset zoals eerder gesteld nog aangegeven met een ‘V’. RDC_BC8148_R001_901530_d1 19 februari 2015 EEE4 -6- Conceptrapport Voor een specifiek neuraal netwerk is telkens één trainingscyclus4 ingezet. De cyclus is gericht op: 1. Maximalisatie van de determinatiecoëfficiënt R2 tussen voorspelde en gemeten EKR’s. 2. Optimalisatie van de richtingscoëfficiënt RC van de verkregen lineaire regressielijn van voorspelde en gemeten EKR’s. Dit houdt in dat na het bepalen van het netwerk met de laagste validatiefout de R2 wordt berekend en vergeleken met de R2 van het voorgaande beste netwerk. Als de R2 beter is wordt ook de RC berekend en vergeleken met de RC van het voorgaande beste netwerk. Als de RC en dus ook de R2 beter is wordt dit netwerk opgeslagen en de daarvoor gebruikte training- en validatieset bewaard. Tijdens de training van een netwerk wordt de trainingscyclus minimaal 11 000 en maximaal 55 000 keer herhaald afhankelijk van het watertype. Bij elke trainingscyclus wordt de dataset opnieuw willekeurig verdeeld in training- en validatiedata en de maximale R2 en RC tot dan toe wordt meegenomen. Aan het eind van de training is het netwerk met de beste R2 en RC opgeslagen. De daarbij behorende trainings- en validatiesets zijn daarna verstuurd aan de trainers van de andere twee expertsystemen. Tabel 2.3 geeft een overzicht van de stuurfactoren die bij de training van de verschillende watertypen als invoerparameter zijn gebruikt. Brakke tot zoute wateren X X X X X Peildynamiek X X X X X X X X X X X X Onderhoud Connectiviteit Meandering X X Verstuwing X X Beschaduwing X X Zwak brakke wateren X Stuurvariabele Sloten Ondiepe meren Oeverinrichting Watertype Kanalen en vaarten Diepe meren Snel stromende beken Langzaam stromende beken Tabel 2.3: Watertypen en de gekozen hydromorfologische en chemische stuurvariabelen X Scheepvaart X X X X Totaal P zgem X X X X X X X X Totaal N zgem X X X X X X X X BZV Chloride zgem In tabel 2.4a-e worden de waarden van de stuurvariabelen per watertypencluster verder uitgewerkt naar klasse-indeling en eenheden. 4 Bij het trainen van EEE3 was dit opgesplitst in 2 cycli. Echter, tijdens het updaten van de scripts bleek het efficiënter om dit te combineren in één cyclus. EEE4 Conceptrapport RDC_BC8148_R001_901530_d1 -7- 19 februari 2015 Tabel 2.4a: Stuurvariabelen langzaam en snel stromende beken uitgesplitst naar hydromorfologische en chemische parameters Hydromorfologische parameters Klassen Waarden en omschrijving 1=recht + normprofiel, 2=gestrekt + natuurlijker dwarsprofiel, Meandering5 5 Verstuwing 3 3=zwak slingerend, 4=slingerend, 5=vrij meanderend 1=sterk gestuwd zonder vistrappen, 2=gestuwd met vistrappen, 3=ongestuwd 1=onbeschaduwd zonder ruigte op de oevers, 2=gedeeltelijk beschaduwd of ruigte op de oever en 3=grotendeels of geheel Beschaduwing 3 beschaduwd (opgaande begroeiing/bos) Chemische parameters Eenheid BZV* mg O2/l belasting Totaal P mg P/l Zomergemiddelde (april-september), maat voor eutrofiëring Totaal N mg N/l Zomergemiddelde (april-september), maat voor eutrofiëring Zomergemiddelde (april-september), maat voor organische * BZV is Biochemisch Zuurstofverbruik (maat voor de organische belasting van een water). Tabel 2.4b: Stuurvariabelen zoete ondiepe en diepe meren uitgesplitst naar hydromorfologische en chemische parameters Hydromorfologische parameters Klassen Waarden en omschrijving Oeverinrichting 3 3=moeras+riet/helofyten Peildynamiek 3 1=tegennatuurlijk, 2=stabiel, 3=natuurlijk Chemische parameters Eenheid Totaal P mg P/l Zomergemiddelde (april-september), maat voor eutrofiëring Totaal N mg N/l Zomergemiddelde (april-september), maat voor eutrofiëring 1=beschoeid of steil en onbegroeid, 2=riet/helofyten, Tabel 2.4c: Stuurvariabelen kanalen uitgesplitst naar hydromorfologische en chemische parameters Hydromorfologische parameters Klassen Waarden en omschrijving Oeverinrichting 3 1=beschoeid, 2=steil, 3=flauw/moerassig (NVO*) Peildynamiek 3 1=tegennatuurlijk, 2=stabiel, 3=natuurlijk 2 1=intensief, 2=extensief Scheepvaart 2 1=intensief bevaren, 2 niet of nauwelijks bevaren Chemische parameters Eenheid Totaal P mg P/l Zomergemiddelde (april-september), maat voor eutrofiëring Totaal N mg N/l Zomergemiddelde (april-september), maat voor eutrofiëring Onderhoud 6 * NVO staat voor Natuurvriendelijke oevers. 5 De mate van meandering wordt uitgedrukt in sinuositeit. Sinuositeit is de lengte van de beek gedeeld door de lengte van het stroomdal. Op basis van sinuositeit kunnen 5 klassen in meandering worden onderscheiden, te weten: 1. Recht (sinuositeit 1), 2. Gestrekt (sinuositeit 1.01-1.05), 3. Zwak slingerend (sinuositeit 1.06-1.25), 4. Slingerend (sinuositeit 1.26-1.5), 5. Meanderend (sinuositeit >1.5). 6 De mate van intensiteit van het onderhoud was meestal alleen kwalitatief beschikbaar. Wanneer als KRW maatregel extensief onderhoud is opgenomen, is aangenomen dat het in de huidige situatie intensief is. RDC_BC8148_R001_901530_d1 19 februari 2015 EEE4 -8- Conceptrapport Tabel 2.4d: Stuurvariabelen sloten uitgesplitst naar hydromorfologische en chemische parameters Hydromorfologische parameters Klassen Waarden en omschrijving Oeverinrichting 3 1=beschoeid, 2=steil, 3=flauw/moerassig (NVO*) Peildynamiek 3 1=tegennatuurlijk, 2=stabiel, 3=natuurlijk Onderhoud 2 1=intensief, 2=extensief Chemische parameters Eenheid Totaal P mg P/l Zomergemiddelde (april-september), maat voor eutrofiëring Totaal N mg N/l Zomergemiddelde (april-september), maat voor eutrofiëring * NVO staat voor Natuurvriendelijke oevers. Tabel 2.4e: Stuurvariabelen zwak brakke en brakke tot zoute wateren uitgesplitst in hydromorfologische en chemische parameters Hydromorfologische parameters Klassen Waarden en omschrijving Oeverinrichting 3 1=beschoeid, 2=steil, 3=flauw/moerassig (NVO*) Peildynamiek 3 1=tegennatuurlijk, 2=stabiel, 3=natuurlijk Onderhoud 2 1=intensief, 2=extensief Connectiviteit 3 1=geïsoleerd, 2=periodiek geïsoleerd, 3=open verbinding Chemische parameters Eenheid Chloride gehalte mg Cl/l Zomergemiddelde (april-september), maat voor verzoeting Totaal P mg P/l Zomergemiddelde (april-september), maat voor eutrofiëring Totaal N mg N/l Zomergemiddelde (april-september), maat voor eutrofiëring * NVO staat voor Natuurvriendelijke oevers. EEE4 Conceptrapport RDC_BC8148_R001_901530_d1 -9- 19 februari 2015 3 RESULTATEN Hierna wordt in tabel 3.1 een samenvatting gegeven van de resultaten van de netwerktrainingen voor de kwaliteitselementen van de verschillende watertypen. Naast determinatiecoëfficiënt R2 en richtingscoëfficiënt RC zijn in de tabel opgenomen: De gemiddelde voorspelfout RMSE (Rooted Mean Square Error). Deze is als volgt gedefinieerd: 𝑁 1 𝑅𝑀𝑆𝐸 = √ ∑ (𝑦𝑖 − 𝑦̂𝑖 )2 𝑁 𝑖°1 In deze formule staat yi voor de gemeten EKR en 𝑦̂𝑖 voor de met het expertsysteem voorspelde EKR in water i. Bij een perfecte voorspelling geldt dat de RMSE-waarde gelijk is aan nul. Het percentage voorspelde EKR’s dat minder dan 0,1 afwijkt van gemeten EKR. De Coëfficiënt of Determination (CoD) van de testset. De CoD is een maat voor de voorspellingswaarde van een neuraal netwerk. De waarde dient groter te zijn dan 0 en zo dicht mogelijk bij 1 te liggen. De formule voor de CoD is: 2 𝐶𝑜𝐷 = 1 − 𝑅𝑀𝑆𝐸 ⁄𝑣𝑎𝑟(𝑦 ) 𝑖 Met ‘var(yi)’ de variantie van de metingen in de testset. Voor de gedetailleerde resultaten van de getrainde netwerken voor de verschillende watertypen wordt verwezen naar bijlagen 1 t/m 8. De EEE4-resultaten zijn vergelijkbaar tot beter dan die van EEE3 (tabel 3.1). Zowel de R2 als de RC is in alle gevallen verbeterd of zo goed als gelijk gebleven (-0.01 tot -0.06 afname). De RMSE is in alle gevallen kleiner geworden en het percentage binnen 0.1 is op twee netwerken na (-1 en -3 afname) gelijk gebleven of toegenomen met zelfs een toename van 24%. De CoD is heel wisselend met verschillen tussen de -0.48 en +0.45. De resultaten van beide EEE-versies zijn statistisch niet verder met elkaar vergeleken. We bevelen aan om dit weer gecombineerd voor alle drie de rekentools uit te voeren. De met deze netwerken gecompileerde executable EEE4.exe dient als invoer een inputdata.csv bestand te hebben zoals weergegeven in tabel 3.2. De beide uitvoerbestanden van deze EEE4 tool – outputdata.csv en outliers.csv - zijn weergegeven in tabel 3.3 en 3.4. RDC_BC8148_R001_901530_d1 19 februari 2015 EEE4 - 10 - Conceptrapport Tabel 3.1: Statistische kenmerken van getrainde neurale netwerken voor de verschillende watertypen tussen () waarden van EEE3 Watertype Kwaliteitselementen Trainingset 2 R Testset RC RMSE % afwijking CoD EKR < 0.1 Langzaam stromende beken Snel stromende beken Diepe meren Ondiepe meren Kanalen Sloten Zwak brakke wateren Brak tot zoute wateren Overige waterflora 0.81 (0.81) 0.81 (0.83) 0.063 (0.066) 88 (88) 0.71 (0.56) Macrofauna 0.91 (0.88) 0.91 (0.91) 0.052 (0.060) 96 (91) 0.54 (0.74) Vissen 0.89 (0.87) 0.88 (0.91) 0.059 (0.061) 91 (90) 0.50 (0.84) Overige waterflora 0.92 (0.91) 0.89 (0.95) 0.058 (0.063) 93 (87) 0.82 (0.76) Macrofauna 0.81 (0.75) 0.78 (0.75) 0.094 (0.104) 67 (68) 0.51 (0.60) Vissen 0.88 (0.82) 0.88 (0.82) 0.066 (0.093) 90 (72) 0.67 (0.84) Fytoplankton 0.82 (0.66) 0.83 (0.64) 0.108 (0.158) 56 (54) 0.48 (-0.06) Overige waterflora 0.93 (0.87) 0.92 (0.87) 0.040 (0.081) 99 (75) 0.50 (0.56) Macrofauna 0.92 (0.86) 0.92 (0.88) 0.048 (0.068) 94 (89) 0.50 (0.56) Vissen 0.91 (0.85) 0.91 (0.89) 0.062 (0.071) 87 (85) 0.21 (0.69) Fytoplankton 0.87 (0.78) 0.86 (0.77) 0.097 (0.117) 65 (61) 0.65 (0.64) Overige waterflora 0.90 (0.84) 0.90 (0.85) 0.068 (0.086) 85 (79) 0.76 (0.42) Macrofauna 0.81 (0.73) 0.78 (0.75) 0.074 (0.089) 81 (72) 0.44 (0.57) Vissen 0.87 (0.83) 0.84 (0.87) 0.077 (0.086) 81 (75) 0.57 (0.35) Fytoplankton 0.86 (0.86) 0.86 (0.86) 0.066 (0.076) 85 (82) 0.69 (0.64) Overige waterflora 0.77 (0.68) 0.78 (0.75) 0.081 (0.099) 74 (67) 0.02 (-0.21) Macrofauna 0.80 (0.78) 0.80 (0.78) 0.083 (0.090) 73 (72) 0.62 (0.27) Vissen 0.85 (0.81) 0.86 (0.81) 0.067 (0.070) 89 (86) 0.68 (0.23) Overige waterflora 0.88 (0.79) 0.92 (0.76) 0.067 (0.089) 87 (73) 0.63 (0.49) Macrofauna 0.78 (0.77) 0.78 (0.79) 0.089 (0.093) 70 (69) 0.57 (0.49) Vissen 0.90 (0.89) 0.90 (0.91) 0.056 (0.057) 90 (93) 0.79 (0.71) Fytoplankton 0.88 (0.70) 0.86 (0.79) 0.077 (0.119) 81 (72) 0.02 (-0.18) Overige waterflora 0.90 (0.81) 0.92 (0.84) 0.066 (0.084) 84 (81) 0.33 (0.55) Macrofauna 0.77 (0.66) 0.77 (0.68) 0.068 (0.104) 83 (75) 0.00 (0.06) Vissen 0.88 (0.71) 0.87 (0.79) 0.059 (0.091) 90 (77) 0.00 (0.35) Fytoplankton 0.85 (0.74) 0.85 (0.82) 0.064 (0.100) 84 (67) 0.45 (-0.13) Overige waterflora 0.90 (0.84) 0.93 (0.88) 0.052 (0.063) 91 (88) 0.35 (0.45) Macrofauna 0.76 (0.68) 0.73 (0.70) 0.109 (0.123) 60 (58) 0.36 (0.40) Vissen 0.88 (0.68) 0.88 (0.75) 0.055 (0.086) 92 (83) 0.35 (0.36) EEE4 Conceptrapport RDC_BC8148_R001_901530_d1 - 11 - 19 februari 2015 Tabel 3.2: Voorbeeld van invoerbestand EEE4 ID a1 a2 a3 a4 a5 a6 a7 a8 a9 a10 a11 a12 a13 a14 a15 a16 a17 a18 a19 a20 a21 a22 a23 a24 a25 a26 Waterbody a b c d e f g h f g h i j k l m n o p q r s t u v w Watertype R4 R5 R6 R12 R13 R14 R15 R17 R18 M1a M1b M2 M8 M3 M4 M6a M6b M7a M7b M10 M14 M23 M27 M20 M30 M31 Meandering Shading Weirs Banks LevelControl Maintenance Shipping Connectivity BOD Chloride P-total N-total 10 0.5 0.3 NA NA NA NA NA 1.7 NA 0.14 4 2 1 2 NA NA NA NA NA 1.5 NA 0.2 2 7 7 7 NA NA NA NA NA 1.5 NA 0.1 3 2 3 1 NA NA NA NA NA 1.8 NA 0.15 2 2 2 2 NA NA NA NA NA 1.2 NA 0.2 1 1 3 3 NA NA NA NA NA 1 NA 0.1 2 3 1 2 NA NA NA NA NA 1.5 NA 0.2 2 3 3 1 NA NA NA NA NA 1.5 NA 0.1 3 1 6 4 NA NA NA NA NA 1.8 NA 0.15 2 NA NA NA 1 1 2 NA NA NA NA 0.1 3 NA NA NA 2 1 1 NA NA NA NA 0.15 2 NA NA NA 6 6 6 NA NA NA NA 0.2 5 NA NA NA 2 2 1 NA NA NA NA 0.1 4 NA NA NA 1 2 3 2 NA NA NA 0.2 4 NA NA NA 2 1 2 1 NA NA NA 0.1 3 NA NA NA 1 2 3 2 NA NA NA 0.15 2 NA NA NA 2 1 1 1 NA NA NA 0.2 3 NA NA NA 1 2 2 2 NA NA NA 0.25 5 NA NA NA 2 1 2 1 NA NA NA 0.3 5 NA NA NA 1 2 3 2 NA NA NA 0.2 4 NA NA NA 2 1 NA NA NA NA NA 0.1 3 NA NA NA 1 2 NA NA NA NA NA 0.2 2 NA NA NA 2 1 NA NA NA NA NA 0.1 4 NA NA NA 1 2 NA NA NA NA NA 0.2 4 NA NA NA 2 2 2 2 2000 0.5 6 NA NA NA 1 3 2 3 10000 0.7 3 RDC_BC8148_R001_901530_d1 19 februari 2015 EEE4 - 12 - Conceptrapport Tabel 3.3: Voorbeeld van uitvoerbestand outputdata.csv ID a1 a2 a3 a4 a5 a6 a7 a8 a9 a10 a11 a12 a13 a14 a15 a16 a17 a18 a19 a20 a21 a22 a23 a24 a25 a26 Waterbody a b c d e f g h f g h i j k l m n o p q r s t u v w Watertype R4 R5 R6 R12 R13 R14 R15 R17 R18 M1a M1b M2 M8 M3 M4 M6a M6b M7a M7b M10 M14 M23 M27 M20 M30 M31 Meandering Shading Weirs Banks LevelControl Maintenance Shipping Connectivity BOD Chloride P-total N-total EQRfytoplankton EQRaquaflora EQRmacroinv EQRfish 10 0.5 0.3 NA NA NA NA NA 1.7 NA 0.14 4 NA 0.51284 0.66277 0.38281 2 1 2 NA NA NA NA NA 1.5 NA 0.2 2 NA 0.49136 0.30431 0.31885 7 7 7 NA NA NA NA NA 1.5 NA 0.1 3 NA 0.93785 0.86214 0.91209 2 3 1 NA NA NA NA NA 1.8 NA 0.15 2 NA 0.52964 0.53334 0.52623 2 2 2 NA NA NA NA NA 1.2 NA 0.2 1 NA 0.50315 0.47833 0.43354 1 3 3 NA NA NA NA NA 1 NA 0.1 2 NA 0.50772 0.38774 0.44606 3 1 2 NA NA NA NA NA 1.5 NA 0.2 2 NA 0.5907 0.48234 0.47787 3 3 1 NA NA NA NA NA 1.5 NA 0.1 3 NA 0.61543 0.61575 0.44075 1 6 4 NA NA NA NA NA 1.8 NA 0.15 2 NA 0.43841 0.37512 0.42047 NA NA NA 1 1 2 NA NA NA NA 0.1 3 NA 0.3321 0.37495 0.47325 NA NA NA 2 1 1 NA NA NA NA 0.15 2 NA 0.29899 0.37095 0.47713 NA NA NA 6 6 6 NA NA NA NA 0.2 5 NA 0.85665 0.64703 0.95021 NA NA NA 2 2 1 NA NA NA NA 0.1 4 NA 0.33927 0.49802 0.5735 NA NA NA 1 2 3 2 NA NA NA 0.2 4 0.47211 0.37762 0.38936 0.43983 NA NA NA 2 1 2 1 NA NA NA 0.1 3 0.93493 0.1279 0.29451 0.97472 NA NA NA 1 2 3 2 NA NA NA 0.15 2 0.52034 0.37925 0.57012 0.5285 NA NA NA 2 1 1 1 NA NA NA 0.2 3 0.92999 0.077455 0.1194 0.97314 NA NA NA 1 2 2 2 NA NA NA 0.25 5 0.4608 0.37596 0.16707 0.34282 NA NA NA 2 1 2 1 NA NA NA 0.3 5 0.92203 0.31511 0.27583 0.95844 NA NA NA 1 2 3 2 NA NA NA 0.2 4 0.47211 0.37762 0.38936 0.43983 NA NA NA 2 1 NA NA NA NA NA 0.1 3 0.39174 0.33884 0.39231 0.21369 NA NA NA 1 2 NA NA NA NA NA 0.2 2 0.33377 0.13267 0.39523 0.17629 NA NA NA 2 1 NA NA NA NA NA 0.1 4 0.37261 0.32579 0.40229 0.18618 NA NA NA 1 2 NA NA NA NA NA 0.2 4 0.25174 0.18503 0.29217 0.27509 NA NA NA 2 2 2 2 2000 0.5 6 0.3445 0.21557 0.57727 0.50995 NA NA NA 1 3 2 3 10000 0.7 3 0.87426 0.44087 0.74205 0.85524 EEE4 Conceptrapport RDC_BC8148_R001_901530_d1 - 13 - 19 februari 2015 Tabel 3.4: Voorbeeld van uitvoerbestand outliers.csv If environmental factor has value 1, its value is outside the data limits of the trainingset of the corresponding neural network Outliers slow flowing brook ID Meandering Shading Weirs BOD a1 1 1 1 Outliers fast flowing brook ID Meandering Shading Weirs BOD a7 0 0 0 Outliers fast flowing brook ID Meandering Shading Weirs BOD a8 0 0 0 Outliers fast flowing brook ID Meandering Shading Weirs BOD a9 0 1 1 Outliers Ditch ID Banks Level control Maintenance P-total a10 0 0 0 Outliers Ditch ID Banks Level control Maintenance P-total a11 0 0 0 Outliers Ditch ID Banks Level control Maintenance P-total a12 1 1 1 P-total 0 N-total 0 P-total 0 0 N-total 0 P-total 0 0 N-total 0 P-total 0 0 N-total 0 0 N-total 0 0 N-total 0 0 N-total 0 0 RDC_BC8148_R001_901530_d1 19 februari 2015 EEE4 - 14 - Conceptrapport Bijlage 1 Beschrijving NN langzaam stromende beken EEE4 Conceptrapport RDC_BC8148_R001_901530_d1 19 februari 2015 Neurale netwerken (EEE4) voor watertypen R4 R5 R6 R12 Langzaam stromende beken Kwaliteitselementen (EKR): Stuurfactoren: Overige waterflora, macrofauna en vissen Meandering, beschaduwing, verstuwing, BZV, totaal fosfaat, totaal stikstof Aantal waarnemingen in dataset: 212 Toegepast software pakket: Neural Network Toolbox 7.0 in Matlab 7.11.0.584 (R2010b) Aantal data gebruikt voor training: 64% (80% van de 80% van de hele dataset) Aantal data gebruikt voor validatie: 16% (20% van de 80% van de hele dataset) Aantal data gebruikt voor testen: 20% (20% van de hele dataset) Aantal trainingscycli: 11 000 Resultaat neuraal netwerk op trainingset EEE4 Conceptrapport Bijlage 1 -1- RDC_BC8148_R001_901530_d1 19 februari 2015 Resultaat neuraal netwerk op validatieset Resultaat neuraal netwerk op testset RDC_BC8148_R001_901530_d1 19 februari 2015 Bijlage 1 -2- EEE4 Conceptrapport Gevoeligheid voor verandering stuurfactoren Statistische gegevens Parameter Betekenis Overige Macrofauna Vissen waterflora COD testset Coëfficiënt of determination1 0.71 0.54 0.50 R Correlatie coëfficiënt 0.90 0.96 0.95 R2 Kwadraat corr. coeff. 0.81 0.91 0.89 RC Richtingscoëfficiënt regressielijn 0.81 0.91 0.88 Std RC Standaard afwijking van RC 0.011 0.011 0.018 Int Intercept van regressielijn 0.09 0.03 0.03 ME Gemiddelde fout 0.000 0.000 0.001 MSE Gemiddelde van gekwadrateerde 0.004 0.003 0.004 0.063 0.052 0.059 88 96 91 fouten RMSE Standaard deviatie (wortel van MSE) % binnen 0,1 EKR 1 COD is een maat voor de voorspellingswaarde van een ANN. Waarde dient groter te zijn dan 0 en zo dicht mogelijk bij 1 te liggen. EEE4 Conceptrapport Bijlage 1 -3- RDC_BC8148_R001_901530_d1 19 februari 2015 Bijlage 2 Beschrijving NN snel stromende beken EEE4 Conceptrapport RDC_BC8148_R001_901530_d1 19 februari 2015 Neurale netwerken (EEE4) voor watertypen R13 R14 R15 R17 R18 Snelstromende beken Kwaliteitselementen (EKR): Stuurfactoren: Overige waterflora, macrofauna en vissen Meandering, beschaduwing, verstuwing, BZV, totaal fosfaat, totaal stikstof Aantal waarnemingen in dataset: 195 Toegepast software pakket: Neural Network Toolbox 7.0 in Matlab 7.11.0.584 (R2010b) Aantal data gebruikt voor training: 64% (80% van de 80% van de hele dataset) Aantal data gebruikt voor validatie: 16% (20% van de 80% van de hele dataset) Aantal data gebruikt voor testen: 20% (20% van de hele dataset) Aantal trainingscycli: 11 000 Resultaat neuraal netwerk op trainingset EEE4 Conceptrapport Bijlage 2 -1- RDC_BC8148_R001_901530_d1 19 februari 2015 Resultaat neuraal netwerk op validatieset Resultaat neuraal netwerk op testset RDC_BC8148_R001_901530_d1 19 februari 2015 Bijlage 2 -2- EEE4 Conceptrapport Gevoeligheid voor verandering stuurfactoren Statistische gegevens Parameter Betekenis Overige Macrofauna Vissen waterflora COD test set Coëfficiënt of determination 1 0.82 0.51 0.67 R Correlatie coëfficiënt 0.96 0.90 0.94 R2 Kwadraat corr. coeff. 0.92 0.81 0.88 RC Richtingscoëfficiënt regressielijn 0.89 0.78 0.88 Std RC Standaard afwijking van RC 0.011 0.016 0.016 Int Intercept van regressielijn 0.046 0.11 0.034 ME Gemiddelde fout 0.000 -0.004 -0.003 MSE Gemiddelde van gekwadrateerde fouten 0.003 0.009 0.004 Standaard deviatie (wortel van MSE) 0.058 0.094 0.066 93 67 90 RMSE % binnen 0,1 EKR 1 COD is een maat voor de voorspellingswaarde van een ANN. Waarde dient groter te zijn dan 0 en zo dicht mogelijk bij 1 te liggen. EEE4 Conceptrapport Bijlage 2 -3- RDC_BC8148_R001_901530_d1 19 februari 2015 Bijlage 3 Beschrijving NN diepe meren EEE4 Conceptrapport RDC_BC8148_R001_901530_d1 19 februari 2015 Neurale netwerken (EEE4) voor watertypen M16 en M20 Diepe meren Kwaliteitselementen (EKR): Fytoplankton, overige waterflora, macrofauna en vissen Stuurfactoren: Oeverinrichting, peilbeheer, totaal fosfaat, totaal stikstof Aantal waarnemingen in dataset: 129 Toegepast software pakket: Neural Network Toolbox 7.0 in Matlab 7.11.0.584 (R2010b) Aantal data gebruikt voor training: 64% (80% van de 80% van de hele dataset) Aantal data gebruikt voor validatie: 16% (20% van de 80% van de hele dataset) Aantal data gebruikt voor testen: 20% (20% van de hele dataset) Aantal trainingscycli: 11 000 Resultaat neuraal netwerk op trainingset EEE4 Conceptrapport Bijlage 3 -1- RDC_BC8148_R001_901530_d1 19 februari 2015 Resultaat neuraal netwerk op validatieset Resultaat neuraal netwerk op testset RDC_BC8148_R001_901530_d1 19 februari 2015 Bijlage 3 -2- EEE4 Conceptrapport Gevoeligheid voor verandering stuurfactoren Statistische gegevens Parameter Betekenis COD test set Coëfficiënt of Fytoplankton Overige Macrofauna Vissen waterflora determination1 0.48 0.50 0.50 0.21 R Correlatie coëfficiënt 0.91 0.96 0.96 0.95 R2 Kwadraat corr. coeff. 0.82 0.93 0.92 0.91 RC Richtingscoëfficiënt 0.83 0.92 0.92 0.91 0.019 0.010 0.011 0.016 regressielijn 0.100 0.030 0.040 0.035 ME Gemiddelde fout 0.000 0.000 0.000 0.000 MSE Gemiddelde van 0.012 0.002 0.002 0.004 0.108 0.040 0.048 0.062 56 99 94 87 regressielijn Std RC Standaard afwijking van RC Int Intercept van gekwadrateerde fouten RMSE Standaard deviatie (wortel van MSE) % binnen 0,1 EKR 1 COD is een maat voor de voorspellingswaarde van een ANN. Waarde dient groter te zijn dan 0 en zo dicht mogelijk bij 1 te liggen. EEE4 Conceptrapport Bijlage 3 -3- RDC_BC8148_R001_901530_d1 19 februari 2015 Bijlage 4 Beschrijving NN ondiepe meren EEE4 Conceptrapport RDC_BC8148_R001_901530_d1 19 februari 2015 Neurale netwerken (EEE4) voor watertypen M14 M23 en M27 Ondiepe meren Kwaliteitselementen (EKR): Fytoplankton, overige waterflora, macrofauna en vissen Stuurfactoren: Oeverinrichting, peilbeheer, totaal fosfaat, totaal stikstof Aantal waarnemingen in dataset: 204 Toegepast software pakket: Neural Network Toolbox 7.0 in Matlab 7.11.0.584 (R2010b) Aantal data gebruikt voor training: 64% (80% van de 80% van de hele dataset) Aantal data gebruikt voor validatie: 16% (20% van de 80% van de hele dataset) Aantal data gebruikt voor testen: 20% (20% van de hele dataset) Aantal trainingscycli: 11 000 Resultaat neuraal netwerk op trainingset EEE4 Conceptrapport Bijlage 4 -1- RDC_BC8148_R001_901530_d1 19 februari 2015 Resultaat neuraal netwerk op validatieset Resultaat neuraal netwerk op testset RDC_BC8148_R001_901530_d1 19 februari 2015 Bijlage 4 -2- EEE4 Conceptrapport Gevoeligheid voor verandering stuurfactoren Statistische gegevens Parameter Betekenis Fytoplankton Overige Macrofauna Vissen waterflora COD test set Coëfficiënt of determination 1 0.65 0.76 0.44 0.57 R Correlatie coëfficiënt 0.93 0.95 0.90 0.93 R2 Kwadraat corr coeff 0.87 0.90 0.81 0.87 RC Richtingscoëfficiënt 0.86 0.90 0.78 0.84 0.016 0.012 0.013 0.014 regressielijn Std RC Standaard afwijking van RC Int Intercept van regressielijn 0.063 0.045 0.100 0.062 ME Gemiddelde fout -0.002 0.000 -0.004 -0.007 MSE Gemiddelde van 0.010 0.005 0.006 0.006 0.097 0.068 0.074 0.077 65 85 81 81 gekwadrateerde fouten RMSE Standaard deviatie (wortel van MSE) % binnen 0,1 EKR 1 COD is een maat voor de voorspellingswaarde van een ANN. Waarde dient groter te zijn dan 0 en zo dicht mogelijk bij 1 te liggen. EEE4 Conceptrapport Bijlage 4 -3- RDC_BC8148_R001_901530_d1 19 februari 2015 Bijlage 5 Beschrijving NN kanalen EEE4 Conceptrapport RDC_BC8148_R001_901530_d1 19 februari 2015 Neurale netwerken (EEE4) voor watertypen M3 M6ab M7ab en M10 Kanalen Kwaliteitselementen (EKR): Fytoplankton, overige waterflora, macrofauna en vissen Stuurfactoren: Oeverinrichting, peilbeheer, onderhoud, scheepvaart, totaal fosfaat, totaal stikstof Aantal waarnemingen in dataset: 211 Toegepast software pakket: Neural Network Toolbox 7.0 in Matlab 7.11.0.584 (R2010b) Aantal data gebruikt voor training: 64% (80% van de 80% van de hele dataset) Aantal data gebruikt voor validatie: 16% (20% van de 80% van de hele dataset) Aantal data gebruikt voor testen: 20% (20% van de hele dataset) Aantal trainingscycli: 55 000 Resultaat neuraal netwerk op trainingset EEE4 Conceptrapport Bijlage 5 -1- RDC_BC8148_R001_901530_d1 19 februari 2015 Resultaat neuraal netwerk op validatieset Resultaat neuraal netwerk op testset RDC_BC8148_R001_901530_d1 19 februari 2015 Bijlage 5 -2- EEE4 Conceptrapport Gevoeligheid voor verandering stuurfactoren Statistische gegevens Parameter Betekenis COD testset Coëfficiënt of Fytoplankton Overige Macrofauna Vissen waterflora determination 1 0.69 0.02 0.62 0.68 R Correlatie coëfficiënt 0.93 0.88 0.90 0.92 R2 Kwadraat corr coeff 0.86 0.77 0.80 0.85 RC Richtingscoëfficiënt 0.86 0.78 0.80 0.86 regressielijn Std RC Standaard afwijking van RC 0.011 0.018 0.015 0.011 Int Intercept van regressielijn 0.072 0.067 0.088 0.070 ME Gemiddelde fout -0.002 -0.016 -0.001 0.001 MSE Gemiddelde van 0.004 0.006 0.007 0.004 0.066 0.081 0.083 0.067 85 74 73 89 gekwadrateerde fouten RMSE Standaard deviatie (wortel van MSE) % binnen 0,1 EKR 1 COD is een maat voor de voorspellingswaarde van een ANN. Waarde dient groter te zijn dan 0 en zo dicht mogelijk bij 1 te liggen. EEE4 Conceptrapport Bijlage 5 -3- RDC_BC8148_R001_901530_d1 19 februari 2015 Bijlage 6 Beschrijving NN sloten EEE4 Conceptrapport RDC_BC8148_R001_901530_d1 19 februari 2015 Neurale netwerken (EEE4) voor watertypen M01 M02 M08 Sloten Kwaliteitselementen (EKR): Stuurfactoren: Overige waterflora, macrofauna en vissen Oeverinrichting, peildynamiek, onderhoud, totaal fosfaat, totaal stikstof Aantal waarnemingen in dataset: 195 Toegepast software pakket: Neural Network Toolbox 7.0 in Matlab 7.11.0.584 (R2010b) Aantal data gebruikt voor training: 64% (80% van de 80% van de hele dataset) Aantal data gebruikt voor validatie: 16% (20% van de 80% van de hele dataset) Aantal data gebruikt voor testen: 20% (20% van de hele dataset) Aantal trainingscycli: 11 000 Resultaat neuraal netwerk op trainingset EEE4 Conceptrapport Bijlage 6 -1- RDC_BC8148_R001_901530_d1 19 februari 2015 Resultaat neuraal netwerk op validatieset Resultaat neuraal netwerk op testset RDC_BC8148_R001_901530_d1 19 februari 2015 Bijlage 6 -2- EEE4 Conceptrapport Gevoeligheid voor verandering stuurfactoren Statistische gegevens Parameter Betekenis Overige Macrofauna Vissen waterflora COD testset Coëfficiënt of determination 1 0.63 0.57 0.79 R Correlatie coëfficiënt 0.94 0.88 0.95 R2 Kwadraat corr coeff 0.88 0.78 0.90 RC Richtingscoëfficiënt Regressielijn 0.92 0.78 0.90 Std RC Standaard afwijking van RC 0.015 0.017 0.009 Int Intercept van regressielijn 0.026 0.100 0.053 ME Gemiddelde fout -0.004 0.005 0.000 MSE Gemiddelde van 0.004 0.008 0.003 0.067 0.089 0.056 87 70 90 gekwadrateerde fouten RMSE Standaard deviatie (wortel van MSE) % binnen 0,1 EKR 1 COD is een maat voor de voorspellingswaarde van een ANN. Waarde dient groter te zijn dan 0 en zo dicht mogelijk bij 1 te liggen. EEE4 Conceptrapport Bijlage 6 -3- RDC_BC8148_R001_901530_d1 19 februari 2015 Bijlage 7 Beschrijving NN zwak brakke wateren EEE4 Conceptrapport RDC_BC8148_R001_901530_d1 19 februari 2015 Neurale netwerken (EEE4) voor watertype M30 Zwak brakke wateren Kwaliteitselementen (EKR): Fytoplankton, overige waterflora, macrofauna en vissen Stuurfactoren: Oeverinrichting, peildynamiek, onderhoud, connectiviteit, chloride, totaal fosfaat, totaal stikstof Aantal waarnemingen in dataset: 209 Toegepast software pakket: Neural Network Toolbox 7.0 in Matlab 7.11.0.584 (R2010b) Aantal data gebruikt voor training: 64% (80% van de 80% van de hele dataset) Aantal data gebruikt voor validatie: 16% (20% van de 80% van de hele dataset) Aantal data gebruikt voor testen: 20% (20% van de hele dataset) Aantal trainingscycli: 55 000 Resultaat neuraal netwerk op trainingset EEE4 Conceptrapport Bijlage 7 -1- RDC_BC8148_R001_901530_d1 19 februari 2015 Resultaat neuraal netwerk op validatieset Resultaat neuraal netwerk op testset RDC_BC8148_R001_901530_d1 19 februari 2015 Bijlage 7 -2- EEE4 Conceptrapport Gevoeligheid voor verandering stuurfactoren Statistische gegevens Parameter Betekenis Fytoplankton Overige Macrofauna Vissen waterflora COD testset Coëfficiënt of determination 1 0.02 0.33 0.00 0.00 R Correlatie coëfficiënt 0.94 0.95 0.88 0.94 R2 Kwadraat corr. coeff. 0.88 0.90 0.77 0.88 RC Richtingscoëfficiënt 0.86 0.92 0.77 0.87 0.013 0.017 0.013 0.013 regressielijn Std RC Standaard afwijking van RC Int Intercept van regressielijn 0.061 0.020 0.100 0.040 ME Gemiddelde fout -0.003 -0.004 -0.001 -0.006 MSE Gemiddelde van 0.006 0.004 0.005 0.003 0.077 0.066 0.068 0.059 81 84 83 90 gekwadrateerde fouten RMSE Standaard deviatie (wortel van MSE) % binnen 0,1 EKR 1 COD is een maat voor de voorspellingswaarde van een ANN. Waarde dient groter te zijn dan 0 en zo dicht mogelijk bij 1 te liggen. EEE4 Conceptrapport Bijlage 7 -3- RDC_BC8148_R001_901530_d1 19 februari 2015 Bijlage 8 Beschrijving NN brak tot zoute wateren EEE4 Conceptrapport RDC_BC8148_R001_901530_d1 19 februari 2015 Neurale netwerken (EEE4) voor watertype M31 Brak zoute wateren Kwaliteitselementen (EKR): Fytoplankton, overige waterflora, macrofauna en vissen Stuurfactoren: Oeverinrichting, peildynamiek, onderhoud, connectiviteit, chloride, totaal fosfaat, totaal stikstof Aantal waarnemingen in dataset: 185 Toegepast software pakket: Neural Network Toolbox 7.0 in Matlab 7.11.0.584 (R2010b) Aantal data gebruikt voor training: 64% (80% van de 80% van de hele dataset) Aantal data gebruikt voor validatie: 16% (20% van de 80% van de hele dataset) Aantal data gebruikt voor testen: 20% (20% van de hele dataset) Aantal trainingscycli: 55 000 Resultaat neuraal netwerk op trainingset EEE4 Conceptrapport Bijlage 8 -1- RDC_BC8148_R001_901530_d1 19 februari 2015 Resultaat neuraal netwerk op validatieset Resultaat neuraal netwerk op testset RDC_BC8148_R001_901530_d1 19 februari 2015 Bijlage 8 -2- EEE4 Conceptrapport Gevoeligheid voor verandering stuurfactoren Statistische gegevens Parameter Betekenis Fytoplankton Overige Macrofauna Vissen waterflora COD testset Coëfficiënt of determination 1 0.45 0.35 0.36 0.35 R Correlatie coëfficiënt 0.92 0.95 0.87 0.94 R2 Kwadraat corr coeff 0.85 0.90 0.76 0.88 RC Richtingscoëfficiënt 0.85 0.93 0.73 0.88 0.012 0.011 0.018 0.011 regressielijn Std RC Standaard afwijking van RC Int Intercept van regressielijn 0.067 0.028 0.13 0.045 ME Gemiddelde fout 0.012 0.011 0.018 0.011 MSE Gemiddelde van -0.002 0.000 -0.012 -0.007 0.004 0.003 0.012 0.003 84 91 60 92 gekwadrateerde fouten RMSE Standaard deviatie (wortel van MSE) % binnen 0,1 EKR 1 COD is een maat voor de voorspellingswaarde van een ANN. Waarde dient groter te zijn dan 0 en zo dicht mogelijk bij 1 te liggen. EEE4 Conceptrapport Bijlage 8 -3- RDC_BC8148_R001_901530_d1 19 februari 2015