KRW-VSS en (UM)-Aquo - Informatiehuis Water

KRW-VSS en (UM)-Aquo
data standaarden in Delft-FEWS
Amersfoort, 23 April 2012
Marc van Dijk
Deltares
Inhoud
• Inleiding tot Delft-FEWS
• Filosofie & integratie van data en modellen
• Delft-FEWS & data standaarden:
• Eigen FEWS-Published Interface standaard
• Koppeling met ‘Externe’ standaarden
• KRW-VSS en (UM)-Aquo
• Ervaringen bij implementatie KRW Volg en Stuur Systeem
• Koppeling met Geovoorziening
• Koppeling met Ecolims
Inleiding Delft-FEWS: Mijlpalen
2000
Prototype Delft-FEWS als open platform voor hoogwatervoorspellingsystemen
– FEWS-Rijn (RIZA, Bfg), FEWS-Zwitserland
– EFFS (European Flood Forecasting System, EU project)
2002
Delft-FEWS gekozen als Nationaal Systeem voor Engeland en Wales (NFFS)
– Complete redesign Delft-FEWS, Client Server omgeving
– Delft-FEWS Published Interface standaard voor model koppeling
2005
Gebruik Delft-FEWS als Water Informatie Systeem (WIS)
– Data analyse functionaliteit toegevoegd aan FEWS modules
2008
Keuze Delft-FEWS als National Forecasting System door de NWS (CHPS)
– Re-design FEWS Gebruikers Interfaces
2008
Oprichting Deltares
– Focus op nieuwe toepassingsgebieden (kusten, dijken, grondwater)
DELFT FEWS – Open platform voor data en
modellen
Filosofie
• Open Platform voor het beheren van data en het
(voorspellings)-proces
• Platform levert een generieke set van componenten
• Open Interface tot externe modules en modellen
• Delft FEWS is een open systeem – joint development
approach
• Delft FEWS software is gratis, wel licentie via Deltares
Delft-FEWS: Kern eigenschappen
•
•
•
•
•
Verwerken en opslaan van grote hoeveelheden data
Integreren van modellen via een open interface (FEWS-PI)
Presenteren van externe data en model resultaten
Schaalbaar: lokaal-nationaal-globaal, meting-voorspelling-scenario
Ontwikkelingen binnen Delft-FEWS generiek toepasbaar
Delft-FEWS- Gebruik in Nederland
• Plaatjes Nederland en Wereld van FEWS gebruikers
• Enkele kentallen met gebruikers
Delft-FEWS: Toepassingsgebieden
•
•
•
•
•
Hoogwatervoorspelling voor rivieren en kusten
Laagwatervoorspelling voor rivieren
Waterinformatie systemen voor water kwantiteit ‘en kwaliteit’
Doorrekenen van klimaatscenario’s
Sturing van kunstwerken en optimalisatie van reservoirs
• Kern van elke implementatie is dat het over grote hoeveelheden
tijdreeksen gaat met grote verscheidenheid aan data types
• punt data, monsters, grids, polygonen, lengteprofielen,
diepteprofielen, golfspectra, ..
• Vraagt om Standaarden!
Delft-FEWS: Integratie van modellen
• Uitgangspunt is dat naast eigen Deltares (WL) modellen ook andere
modellen gebruikt moet kunnen worden.
• Model is een onderdeel van een hoogwatervoorspelling systeem
• In 2002 is hiervoor het FEWS Published Interface ontwikkeld
• XML schema's voor tijdreeksen, model states, logs, etc..
• Eenvoudig (focus), snel en generiek toepasbaar
• Java bibliotheken beschikbaar gesteld voor ontwikkelaars
• +/- 100 modellen kunnen via deze standaard gekoppeld worden
Delft-FEWS: Integratie van data
Interfaces naar data bronnen:
• Ondersteund standaard data formaten: GRIB, NetCDF, etc.
• Ondersteund applicatie specifieke formaten (+-100)
• Data uitwisseling met RWS gegevens (bv. LMW, MATROOS)
• Nieuwe standaarden: OGC, WaterML2, OpenDAP, UM-Aquo, ..
• Plugin-technologie om integratie van data formaten uit te breiden
Delft-FEWS: Filosofie standaarden
•
Elke discipline heeft een of meerdere Internationale standaarden:
• Meteorologie: GRIdded Binary (GRIB)
• Hydrologie via OGC: WaterML2.0
• Klimaat: Climate and Forecast Metadata Conventies (CF)
•
Elke land heeft ook een of meerdere standaarden
• Engeland: EA-XML standaard
• Nederland: UM-Aquo
•
Hoe de standaard eruit ziet is gestuurd door de achtergrond van personen
die het hebben opgezet
• NetCDF-CF, vooral in de Klimaat en kusten met grote grid modellen
• UM-Aquo, gericht op water kwaliteit
• EA-XML, vanuit telemetrie systemen
Delft-FEWS: Filosofie standaarden
•
Hoe kijken we vanuit Delft-FEWS naar deze data standaarden
•
Delft-FEWS zal niet een externe standaard kiezen voor eigen interne data
model: onafhankelijkheid bewaren
Wel gegevens kunnen uitwisselen volgens standaarden
Wel zoveel mogelijk de metadata conventies (domeintabellen) kunnen
gebruiken eigen database
•
•
•
Oplossing gezocht in het gebruik van:
• koppel tabellen
• flexibele elementen in de Delft-FEWS database (om extra meta data
op te slaan)
•
Belangrijk: Standaard moet ook door ‘niet experts’ zijn te gebruiken zijn
Enkele voorbeelden: EA XML
Environment Agency XML standaard voor England en Wales
• bevat XML bestand formaat en ‘beperkte’ meta data afspraken
Koppeltabellen voor
1.
2.
3.
4.
5.
Locatie
Parameter
Eenheid
Kwaliteit label
Tijdzone
Enkele voorbeelden: UM-Aquo
•
•
•
•
Standaard is “compleet”, maar ook complex
Standaard ontwikkeld met water kwaliteit achtergrond; KRW
Vooral veel aandacht voor domeintabellen (Nederlands)
Uitwisseling via UM-Aquo XML en (recent) CSV formaten
• Voor een “hydroloog” heeft de standaard veel ballast
• Wat is een hoedanigheid?
• Wat is een compartiment?
• Oplossen door veel voorbeelden te geven
• In Delft-FEWS is een Import/Export module ontwikkeld die XML en
CSV bestanden aan kan, en controleert op domeintabellen.
Enkele voorbeelden: UM-Aquo
• FEWS Parameter = UM-Aquo Grootheid
• NEERSG = NEERSG (Neerslag)
• Compartiment voor Neerslag: Hemelwater, Oppervlaktewater?
• Hoedanigheid? NVT als je geen idee hebt!
• FEWS Parameter = UM-Aquo Grootheid + Parameter
• Ntot = CONCTTE + Ntot (Stikstof totaal)
• Compartiment via qualifier: OW = OW
• Unit: mg/l
KRW-Volg en Stuur Systeem
• Ontwikkeling samen met STOWA, Nelen & Schuurmans
• Kennis Applicatie (Web Interface) ontwikkeld door N&S
• Analyse applicatie (Delft-FEWS) ontwikkeld door Deltares
• O.a. verantwoordelijk voor importeren en (tijdelijk) opslaan van
gegevens uit externe bronnen
• Presenteren van kaarten uit de Geovoorziening (WMS/WFS)
KRW-Volg en Stuur Systeem
• Waar mogelijk gebruik maken van UM-Aquo voor uitwisseling met
externe bronnen
• Zoveel mogelijk aansluiten op domeintabellen voor interne opslag
• Aqmad: CSV formaat, geen Aquo
• EKR Scores uit QBWat: UM-Aquo XML 2008
• EKR Oordeel van KRW Portaal: Ad-hoc XML, deels Aquo
• Ecolims: UM-Aquo CSV, deels Aquo
Ontwikkeld tijdens
• FEWS: UM-Aquo XML en CSV
project
• Overig: verschillende CSV formaten
Afspraken over nieuw type
tijdreeksen zoals “Track
reeksen”
KRW-VSS en data uitwisseling
• Twee belangrijkste bron systemen zijn Ecolims en Delft-FEWS
• Aquo domein tabellen en UM-Aquo formaten zijn nu standaard,
moet er ook een afspraak komen over de manier van uitwisseling
• Met KRW-VSS wil je externe bronnen bevragen
database
script
Export
naar ftp
FTP
Folder
FEWS database
Import
in FEWS
FEWS
FEWS database
database
beschikbaar
via service
FEWS
Delft-FEWS en Ecolims
• Ecolims heeft webservice beschikbaar die je kan bevragen
• MetusDataService API gebaseerd op SOAP/XML
• Eerste implementatie van webservice koppeling via UM-Aquo CSV
• Waarom UM-Aquo CSV?
• Stuk compacter en eenvoudiger dan de UM-Aquo XML variant
• Operationeel voor HHNK met beveiliging op IP adres
KRW-VSS en Geovoorziening
• HHNK heeft kwaliteit meetlocaties op de Geovoorziening staan
• Informatie over wat er beschikbaar is
• Vervolgens data ophalen via Webservice bij de bron
Delft-FEWS en Webservices
• Binnen KRW-VSS project is ook een Delft-FEWS Webservice
ontwikkeld
• Opvragen van data via UM-Aquo XML en CSV bestanden
• In mei beschikbaar voor HHNK, in juni voor alle FEWS gebruikers
• Kan op elke Delft-FEWS database gezet worden (2012.01 versie)
• Later uit te breiden met WaterML2, NetCDF, PI-XML, ..
• Source code zal op Delft-FEWS WIKI beschikbaar komen
UM-Aquo: Ervaringen
• Standaard maakt praten over data eenvoudiger
• Systemen moeten deze taal echter ook leren!
• Te vaak even snel data klaargezet in eigen formaat
• Hoe strak implementeer je de standaard!
• Voorbeelden en voorbeeld code erg belangrijk!
• Wat te doen met ‘nieuwe’ parameters?
• Wat te doen met nieuwe type reeksen zoals track reeksen?
• Uitwisselen via webservice grote stap voorwaarts
• Data kan nu bij bron opgehaald worden
• Zal de Ecolims implementatie de standaard worden?
• Combinatie Geovoorziening en data bron systemen
veelbelovend
KRW-VSS en (UM)-Aquo
•
Meer info op : http://publicwiki.deltares.nl/display/FEWSDOC
•
•
24 april KRW-VSS dag
13 juni Delft-FEWS gebruikers dag
Vragen?