Presentatie door Marc van Dijk en Ferdinand Diermanse (Deltares) en Niels Entzinger (Waterschap De Dommel) op de "Delft-FEWS NL Gebruikersdag 2017", tijdens de Deltares Software Dagen- Editie 2017. Dinsdag 13 juni 2017, Delft.

1. FEWS statistische analyse tool
Voor waterschap De Dommel
Ø Niels Entzinger
Ø Ferdinand Diermanse
Ø Marc van Dijk

2. Aanleiding
Hoogwater Brabant en Limburg juni 2016
13 juni 2017

3. Aanleiding
Tijdens hoogwater: Hoe extreem is dit op deze locatie?
13 juni 2017

4. Aanleiding
13 juni 2017
• Kost veel tijd
• Niet direct beschikbaar
• Niet voor alle meetpunten
• Methode niet expliciet onderbouwd
• Betrouwbaarheid onduidelijk.
• Alleen voor de lengte van de reeks.

5. Aanleiding
Na hoogwater: (o.a.)
Breng voor het hele gebied in beeld wat er (hydrologisch) is gebeurd
en hoe extreem dit was.
• Neerslag
• Afvoeren
• Waterstanden
• Grondwater
• Overstorten
13 juni 2017

6. Vraagstelling
Automatiseren:
• Snel antwoord, veel locaties geen probleem.
• Altijd op dezelfde manier.
• Automatische data-check bruikbaarheid reeksen.
• Methode herleidbaar.
• Uitkomst direct toetsbaar.
• Onzekerheid expliciet maken.
13 juni 2017

7. Vraagstelling
In Fews:
• Geen data-uitlevering tussen pakketten.
• Direct zien hoe een meting zich verhoud tot normen en extremen.
• Robuust.
• Iedereen kan ermee werken: ‘druk op de knop’
• Wordt iedere aanvraag nóg veel sneller (èn beter) beantwoord.
• Direct (of automatisch) updaten als er nieuwe data beschikbaar is.
• Output direct gebruiken voor het BOS-hoogwater.
13 juni 2017

8. Vraagstelling
Periode reeks: 01/01/1986 – 01/10/2016
Lengte reeks: 30,83 jaar
Data: 79%
Kwaliteit: redelijk
13 juni 2017
Locatie X

9. Implementatie in Delft-FEWS

10. Delft-FEWS en statistische analyses
Vroeger had Deltares (Delft-Hydraulics) het systeem HYMOS
• Veel functionaliteit overgezet naar Delft-FEWS
• Focus op automatiseren van processen (vooral data management,
inwinning, validatie, bewerkingen)
• Grootste deel statistische analyse bibliotheek niet overgezet
13/6/17

11. Delft-FEWS en statistische analyses
Recente ontwikkelingen maken een andere aanpak mogelijk
• Voor analyses is gebruik van Python veel gebruikte omgeving
• Binnen Deltares word Python steeds meer gebruikt i.c.m. met Delft-FEWS
• Nieuwe presentatie modules in FEWS maken koppeling met externe
modules eenvoudiger
Ø Nieuwe statistische functies niet binnen de FEWS code ontwikkelen
Ø Delen van bibliotheek met functies met ander (FEWS) gebruikers
Ø Deltares zorgt voor voldoende voorbeelden
Implementatie van ‘interne’ en ‘externe’ functies voor WS De Dommel
13/6/17

12. 13/6/17
Statistiek voor FEWS-Dommel
WS De Dommel heeft database met een groot aantal jaren meetreeksen
• Met Delft-FEWS ‘statisticsPeriodic’ functies worden met de meetdata per
tijdreeks bandbreedtes berekend (per 10 daagse periode)
• 1% percentiel
• 10% percentiel
• 50% percentiel
• 90% percentiel
• 99% percentiel
• Maximum

13. 13/6/17
Statistiek voor FEWS-Dommel
Koppelen van externe Python bibliotheek met Delft-FEWS
• Navigatie via Forecast Tree en ‘Modifiers’
Navigatie en
starten taken Aanpassen functie variabelen

14. 13/6/17
Statistiek voor FEWS-Dommel
• Koppelen van externe Python functies via Delft-FEWS General Adapter
• Huidige versie gebruikt PI-XML om tijdreeksen van FEWS naar Python module te
sturen. Kan uitgebreid worden met efficiëntere formaten zoals NetCDF.
Delft-FEWS General Adapter en PI-XML

15. 13/6/17
Statistiek voor FEWS-Dommel
• Presentatie via HTML templates en door Python module gegenereerd ‘content’
Nieuwe HTML viewer in Delft-FEWS
Grafieken en inhoud tabellen door Python

16. 13/6/17
Statistiek voor FEWS-Dommel
• Gebruik van berekende herhalingstijden in standaard FEWS grafieken
Grafieken met thresholds uit gegenereerd meta data

17. Delft-FEWS en statistische analyses
Voordeel van deze aanpak
• ‘Niet’ FEWS expert kan gebruik maken van grote hoeveelheid databases
met gevalideerde tijdreeksen
• Geeft ‘expert’ meer vrijheid in ontwikkelen eigen statistische functies
• Grote vrijheid in generen specifieke grafieken vanuit Python
Wat is er nog nodig
• Beheer van bibliotheek aan Python functies: Taak Deltares?
• Compileren van Python functies in speciale executables die geen Python
installatie nodig hebben; eenvoudiger bij installatie en gebruik
13/6/17

18. Statistische analyses

19. Doel: afleiden relevante statistieken uit meetreeks
13 juni 2017
time
DailyDischarge(m3
/s)
Nieuwe Leij
07/12/1995 02/09/1998 29/05/2001 23/02/2004 19/11/2006 15/08/2009 11/05/2012 05/02/2015 01/11/2017
0
2
4
6
8
10
12
14
return period [years]
DailyDischarge(m3
/s)
Nieuwe Leij; Gumbel distribution
1 10 100
4
6
8
10
12
14
16
18
data
fit
95% uncertainty bounds

20. 1. Data validatie
2. Analyse kenmerken data reeks (o.a. ontbrekende data)
3. Selectie hoogste waarnemingen uit meetreeks
4. Trendanalyse (homogeniteitstesten)
5. Keuze statistische extreme waarde verdelingsfunctie
6. Fitten verdeling op data
7. Beoordeling mate van fit, eventueel terug naar stap 3-6
Bepalen kansverdelingen extremen

21. Ontbrekende meetgegevens
13 juni 2017
time
DailyDischarge(m
3
/s)
Nieuwe Leij
07/12/1995 02/09/1998 29/05/2001 23/02/2004 19/11/2006 15/08/2009 11/05/2012 05/02/2015 01/11/2017
0
2
4
6
8
10
12
14

22. Overeige kenmerken meetreeks
Tijdstappen
• Welke resolutie (kwartier, uur, dag ..)?
• Overstap naar andere resolutie binnen meetreeks voor 1 station?
• Resolutie heeft effect op resultaten!
Lengte meetreeks
§ Bij voorkeur minimaal 20 jaar aan data per station, helaas niet
altijd mogelijk
13 juni 2017

23. Selectie hoogste waarnemingen
13 juni 2017

24. Trendanalyse (homogeniteit meetreeks)
q Klimaat
q Rivierwerken, bodemerosie, sediment
q Condities stroomgebied (ontbossing, verstedelijking, bodemdaling)
13 juni 2017
Mogelijke bronnen van inhomogeniteit

25. Resultaat
13 juni 2017

26. Resultaat
13 juni 2017

27. Resultaat

28. Resultaat
13 juni 2017
Groen Geel Oranje Rood
Lengte reeks jaren >20 >15 >10 <10
Aanwezigheid data in de reeks % >90 >85 >80 <80
Aanwezigheid data in de pieken % >95 >90 >85 <85
4homogeniteitstests (<0.05=slecht) slechtste test (0-1) >0.05 <0.05
beoordeling fit exponentiele functie test (0-1) >0.8 >0.6 >0.4 <0.4

29. Toepassing
13 juni 2017
Gebiedsanalyses Hoogwater
Vergelijk Tool met modelstudies

30. Toepassing
Direct aantal fouten uit data gehaald
Nader naar data kijken
Gemeten data vs Hydrologische reeksen
13 juni 2017

31. Doorontwikkeling
- Notificatie als meetwaarde buiten bandbreedte komt.
- Notificatie als meetwaarde extremen overschrijdt.
- Automatische omrekenfunctionaliteit o.b.v. formule van de lijn.
- Aanvullende statistische functies.
- Verbeterde data validaties.
13 juni 2017

32. Samenwerkingsvorm
13 juni 2017