SlideShare uma empresa Scribd logo
1 de 54
Baixar para ler offline
De levenscyclus van Open
Geodata met Open Source
tools
Just van den Broecke  Jan-Willem van Aalst  Frank Steggink
Cartodag 2017 – Rotterdam – 15 maart 2017
www.nlextract.nl  www.opentopo.nl
• NLExtract en vectordata (Just)
• NLExtract en rasterdata (Frank)
• OpenTopo: van PostGIS naar kaartbeeld
(J.W.)
• Kaartproducten publiceren (Just)
• Vragen en discussie over deze levenscyclus
In dit uur
NLExtract:
vectordata
Just van den Broecke
1-1-2012:
Basisregistraties
worden open data!
Een stukje historie…
Downloaden bij PDOK…?
Bijv. TOP10NL en BAG…
Maarwat dan…?
Bakken met XML en GML
?
GMLGML
XMLXML
Hoe maakje een kaart…?
?
GMLGML
XMLXML
Of een adreszoeker…?
?GMLGML
XMLXML
Eerst in PostGIS inlezen…
GMLGML
XMLXML
…met NLExtract dus?
NLExtra
ct
Wat is NLExtract?
Tools (ETL) om vrije
Nederlandse overheids-
geodata hapklaar te maken
Wat is NLExtract?
BRT/TOP10NL – Basisregistratie Topografie
BAG – Basisregistratie Adressen en Gebouwen
BGT – Basisregistratie Grootschalige Topografie
BRK – Digitale Kadastrale Kaart (DKK)
AHN2/3 – Hoogtebestand
Bonnebladen – Historische kaarten
TOP10NL3D
Welke datasets worden verwerkt?
DownloadsDownloads
http://data.nlextract.nl
NLExtract en
rasterdata:
Hillshading
Frank Steggink

DEM: generiek

DSM: bevat
objecten boven
maaiveld: “ruw”

DTM: terrein:
“maaiveld”
Uitleg DEM, DSM, DTM
X
DTMopvullen
Bron Resolutie Projectie Licentie
AHN 2+3 0,5 RD CC-0
Vlaanderen 1 Lambert 72 Vlaamse Open Data licentie 1.0
Wallonië 1 Lambert 72 Closed source
Nordrhein-
Westfalen
1 ETRS89 – UTM
zone 32N
Datenlizenz Deutschland
Namensnennung 2.0
Nord-Pas de
Calais
10 RGF-93 Open data (onbekend)
EU-DEM 25 ETRS89 Open data (Copernicus)
Ook ALOS World 3D – 30m is gebruikt, maar hier zitten teveel artefacten
in, wat een lelijk resultaat gaf.
Bronnen
Bronnen: resoluties

AHN 2 en 3 combineren

Gaten opvullen:
− kleine buffer (incl. 8 aangrenzende bladen)
− omzetten naar hillshade
− gaten met egale grijswaarde gevuld

Bladindeling is o.b.v. AHN2
Verwerking AHN
AHN: inwinningsjaren

Data is al opgevuld

Herprojectie naar RD, met resolutie 50cm

Hillshade genereren

Datasets combineren: beste resolutie gebruiken
Verwerking buitenland
Aachen,Aachen, ~~1:10.0001:10.000
Resultaat [buitenland]
Shell
Batch
Tools

AHN3 2015 en nieuwer gebruiken

Opvullen gaten:
− DTM opvullen met constante hoogte, i.p.v. hillshade
met grijswaarde
− Nauwkeurige gebouw- en watervlakken gebruiken
(BAG, BGT)
− Beter opvulalgoritme overblijvende gaten

Beschikbaar stellen DTM hele OpenTopo extent
op 0,5m resolutie in RD

Toolchain ontwikkelen en open source maken
Mogelijke verbeteringen
OpenTopo:
kaarten maken
Jan-Willem van Aalst
Van geo-data naarkaart
• PC met veel SSD, veel geheugen & snelle
processor
• PostgreSQL met PostGIS extensie
(www.postgres.org)
• QGIS (www.qgis.org)
• PDOK Plugin in QGIS
• PostGIS databases van NLExtract.nl (kan > 100 GB
zijn!)
• Hillshade rasterbestanden van NLExtract.nl
• Enig cartografisch gevoel
• Veel uren en geduld
Wat heb je nodig
BAGBAG
NLExtract
BRKBRK
BGTBGT
Eerste stappen
TOP10N
L
TOP10N
L
www.postgres.org/download
ostGIS extensie: via de Stackbuilder
PostgreSQL/PostGIS installeren
PostGIS dumps restoren
Per PostGIS database een verbinding
definiëren in QGIS (eenmalig).
PostGIS verbinden in QGIS
PostGIS bevat ‘ruwe’ data
zonder styling
Eris kaartbeeld in QGIS?
QGIS stijlen toepassen
PDOKplugin in QGIS
• Bóven terreinvlakken, ónder water en
gebouwen!
• Op 80% transparantie, anders te dominant
• Bilinear / gemiddelde
Hillshading toepassen
1. BAG pandvlakken of BRT/Top10NL
pandvlakken?
• Parkeergarages, kassen, hoogbouw…
2. Generalisatie: via andere datasets of via
visualisatie?
3. Labels afkappen langs de rand van de kaart
4. POI labels uit OSM of uit BRT/Top10NL?
5. Labels door QGIS laten plaatsen of uit
TopNamen?
6. Bomen uit BGT of uit BRT/Top10NL?
7. Wanneer is detail teveel detail?  Doel van je
kaart?
Cartografische dilemma’s
BGT: bronhouders die andere keuzes
maken… toch maar TOP10NL erbij halen?
Cartografische dilemma’s
Labelen van veel
verschillende
features: welke
krijgen voorrang?
Cartografische dilemma’s
Een kaartlaag
met indexbladen
nodig, eventueel
met extra
omranding i.v.m.
afkappende
kaartlabels.
Atlas maken met Composer
100 pixels/km
~1:100.000 @ 254dpi
8 bladen @ 40x50km
200 pixels/km
~1:50.000 @ 254dpi
54 bladen @ 40x50km
400 pixels/km
~1:25.000 @ 254dpi
153 bladen @ 20x25km
800 pixels/km
~1:12.500 @ 254dpi
543 bladen @ 10x12,5km
1600 pixels/km
~1:6.250 @ 254dpi
1047 bladen @ 10x6,25km
3200 pixels/km
~1:3.125 @ 254dpi
3300 bladen @ 5x3,125km
OpenTopo resoluties
5x per jaar het volgende proces:
1.Per 9e
van de maand BAG en BRK ophalen van NLExtract
2.Per 15e
van de maand OSM dumps + PostGIS ophalen van NLExtract
3.Per 18e
van de maand BGT PostGIS ophalen van NLExtract
4.Rond de 20e
van de maand Top10NL PostGIS ophalen van NLExtract
5.Overige kaartlagen bijwerken: PRK/RRGS, RWS
6.Data preparatie in Postgres PgAdminIII (vooral tekstlabels)
7.Schalen genereren met QGIS atlas composer @96dpi (8, 54, 153, 543,
1047, 3300 bladen, resp. 1, 2, 6, 12, 52, en 135 uur renderen)
8.Uitsnijden en comprimeren met GDAL
9.Conversie naar JPG en GeoTIFF met GDAL
10.Publiceren op data.nlextract.nl
OpenTopo publicatieproces
Op data.nlextract.nl:
1./bag/postgis: ~2 GB (uitgepakt ~45 GB XML)
2./bgt/postgis: ~10 GB en groeiend (~80% gereed per feb. 2017)
3./brk/postgis: ~1 GB (lijnen; ~3 GB vlakken)
4./osm/nl/: ~3 GB
5./osm/buitenland: ~3 GB
6./top10nl/postgis: ~2 GB
•Samen uitgepakt > 120 GB in de PostGIS database
•Geotifs en jpg’s OT/OST samen > 370 GB
Ruime hoeveelheid SSD (1 TB of meer) is aan te bevelen!
OpenTopo: “Big Data”…
Kaarten
publiceren
Just van den Broecke
TIFFTIFF
JPEGJPEG
GeoTIFFGeoTIFF
NLExtra
ct
NLExtra
ct
Download
s
Download
s
Kaarten publiceren
OpenTopo WMTS op PDOK
Kaartcollecties op Map5.nl
De Map5 Topo-app
Bonnebladen op Map5.nl
NLExtract: de mensen
Jan-Willem van Aalst
Just van den Broecke
Bas Couwenberg
Matthijs van der Deijl
Richard Duivenvoorde
Stefan de Konink
Milo van der Linden
Edward Mac Gillavry
Tom Pesman
Reinout van Rees
Luuk Schaminée
Frank Steggink
Geodan
OpenGeoGroep
Groepsdiscussie en vragen
www.nlextract.nl
www.opentopo.nl
Bedankt

Mais conteúdo relacionado

Mais de Just van den Broecke

Just's Career Highlights - Version 2
Just's Career Highlights - Version 2Just's Career Highlights - Version 2
Just's Career Highlights - Version 2Just van den Broecke
 
Just's Career Highlights - Version 1
Just's Career Highlights - Version 1Just's Career Highlights - Version 1
Just's Career Highlights - Version 1Just van den Broecke
 
Open Sensor Networks with LoRa TTN and SensorThings API
Open Sensor Networks with LoRa TTN and SensorThings APIOpen Sensor Networks with LoRa TTN and SensorThings API
Open Sensor Networks with LoRa TTN and SensorThings APIJust van den Broecke
 
Sensor SDI in PDOK with Smart Emission Platform
Sensor SDI in PDOK with Smart Emission PlatformSensor SDI in PDOK with Smart Emission Platform
Sensor SDI in PDOK with Smart Emission PlatformJust van den Broecke
 
OSGeo.nl-NewYearsParty-2018-Opening
OSGeo.nl-NewYearsParty-2018-OpeningOSGeo.nl-NewYearsParty-2018-Opening
OSGeo.nl-NewYearsParty-2018-OpeningJust van den Broecke
 
Smart Emission - Citizens measuring Air Quality - Overview
Smart Emission - Citizens measuring Air Quality - OverviewSmart Emission - Citizens measuring Air Quality - Overview
Smart Emission - Citizens measuring Air Quality - OverviewJust van den Broecke
 
Geospatial ETL with Stetl - GeoPython 2016
Geospatial ETL with Stetl - GeoPython 2016Geospatial ETL with Stetl - GeoPython 2016
Geospatial ETL with Stetl - GeoPython 2016Just van den Broecke
 
Smart Emission - Data - Viewers - Standards
Smart Emission - Data - Viewers - StandardsSmart Emission - Data - Viewers - Standards
Smart Emission - Data - Viewers - StandardsJust van den Broecke
 
3D Breakthrough Meeting - 3D Standards progress
3D Breakthrough Meeting - 3D Standards progress3D Breakthrough Meeting - 3D Standards progress
3D Breakthrough Meeting - 3D Standards progressJust van den Broecke
 
Wandelen met GPS en De Evolutie van Navigatie
Wandelen met GPS en De Evolutie van NavigatieWandelen met GPS en De Evolutie van Navigatie
Wandelen met GPS en De Evolutie van NavigatieJust van den Broecke
 
Big Data - Introduction and Research Topics - for Dutch Kadaster
Big Data - Introduction and Research Topics - for Dutch KadasterBig Data - Introduction and Research Topics - for Dutch Kadaster
Big Data - Introduction and Research Topics - for Dutch KadasterJust van den Broecke
 
SensorWeb SOS Pilot RIVM/Geonovum - Status
SensorWeb SOS Pilot RIVM/Geonovum - StatusSensorWeb SOS Pilot RIVM/Geonovum - Status
SensorWeb SOS Pilot RIVM/Geonovum - StatusJust van den Broecke
 
Stetl for INSPIRE Data Transformation
Stetl for INSPIRE Data TransformationStetl for INSPIRE Data Transformation
Stetl for INSPIRE Data TransformationJust van den Broecke
 

Mais de Just van den Broecke (20)

Just's Career Highlights - Version 2
Just's Career Highlights - Version 2Just's Career Highlights - Version 2
Just's Career Highlights - Version 2
 
Just's Career Highlights - Version 1
Just's Career Highlights - Version 1Just's Career Highlights - Version 1
Just's Career Highlights - Version 1
 
Open Sensor Networks
Open Sensor NetworksOpen Sensor Networks
Open Sensor Networks
 
Open Sensor Networks with LoRa TTN and SensorThings API
Open Sensor Networks with LoRa TTN and SensorThings APIOpen Sensor Networks with LoRa TTN and SensorThings API
Open Sensor Networks with LoRa TTN and SensorThings API
 
Sensor SDI in PDOK with Smart Emission Platform
Sensor SDI in PDOK with Smart Emission PlatformSensor SDI in PDOK with Smart Emission Platform
Sensor SDI in PDOK with Smart Emission Platform
 
osgeonl-opening-foss4gnl-2018
osgeonl-opening-foss4gnl-2018osgeonl-opening-foss4gnl-2018
osgeonl-opening-foss4gnl-2018
 
Stetl-engine-nlextract-smartem
Stetl-engine-nlextract-smartemStetl-engine-nlextract-smartem
Stetl-engine-nlextract-smartem
 
OSGeo.nl-NewYearsParty-2018-Opening
OSGeo.nl-NewYearsParty-2018-OpeningOSGeo.nl-NewYearsParty-2018-Opening
OSGeo.nl-NewYearsParty-2018-Opening
 
Opening OSGeo.nl Day 2017
Opening OSGeo.nl Day 2017Opening OSGeo.nl Day 2017
Opening OSGeo.nl Day 2017
 
Smart Emission Data Platform
Smart Emission Data PlatformSmart Emission Data Platform
Smart Emission Data Platform
 
Smart Emission - Citizens measuring Air Quality - Overview
Smart Emission - Citizens measuring Air Quality - OverviewSmart Emission - Citizens measuring Air Quality - Overview
Smart Emission - Citizens measuring Air Quality - Overview
 
Geospatial ETL with Stetl - GeoPython 2016
Geospatial ETL with Stetl - GeoPython 2016Geospatial ETL with Stetl - GeoPython 2016
Geospatial ETL with Stetl - GeoPython 2016
 
Smart Emission - Data - Viewers - Standards
Smart Emission - Data - Viewers - StandardsSmart Emission - Data - Viewers - Standards
Smart Emission - Data - Viewers - Standards
 
NLExtract voor BAG - overview
NLExtract voor BAG - overviewNLExtract voor BAG - overview
NLExtract voor BAG - overview
 
3D Breakthrough Meeting - 3D Standards progress
3D Breakthrough Meeting - 3D Standards progress3D Breakthrough Meeting - 3D Standards progress
3D Breakthrough Meeting - 3D Standards progress
 
Wandelen met GPS en De Evolutie van Navigatie
Wandelen met GPS en De Evolutie van NavigatieWandelen met GPS en De Evolutie van Navigatie
Wandelen met GPS en De Evolutie van Navigatie
 
OSGeo.nl - Year 2014 Highlights
OSGeo.nl - Year 2014 HighlightsOSGeo.nl - Year 2014 Highlights
OSGeo.nl - Year 2014 Highlights
 
Big Data - Introduction and Research Topics - for Dutch Kadaster
Big Data - Introduction and Research Topics - for Dutch KadasterBig Data - Introduction and Research Topics - for Dutch Kadaster
Big Data - Introduction and Research Topics - for Dutch Kadaster
 
SensorWeb SOS Pilot RIVM/Geonovum - Status
SensorWeb SOS Pilot RIVM/Geonovum - StatusSensorWeb SOS Pilot RIVM/Geonovum - Status
SensorWeb SOS Pilot RIVM/Geonovum - Status
 
Stetl for INSPIRE Data Transformation
Stetl for INSPIRE Data TransformationStetl for INSPIRE Data Transformation
Stetl for INSPIRE Data Transformation
 

De Levenscyclus van Open Geodata met Open Source Tools

Notas do Editor

  1. Stukje historie recapituleren: Vanaf 1 jan 2012 is het bergopwaarts gegaan met OpenGeoData in Nederland.
  2. Stukje historie recapituleren: We kunnen downloaden….
  3. Hoewel het soms even lastig vinden is. Hint: de BAG dataset via PDOK downloads heet “inspireadressen". En wat zijn nou weer Atom Feeds? Waarom niet gewoon een FTP Server? Of beter, zoals Ordnance Survey dat doet: een uniforme “product” interface en steeds meerdere download-formaten per dataset?
  4. Tja, dan open je een .zip bestand, waarin weer andere .zip bestanden zitten. Uiteindelijk komen er files, maar probeer je die in je GIS-tool te slepen of zeg een BAG-bestand naar Excel met de verwachting adressen te zien, dan loopt de boel vast…
  5. De leveringen bevatten uiteindelijk XML/GML, zoals beschreven in de serie IM* standaarden en bijbehorende XSDs (XML Schemas), vaak te vinden via Kadaster of Geonovum. Deze ruwe olie moet eerst geraffineerd worden, dus we kunnen ons opmaken voor een potje Data Wrangling!
  6. Met een mooi geo-woord: gazetteer!
  7. Ik hoef niet meer het belang van PostGIS uit te leggen, zeker gezien de spreker (Wouter Boasson) voor mij.
  8. Als de data eenmaal in PostGIS zit, kunnen we alle kanten op: met QGIS kaarten opmaken, de adreszoeker, of met Map/GeoServer data ontsluiten als WMS/WFS.
  9. NLExtract is dus niet 1 programma, maar een serie programma’s en verdere scripts en configuratie bestanden (bijv SLDs) georganiseerd per dataset. Er is dus een NLExtract-BAG tool, NLExtract-top10NL tool. De tools zijn vandaag de dag nog wel allen commandline maar we staan open voor GUI-bijdragen hierin.
  10. Hierbij de datasets die momenteel door NLExtract worden ontsloten. In grijs/italic de datasets op de TODO lijst. 3D komt zo aan de orde vandaar de uitroeptekens daar.
  11. Directory van data.nlextract.nl van februari 2017
  12. Vanaf hier de slides van Jan-Willem, over hoe je met de PostGIS data de OpenTopo kaart met hillshading maakt.
  13. Om in QGIS met PostGIS data aan de slag te gaan, heb je wel het een en ander nodig om goed te kunnen werken.
  14. Als de data eenmaal in PostGIS zit, kunnen we alle kanten op: met QGIS kaarten opmaken (bijv. OpenTopo JW van Aalst).
  15. Om snel met grote databestanden te kunnen werken in QGIS, heb je niets aan GML. Die moet eerst worden geconverteerd naar PostGIS, onderdeel van PostGRES. Dat moet je dus eerst installeren..
  16. De PostGIS dumps van NLExtract kun je lokaal bewaren en met PGAdminIII restoren naar de PostGRES database. Die kan uiteindelijk meer dan 100 GB worden!
  17. Als je de PostGIS databases eenmaal gerestored hebt, moet je nog wel in QGIS per database een verbinding definiëren.
  18. Een voorbeeld van één kaartlaag uit de Top10NL, zonder opmaak/styling.
  19. Stijlen maken kost even tijd, maar als je hebt dan zijn ze zeer nuttig.
  20. De PDOK plugin van Richard Duivenvoorde in het zonnetje.
  21. De Hillshaded bestanden van NLExtract zet je met 80% transparantie in de achtergrond, boven de terreinlagen, maar ónder de watervlakken.
  22. Enige cartografische dilemma’s die je tegenkomt als je met meerdere bronnen werkt, en bijv. het plaatsen van labels.
  23. Enige cartografische dilemma’s die je tegenkomt als je met meerdere bronnen werkt, en bijv. het plaatsen van labels.
  24. Enige cartografische dilemma’s die je tegenkomt als je met meerdere bronnen werkt, en bijv. het plaatsen van labels.
  25. Met de QGIS Atlas composer kan een serie aan kaartbladen worden gegenereerd.
  26. Als de data eenmaal in PostGIS zit, kunnen we alle kanten op: met QGIS kaarten opmaken, de adreszoeker, of met Map/GeoServer data ontsluiten als WMS/WFS.
  27. Als de data eenmaal in PostGIS zit, kunnen we alle kanten op: met QGIS kaarten opmaken, de adreszoeker, of met Map/GeoServer data ontsluiten als WMS/WFS.
  28. Als de data eenmaal in PostGIS zit, kunnen we alle kanten op: met QGIS kaarten opmaken, de adreszoeker, of met Map/GeoServer data ontsluiten als WMS/WFS.
  29. Zie ook https://github.com/opengeogroep/NLExtract/graphs/contributors