Foredrag av Kjersti Mølmann, NGU under Norsk Esri brukerkonferanse 2011

1. Uttrekk og leveranse av geologiske
kartdata med FME Server
Kjersti Mølmann, NGU
ESRI-konferansen i Oslo 2.-4.feb 2011

2. Innhold
Nedlasting av geologiske data på ngu.no
FME Server for datauttrekk og leveranse
Datamodeller for leveranse i FME Desktop
Publiseres til FME Server (download service)
Erfaringer

3. Geologi for samfunnet
NGUs data er et kollektivt gode
Basis for verdiøkende tjenester og produksjon
i næringslivet og offentlig forvaltning
Bruksområder:
• Råstoffproduksjon og ressursforvaltning
• Miljøforvaltning og -overvåking
• Arealplanlegging
• Veg- og jernbanebygging
• Vannforsyning
• Petroleumsleting og –utbygging
• Undervisning og forskning
EFFEKTIV FORVALTNING OG FORMIDLING
AV GEOLOGISKE DATA OG KUNNSKAP

4. Geologi for samfunnet

5. NGU: Kartlegging – Dataforvaltning - Forskning

6. Geodata som ferskvare

7. Geologi for samfunnet
• Prosjekt kjørt i 2009-2010
”Web-baserte datauttaksløsninger for Norge Digitalt”
• http://www.ngu.no/no/hm/Kart-og-data/nedlasting/
• Gratis for alle og tilgjengelig på flere dataformater

8. Nasjonale databaser for berggrunn, løsmasser, mineralske ressurser etc.
Søk i
datab
ase
Kartin
nsyn
Last n
ed

10. Lettere tilgjengelig Økt etterspørsel
Figur: Fordeling av 933 nedlastede datasett på
datatype i perioden oktober ut året 2010)

11. Statistikk over anvendelsesområde
Arealplanlegging og forvaltning er ofte oppgitt
Figur: Viser hva brukeren har oppgitt som anvendelsesområde
for nedlastede data okt-des 2010

12. Statistikk over bestilte dataformater
SOSI er mest etterspurt, deretter Shape
Figur: Viser dataformat på nedlastede data okt-des 2010

13. Utviklingstrinn

14. Uttrekk av data fra geodatabasen
Eks. Pukk og Grus
Kommune(r)
eller polygon
Dataleveranse
til valgt dataformat
(generic writer)
Nb! SOSI i separat FME-modell
Projisere til
UTM-sone
Input
SDEViews
Klipper
data

15. Publiserte parametre
Eks. datanedlasting av Pukk og Grus
• Envelope-koordinater
• Kommunenumre
• Klippepolygon (koordinatliste)
• Koordinatsystem
• Dataformat
• E-post

16. Datauttrekk i FME Desktop
• Input-data allerede iht. produktspesifikasjon
Tilpasset leveranse i geodatabasen med SDE Views
• Leser data til FME for aktuelt utsnitt
Envelope nyttig på landsdekkende data!
• Klipper til ønsket kommune(r) eller polygon
• Brukerens valg hentes inn med parameterFetcher
• Publiserer modellen til FME Server
Download Service

17. Vedleggsfiler til dataleveransen
PythonCaller for å kjøre pythonscript som angir
hvilke vedlegg som finnes for det aktuelle datasettet

18. Tips
• Bruk envelope for raskere innlesing av data
– Fordi data leses inn til FMEs interne dataformat
– Publisere envelope-parametrene for bruk på FME Server
• Kan ha pythonscript som kjøres i oppstart og
avslutning av modellen
Eks. Shutdown-script sender e-post hvis brukeren får tom leveranse
• ParameterFetcher for å hente bruker-input fra
publisert parameter inn i attributt

19. SOSI-eksport med GeoSOSI
• Ikke bruk Generic Writer
• Prosesshistorie
• Ikke geografiske koord.
• Gjør kvalitetskontroll på
resultat-fila
• Parametere for SOSI-fila
Vær nøye med valgene!
• Attribute validation level full – basic - none

20. Utviklingstrinn

21. Stegvis databestilling på ngu.no
• Til kartklienten har vi brukt OpenLayers med
kartverkets topografiske bakgrunnskart
• Enkel kartklient
• Trinnvis bestillingsskjema
• Kan bestille flere tema for valgte geografiske
område
• Brukeren mottar 1 e-post per bestilte tema
med nedlastingslenke til zip-fil.

22. Erfaring med FME Server
• NGU har utviklet et REST-api som overbygning.
• http-forespørsel xml i retur
gir navn på nedlastingstjenester, publiserte parametre osv.

23. Erfaring med FME Server
• Benytter Oracle som prod-db.
Etablert egne views for statistikk og feilsøking
• Stabil i produksjon
• Bruker publiserte envelope-parametre for lesing
Nedlastingsklient sender envelope til download servicen
for enten fylket til valgte kommune(r) eller tegnet polygon
• Måtte i 2010-versjon kombinere Java-api og REST-api for å
få tilfredstilt våre krav.
(fikset i 2011-versjon)

24. Andre bruksområder for FME Desktop
• Bearbeide data UT fra geodatabasen
• Import av data INN i geodatabasen
– ”Vasking” av data
– Kvalitetskontroll og bearbeiding
– Ser hvor mange objekter som går videre i modellen
– Mellomlagring til filgeodatabase med samme skjema
• Eksempler
– Overføre kartlagte berggrunnsdata fra MicroStation til
ArcSDE
– Skredhendelser fra MsAccess-db til ArcSDE
• Enkel konvertering mellom dataformater

25. Uttrekk og leveranse av geologiske
kartdata med FME Server
Kjersti Mølmann, NGU
ESRI-konferansen i Oslo 2.-4.feb 2011