(2017-05-27) [Grupy-SP] Polígonos, pontos e outras geometrias no Shapely (GIS)

Polígonos, pontos e outras geometrias no Shapely (GIS)
2016-05-27 – GruPy-SP @ CTNovatec 1/34
Danilo de Jesus da Silva Bellini | @danilobellini | facebook.com/djsbellini | github.com/danilobellini
Polígonos, pontos e outras
geometrias no Shapely
(GIS)
IPython Notebook (Jupyter) do “Hands On” da apresentação:
https://github.com/danilobellini/notebooks/blob/master/2017-05-27_Shapely.ipynb

Danilo J. S. Bellini
● Engenheiro eletricista
(Poli-USP)
● Bacharel em música
(ECA-USP)
● Mestre em ciência da
computação (IME-USP)
– Processamento de sinais
● Engenheiro eletricista
(Poli-USP)
● Bacharel em música
(ECA-USP)
● Mestre em ciência da
computação (IME-USP)
– Processamento de sinais
● FLOSS developer
– Projetos: AudioLazy,
Dose, PyScanPrev,
pytest-doctest-custom,
fractal, pyturing, …
– Contribuições: IPython,
watchdog, py.test,
openModeller, …
● FLOSS developer
– Projetos: AudioLazy,
Dose, PyScanPrev,
pytest-doctest-custom,
fractal, pyturing, …
– Contribuições: IPython,
watchdog, py.test,
openModeller, …
● https://github.com/danilobellini
● https://bitbucket.org/danilobellini
● https://br.linkedin.com/in/danilo-j-s-bellini-66a96310
● https://ericstk.wordpress.com/2014/10/16
● https://github.com/danilobellini
● https://bitbucket.org/danilobellini
● https://br.linkedin.com/in/danilo-j-s-bellini-66a96310
● https://ericstk.wordpress.com/2014/10/16

GIS
Sistema de Informação
Geográfica

O que é GIS?
● Geographic Information
System
● Informação espacial
(dados
georeferenciados)
– Local onde fotos foram
tiradas
– Posição do celular no
cálculo de rotas
– Limites de uma imagem
de satélite
– …
● Geographic Information
System
(dados
georeferenciados)
– Local onde fotos foram
tiradas
– Posição do celular no
cálculo de rotas
– Limites de uma imagem
de satélite
– …
● Hardware
(GPS)
– Celular
– Satélite
– Veículo
– …
● Hardware
(GPS)
– Celular
– Satélite
– Veículo
– …
● Software
– Desktop (e.g. QGIS)
– DaaS (Data as a Service)
● OpenStreetMap
– DBMS espacial
●
Software
– Desktop (e.g. QGIS)
– DaaS (Data as a Service)
● OpenStreetMap
– DBMS espacial
https://en.wikipedia.org/
wiki/List_of_GIS_software

Datum e elipsóide geodésico
● Padrão de facto: WGS84 (EPSG:4326)
– World Geodetic System 1984
– Elipsóide
●
Raio equatorial (a): 6.378,137 km
● Inverso do achatamento (1/f): 298,257223563
●
Raio polar (b): aproximadamente 6.356,752 km
– http://epsg.io/4326
– Geográfico (coordenadas esféricas / não-projetado)
●
Longitude e latitude em graus
● Datum nacional: SIRGAS 2000 (EPSG:4674)
– Elipsóide GRS 1980 (mesmo raio equatorial, 1/f = 298,257222101)
– Equivalente ao WGS84 (não há conversão): http://epsg.io/4674
● Padrão de facto: WGS84 (EPSG:4326)
– World Geodetic System 1984
– Elipsóide
● Raio equatorial (a): 6.378,137 km
●
Inverso do achatamento (1/f): 298,257223563
● Raio polar (b): aproximadamente 6.356,752 km
– http://epsg.io/4326
– Geográfico (coordenadas esféricas / não-projetado)
●
Longitude e latitude em graus
● Datum nacional: SIRGAS 2000 (EPSG:4674)
– Elipsóide GRS 1980 (mesmo raio equatorial, 1/f = 298,257222101)
– Equivalente ao WGS84 (não há conversão): http://epsg.io/4674
f =
a−b
a

Imagens e projeções
● Matriciais 2D (raster)
– Pixels!
– JPG, PNG, TIFF, …
● Projeção
– 3D → 2D
– Cônica, cilíndrica,
plana
– e.g. UTM (Universal
Transversa de
Mercator)
● Matriciais 2D (raster)
– Pixels!
– JPG, PNG, TIFF, …
● Projeção
– 3D → 2D
– Cônica, cilíndrica,
plana
– e.g. UTM (Universal
Transversa de
Mercator)
● Vetoriais
– Geometrias!
● Polígonos
● Pontos
● Retas
– Descrição matemática
– SVG, Fontes, …
– Componente vetorial
● Vetoriais
– Geometrias!
● Polígonos
● Pontos
● Retas
– Descrição matemática
– SVG, Fontes, …
– Componente vetorial

Exemplos de aplicações
● Matricial (raster)
– Classificação de
regiões
– Reconhecimento de
padrões
– Mensurar intensidades
– Probabilidades /
estimativas
– Índices de
sensoriamento remoto
● Matricial (raster)
– Classificação de
regiões
– Reconhecimento de
padrões
– Mensurar intensidades
– Probabilidades /
estimativas
– Índices de
sensoriamento remoto
● Vetorial
– Distâncias, tamanhos
e áreas
● Qual projeção?
● Qual métrica?
– Pertinência /
intersecções
– Caminhos / estradas /
rotas
● Waze, Google Maps,
…
● Vetorial
– Distâncias, tamanhos
e áreas
● Qual projeção?
● Qual métrica?
– Pertinência /
intersecções
– Caminhos / estradas /
rotas
● Waze, Google Maps,
…

Geometrias

Shapely
● Shapely
– Análise e manipulação de geometrias
– https://github.com/Toblerity/Shapely
– http://toblerity.org/shapely/manual.html
– Instalação: pip install shapely
– Utiliza a GEOS via ctypes
– Possui integração com o Jupyter
– BSD de 3 cláusulas
● GEOS (Geometry Engine, Open Source)
– Adaptação do JTS (Java Topology Suite) para C++
– Biblioteca utilizada pelo PostGIS
– LGPL
● Shapely
– Análise e manipulação de geometrias
– https://github.com/Toblerity/Shapely
– http://toblerity.org/shapely/manual.html
– Instalação: pip install shapely
– Utiliza a GEOS via ctypes
– Possui integração com o Jupyter
– BSD de 3 cláusulas
● GEOS (Geometry Engine, Open Source)
– Adaptação do JTS (Java Topology Suite) para C++
– Biblioteca utilizada pelo PostGIS
– LGPL

Módulo shapely.geometry
●
Geometrias
– Ponto (Point)
– LineString
– Polígono (Polygon)
– Polígono com buraco
●
Distância (distance)
●
Área (area)
● Centróide (centroid)
●
Dilatação
– “Buffer” (método buffer)
● Erosão
– “Buffer negativo”
●
Geometrias
– Ponto (Point)
– LineString
– Polígono (Polygon)
– Polígono com buraco
● Distância (distance)
● Área (area)
● Centróide (centroid)
● Dilatação
– “Buffer” (método buffer)
● Erosão
– “Buffer negativo”
Sintaxe para os polígonos:
Polygon(exterior [interior1,
Interior2, ...])
Cada parâmetro “exterior” e “interior” é uma
lista de pontos ou tuplas com as coordenadas
que será convertida em uma LinearRing
(LineString fechada)

Polígonos
● OGC (Open Geospatial Consortium) exige:
– Sentido anti-horário no exterior
– Sentido horário no interior (buracos)
● Precisam ser fechados!
– O Shapely fecha para você ;)
● Validade
– Auto-intersecção
● Pontos repetidos
● Deveria ser um MultiPolygon?
● Correção com buffer(0)
– Nem sempre funciona…
– Método is_valid
● OGC (Open Geospatial Consortium) exige:
– Sentido anti-horário no exterior
– Sentido horário no interior (buracos)
● Precisam ser fechados!
– O Shapely fecha para você ;)
● Validade
– Auto-intersecção
●
Pontos repetidos
●
Deveria ser um MultiPolygon?
● Correção com buffer(0)
– Nem sempre funciona…
– Método is_valid

Coleções
● Construção a partir de um iterável com os
objetos a serem unificados
● Método geoms
– Iterável para acesso às geometrias que compõe a
coleção
● Construção a partir de um iterável com os
objetos a serem unificados
● Método geoms
– Iterável para acesso às geometrias que compõe a
coleção

Predicados e operações com
geometrias

Predicados unários (métodos)
● has_z
– Há terceira coordenada? (pontos tridimensionais)
● is_ccw
– Is it Counter-ClockWise? (É anti-horário?)
● is_empty
– É vazio?
– Todas as geometrias podem ser vazias
● is_ring
– É fechado (em anel)?
● has_z
– Há terceira coordenada? (pontos tridimensionais)
● is_ccw
– Is it Counter-ClockWise? (É anti-horário?)
● is_empty
– É vazio?
– Todas as geometrias podem ser vazias
● is_ring
– É fechado (em anel)?

União, intersecção e diferença
● Métodos óbvios...
– union
– intersection
– difference
● União de múltiplos objetos ou de uma coleção
– shapely.ops.cascade_union
● Feito para unir instâncias de Polygon
– shapely.ops.unary_union
● União de geometrias em geral
● Métodos óbvios...
– union
– intersection
– difference
● União de múltiplos objetos ou de uma coleção
– shapely.ops.cascade_union
● Feito para unir instâncias de Polygon
– shapely.ops.unary_union
● União de geometrias em geral

Diferença simétrica e convex hull
● Método symmetric_difference
– Diferença entre a união e a intersecção das geometrias
● Método convex_hull
– Menor polígono convexo que contém todas as geometrias da
coleção
– Também aplicável a uma geometria só
● Método envelope
– Similar ao convex_hull, mas resulta em um retângulo
● Método symmetric_difference
– Diferença entre a união e a intersecção das geometrias
● Método convex_hull
– Menor polígono convexo que contém todas as geometrias da
coleção
– Também aplicável a uma geometria só
● Método envelope
– Similar ao convex_hull, mas resulta em um retângulo

Predicados binários
● Métodos:
– almost_equals
– equals
– contains
– crosses
– disjoint
– intersects
– touches
– within
● Métodos:
– almost_equals
– equals
– contains
– crosses
– disjoint
– intersects
– touches
– within
● Há um predicado
unário relativo a
cruzamentos:
is_simple
(geometria não cruza
consigo própria)
● A fronteira é usada
internamente
– Método boundary
● Baseado no DE-9IM
● Há um predicado
unário relativo a
cruzamentos:
is_simple
(geometria não cruza
consigo própria)
● A fronteira é usada
internamente
– Método boundary
● Baseado no DE-9IM

DE-9IM
● Dimensionally Extended Nine-Intersection Model
● Define o significado de diversos “verbos” (predicados
binários)
– O que significa “intersecciona”, “cruza”, “contém”?
– Avalia a dimensionalidade da intersecção entre:
● Interior
● Fronteira
● Exterior
de cada geometria (3x3 valores)
● Método relate devolve a matriz 3x3 do DE-9IM como
uma string de 9 caracteres
– Dígitos com o número de dimensões ou “F” significando “Falso”
● Dimensionally Extended Nine-Intersection Model
● Define o significado de diversos “verbos” (predicados
binários)
– O que significa “intersecciona”, “cruza”, “contém”?
– Avalia a dimensionalidade da intersecção entre:
● Interior
● Fronteira
● Exterior
de cada geometria (3x3 valores)
● Método relate devolve a matriz 3x3 do DE-9IM como
uma string de 9 caracteres
– Dígitos com o número de dimensões ou “F” significando “Falso”

Formatos vetoriais e
integração com outros
sistemas

WKT e WKB
● Well-Known Text and Binary
● Módulos shapely.wkt e shapely.wkb
– Funções de load e dump como no módulo json
● Métodos wkt, wkb e wkb_hex
– String com a geometria nesses formatos, para
integração com outros sistemas
● O “print” das geometrias nos mostra o WKT
– Método __str__(self) devolve self.wkt
● Well-Known Text and Binary
● Módulos shapely.wkt e shapely.wkb
– Funções de load e dump como no módulo json
● Métodos wkt, wkb e wkb_hex
– String com a geometria nesses formatos, para
integração com outros sistemas
● O “print” das geometrias nos mostra o WKT
– Método __str__(self) devolve self.wkt

GeoJSON
● Especificação para arquivos JSON contendo a
geometria
● Único arquivo: evita quebras em múltiplos
arquivos como ocorre no ESRI Shapefile
(arquivos shp, dbf, shx, prj)
● CRS (sistema de coordenadas de referência)
padrão: WGS84
● Definição em http://geojson.org/
● Crie o seu próprio GeoJSON em WGS82:
http://geojson.io/
● Especificação para arquivos JSON contendo a
geometria
● Único arquivo: evita quebras em múltiplos
arquivos como ocorre no ESRI Shapefile
(arquivos shp, dbf, shx, prj)
● CRS (sistema de coordenadas de referência)
padrão: WGS84
● Definição em http://geojson.org/
● Crie o seu próprio GeoJSON em WGS82:
http://geojson.io/

GeoJSON: Feature e
FeatureCollection
● O “type” do objeto do GeoJSON pode ser o de
uma geometria, “Feature” ou “FeatureCollection”
● FeatureCollection é uma coleção de Features
– Pode ser vazia:
{“type”: “FeatureCollection”,
“features”: []}
● Feature é uma geometria com propriedades
– Contém um objeto “geometry” e um objeto “properties”
– As propriedades são [meta]dados associados à
geometria (e.g. nome, data de coleta, id, etc.)
● O “type” do objeto do GeoJSON pode ser o de
uma geometria, “Feature” ou “FeatureCollection”
● FeatureCollection é uma coleção de Features
– Pode ser vazia:
{“type”: “FeatureCollection”,
“features”: []}
● Feature é uma geometria com propriedades
– Contém um objeto “geometry” e um objeto “properties”
– As propriedades são [meta]dados associados à
geometria (e.g. nome, data de coleta, id, etc.)

GeoJSON: bbox e crs
● Campos opcionais do GeoJSON
– bbox (Bounding box)
● Par de coordenadas que, no dado sistema de coordenadas,
define um retângulo que contém a geometria
– crs (Coordinate Reference System)
● Objeto que identifica o sistema de coordenadas, e.g. o WGS84
(padrão) pode ser explicitamente identificado com:
"crs": {"type": "name",
"properties": {"name":
"urn:ogc:def:crs:OGC:1.3:CRS84"}}
● Pode aparecer apenas uma vez, e apenas no objeto “raiz” do
arquivo GeoJSON
● Podem ser do tipo “name” ou “link” (confuso!)
● http://wiki.geojson.org/Rethinking_CRS
● Campos opcionais do GeoJSON
– bbox (Bounding box)
● Par de coordenadas que, no dado sistema de coordenadas,
define um retângulo que contém a geometria
– crs (Coordinate Reference System)
● Objeto que identifica o sistema de coordenadas, e.g. o WGS84
(padrão) pode ser explicitamente identificado com:
"crs": {"type": "name",
"properties": {"name":
"urn:ogc:def:crs:OGC:1.3:CRS84"}}
● Pode aparecer apenas uma vez, e apenas no objeto “raiz” do
arquivo GeoJSON
● Podem ser do tipo “name” ou “link” (confuso!)
● http://wiki.geojson.org/Rethinking_CRS

__geo_interface__
● Padrão de interface de informação espacial
para objetos Python
– Método deve devolver dicionários com geometrias
ou features GeoJSON-like
● Definição é do próprio Sean Gillies, criador do
Shapely:
– https://gist.github.com/sgillies/2217756
● Facilita interação entre diferentes bibliotecas
geoespaciais do Python
● Padrão de interface de informação espacial
para objetos Python
– Método deve devolver dicionários com geometrias
ou features GeoJSON-like
● Definição é do próprio Sean Gillies, criador do
Shapely:
– https://gist.github.com/sgillies/2217756
● Facilita interação entre diferentes bibliotecas
geoespaciais do Python

Mais sobre __geo_interface__
● Função shapely.geometry.shape
– Cria uma geometria do Shapely a partir de um
objeto com essa interface geo ou um dicionário do
Python (e.g. o resultado de json.load)
● Função shapely.geometry.mapping
– Devolve a __geo_interface__ do objeto
● Entrada/saída são apenas geometrias no
Shapely
– Feature e FeatureCollection necessitam de
adaptações para usar com o Shapely
● Função shapely.geometry.shape
– Cria uma geometria do Shapely a partir de um
objeto com essa interface geo ou um dicionário do
Python (e.g. o resultado de json.load)
● Função shapely.geometry.mapping
– Devolve a __geo_interface__ do objeto
● Entrada/saída são apenas geometrias no
Shapely
– Feature e FeatureCollection necessitam de
adaptações para usar com o Shapely

Numpy
● Entradas para os
construtores das
classes do Shapely
são iteráveis
– Arrays do Numpy
também são, logo...
● __array_interface__
– Permite a conversão
para arrays do Numpy
● Entradas para os
construtores das
classes do Shapely
são iteráveis
– Arrays do Numpy
também são, logo...
● __array_interface__
– Permite a conversão
para arrays do Numpy
● Possuem
__array_interface__:
– LineString
– LinearRing
– Point
● numpy.asarray
– Acesso direto ao
conteúdo dos objetos,
sem cópia
● Possuem
__array_interface__:
– LineString
– LinearRing
– Point
● numpy.asarray
– Acesso direto ao
conteúdo dos objetos,
sem cópia

Algoritmo de Douglas-
Peucker

Simplificação VS suavização
● Simplificação
– Remoção de pontos
– Diminuição do tamanho dos arquivos
● Suavização
– Remoção de “pontas” e “cantos”
– Arredondamento
– Aumento do número de pontos
● Não há splines (polinômios) ou outras formas de
interpolação não-linear
● Simplificação
– Remoção de pontos
– Diminuição do tamanho dos arquivos
● Suavização
– Remoção de “pontas” e “cantos”
– Arredondamento
– Aumento do número de pontos
● Não há splines (polinômios) ou outras formas de
interpolação não-linear

Douglas-Peucker
● Algoritmo de simplificação de LineString
– Aplicável a polígonos
● 1 LineString fechado exterior
● N LineString fechados interior
● Dependência do ponto inicial na descrição do polígono
– Implementado na GEOS, método “simplify” no Shapely
● Recursivo
– Seja P o ponto mais distante da reta r que liga os 2 pontos
extremos A e B da LineString
● distância(P, r) < tolerância
– O resultado é a própria reta r (pontos entre A e B são removidos)
● Caso contrário: “split” em P!
– Resultado: união do algoritmo de Douglas-Peucker aplicado nas LineStrings de A até P
e de P até B
● Algoritmo de simplificação de LineString
– Aplicável a polígonos
● 1 LineString fechado exterior
● N LineString fechados interior
● Dependência do ponto inicial na descrição do polígono
– Implementado na GEOS, método “simplify” no Shapely
● Recursivo
– Seja P o ponto mais distante da reta r que liga os 2 pontos
extremos A e B da LineString
● distância(P, r) < tolerância
– O resultado é a própria reta r (pontos entre A e B são removidos)
● Caso contrário: “split” em P!
– Resultado: união do algoritmo de Douglas-Peucker aplicado nas LineStrings de A até P
e de P até B

Considerações finais

Unidades e
distorções
● Qual a unidade?
– Distâncias
– Áreas
– Ângulos
● Longlat
– Em coordenadas esféricas, os valores não significam distância e área
pois os dados não são planares
● Projeção (e.g. Mercator, Peters, Albers, etc.)
– O sistema de coordenadas especifica a unidade de medida
● e.g. metros na UTM 22 sul http://epsg.io/32722
– Distorções em alguma das medidas
● Área na projeção de Mercator, comparação da Africa e Groenlândia obtida em:
http://www.pratham.name/mercator-projection-africa-vs-greenland.html
● Qual a unidade?
– Distâncias
– Áreas
– Ângulos
● Longlat
– Em coordenadas esféricas, os valores não significam distância e área
pois os dados não são planares
● Projeção (e.g. Mercator, Peters, Albers, etc.)
– O sistema de coordenadas especifica a unidade de medida
● e.g. metros na UTM 22 sul http://epsg.io/32722
– Distorções em alguma das medidas
● Área na projeção de Mercator, comparação da Africa e Groenlândia obtida em:
http://www.pratham.name/mercator-projection-africa-vs-greenland.html

Especificação
● Não há splines nesses padrões! Apenas retas…
● Tipos, nomes e especificação das geometrias e
dos operadores
– Originalmente definidos pela OGC
– ISO/IEC 13249-3:2016 – Information technology –
Database languages – SQL multimedia and
application packages – Part 3: Spatial
– ISO 19162:2015 – Geographic information – Well-
known text representation of coordinate reference
systems
● Não há splines nesses padrões! Apenas retas…
● Tipos, nomes e especificação das geometrias e
dos operadores
– Originalmente definidos pela OGC
– ISO/IEC 13249-3:2016 – Information technology –
Database languages – SQL multimedia and
application packages – Part 3: Spatial
– ISO 19162:2015 – Geographic information – Well-
known text representation of coordinate reference
systems

Fundo dos slides feito com:
audiolazy
shapely
rasterio
numpy
matplotlib

FIM!
Dúvidas?
As imagens presentes
nos slides anteriores
foram obtidas do
Wikipedia, da
documentação do
Shapely e do
OpenStreetMap,
exceto quando
explícito em contrário

(2017-05-27) [Grupy-SP] Polígonos, pontos e outras geometrias no Shapely (GIS)

Mais conteúdo relacionado

Semelhante a (2017-05-27) [Grupy-SP] Polígonos, pontos e outras geometrias no Shapely (GIS)

Mais de Danilo J. S. Bellini

(2017-05-27) [Grupy-SP] Polígonos, pontos e outras geometrias no Shapely (GIS)