Clusterização e Visualização de Dados Georreferenciados

Juan José Rodríguez
Orientadora: Nádia Puchalski
1/68
Clusterização e Visualização Espaço-Temporal de
dados georreferenciados adaptando o algoritmo
Marker Clusterer – Um caso de uso em Curitiba
1/68

Sumário
2/68
1. Introdução
2. Fundamentação Teórica
3. Materiais e Métodos
4. Implementações
5. Resultados e Conclusões
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016

Motivação: O que acontece nas cidades?
3/68Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
consumo dos recursos e de
energia do mundo, e geram
80% dos gases-estufa
responsáveis pelo efeito estufa
(Signori, 2008).
75%
2%
ocupando apenas 2%
do território mundial
(Signori, 2008).
50%
vive em cidades e a
expectativa é de que, até
2050, essa proporção
chegue a 70% (WHO, 2014)

Motivação: O que acontece nas cidades?
As tecnologias geoespaciais, são o coração fundamental das cidades
inteligentes, sendo essencial entender a variável "Onde" para tomar
decisões informadas. Moura (2012)

5/68
Motivação: Dados da IPPUC
Autoria Propia (2016)

5/68
Trabalhos relatos:
Um modelo de Representação
baseado em Conceitos de
Crescimento Urbano Associados
e Alvarás e Primitivas em Banco
de dados Espacial
Análise do banco de alvarás
da Prefeitura de Curitiba e
sua influência nos
restaurantes de Curitiba.
Kono (2016)
Cunha (2016)
1. Falta de normalização de dados,
2. Duplicação de dados,
3. Falta de categorização apropriada
dos tipos de alvarás,
4. Qualidade de dados e finalmente,
5. Sobreposição de pontos que dificulta
a visualização de informação em
mapas.
Projeto BigSea - Europe – Brazil
Collaboration of BIG Data Scientific
Research through Cloud-Centric
Applications

INTRODUÇÃO
6/68
SIG
Bibliografia
● Conceitos
● Tipos de dados
● Arquiteturas
● Relacionamentos
● Aplicações
Cid.Inteligentes
● Conceitos
● Necessidades
● Características
● Arquiteturas
● Aplicações
DESAFIOS E TRABALHOS RELACIONADOS
Resultado
Clusterização
● Conceitos
● Algoritmos
● Aplicações
● Comparações
Dados Abertos
● Conceitos
● Dados de Curitiba
● Análise preliminar
● Aplicações
CLUSTERIZAÇÃO E VISUALIZAÇÃO
Visualização
● Conceitos
● Bibliotecas
● Aplicações
● Algoritmo Bidimensional de Clusterização.
● Qualidade de dados.
● Sistema Web/Mobile
● Código fonte disponível em Github.

Analisar e adaptar o algoritmo Marker Clusterer que
permita resolver problemas de sobreposição de pontos,
clusterização e visualização comparativa entre diversos
tipos de alvarás usando dados históricos e
georreferenciados. Em particular, usaremos dados abertos
de alvarás de comércio para os bairros: Centro, Batel e
Tatuquara das últimas 3 décadas.
OBJETIVO GERAL

Entender as diversas questões bibliográficas (i) sistemas de informação
geográfica, (ii) cidades inteligentes, (iii) dados abertos, (iv) algoritmos de
clusterização e visualização.
Gerar uma fonte de dados atualizada e recategorizada de Alvarás de
Curitiba.
Adaptar o algoritmo Marker Clusterer que permita realizar clusterização e
visualização espaço-temporal considerando diversos tipos de alvarás.
Gerar um protótipo accesível e compatível com entornos Web e Mobile.
Realizar uma avaliação preliminar
8/68
OBJETIVOS ESPECÍFICOS

AplicaçõesArquiteturaRelacionamentos E.Tipos de dados
Sistemas de informação geográfica (SIG), são sistemas de informações
baseado em computador que permite a captura, modelagem,
manipulação, recuperação, análise e apresentação de dados
georreferenciados (Worboys, 1995).
2.1 Sistemas de Informação Geográfica (SIG)
● Vetorial
● Matricial
● Topológicas
● Métricas
● Direcionais
● Apresentação
● Processamento
● Dados
● TaxiVis
● SIG/SAM

Sistemas de
Informação
Geográfica
(SIG)
Adaptado de Li e
Torres (2014).

AplicaçõesArquiteturaOGCÁreas
11/68
2.2 Cidades Inteligentes
Cidadãos, Governança,
Negócios, Planejamento,
Construções, Mobilidade,
Tecnologia da Informação,
Energía
Uma cidade inteligente é aquela cidade que utiliza tecnologias inteligentes para
integrar suas infraestruturas e serviços, a qual se esforça em aproveitar estas
tecnologias para melhorar a eficiência, a eficácia, a transparência e a
sustentabilidade. (Alawadhi, 2012).
Tecnologias abertas:
GML, KML, WFS, WMS,
WCS, CSW
● Aplicação
● Negócio
● Dados
● Detecção
● Singapure Online
● OneMap

Percivall, OGC (2015).

14/68
2.4 Visualização de Dados
A visualização significa construir uma imagem visual na mente humana. E isto é mais
do que uma representação gráfica de dados ou conceitos. (Card,1999).
Id Estudante Endereço
001 Kathy
Magdalena
Rua Arthur Carlos
Peralta 1686
002 Kiara
Rodriguez
Rua Bartolomé de
las casas 163
003 Jorge Lucar Rua Visconde de
Guarapuaba 42
004 Marcos Rester Rua 28 de Julho
3421
Dados Informação

16/68
2.5 Clusterização e Visualização de Dados
Clusterização é o processo de realizar agrupamento de
objetos que apresentam semelhanças.
Marker
Cluster

17/68
K-Means ( K-Médias)
● Algoritmo usado com contextos de
Data Mining não supervisada.
● Classificação de informação de acordo
com os próprios dados.
● Input: número de clusters
(parâmetro K) a ser utilizados.
Clusters dos pontos de ônibus usando K-means, com
K=4. Neves (2016).

18/68
DBScan (Density Based Spatial Clustering of Applications with Noise)
● Clusterização baseado na intensidade de
markers. Se existir um marker distante, é
considerado ruído (noise).
● Input: Total de Pontos, proximidade e
minpts (densidade).
● O algoritmo pode ser utilizado para
agrupar objetos de um banco de dados
em subtipos que expressem algo, por
exemplo, ao obter imagens satelitais da
terra (Ester, 1996), como rios, estradas,
etc.
Clusterização baseado em densidade de markers usando
DBSCAN. Adaptado de (Ester, 1996).

19/68
Marker Clusterer
Clusterização de dados georreferenciados de forma iterativa baseados nas
distâncias euclidianas entre Markers, Clusters e nível do zoom sobre o
mapa. Para o cálculo da distância euclidiana se usa a fórmula haversin que
considera a latitude, longitude, raio da terra e nível do zoom.

20/68
Comparativa
Critério/Algoritmo K-Means DBSCAN Marker
Clusterer
É necessário conocer número de clusters prévios? Sim Não Não
Precisa de um # mínimo de Markers para Clusterizar? Não Sim Não
Permite clusterização em múltiples formas? Não Sim Sim
Por padrão, permite realizar clusterização de dados
Georreferenciados?
Não Não Sim
Possui integração com Mapas Web-Mobile? Não Não Sim

21/68
1 2
Processo do Marker Clusterer

22/68
Nro Cluster Markers
1 A, B e D
2 C e E
3 F, G, J e I
4 H
Processo do Marker Clusterer

23/68
Cálculo da Distância
Euclidiana

24/68
Bibliotecas
HeatMap
Leaflet JS para OSM Marker Cluster para Google

25/68
Comparativa entre Bibliotecas
Autoria própria(2016).

26/68
1. O algoritmo agrupa sem diferenciar os tipos de dados.
2. O algoritmo agrupa sem considerar límites geográficos.
3. O processo de desagregação é realizado usando zoom sobre o mapa,
e em muitos casos, esse processo de desagregação implica em
gasto de tempo e de interações desnecessárias com o servidor de
aplicações para exibir os zooms intermediários.
Desafios de Marker Clusterer

27/68
4. Se queremos usar o algoritmo em outro sistema de mapas como
Open Street Map ou Bing, será necessário a criação da
biblioteca que possua compatibilidade com estes sistemas de
mapas.
5. Forte dependência com o Google Maps, caso haja uma mudança
nas políticas do Google Maps, a aplicação web deve executar as
atualizações necessárias para manter o funcionamento.
Desafios de Marker Clusterer

28/68
A liberação de dados de alvarás concedidos a localidade do bairro do Tatuquara,
Batel e centro de Curitiba entre os anos de 1980 a 2015 (PMC,2015) e (IPPUC, 2016).
PMC (2016)
2.6 Dados Abertos: Curitiba

29/68
Desafios: Existência de duplicidade de latitude e longitude gerando sobreposição de pontos,existe tipificação de
alvarás que não estão associados corretamente gerando assim registros semelhantes que poderiam ser agrupadas em
uma categoria específica e existem ainda alguns problemas como maiúsculas e minúsculas.
Alvarás de
Restaurantes.
Kono (2016)

30/68
Tipos e estilos de
restaurantes definidas pelo
SEBRAE (2014).
Cunha (2016)
Existe uma melhor distribuição e agrupamento de categorias, porém ainda existem problemas de
dados não associados corretamente, qualidade de dados e sobreposição de pontos.

SIG
Cid.Inteligentes
Dados Abertos
Visualização e
clusterização
- Complexidade de uso dos SIG (Haklay, 2008).
- Revisões históricas (NGB, 2015).
- Grande volume de dados (Jacobs, 2009).
- Serviços e aplicações móveis ao
desenvolvimento urbano sustentável.
(Pentikousis,2011).
- Falta de qualidade, normalização, duplicação,
atualização e recategorização de dados
(Kono, Cunha, 2016).
- Sobreposição de pontos (Kono, 2016).
- Clusterização de dados que permita comparação
entre os tipos de dados.
3/10
1/5
2/5
1/5
3.1 Desafios que serão abordados
7/25

3.2 Método proposto
Autoria própria(2016).

4.1 Processo de Padronização de Dados
Script que padroniza e recategoriza Alvarás de Restaurantes conforme o SEBRAE.
Autoria Própria (2016)
Alvarás de
Curitiba
Out. 2016
Dados
Padronizados
Out. 2016
Script de
Padronização
Out. 2016

34/68

35/68

36/68
Atualização e recategorização de Alvarás de Restaurantes conforme o SEBRAE.
Análise preliminar dos dados

37/68
(A) Crescimento por ano,
(B) Distribuição geográfica,
(C) Alta concentração.
Autoria própria(2016).
Centro

38/68
Centro
Cinco tipos de negócios que cresceram mais nas últimas décadas.

39/68
(B) Distribuição
geográfica,
Batel

40/68
Batel

41/68
(B) Distribuição geográfica,
Tatuquara

42/68
Tatuquara

43/68
1. Problemas de Geocodificação: mesmo utilizando o endereço, o processo de
geocodificação não foi eficiente para 10% dos dados.
2. Problemas com Padrões: Diversos formatos que variam de UTF8 a Latin. geolocalização
usando latitude / longitude (49.343750 -25.564539) ou UTM (666418.3496092
7171543.905212).
3. Diferentes sistemas de coordenadas: IPPUC usa o formato de dados DATUM SAD69, e á
integração com Google Maps, OpenStreetMaps requer um sistema diferente de
coordenadas (SIRGAS2000).
4. Composição de objetos geométricos: IPPUC trabalha com segmentos de linha para ruas
(nó inicial e nó georreferenciado final para cada bloco), mas o Google trabalha com um
objeto de linha para uma única rua.
Dificultades identificadas e abordadas

44/68
5. Inconsistências nos dados: A análise prévia dos dados, se identificou que dos 2337
markers, 25 estabelecimentos apresentam inconsistência nos dados, devido a que
segundo a latitude e longitude, não pertencem ao bairro que foram declarados no
banco de dados.
6. Outros desafios: Podemos mencionar outros desafios tais como: (i) diferentes
granularidades dentro das fontes: fontes governamentais apresentaram maior
precisão sobre fontes não oficiais (Google Maps, OSM); e (ii) diferentes tipos e
formatos de dados. Alguns são CSV, XLS, JSON e Shapefile. Dependendo da técnica ou
processo de integração, esses dados ainda devem ser convertidos para SQL para a
definição e inserção de dados.

45/68
Marker Clusterer
Tradicional
Entrada Saída
Processamento
Lista de Markers
4.2 Adaptações ao Algoritmo: Processo Atual

Marker Clusterer
Bidimensional
MyMaps
Lista de Markers
Visualização baseada no
Tipo de Negócio
E
P
S E
P
S
Etapa 1 Etapa 2
Estrutura bidimensional que
armazena os markers de acordo ao
Tipo de Negócio
Banco de
Dados
46/68
4.2 Novo Processo Proposto

47/68
4.2.1 Criação do Markers - MyMaps
4.2 Adaptações ao Algoritmo

48/68
Data: Marker
distance ← 40000 //// Distância referencial para clusterização
clusterToAdd ← null
pos ← marker.position
switch marker.BusinessType
case 'TipoA' : j ← 0
case 'TipoB' : j ← 1
case 'TipoC' : j ← 2
default: j ← 0
end
for i ← 0 to i ← NumberOfClusters , cluster ← clusters(i)(j) do
center ← cluster.center
if (center) then
d ← distanceBetweenPoints(center, pos)
if ( d <distance) then
distance ← d clusterToAdd ← cluster
end
end
end
Nova condição que identifica o tipo de
negócio antes do processo de
clusterização.
Cálculo da distância euclideana
considerando o array bidimensional
(i)(j) do marker e centro do cluster.
4.2.2 Criação da nova estrutura MK Bidimensional

49/68
if (clusterToAdd andclusterToAdd.isMarkerInClusterBounds(marker)) then
clusterToAdd.add(marker)
else
cluster ← new Cluster
cluster.addMarker(marker)
clusters.pushNewCluster(cluster, j)
end
Adiciona o marker ao cluster mais
próximo considerando o array
bidimensional (i)(j)
4.2.2 Criação da nova estrutura MK Bidimensional

4.2 Resultado do Novo Algoritmo
Autoria própria (2016).
Marker Clusterer Bidimensional

51/68
1. Pouca experiência em uso de algoritmos de clusterização e
visualização.
2. O algoritmo apresentou mais de 1360 linhas de códigos e
processos entrelazados, que dificultou a implementação na
visualização em Google Maps.

Filtro temporal
Filtro
espacial
Filtro tipo
de negócio
4.3 Interface proposta

Charts and heatmap visualization. Autoria Própria (2016).

55/68
Mapa dos
Negócios
Mapa de
Pontos de ônibus
Código disponível em
github
juanjoserodriguez.me/map/b
usiness
juanjoserodriguez.me/map/bus github.com/jrodriguezv10
4.3 Demo funcional disponível de:

56/68
4.3 Compatibilidade

57/68
Problemas com qualidade de dados. Autoria própria (2016).
Dificultades identificadas

Hardware:
● Macbook Pro com sistema operacional OS X O Captain 10GB
1333 MHz DDR3
Software
● SGBD PostgreSQL 9.6.1
● Servidor MAMP V. 3.5.2
● Google Chrome V 52 &
● HTML5, CSS3, Javascript, Google Maps API V3, e finalmente,
Biblioteca Marker Cluster V3.
4.4 Software e Hardware utilizados

59/68
● Processo de avaliação composto por: um termo de
consentimento estabelecido (Anexo 1), questionário inicial
com três perguntas (Anexo 2), e um questionário final com
seis perguntas (Anexo 3).
● As respostas podiam ter os valores entre 1 e 5, sendo
que 1 era a nota mais baixa e 5 a mais alta.
● 27 voluntários do curso de engenharia da computação da
UTFPR e 2337 registros no protótipo de alvarás.
4.5 Avaliação preliminar com usuários

60/68
5 Avaliação Preliminar com Usuários
Antes de implementar a solução Após de implementar a solução

61/68
5 Avaliação Preliminar com Usuários
69,3%
80,8%
92,3%
84,6%
65,4%
Resultados:
Questionário final com as avaliações antes e após de usar a nova solução. Autoria própria(2016)

Entender as diversas questões bibliográficas (i) sistemas de informação
geográfica, (ii) cidades inteligentes, (iii) dados abertos, (iv) algoritmos de
clusterização e visualização.
Gerar uma fonte de dados atualizada e recategorizada de Alvarás de
Curitiba.
Adaptar o algoritmo Marker Clusterer que permita realizar clusterização e
visualização espaço-temporal considerando diversos tipos de alvarás.
Gerar um protótipo accesível e compatível com entornos Web e Mobile.
Realizar uma avaliação preliminar
62/68
OBJETIVOS ESPECÍFICOS ATINGIDOS

DESAFIOS ESPECÍFICOS ATINGIDOS
SIG
Cid.Inteligentes
Dados Abertos
Visualização e
clusterização
- Complexidade de uso dos SIG (Haklay, 2008).
- Revisões históricas (NGB, 2015).
- Grande volume de dados (Jacobs, 2009).
- Serviços e aplicações móveis ao
desenvolvimento urbano sustentável.
(Pentikousis,2011).
- Falta de qualidade, normalização, duplicação,
atualização e recategorização de dados
(Kono, Cunha, 2016).
- Sobreposição de pontos (Kono, 2016).
- Clusterização de dados que permita comparação
entre os tipos de dados.
7/25

Conclusões
1. A Fonte de Dados ainda apresentou diversos problemas em relação a qualidade
de dados, recategorização, normalização entre outros.
2. Marker Clusterer apresentou um processo mais prático, adaptável e
implementável ao contexto de clusterização dos alvarás de Curitiba em relação à
outros algoritmos e bibliotecas analisadas.
3. O Processo de avaliação da solução e aceitação da solução apresentou resultados
alentadores tendo que 84,6% que consideraram o protótipo como uma solução
útil.

65/68Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Seminário 3 | 26 de Outubro de 2016
1. Trabalho submetido titulado: Minha cidade inteligente na Competição de Vídeos
sobre Cidades Inteligentes no XXXIII Simpósio Brasileiro de Telecomunicações
2015. O trabalho ganhou o prêmio de primeiro lugar da competição. Link:
http://www.sbrt.org.br/sbrt2015/premiacao-competicao-de-video/.
2. Artigo publicado: “Urban Mobility Challenges - An exploratory analysis of public
transportation data in Curitiba” na Revista de Informática Aplicada da
Universidade Federal do ABC, Brasil.
3. Artigo aceito:: "Uma proposta para apresentar a Computação/Banco de Dados
no Ensino Médio para o Público Feminino". O trabalho foi destacado como um dos
melhores 5 artigos da seção aplicações e experiências no XII Escola Regional de
Banco de Dados 2016, e pode ser verificado no Anexo 1. Link:
http://cross.dc.uel.br/erbd2016/programacao/#ST3.
Resultados e reconhecimentos obtidos :

DESAFIOS PENDENTES / TRABALHOS FUTUROS
SIG
Cid.Inteligentes
Dados Abertos
Visualização e
clusterização
Crowdsourcing e validação de dados, Informação em tempo real,
Segurança de dados, Localização em interiores, Integração de
dados, etc.
18 desafios pendentes
Infraestruturas para cidades inteligentes, aumentar eficiência
energética, pessoas como produtoras de informação, etc.
Qualidade de dados
Clusterização considerando delimitação geográfica, optimização
do processo de desagrupamento, dependência de Google Maps.

Sinceros agradecimentos:
1. À Deus, minha esposa, filha e minha querida família,
2. CNPQ, Capes, MRE,
3. À Profa. Nádia Puchalski,
4. Aos Profs. da Dainf,
5. A todos que direta ou indiretamente contribuíram e
contribuem para que este sonho de fazer um mestrado
fora do meu país seja uma realidade.
67/68Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Seminário 3 | 26 de Outubro de 2016

Google confidential | Do not distribute
Juan José Rodríguez
Orientadora: Nádia Puchalski
68/68
Muchas Gracias!
Clusterização e Visualização Espaço-Temporal de
dados georreferenciados adaptando o algoritmo
Marker Clusterer – Um caso de uso em Curitiba

Clusterização e Visualização de Dados Georreferenciados

Recomendados

Recomendados

Mais conteúdo relacionado

Destaque

Destaque (14)

Semelhante a Clusterização e Visualização de Dados Georreferenciados

Semelhante a Clusterização e Visualização de Dados Georreferenciados (20)

Mais de Juan José Rodriguez MsC.

Mais de Juan José Rodriguez MsC. (14)

Clusterização e Visualização de Dados Georreferenciados