Apresentação da dissertação de mestrado titulado: Clusterização e Visualização Espaço-Temporal de dados georreferenciados adaptando o algoritmo Marker Clusterer – Um caso de uso em Curitiba. UTFPR 2016
A story of my life so far... learning to trust, myself, the drama that unfolds and God. Examples of how art can help with stressful situations. Born in a Mennonite culture and focus on fine art, restorative justice and art for social change. August 2, 2015
You can hear the speech on You Tube. The slides came in backwards, but you have the idea. Would like to try it again but longer...
https://youtu.be/pbKFfU3kyVQ?list=PLZ_NQfTMGOSpYi4mHXyAVJG57vUh0_iJO
Here is the brilliant time lapse of the evening https://www.youtube.com/watch?v=O79-7rgofW4
Health Reform Bulletin 123 | IRS Delays Disclosure Date for 2016 Form 1095CBIZ, Inc.
The IRS has just issued guidance (Notice 2016-70) providing that the ACA-imposed due date for furnishing benefit statements (Form 1095-B and Form 1095-C) to individuals is extended from January 31, 2017 to March 2, 2017.
Patrones oscuros de UX - UX Nights Vol 1.03 en MonterreyMauricio Angulo
Mi presentación sobre patrones oscuros (dark patterns) de UX que dí en el evento de UX Nights en Monterrey el 15 de octubre de 2015.
Los patrones oscuros de UX son modelos de diseño interactivo que se utilizan para engañar o distraer a los usuarios para realizar acciones que normalmente no harían.
Ésta es una guía breve sobre cómo algunos usan user experience para la maldad:
A story of my life so far... learning to trust, myself, the drama that unfolds and God. Examples of how art can help with stressful situations. Born in a Mennonite culture and focus on fine art, restorative justice and art for social change. August 2, 2015
You can hear the speech on You Tube. The slides came in backwards, but you have the idea. Would like to try it again but longer...
https://youtu.be/pbKFfU3kyVQ?list=PLZ_NQfTMGOSpYi4mHXyAVJG57vUh0_iJO
Here is the brilliant time lapse of the evening https://www.youtube.com/watch?v=O79-7rgofW4
Health Reform Bulletin 123 | IRS Delays Disclosure Date for 2016 Form 1095CBIZ, Inc.
The IRS has just issued guidance (Notice 2016-70) providing that the ACA-imposed due date for furnishing benefit statements (Form 1095-B and Form 1095-C) to individuals is extended from January 31, 2017 to March 2, 2017.
Patrones oscuros de UX - UX Nights Vol 1.03 en MonterreyMauricio Angulo
Mi presentación sobre patrones oscuros (dark patterns) de UX que dí en el evento de UX Nights en Monterrey el 15 de octubre de 2015.
Los patrones oscuros de UX son modelos de diseño interactivo que se utilizan para engañar o distraer a los usuarios para realizar acciones que normalmente no harían.
Ésta es una guía breve sobre cómo algunos usan user experience para la maldad:
Presentacion de: Viviendo en el futuro con Google Glass que describe principales caracteristicas, funcionalidades, glassware, mejores aplicaciones y proyectos aplicados en el marco experimental
USPTO patent application 13,573,002 The Heart Beacon Cycle Time Space Meter, ...Steven McGee
Bitcoin line 127 http://1.usa.gov/1HgjyZL aggregate firefly statistical algorithm outputs= #Bitcoin Worldcoin economic heartbeat, form trade federations using adaptive procedural template. Statistical mean value indexes using firefly-heartbeat algorithm. Form time-space value index for Internet of Things IeT, IoT
Uma Ferramenta Computacional para geração de Modelos Digitais de Terrenos com...pqd
Este trabalho apresenta o desenvolvimento de uma aplicação computacional para geração de Modelos Digitais de Terrenos (MDT). Neste trabalho está sendo utilizado o método denominado de Inverso do quadrado da distância. Esse método de interpolação, comumente é utilizado em sistemas de informação geográfica (SIG) para geração de mapas a partir de dados pontuais. O desenvolvimento foi feito utilizando a linguagem Java e a visualização da superfície gerada foi feita através da linguagem VRML. Com exemplo da metodologia adotada, foi gerada um MDT de parte da região da cidade de Vassouras, Rio de Janeiro.
Presentacion de: Viviendo en el futuro con Google Glass que describe principales caracteristicas, funcionalidades, glassware, mejores aplicaciones y proyectos aplicados en el marco experimental
USPTO patent application 13,573,002 The Heart Beacon Cycle Time Space Meter, ...Steven McGee
Bitcoin line 127 http://1.usa.gov/1HgjyZL aggregate firefly statistical algorithm outputs= #Bitcoin Worldcoin economic heartbeat, form trade federations using adaptive procedural template. Statistical mean value indexes using firefly-heartbeat algorithm. Form time-space value index for Internet of Things IeT, IoT
Uma Ferramenta Computacional para geração de Modelos Digitais de Terrenos com...pqd
Este trabalho apresenta o desenvolvimento de uma aplicação computacional para geração de Modelos Digitais de Terrenos (MDT). Neste trabalho está sendo utilizado o método denominado de Inverso do quadrado da distância. Esse método de interpolação, comumente é utilizado em sistemas de informação geográfica (SIG) para geração de mapas a partir de dados pontuais. O desenvolvimento foi feito utilizando a linguagem Java e a visualização da superfície gerada foi feita através da linguagem VRML. Com exemplo da metodologia adotada, foi gerada um MDT de parte da região da cidade de Vassouras, Rio de Janeiro.
Aula de Apresentação da Disciplina de Informática Aplicada ao Planejamento Territorial - IPT, UFABC, 23 de setembro de 2016. Video disponível em: https://youtu.be/kLAezjnEag4
Five Minute Speech - Academic Interests, Current Works and Experiences.Michel Alves
Five Minute Speech: An Overview About Academic Interests, Current Works and Experiences. In this presentation, I showed an overview of works and areas with which I became involved from the beginning of Graduate. Among these areas I can highlight the area of Image Quality Assessment, the area of Color Harmonization and the area of Procedural Synthesis of Textures. Among the developed works, I can highlight the presentation of some indices of image quality assessment (MAE, MSE, PSNR, UIQI), the implementation of article 'Color Harmonization' and the implementation of a wave simulator using Perlin Noise.
OpenStreetMap (OSM): O conceito da Web 2.0 aplicado a GeomáticaHelton Uchoa
O OpenStreetMap (OMS) é um dos maiores projetos em nível mundial de mapeamento colaborativo. Diversas regiões do globo, assim como algumas cidades do Brasil, já foram mapeadas através desse projeto. Esta palestra irá abordar os fundamentos e conceitos deste fabuloso projeto.
Semelhante a Apresentação de Dissertação Mestrado em Ciências da Computação (20)
Introducción a la visión de Google para startups, los programas comunitarios Google Business Group & Google Developer Group y Herramientas y soluciones para emprendedores.
Programas de Google DevRel LatAM South Region tales como Academic Developer TG, Lookthiscode, University Class. Difusión del programa global Google Developer Experts y el programa GLabsPerú propuesto por el GDG Lima.
La Realidad Aumentada como herramienta para mejorar los procesos educativos e...Juan José Rodriguez MsC.
El presente artículo hace énfasis de la propuesta para utilizar tecnología de Realidad Aumentada para la creación de libros más ricos en contenido e interacción. Los antiguos libros troquelados han determinado que ejercen un mejor experiencia y aprendizaje en sus lectores, ante ello se propone la utilización de dicha tecnología para mejorar el proceso aprendizaje-enseñanza.
Utilización de tecnologías Cloud Computing para la innovación en Organizacion...Juan José Rodriguez MsC.
El presente artículo describe el uso e implementación de tecnologías basadas en Cloud Computing (Google Apps For Education), para la gestión, soporte, realización de proyectos, comunicación y colaboración que se realiza entre los colaboradores de la USMP Virtual.
Herramientas de comunicación y colaboración de Google Apps Edu Edition como p...Juan José Rodriguez MsC.
El uso de las TICs orientados a la educación siempre han sido un factor crítico para aquellas instituciones que no cuentan con recursos apropiados. Con la aparición de tecnología Web 2.0, Cloud Computing, entre otras, éstas limitaciones se han reducido a cero. Es por ello que el artículo en mención hace un estudio de aplicación real de Google Apps for Education como plataforma educativa con capacidad para gestionar aulas virtuales y todo un entorno educativo basado en web.
Code Passion 2012 - Ecosistema de tecnologías google - propuestas, iniciativa...Juan José Rodriguez MsC.
Presentación del ecosistema de tecnologías Google, iniciativas, proyectos y programas Google para la región latam en el CodePassion realizado el 9 de Junio del 2012 en la Universidad Mayor de San Marcos
Qué es un gtug y tecnologías google para desarrolladores - Academic Developer...Juan José Rodriguez MsC.
Evento de presentación de Academic Developer Technology Groups en Perú - 28 de Abril del 2011. Se presentó el esquema de comunidad GTUG y las principales tecnologías Google para desarrolladores.
Presentación del programa propuesto por Google DevRel Latam South Region de Google "Academic Developer Technology Groups" - ADTGs en Perú y su vinculación con instituciones educativas a nivel nacional.
Presentación del artículo "Herramientas De Comunicación y Colaboración de Google Apps Edu Edition Como Plataforma Educativa para Instituciones con Bajos Recursos Económicos" realizado en el XII Encuentro Virtual Educa 2011 - México
Apresentação de Dissertação Mestrado em Ciências da Computação
1. Juan José Rodríguez
Orientadora: Nádia Puchalski
1/68
Clusterização e Visualização Espaço-Temporal de
dados georreferenciados adaptando o algoritmo
Marker Clusterer – Um caso de uso em Curitiba
1/68
2. Sumário
2/68
1. Introdução
2. Fundamentação Teórica
3. Materiais e Métodos
4. Implementações
5. Resultados e Conclusões
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
3.
4. Motivação: O que acontece nas cidades?
3/68Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
consumo dos recursos e de
energia do mundo, e geram
80% dos gases-estufa
responsáveis pelo efeito estufa
(Signori, 2008).
75%
2%
ocupando apenas 2%
do território mundial
(Signori, 2008).
50%
vive em cidades e a
expectativa é de que, até
2050, essa proporção
chegue a 70% (WHO, 2014)
5. Motivação: O que acontece nas cidades?
4/68Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
As tecnologias geoespaciais, são o coração fundamental das cidades
inteligentes, sendo essencial entender a variável "Onde" para tomar
decisões informadas. Moura (2012)
6. 5/68
Motivação: Dados da IPPUC
Autoria Propia (2016)
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
7. 5/68
Trabalhos relatos:
Um modelo de Representação
baseado em Conceitos de
Crescimento Urbano Associados
e Alvarás e Primitivas em Banco
de dados Espacial
Análise do banco de alvarás
da Prefeitura de Curitiba e
sua influência nos
restaurantes de Curitiba.
Kono (2016)
Cunha (2016)
1. Falta de normalização de dados,
2. Duplicação de dados,
3. Falta de categorização apropriada
dos tipos de alvarás,
4. Qualidade de dados e finalmente,
5. Sobreposição de pontos que dificulta
a visualização de informação em
mapas.
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
Projeto BigSea - Europe – Brazil
Collaboration of BIG Data Scientific
Research through Cloud-Centric
Applications
8. INTRODUÇÃO
6/68
SIG
Bibliografia
● Conceitos
● Tipos de dados
● Arquiteturas
● Relacionamentos
● Aplicações
Cid.Inteligentes
● Conceitos
● Necessidades
● Características
● Arquiteturas
● Aplicações
DESAFIOS E TRABALHOS RELACIONADOS
Resultado
Clusterização
● Conceitos
● Algoritmos
● Aplicações
● Comparações
Dados Abertos
● Conceitos
● Dados de Curitiba
● Análise preliminar
● Aplicações
CLUSTERIZAÇÃO E VISUALIZAÇÃO
Visualização
● Conceitos
● Bibliotecas
● Aplicações
● Algoritmo Bidimensional de Clusterização.
● Qualidade de dados.
● Sistema Web/Mobile
● Código fonte disponível em Github.
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
9. Analisar e adaptar o algoritmo Marker Clusterer que
permita resolver problemas de sobreposição de pontos,
clusterização e visualização comparativa entre diversos
tipos de alvarás usando dados históricos e
georreferenciados. Em particular, usaremos dados abertos
de alvarás de comércio para os bairros: Centro, Batel e
Tatuquara das últimas 3 décadas.
OBJETIVO GERAL
7/68Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
10. Entender as diversas questões bibliográficas (i) sistemas de informação
geográfica, (ii) cidades inteligentes, (iii) dados abertos, (iv) algoritmos de
clusterização e visualização.
Gerar uma fonte de dados atualizada e recategorizada de Alvarás de
Curitiba.
Adaptar o algoritmo Marker Clusterer que permita realizar clusterização e
visualização espaço-temporal considerando diversos tipos de alvarás.
Gerar um protótipo accesível e compatível com entornos Web e Mobile.
Realizar uma avaliação preliminar
8/68
OBJETIVOS ESPECÍFICOS
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
11.
12. AplicaçõesArquiteturaRelacionamentos E.Tipos de dados
Sistemas de informação geográfica (SIG), são sistemas de informações
baseado em computador que permite a captura, modelagem,
manipulação, recuperação, análise e apresentação de dados
georreferenciados (Worboys, 1995).
2.1 Sistemas de Informação Geográfica (SIG)
● Vetorial
● Matricial
● Topológicas
● Métricas
● Direcionais
● Apresentação
● Processamento
● Dados
● TaxiVis
● SIG/SAM
9/68Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
14. AplicaçõesArquiteturaOGCÁreas
11/68
2.2 Cidades Inteligentes
Cidadãos, Governança,
Negócios, Planejamento,
Construções, Mobilidade,
Tecnologia da Informação,
Energía
Uma cidade inteligente é aquela cidade que utiliza tecnologias inteligentes para
integrar suas infraestruturas e serviços, a qual se esforça em aproveitar estas
tecnologias para melhorar a eficiência, a eficácia, a transparência e a
sustentabilidade. (Alawadhi, 2012).
Tecnologias abertas:
GML, KML, WFS, WMS,
WCS, CSW
● Aplicação
● Negócio
● Dados
● Detecção
● Singapure Online
● OneMap
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
15. Percivall, OGC (2015).
12/68Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
16. Percivall, OGC (2015).
13/68Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
17. 14/68
2.4 Visualização de Dados
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
A visualização significa construir uma imagem visual na mente humana. E isto é mais
do que uma representação gráfica de dados ou conceitos. (Card,1999).
Id Estudante Endereço
001 Kathy
Magdalena
Rua Arthur Carlos
Peralta 1686
002 Kiara
Rodriguez
Rua Bartolomé de
las casas 163
003 Jorge Lucar Rua Visconde de
Guarapuaba 42
004 Marcos Rester Rua 28 de Julho
3421
Dados Informação
Autoria Propia (2016)
18. 15/68Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
Autoria Propia (2016)
19. 16/68
2.5 Clusterização e Visualização de Dados
Clusterização é o processo de realizar agrupamento de
objetos que apresentam semelhanças.
Marker
Cluster
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
20. 17/68
K-Means ( K-Médias)
● Algoritmo usado com contextos de
Data Mining não supervisada.
● Classificação de informação de acordo
com os próprios dados.
● Input: número de clusters
(parâmetro K) a ser utilizados.
Clusters dos pontos de ônibus usando K-means, com
K=4. Neves (2016).
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
2.5 Clusterização e Visualização de Dados
21. 18/68
DBScan (Density Based Spatial Clustering of Applications with Noise)
● Clusterização baseado na intensidade de
markers. Se existir um marker distante, é
considerado ruído (noise).
● Input: Total de Pontos, proximidade e
minpts (densidade).
● O algoritmo pode ser utilizado para
agrupar objetos de um banco de dados
em subtipos que expressem algo, por
exemplo, ao obter imagens satelitais da
terra (Ester, 1996), como rios, estradas,
etc.
Clusterização baseado em densidade de markers usando
DBSCAN. Adaptado de (Ester, 1996).
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
2.5 Clusterização e Visualização de Dados
22. 19/68
Marker Clusterer
Clusterização de dados georreferenciados de forma iterativa baseados nas
distâncias euclidianas entre Markers, Clusters e nível do zoom sobre o
mapa. Para o cálculo da distância euclidiana se usa a fórmula haversin que
considera a latitude, longitude, raio da terra e nível do zoom.
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
Autoria Propia (2016)
2.5 Clusterização e Visualização de Dados
23. 20/68
Comparativa
Critério/Algoritmo K-Means DBSCAN Marker
Clusterer
É necessário conocer número de clusters prévios? Sim Não Não
Precisa de um # mínimo de Markers para Clusterizar? Não Sim Não
Permite clusterização em múltiples formas? Não Sim Sim
Por padrão, permite realizar clusterização de dados
Georreferenciados?
Não Não Sim
Possui integração com Mapas Web-Mobile? Não Não Sim
Autoria Propia (2016)
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
2.5 Clusterização e Visualização de Dados
24. 21/68
1 2
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
Processo do Marker Clusterer
25. 22/68
Nro Cluster Markers
1 A, B e D
2 C e E
3 F, G, J e I
4 H
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
Processo do Marker Clusterer
27. 24/68
Bibliotecas
HeatMap
Leaflet JS para OSM Marker Cluster para Google
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
Autoria Propia (2016)
2.5 Clusterização e Visualização de Dados
28. 25/68
Comparativa entre Bibliotecas
Autoria própria(2016).
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
2.5 Clusterização e Visualização de Dados
29. 26/68
1. O algoritmo agrupa sem diferenciar os tipos de dados.
2. O algoritmo agrupa sem considerar límites geográficos.
3. O processo de desagregação é realizado usando zoom sobre o mapa,
e em muitos casos, esse processo de desagregação implica em
gasto de tempo e de interações desnecessárias com o servidor de
aplicações para exibir os zooms intermediários.
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
2.5 Clusterização e Visualização de Dados
Desafios de Marker Clusterer
30. 27/68
4. Se queremos usar o algoritmo em outro sistema de mapas como
Open Street Map ou Bing, será necessário a criação da
biblioteca que possua compatibilidade com estes sistemas de
mapas.
5. Forte dependência com o Google Maps, caso haja uma mudança
nas políticas do Google Maps, a aplicação web deve executar as
atualizações necessárias para manter o funcionamento.
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
2.5 Clusterização e Visualização de Dados
Desafios de Marker Clusterer
31. 28/68
A liberação de dados de alvarás concedidos a localidade do bairro do Tatuquara,
Batel e centro de Curitiba entre os anos de 1980 a 2015 (PMC,2015) e (IPPUC, 2016).
PMC (2016)
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
2.6 Dados Abertos: Curitiba
32. 29/68
Desafios: Existência de duplicidade de latitude e longitude gerando sobreposição de pontos,existe tipificação de
alvarás que não estão associados corretamente gerando assim registros semelhantes que poderiam ser agrupadas em
uma categoria específica e existem ainda alguns problemas como maiúsculas e minúsculas.
Alvarás de
Restaurantes.
Kono (2016)
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
2.6 Dados Abertos: Curitiba
33. 30/68
Tipos e estilos de
restaurantes definidas pelo
SEBRAE (2014).
Cunha (2016)
Existe uma melhor distribuição e agrupamento de categorias, porém ainda existem problemas de
dados não associados corretamente, qualidade de dados e sobreposição de pontos.
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
2.6 Dados Abertos: Curitiba
34.
35. SIG
Cid.Inteligentes
Dados Abertos
Visualização e
clusterização
- Complexidade de uso dos SIG (Haklay, 2008).
- Revisões históricas (NGB, 2015).
- Grande volume de dados (Jacobs, 2009).
- Serviços e aplicações móveis ao
desenvolvimento urbano sustentável.
(Pentikousis,2011).
- Falta de qualidade, normalização, duplicação,
atualização e recategorização de dados
(Kono, Cunha, 2016).
- Sobreposição de pontos (Kono, 2016).
- Clusterização de dados que permita comparação
entre os tipos de dados.
31/68Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
3/10
1/5
2/5
1/5
3.1 Desafios que serão abordados
7/25
36. 32/68Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
3.2 Método proposto
Autoria própria(2016).
37.
38. 4.1 Processo de Padronização de Dados
33/68Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
Script que padroniza e recategoriza Alvarás de Restaurantes conforme o SEBRAE.
Autoria Própria (2016)
Alvarás de
Curitiba
Out. 2016
Dados
Padronizados
Out. 2016
Script de
Padronização
Out. 2016
39. 34/68
Script que padroniza e recategoriza Alvarás de Restaurantes conforme o SEBRAE.
Autoria Própria (2016)
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
4.1 Processo de Padronização de Dados
40. 35/68
Script que padroniza e recategoriza Alvarás de Restaurantes conforme o SEBRAE.
Autoria Própria (2016)
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
4.1 Processo de Padronização de Dados
41. 36/68
Atualização e recategorização de Alvarás de Restaurantes conforme o SEBRAE.
Autoria Própria (2016)
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
Análise preliminar dos dados
42. 37/68
(A) Crescimento por ano,
(B) Distribuição geográfica,
(C) Alta concentração.
Autoria própria(2016).
Centro
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
43. 38/68
Centro
Cinco tipos de negócios que cresceram mais nas últimas décadas.
Autoria própria(2016).
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
44. 39/68
(A) Crescimento por ano,
(B) Distribuição
geográfica,
(C) Alta concentração.
Autoria própria(2016).
Batel
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
45. 40/68
Cinco tipos de negócios que cresceram mais nas últimas décadas.
Autoria própria(2016).
Batel
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
46. 41/68
(A) Crescimento por ano,
(B) Distribuição geográfica,
(C) Alta concentração.
Autoria própria(2016).
Tatuquara
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
47. 42/68
Cinco tipos de negócios que cresceram mais nas últimas décadas.
Autoria própria(2016).
Tatuquara
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
48. 43/68
1. Problemas de Geocodificação: mesmo utilizando o endereço, o processo de
geocodificação não foi eficiente para 10% dos dados.
2. Problemas com Padrões: Diversos formatos que variam de UTF8 a Latin. geolocalização
usando latitude / longitude (49.343750 -25.564539) ou UTM (666418.3496092
7171543.905212).
3. Diferentes sistemas de coordenadas: IPPUC usa o formato de dados DATUM SAD69, e á
integração com Google Maps, OpenStreetMaps requer um sistema diferente de
coordenadas (SIRGAS2000).
4. Composição de objetos geométricos: IPPUC trabalha com segmentos de linha para ruas
(nó inicial e nó georreferenciado final para cada bloco), mas o Google trabalha com um
objeto de linha para uma única rua.
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
Dificultades identificadas e abordadas
49. 44/68
5. Inconsistências nos dados: A análise prévia dos dados, se identificou que dos 2337
markers, 25 estabelecimentos apresentam inconsistência nos dados, devido a que
segundo a latitude e longitude, não pertencem ao bairro que foram declarados no
banco de dados.
6. Outros desafios: Podemos mencionar outros desafios tais como: (i) diferentes
granularidades dentro das fontes: fontes governamentais apresentaram maior
precisão sobre fontes não oficiais (Google Maps, OSM); e (ii) diferentes tipos e
formatos de dados. Alguns são CSV, XLS, JSON e Shapefile. Dependendo da técnica ou
processo de integração, esses dados ainda devem ser convertidos para SQL para a
definição e inserção de dados.
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
Dificultades identificadas e abordadas
51. Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
Marker Clusterer
Bidimensional
MyMaps
Lista de Markers
Visualização baseada no
Tipo de Negócio
E
P
S E
P
S
Etapa 1 Etapa 2
Estrutura bidimensional que
armazena os markers de acordo ao
Tipo de Negócio
Banco de
Dados
46/68
4.2 Novo Processo Proposto
52. 47/68
4.2.1 Criação do Markers - MyMaps
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
4.2 Adaptações ao Algoritmo
53. 48/68
Data: Marker
distance ← 40000 //// Distância referencial para clusterização
clusterToAdd ← null
pos ← marker.position
switch marker.BusinessType
case 'TipoA' : j ← 0
case 'TipoB' : j ← 1
case 'TipoC' : j ← 2
default: j ← 0
end
for i ← 0 to i ← NumberOfClusters , cluster ← clusters(i)(j) do
center ← cluster.center
if (center) then
d ← distanceBetweenPoints(center, pos)
if ( d <distance) then
distance ← d clusterToAdd ← cluster
end
end
end
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
Nova condição que identifica o tipo de
negócio antes do processo de
clusterização.
Cálculo da distância euclideana
considerando o array bidimensional
(i)(j) do marker e centro do cluster.
4.2 Adaptações ao Algoritmo
4.2.2 Criação da nova estrutura MK Bidimensional
54. 49/68
if (clusterToAdd andclusterToAdd.isMarkerInClusterBounds(marker)) then
clusterToAdd.add(marker)
else
cluster ← new Cluster
cluster.addMarker(marker)
clusters.pushNewCluster(cluster, j)
end
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
Adiciona o marker ao cluster mais
próximo considerando o array
bidimensional (i)(j)
4.2 Adaptações ao Algoritmo
4.2.2 Criação da nova estrutura MK Bidimensional
55. 50/68Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
4.2 Resultado do Novo Algoritmo
Autoria própria (2016).
Marker Clusterer Bidimensional
56. 51/68
1. Pouca experiência em uso de algoritmos de clusterização e
visualização.
2. O algoritmo apresentou mais de 1360 linhas de códigos e
processos entrelazados, que dificultou a implementação na
visualização em Google Maps.
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
Dificultades identificadas e abordadas
57. 52/68Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
Filtro temporal
Filtro
espacial
Filtro tipo
de negócio
4.3 Interface proposta
58. 53/68Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
4.3 Interface proposta
59. 54/68Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
4.3 Interface proposta
Charts and heatmap visualization. Autoria Própria (2016).
60. 54/68Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
4.3 Interface proposta
61. 55/68
Mapa dos
Negócios
Mapa de
Pontos de ônibus
Código disponível em
github
juanjoserodriguez.me/map/b
usiness
juanjoserodriguez.me/map/bus github.com/jrodriguezv10
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
4.3 Demo funcional disponível de:
63. 57/68
Problemas com qualidade de dados. Autoria própria (2016).
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
Dificultades identificadas
64. 58/68Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
Hardware:
● Macbook Pro com sistema operacional OS X O Captain 10GB
1333 MHz DDR3
Software
● SGBD PostgreSQL 9.6.1
● Servidor MAMP V. 3.5.2
● Google Chrome V 52 &
● HTML5, CSS3, Javascript, Google Maps API V3, e finalmente,
Biblioteca Marker Cluster V3.
4.4 Software e Hardware utilizados
65. 59/68
● Processo de avaliação composto por: um termo de
consentimento estabelecido (Anexo 1), questionário inicial
com três perguntas (Anexo 2), e um questionário final com
seis perguntas (Anexo 3).
● As respostas podiam ter os valores entre 1 e 5, sendo
que 1 era a nota mais baixa e 5 a mais alta.
● 27 voluntários do curso de engenharia da computação da
UTFPR e 2337 registros no protótipo de alvarás.
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
4.5 Avaliação preliminar com usuários
66. 60/68
5 Avaliação Preliminar com Usuários
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
Antes de implementar a solução Após de implementar a solução
67. 61/68
5 Avaliação Preliminar com Usuários
69,3%
80,8%
92,3%
84,6%
65,4%
Resultados:
Questionário final com as avaliações antes e após de usar a nova solução. Autoria própria(2016)
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
68.
69. Entender as diversas questões bibliográficas (i) sistemas de informação
geográfica, (ii) cidades inteligentes, (iii) dados abertos, (iv) algoritmos de
clusterização e visualização.
Gerar uma fonte de dados atualizada e recategorizada de Alvarás de
Curitiba.
Adaptar o algoritmo Marker Clusterer que permita realizar clusterização e
visualização espaço-temporal considerando diversos tipos de alvarás.
Gerar um protótipo accesível e compatível com entornos Web e Mobile.
Realizar uma avaliação preliminar
62/68
OBJETIVOS ESPECÍFICOS ATINGIDOS
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
70. 63/68Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
DESAFIOS ESPECÍFICOS ATINGIDOS
SIG
Cid.Inteligentes
Dados Abertos
Visualização e
clusterização
- Complexidade de uso dos SIG (Haklay, 2008).
- Revisões históricas (NGB, 2015).
- Grande volume de dados (Jacobs, 2009).
- Serviços e aplicações móveis ao
desenvolvimento urbano sustentável.
(Pentikousis,2011).
- Falta de qualidade, normalização, duplicação,
atualização e recategorização de dados
(Kono, Cunha, 2016).
- Sobreposição de pontos (Kono, 2016).
- Clusterização de dados que permita comparação
entre os tipos de dados.
7/25
71. Conclusões
1. A Fonte de Dados ainda apresentou diversos problemas em relação a qualidade
de dados, recategorização, normalização entre outros.
2. Marker Clusterer apresentou um processo mais prático, adaptável e
implementável ao contexto de clusterização dos alvarás de Curitiba em relação à
outros algoritmos e bibliotecas analisadas.
3. O Processo de avaliação da solução e aceitação da solução apresentou resultados
alentadores tendo que 84,6% que consideraram o protótipo como uma solução
útil.
64/68Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
72. 65/68Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Seminário 3 | 26 de Outubro de 2016
1. Trabalho submetido titulado: Minha cidade inteligente na Competição de Vídeos
sobre Cidades Inteligentes no XXXIII Simpósio Brasileiro de Telecomunicações
2015. O trabalho ganhou o prêmio de primeiro lugar da competição. Link:
http://www.sbrt.org.br/sbrt2015/premiacao-competicao-de-video/.
2. Artigo publicado: “Urban Mobility Challenges - An exploratory analysis of public
transportation data in Curitiba” na Revista de Informática Aplicada da
Universidade Federal do ABC, Brasil.
3. Artigo aceito:: "Uma proposta para apresentar a Computação/Banco de Dados
no Ensino Médio para o Público Feminino". O trabalho foi destacado como um dos
melhores 5 artigos da seção aplicações e experiências no XII Escola Regional de
Banco de Dados 2016, e pode ser verificado no Anexo 1. Link:
http://cross.dc.uel.br/erbd2016/programacao/#ST3.
Resultados e reconhecimentos obtidos :
73. 66/68Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
DESAFIOS PENDENTES / TRABALHOS FUTUROS
SIG
Cid.Inteligentes
Dados Abertos
Visualização e
clusterização
Crowdsourcing e validação de dados, Informação em tempo real,
Segurança de dados, Localização em interiores, Integração de
dados, etc.
18 desafios pendentes
Infraestruturas para cidades inteligentes, aumentar eficiência
energética, pessoas como produtoras de informação, etc.
Qualidade de dados
Clusterização considerando delimitação geográfica, optimização
do processo de desagrupamento, dependência de Google Maps.
74. Sinceros agradecimentos:
1. À Deus, minha esposa, filha e minha querida família,
2. CNPQ, Capes, MRE,
3. À Profa. Nádia Puchalski,
4. Aos Profs. da Dainf,
5. A todos que direta ou indiretamente contribuíram e
contribuem para que este sonho de fazer um mestrado
fora do meu país seja uma realidade.
67/68Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Seminário 3 | 26 de Outubro de 2016
75. Google confidential | Do not distribute
Juan José Rodríguez
Orientadora: Nádia Puchalski
68/68
Muchas Gracias!
Clusterização e Visualização Espaço-Temporal de
dados georreferenciados adaptando o algoritmo
Marker Clusterer – Um caso de uso em Curitiba