Análise de Agrupamentos em Dados de Origem e Destino no Município de São Paulo

ANÁLISE DE AGRUPAMENTOS
(Cluster Analysis)
Regionalização
Prática no Geoda
Vitor Vieira Vasconcelos
Flávia F. Feitosa
Métodos e Técnicas de Análise da Informação para o Planejamento
Agosto de 2019

• Análise de Agrupamentos
 Medidas de similaridade
 Métodos de agrupamento
o Em árvore (hierárquico)
o Médias K
o Regionalização - Skater
 Prática no Geoda
Conteúdo

HAIR; BLACK; BABIN; ANDERSON; TATHAM. Análise
Multivariada de Dados. 6ª ed., 2009.
Capítulo 8 – Análise de Agrupamentos
Referência Principal

É uma técnica analítica pra identificar subgrupos
significativos de entidades homogêneas
(pessoas/objetos/lugares).
O objetivo é classificar uma amostra de entidades
em um número menor de grupos mutuamente
excludentes, com base nas similaridades entre as
entidades.
Busca por uma estrutura “natural” entre as
observações com base em um perfil multivariado.
HAIR; BLACK; BABIN; ANDERSON; TATHAM. Análise Multivariada de Dados. 6ª ed., 2009.

Os agrupamentos resultantes de entidades devem
exibir elevada homogeneidade interna (dentro
dos agrupamentos) e elevada heterogeneidade
externa (entre agrupamentos).
Idealmente, os
objetos dentro de um
agrupamento estarão
próximos quando
representados
graficamente, e
diferentes
agrupamentos estarão
distantes.

Agrupamentos com mais de
duas variáveis

http://www.vias.org/science_cartoons/cluster_analysis.html
Agrupamentos usando
dados espaciais

1. Classificar os setores censitários de acordo com as
diferentes dimensões de justiça/injustiça ambiental.
2. Classificar os municípios de SP em função das diferentes
dimensões de violência contra a mulher
3. Classificar os bairros do ABC de acordo com a
quantidade/perfil dos lançamentos residenciais
4. Classificar os distritos de SP de acordo com as variáveis de
infraestrutura e entorno dos domicílios
5. …
Exemplos “inspirados” nos trabalhos
propostos pelos alunos

Conjunto de variáveis que representam as
características usadas para comparar objetos da
análise de agrupamentos. Deve ser especificado pelo
analista.
Exemplos considerando as propostas de trabalho
apresentadas ???
Variável Estatística de Agrupamento

Procedimentos para Análise de
Agrupamento

Características da Análise
de Agrupamentos
1. É descritiva, não-teórica e não-inferencial
2. Sempre criará agrupamentos, independente da
existência real de alguma estrutura dos dados
3. Variedade de vias e critérios para a definição dos grupos,
o que possibilita a obtenção de soluções diferentes
4. Não é generalizável, pois é totalmente dependente das
variáveis usadas como base para a medida de
similaridade

Como agrupar esses
elementos?
Família
Simpsons
Funcionários
da escola
Mulheres Homens

QUESTÕES-CHAVE
1. Como medir similaridade?
2. Como formar os agrupamentos?
3. Quantos grupos formar?

1. Medição de Similaridade
Agrupamentos são grupos de objetos semelhantes.
Precisamos, portanto, definir uma medida do grau de
similaridade/dissimilaridade entre os objetos.
É possível medir similaridade, por exemplo, de acordo com a
distância euclidiana entre cada par de observações.

2. Formação de Agrupamentos
Definida a medida de similaridade a ser adotada,
precisamos formar agrupamentos com base na
similaridade de cada par de observações.
Esse procedimento deve determinar a pertinência de
cada observação para cada grupo formado.

• Diminuir a variação entre agrupamentos
• Diminuir a variação dentro dos agrupamentos

• Ligação entre grupos
1
2
1
2
1
2
1
2
3
4 5
3
4 5
3
4 5
3
4 5. .
Single-Linkage
Distância ao vizinho mais próximo
Complete-Linkage
Distância ao vizinho mais afastado
Average-Linkage
Distância média aos elementos
Centroid-linkage
Distância ao centro médio dos elementos

3. Número de Agrupamentos
Quantos grupos usar?
1. Grupos que fazem sentido na hora de interpretar
2. Utilidade / tempo disponível do usuário
3. Menor variação dentro dos grupos
vs.
Maior variação entre os grupos

DILEMA
Menor nr. de agrupamentos &
Menor homogeneidade interna nos grupos
VS.
Maior nr. de agrupamentos &
Maior homogeneidade interna nos grupos

Procurar pelo “cotovelo”
Número de grupos
Variânciainternaaosgrupos

Indicadores
1. Variância interna entre os grupos
2. Distância entre os grupos
3. Variância interna
Variância interna + variância entre grupos

Métodos de Agrupamento
1. Agrupamento em árvore (tree clustering): método
aglomerativo hierárquico
2. K-médias (k-means): método não hierárquico por
repartição
3. Espacial – Regionalização via SKATER

Agrupamento em Árvore
https://www.cs.us.es/~fran/curso_unia/clustering.html

Considere as seguintes observações:
Variável de
Agrupamento
Observação
A B C D E F G
Variável 1 (V1) 3 4 4 2 6 7 6
Variável 2 (V2) 2 5 7 7 6 7 4

0
2
4
6
8
0 2 4 6 8
V2
V1
D C
E
F
A
B
G

0
2
4
6
8
0 2 4 6 8
V2
V1
D C
E
F
A
B
G
Como medimos similaridade?
Neste exemplo, utilizaremos a
distância euclidiana (linha reta)
entre cada par de observações

Matriz de Proximidade de Distâncias
Euclidianas entre Observações
Observação
A B C D E F G
A -
B 3,162 -
C 5,099 2,000 -
D 5,099 2,828 2,000 -
E 5,000 2,236 2,236 4,123 -
F 6,403 3,606 3,000 5,000 1,414 -
G 3,606 2,236 3,606 5,000 2,000 3,162 -

Matriz de Proximidade de Distâncias
Euclidianas entre Observações
Observação
A B C D E F G
A -
B 3,162 -
C 5,099 2,000 -
D 5,099 2,828 2,000 -
E 5,000 2,236 2,236 4,123 -
F 6,403 3,606 3,000 5,000 1,414 -
G 3,606 2,236 3,606 5,000 2,000 3,162 -
Menor Distância,
Maior Similaridade

(1) Identificar as observações mais próximas (E e F) e
combiná-las em um agrupamento

(2) Encontrar próximos pares de observações mais
semelhantes.

Dendograma
7 grupos 6 grupos 2 grupos

K-MÉDIAS
Gera k diferentes grupos com a maior distinção possível
entre eles.
Parte de k-conjuntos aleatórios e move os objetos entre
estes conjuntos com o objetivo de:
(1) Minimizar a variabilidade dentro dos conjuntos
(2) Maximizar a variabilidade entre conjuntos

K-MÉDIAS
MINIMIZAR
VARIÂNCIAS
INTRA-GRUPOS
MAXIMIZAR
VARIÂNCIAS
INTER-GRUPOS

Dados devem estar normalizados (por exemplo, entre 0 e 1) ou padronizados (z-escore)

Grupos de Entropia
• Grupos com poucos elementos, bastante diferentes
do restante da amostra
• Úteis para análise de valores atípicos

Método Skater
Técnica:
Minimizar a variabilidade entre os agrupamentos, mas
mantendo a contiguidade de todos os elementos em cada
agrupamento
Resultado:
Regiões relativamente homogêneas espacialmente contínuas
Regionalização
Neves, M. C. Procedimentos Eficientes para Regionalização de Unidades Socioeconômicas em Bancos de Dados Geográficos.
Tese de Doutorado, INPE, 2003. Disponível em: http://www.dpi.inpe.br/gilberto/teses/tese_marcos.pdf
• Não pode haver elementos sem vizinhos
Ex: As feições formam uma região espacialmente contígua

Árvore Geradora Mínima
Regionalização

 Inicialmente associa-se "custos" às arestas
 Os "custos" são calculados em função da similaridade
entre os geo-objetos
 Depois são eliminadas as arestas de menor "custo"

 Procedimento de poda procura obter:
- regiões mais homogêneas
- mais equilibradas em termos de números de geo-
objetos por região.

Prática no GeoDa
Dados Origem e Destino 2007 – Município de São Paulo
Estabelecer grupos de zonas semelhantes quanto à
proporção de viagens do tipo:
V1: “transporte coletivo”
V2: “transporte individual”
V3: “transporte não motorizado”
Arquivo: OD2007_SP.shp

ANÁLISE EXPLORATÓRIA
Explore > 3D Scatterplot

AGRUPAMENTO EM ÁRVORE
Clusters > Hierarchical

Para que todas as
variáveis tenham a
mesma influência

K-MÉDIAS
Usar coordenadas como
variáveis de agrupamento

Criar matriz de vizinhança:
Tools > Weights Manager > Create
ID = Zona
Queen de ordem 1
SKATER

Clusters > Skater
SKATER
Parâmetro mínimo
(ex: população)
Área mínima

Trabalho Final
4. RESULTADOS E DISCUSSÃO
 Apresentação e interpretação dos resultados
 Preparação dos Dados e Análise Exploratório
• Seleção das Variáveis, Estatísticas Descritivas, Mapas, Gráficos, Análise de Correlação,
Transformação de Variáveis (se necessário), autocorrelação espacial
 Análise de Regressão Clássica
• Escolha e Ajuste do Modelo de Regressão
• Diagnósticos para verificar se o modelo ajustado é adequado (não esqueça de incluir o
diagnóstico de autocorrelação espacial dos resíduos)
• Analisar se será necessária uma análise de regressão espacial:
- Os resíduos da regressão estão correlacionados espacialmente?
- O Teste de Multiplicadores de Lagrange indica que uma regressão espacial aprimoraria o
modelo?
- O Critério de Informação de Akaike indica que um modelo de regressão espacial seria mais
efetiva que a regressão convencional?
 Análise de Regressão Espacial
• Escolha de uma ou mais técnicas de análise de regressão espacial (spatial lag, spatial error
e/ou GWR).
• Explicar a(s) técnica(s) escolhida(s), reportar os resultados da regressão e os diagnósticos.
 Análise de Agrupamento e/ou Regionalização
• Obrigatório se não fizer a regressão espacial
• Opcional (bônus extra) se fizer também a regressão espacial

Análise de Agrupamentos em Dados de Origem e Destino no Município de São Paulo

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (20)

Semelhante a Análise de Agrupamentos em Dados de Origem e Destino no Município de São Paulo

Semelhante a Análise de Agrupamentos em Dados de Origem e Destino no Município de São Paulo (20)

Mais de Vitor Vieira Vasconcelos

Mais de Vitor Vieira Vasconcelos (20)

Análise de Agrupamentos em Dados de Origem e Destino no Município de São Paulo