Análise de Agrupamentos (Clusters)

ANÁLISE DE AGRUPAMENTOS
(Cluster Analysis)
Vitor Vieira Vasconcelos
Flávia da Fonseca Feitosa
BH1350 – Métodos e Técnicas de Análise da Informação para o Planejamento
Agosto de 2017

• Análise de Agrupamentos
 Medidas de similaridade
 Métodos de agrupamento
o Em árvore (hierárquico)
o Médias K
 Prática no SPSS e QGIS
Conteúdo

HAIR; BLACK; BABIN; ANDERSON; TATHAM. Análise
Multivariada de Dados. 6ª ed., 2009.
Capítulo 9 – Análise de Agrupamentos
Referência Principal

É uma técnica analítica pra identificar subgrupos
significativos de entidades homogêneas
(pessoas/objetos/lugares).
O objetivo é classificar uma amostra de entidades
em um número menor de grupos mutuamente
excludentes, com base nas similaridades entre as
entidades.
Busca por uma estrutura “natural” entre as
observações com base em um perfil multivariado.
HAIR; BLACK; BABIN; ANDERSON; TATHAM. Análise Multivariada de Dados. 6ª ed., 2009.

Os agrupamentos resultantes de entidades devem
exibir elevada homogeneidade interna (dentro
dos agrupamentos) e elevada heterogeneidade
externa (entre agrupamentos).
Idealmente, os
objetos dentro de um
agrupamento estarão
próximos quando
representados
graficamente, e
diferentes
agrupamentos estarão
distantes.

Agrupamentos com mais de
duas variáveis

1. Classificar os setores censitários de acordo com as
diferentes dimensões de justiça/injustiça ambiental.
2. Classificar os municípios de SP em função das diferentes
dimensões de violência contra a mulher
3. Classificar os bairros do ABC de acordo com a
quantidade/perfil dos lançamentos residenciais
4. Classificar os distritos de SP de acordo com as variáveis de
infraestrutura e entorno dos domicílios
5. …
Exemplos “inspirados” nos trabalhos
propostos pelos alunos

Conjunto de variáveis que representam as
características usadas para comparar objetos da
análise de agrupamentos.
Deve ser especificado pelo analista.
Variável Estatística de Agrupamento

Procedimentos para Análise de
Agrupamento

Características da Análise
de Agrupamentos
1. É descritiva, não-teórica e não-inferencial
2. Sempre criará agrupamentos, independente da
existência real de alguma estrutura dos dados
3. Variedade de vias e critérios para a definição dos grupos,
o que possibilita a obtenção de soluções diferentes
4. Não é generalizável, pois é totalmente dependente das
variáveis usadas como base para a medida de
similaridade

QUESTÕES-CHAVE
1. Como medir similaridade?
2. Como formar os agrupamentos?
3. Quantos grupos formar?

1. Medição de Similaridade
Agrupamentos são grupos de objetos semelhantes.
Precisamos, portanto, definir uma medida do grau de
similaridade/dissimilaridade entre os objetos.
É possível medir similaridade, por exemplo, de acordo com a
distância euclidiana entre cada par de observações.

1. Medição de Similaridade
• Medidas de proximidade
o Distância Euclidiana (ou Euclidiana Quadrática)
• Medidas de Padrões
o Coeficiente de correlação “r” de Pearson

2. Formação de Agrupamentos
Definida a medida de similaridade a ser adotada,
precisamos formar agrupamentos com base na
similaridade de cada par de observações.
Esse procedimento deve determinar a pertinência a
grupo de cada observação para cada conjunto de
agrupamentos formados

• Diminuir a variação entre agrupamentos
• Diminuir a variação dentro dos agrupamentos

• Ligação entre grupos
1
2
1
2
1
2
1
2
3
4 5
3
4 5
3
4 5
3
4 5. .
Single-Linkage
Distância ao vizinho mais próximo
Complete-Linkage
Distância ao vizinho mais afastado
Average-Linkage
Distância média aos elementos
Centroid-linkage
Distância ao centro médio dos elementos

• Método Ward
 Diminuir a variância interna nos agrupamentos
 Tende a gerar agrupamentos com números mais
similares de casos do que o método de ligação entre
grupos

3. Número de Agrupamentos
DILEMA
Menor nr. de agrupamentos &
Menor homogeneidade interna nos grupos
VS.
Maior nr. de agrupamentos &
Maior homogeneidade interna nos grupos

Qual o melhor número de agrupamentos?
 Regra do Cotovelo

Métodos de Agrupamento
1. Agrupamento em árvore (tree clustering): método
aglomerativo hierárquico
2. K-médias (k-means): método não hierárquico por
repartição
3. Duas etapas: 1º Método -> 2º Método

Agrupamento em Árvore
Considere as seguintes observações:
Variável de
Agrupamento
Observação
A B C D E F G
Variável 1 (V1) 3 4 4 2 6 7 6
Variável 2 (V2) 2 5 7 7 6 7 4

0
2
4
6
8
0 2 4 6 8
V2
V1
D C
E
F
A
B
G

0
2
4
6
8
0 2 4 6 8
V2
V1
D C
E
F
A
B
G
Como medimos similaridade?
Neste exemplo, utilizaremos a
distância euclidiana (linha reta)
entre cada par de observações

Matriz de Proximidade de Distâncias
Euclidianas entre Observações
Observação
A B C D E F G
A -
B 3,162 -
C 5,099 2,000 -
D 5,099 2,828 2,000 -
E 5,000 2,236 2,236 4,123 -
F 6,403 3,606 3,000 5,000 1,414 -
G 3,606 2,236 3,606 5,000 2,000 3,162 -

Matriz de Proximidade de Distâncias
Euclidianas entre Observações
Observação
A B C D E F G
A -
B 3,162 -
C 5,099 2,000 -
D 5,099 2,828 2,000 -
E 5,000 2,236 2,236 4,123 -
F 6,403 3,606 3,000 5,000 1,414 -
G 3,606 2,236 3,606 5,000 2,000 3,162 -
Menor Distância,
Maior Similaridade

(1) Identificar as observações mais próximas (E e F) e
combiná-las em um agrupamento

(2) Encontrar próximos pares de observações
mais semelhantes

Dendograma
7 grupos 6 grupos 2 grupos

K-MÉDIAS
Gera k diferentes grupos com a maior distinção possível
entre eles.
Parte de k-conjuntos aleatórios e move os objetos entre
estes conjuntos com o objetivo de:
(1) Minimizar a variabilidade dentro dos conjuntos
(2) Maximizar a variabilidade entre conjuntos

K-MÉDIAS
MINIMIZAR
VARIÂNCIAS
INTRA-GRUPOS
MAXIMIZAR
VARIÂNCIAS
INTER-GRUPOS

Agrupamentos em duas
etapas
Exemplo:
1. Análise de Agrupamento Hierárquica
2. Usa pontos centrais dos agrupamentos da análise
hierárquica para criar os primeiros conjuntos de médias K
3. Realiza as modificações aleatórias para tentar:
• Minimizar a variabilidade dentro dos conjuntos
• Maximizar a variabilidade fora dos conjuntos

Grupos de Entropia
• Grupos com poucos elementos, bastante diferentes
do restante da amostra
• Úteis para análise de valores atípicos

Prática no SPSS
• Abrir arquivo: agua&rede2010_SNIS_v2.sav
• Analisar -> Classificar -> Cluster Hierárquico

Análise de Cluster Hierárquica

 Método…
Padronizar: Minimizar problemas oriundos do uso de
unidades e dispersões distintas entre as variáveis.

Após rodar cada análise de agrupamento, atribua um nome
compreensível ao atributo de agrupamento

Heterogeneidade por número de
agrupamentos

Heterogeneidade por número de
agrupamentos
0
2000
4000
6000
8000
10000
12000
14000
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
Heterogeneirdade

 Analisar -> Relatórios -> Resumo de Caso

 Refazer análise hierárquica com método de ligação entre
grupos

 Analisar -> Relatórios -> Resumos de Caso

 Refazer análise hierárquica com método Ward e
intervalo por correlação de Pearson

Correlação de Pearson nos Agrupamentos
Par de
correlação
Renda
X
Rede2
Renda
X
Consumo
Rede2
X
Consumo
Total 0.44 0.60 0.63
Agrupamento
1 0.66 0.74 0.81
2 0.89 0.93 0.86
3 0.93 0.78 0.79
4 0.66 0.86 0.70
5 0.73 0.86 0.93

 Refazer análise hierárquica com método Ligação entre
grupos e intervalo por correlação de Pearson

 Análise hierárquica com método Ligação entre grupos e
intervalo por correlação de Pearson
Par de
correlação
Renda
X
Rede2
Renda
X
Consumo
Rede2
X
Consumo
Agrupamento
1 0.69 0.74 0.86
2 0.89 0.96 0.88
3 0.95 0.83 0.77
4 0.65 0.84 0.69
5 0.86 0.80 0.77
Total 0.44 0.60 0.63

Regressão pelos Agrupamentos de
Correlação de Pearson
Método de Ligação entre grupos

R2 B1 Renda
(padronizado)
B2 Rede2
(padronizado)
Geral 0.53 0.40 0.46
Agrupamento
1 0.78 0.29 0.66
2 0.69 0.95 -0.13*
3 0.92 0.86 0.11
4 0.67 0.54 0.31
5 0.74 0.67 0.26
Regressão pelos Agrupamentos de Correlação de
Pearson, Método Ligação entre grupos
* Não significativo a 95% de confiança

 Refazer análise hierárquica para método Ward e
distância euclidiana quadrática incluindo coordenadas
geográficas X e Y com variáveis
Consumo
Renda
Rede
X
Y
60%
40%

1º Passo: Criar os scores Z das váriáveis
Analisar > Estatísticas Descritivas > Descritivas
K-MÉDIAS

Analisar > Classificar > Cluster de K-médias…
K-MÉDIAS

Podemos exportar, no formato .csv ou .dbf (Dbase IV), os
resultados salvos na tabela.
Em seguida, podemos juntar esta tabela ao shapefile
(União) no QGIS e visualizar os grupos espacialmente
Visualização dos
agrupamentos

1º - Visualizar mapa para Análise Hierárquica
Método Ward – Distância Euclideana ao Quadrado
Visualização dos agrupamentos

Análise Hierárquica
Método Ward
Distância
Euclideana ao
Quadrado

2º - Visualizar mapa para Análise Hierárquica
Ligação entre grupos– Distância Euclideana ao Quadrado

Análise Hierárquica - Distância Euclideana ao Quadrado
Ligação
entre
grupos
Método
Ward

3º - Visualizar mapa para Médias K

Hierárquico X Médias K
Distância
entre
grupos
Hierárquico
Método Ward
Distância
Euclideana ao
Quadrado
Médias K

4º - Visualizar mapa para análise hierárquica
Método Ward – Distância Euclideana Quadrática
Incluindo Coordenadas X e Y

Distância Euclideana ao Quadrado
Incluindo
coordenadas
geográficas
Método Ward

Método Ward – Correlação de Pearson

Par de
correlação
Renda
X
Rede2
Renda
X
Consumo
Rede2
X
Consumo
Agrupamento
1 0.66 0.74 0.81
2 0.89 0.93 0.86
3 0.93 0.78 0.79
4 0.66 0.86 0.70
5 0.73 0.86 0.93
Total 0.44 0.60 0.63
Correlação
Método
Ward

Método de Ligação entre Grupos – Correlação de Pearson

Par de
correlação
Renda
X
Rede2
Renda
X
Consumo
Rede2
X
Consumo
Agrupamento
1 0.69 0.74 0.86
2 0.89 0.96 0.88
3 0.95 0.83 0.77
4 0.65 0.84 0.69
5 0.86 0.80 0.77
Total 0.44 0.60 0.63
Par de
correlação
Renda
X
Rede2
Renda
X
Consumo
Rede2
X
Consumo
Agrupamento
1 0.66 0.74 0.81
2 0.89 0.93 0.86
3 0.93 0.78 0.79
4 0.66 0.86 0.70
5 0.73 0.86 0.93
Total 0.44 0.60 0.63
Ligação
entre
grupos
Método
Ward

Par de
correlação
Renda
X
Rede2
Renda
X
Consumo
Rede2
X
ConsumoAgrupamento
1 0.69 0.74 0.86
2 0.89 0.96 0.88
3 0.95 0.83 0.77
4 0.65 0.84 0.69
5 0.86 0.80 0.77
Total 0.44 0.60 0.63
Ligação
entre
grupos
R2
B1
Renda
B2
Rede2
Geral 0.53 0.40 0.46
Agrupamento
1 0.78 0.29 0.66
2 0.69 0.95 -0.13*
3 0.92 0.86 0.11
4 0.67 0.54 0.31
5 0.74 0.67 0.26
Regressão
Correlação

Gravar dados no Shapefile
 Clique com o botão direito na camada e selecione
“salvar como…”

Exercício
Realize as seguintes análises de agrupamento para os
dados do seu trabalho de curso:
- Método Ward
- Distância Euclideana ao Quadrado
- Correlação de Pearson
- Escolha um número de agrupamentos com base na
heterogeneidade dos grupos
- Realize a regressão para cada um dos agrupamentos de
correlação de Pearson
- Exporte os resultados do SPSS para sua base de dados
do QGIS e gere os dois mapas de agrupamento
- Interprete os resultados

Análise de Agrupamentos (Clusters)

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (20)

Semelhante a Análise de Agrupamentos (Clusters)

Semelhante a Análise de Agrupamentos (Clusters) (20)

Mais de Vitor Vieira Vasconcelos

Mais de Vitor Vieira Vasconcelos (20)

Último

Último (20)

Análise de Agrupamentos (Clusters)