Curso datamining

Seres Humanos e Padrões Conceito Intuitivo Formalizando Na Prática Distâncias Classificadores Elementares Avalia¸cão de Clas
Introdu¸cão ao Reconhecimento de Padrões
(Aprendizagem de Máquina / Data Mining)
Exemplos em Python
Prof. Ronaldo F. Ramos, Dr
29 de maio de 2015
Introdu¸cão ao Reconhecimento de Padrões (Aprendizagem de Máquina / Data Mining)

Roteiro
1 Seres Humanos e Padrões
2 Conceito Intuitivo
3 Formalizando
4 Na Prática
5 Distâncias
6 Classificadores Elementares
7 Avalia¸cão de Classificadores
8 Classificadores Diversos
9 Forma¸cão de Agrupamentos
10 Sele¸cão de Atributos
11 Limpeza de Dados
12 Contatos

Seres Humanos e Padrões
Os sentidos humanos enviam informa¸cões ao cérebro que
reconhece alguns aspectos da realidade.
Sons
Imagens
Sensa¸cão Tátil
Odores
Permitem também a identifica¸cão de padrões lógico-matemáticos
(o que exige um pouco mais do cérebro ;-) ).

Conceito de Reconhecimento de Padrões
Reconhecer um padrão equivale a classificar um objeto f´ısico ou
lógico como pertencente ou não a uma predeterminada categoria.

Conceito Intuitivo
Dadas as categorias abaixo:
(a) Laranjas (b) Ma¸c˜as
A qual delas pertencem os objetos abaixo?

Conceito Intuitivo - Novo Grupo
(c) Laranjas (d) Ma¸c˜as (e) Tangerinas
A qual delas pertence o objeto abaixo?

Similaridade
Seu cérebro fez uma análise de
similaridade.
Pode-se fazer esta mesma análise no
computador?
O que precisaremos para tal?

Uma defini¸cão quase formal de RP
Um problema de RP é composto de ...

Um Conjunto de K Classes

Um Conjunto de objetos Ni por Classes Ki

Um Conjunto de atributos nj por objeto Ni

Mecanismo de Mem´oria e Aprendizagem

Regra de Decis˜ao para Calcular Novos Objetos

Critérios de Avalia¸cão do Classificador

Que atributos descrevem bem uma tangerina?
Formato
Esf´erico ou Oval? Esf´erico

Formato
Fruta C´ıtrica
Sim/N˜ao Sim

Formato
Fruta C´ıtrica
Sim/N˜ao Sim
Cor
Laranja????Alaranjado

Formato
Fruta C´ıtrica
Sim/N˜ao Sim
Cor
Rugosidade da Casca
Lisa ou Rugosa?Rugosa

Formato
Fruta C´ıtrica
Sim/N˜ao Sim
Cor
Rugosidade da Casca
Lisa ou Rugosa?Rugosa
Cheiro
Ativo/Fraco? Ativo

Sobre os Atributos
Os atributos são igualmente importantes?
É fácil definir os atributos de um objeto?

Sobre os Atributos
Nem sempre.
Nem sempre.

Transforma¸c˜ao de Atributos
Atributos devem ser expressos na forma de n´umeros.
Desta forma o conjunto de atributos da tangerina [Formato, Fruta
C´ıtrica, Cor, Rugosidade da Casca, Cheiro] devem ser expressos
como um vetor de atributos tais como:
X = [0, 1, 2, 1, 1] 1
1
A forma de numeralizar pode fazer muita diferen¸ca no uso do modelo

Adotando as seguintes convencões:
Atributo Valores Textuais Numéricos
Formato Esférico,Oval,Alongado 0,1,2
Fruta C´ıtrica Não,Sim 0,1
Cor Amarelo,Vermelho,Alaranjado,Verde 0,1,2,3
Rugosidade lisa,rugosa 0,1
Cheiro Não,Sim 0,1

Ter´ıamos as seguintes representa¸cões para as frutas
Objeto Laranja (X) [0, 1, 2, 1, 0]
Objeto Ma¸cã (Y) [0, 0, 1, 0, 0]
Objeto Tangerina (Z)[0, 1, 2, 1, 1]
O Objeto tangerina (Z) se assemelha mais a
laranja(X) ou a Ma¸cã(Y)?

Conceito de Distância
Uma forma de medir a similaridade entre dois padrões é
calcular a distância entre eles.
Distância city-block, quarteirão ou manhattan.
Dq(X, Y) = |X1 − Y1| + |X2 − Y2| + ... + |Xn − Yn|
Distância Euclidiana.
De(X, Y) = (X1 − Y1)2 + (X2 − Y2)2 + ... + (Xn − Yn)2

Compara¸c˜ao entre Euclidiana e Quarteir˜ao
Z
Z
Z
Z
Z
Z
Z
Z
Z
Z
ZZ
C B
A
53
4
Dq(A, B) = 3 + 4 = 7
De(A, B) =
√
32 + 42 = 5

Agora ´e s´o fazer as contas

Classificadores Elementares
Agora você sabe que uma tangerina é mais parecida com uma
laranja do que com uma ma¸cã..;-).

Classiﬁcadores Elementares
Agora vamos estudar as ﬂores....

Morfologia das Flores

Iris (Flôr-de-lis)
Valei-me Deus é o fim do nosso amor .....
Iris Setosa Iris Virg´ınica Iris Versicolor
Estudo feito por Sir Ronald Fischer em 1936
(Análise Discriminante).

Base de Dados de Íris I
Na WIKIPEDIA e em outros lugares encontraremos a base de
dados de Fischer.
SL=Comprimento da Sépala SW=Largura da Sépala
PL=Comprimento da Pétala PW = Largura da Pétala
SL SW PL PW Species
5.1 3.5 1.4 0.2 setosa
4.9 3.0 1.4 0.2 setosa
4.7 3.2 1.3 0.2 setosa
4.6 3.1 1.5 0.2 setosa
5.0 3.6 1.4 0.2 setosa
5.4 3.9 1.7 0.4 setosa
4.6 3.4 1.4 0.3 setosa
5.0 3.4 1.5 0.2 setosa

Base de Dados de ´Iris II
4.4 2.9 1.4 0.2 setosa
4.9 3.1 1.5 0.1 setosa
5.4 3.7 1.5 0.2 setosa
4.8 3.4 1.6 0.2 setosa
4.8 3.0 1.4 0.1 setosa
4.3 3.0 1.1 0.1 setosa
5.8 4.0 1.2 0.2 setosa
5.7 4.4 1.5 0.4 setosa
5.4 3.9 1.3 0.4 setosa
5.1 3.5 1.4 0.3 setosa
5.7 3.8 1.7 0.3 setosa
5.1 3.8 1.5 0.3 setosa
5.4 3.4 1.7 0.2 setosa

Base de Dados de ´Iris III
5.1 3.7 1.5 0.4 setosa
4.6 3.6 1.0 0.2 setosa
5.1 3.3 1.7 0.5 setosa
4.8 3.4 1.9 0.2 setosa
5.0 3.0 1.6 0.2 setosa
5.0 3.4 1.6 0.4 setosa
5.2 3.5 1.5 0.2 setosa
5.2 3.4 1.4 0.2 setosa
4.7 3.2 1.6 0.2 setosa
4.8 3.1 1.6 0.2 setosa
5.4 3.4 1.5 0.4 setosa
5.2 4.1 1.5 0.1 setosa
5.5 4.2 1.4 0.2 setosa

Base de Dados de ´Iris IV
4.9 3.1 1.5 0.2 setosa
5.0 3.2 1.2 0.2 setosa
5.5 3.5 1.3 0.2 setosa
4.9 3.6 1.4 0.1 setosa
4.4 3.0 1.3 0.2 setosa
5.1 3.4 1.5 0.2 setosa
5.0 3.5 1.3 0.3 setosa
4.5 2.3 1.3 0.3 setosa
4.4 3.2 1.3 0.2 setosa
5.0 3.5 1.6 0.6 setosa
5.1 3.8 1.9 0.4 setosa
4.8 3.0 1.4 0.3 setosa
5.1 3.8 1.6 0.2 setosa

Base de Dados de ´Iris V
4.6 3.2 1.4 0.2 setosa
5.3 3.7 1.5 0.2 setosa
5.0 3.3 1.4 0.2 setosa
7.0 3.2 4.7 1.4 versicolor
6.4 3.2 4.5 1.5 versicolor
6.9 3.1 4.9 1.5 versicolor
5.5 2.3 4.0 1.3 versicolor
6.5 2.8 4.6 1.5 versicolor
5.7 2.8 4.5 1.3 versicolor
6.3 3.3 4.7 1.6 versicolor
4.9 2.4 3.3 1.0 versicolor
6.6 2.9 4.6 1.3 versicolor
5.2 2.7 3.9 1.4 versicolor

Base de Dados de ´Iris VI
5.0 2.0 3.5 1.0 versicolor
5.9 3.0 4.2 1.5 versicolor
6.0 2.2 4.0 1.0 versicolor
6.1 2.9 4.7 1.4 versicolor
5.6 2.9 3.6 1.3 versicolor
6.7 3.1 4.4 1.4 versicolor
5.6 3.0 4.5 1.5 versicolor
5.8 2.7 4.1 1.0 versicolor
6.2 2.2 4.5 1.5 versicolor
5.6 2.5 3.9 1.1 versicolor
5.9 3.2 4.8 1.8 versicolor
6.1 2.8 4.0 1.3 versicolor
6.3 2.5 4.9 1.5 versicolor

Base de Dados de ´Iris VII
6.1 2.8 4.7 1.2 versicolor
6.4 2.9 4.3 1.3 versicolor
6.6 3.0 4.4 1.4 versicolor
6.8 2.8 4.8 1.4 versicolor
6.7 3.0 5.0 1.7 versicolor
6.0 2.9 4.5 1.5 versicolor
5.7 2.6 3.5 1.0 versicolor
5.5 2.4 3.8 1.1 versicolor
5.5 2.4 3.7 1.0 versicolor
5.8 2.7 3.9 1.2 versicolor
6.0 2.7 5.1 1.6 versicolor
5.4 3.0 4.5 1.5 versicolor
6.0 3.4 4.5 1.6 versicolor

Base de Dados de ´Iris VIII
6.7 3.1 4.7 1.5 versicolor
6.3 2.3 4.4 1.3 versicolor
5.6 3.0 4.1 1.3 versicolor
5.5 2.5 4.0 1.3 versicolor
5.5 2.6 4.4 1.2 versicolor
6.1 3.0 4.6 1.4 versicolor
5.8 2.6 4.0 1.2 versicolor
5.0 2.3 3.3 1.0 versicolor
5.6 2.7 4.2 1.3 versicolor
5.7 3.0 4.2 1.2 versicolor
5.7 2.9 4.2 1.3 versicolor
6.2 2.9 4.3 1.3 versicolor
5.1 2.5 3.0 1.1 versicolor

Base de Dados de ´Iris IX
5.7 2.8 4.1 1.3 versicolor
6.3 3.3 6.0 2.5 virginica
5.8 2.7 5.1 1.9 virginica
7.1 3.0 5.9 2.1 virginica
6.3 2.9 5.6 1.8 virginica
6.5 3.0 5.8 2.2 virginica
7.6 3.0 6.6 2.1 virginica
4.9 2.5 4.5 1.7 virginica
7.3 2.9 6.3 1.8 virginica
6.7 2.5 5.8 1.8 virginica
7.2 3.6 6.1 2.5 virginica
6.5 3.2 5.1 2.0 virginica
6.4 2.7 5.3 1.9 virginica

Base de Dados de ´Iris X
6.8 3.0 5.5 2.1 virginica
5.7 2.5 5.0 2.0 virginica
5.8 2.8 5.1 2.4 virginica
6.4 3.2 5.3 2.3 virginica
6.5 3.0 5.5 1.8 virginica
7.7 3.8 6.7 2.2 virginica
7.7 2.6 6.9 2.3 virginica
6.0 2.2 5.0 1.5 virginica
6.9 3.2 5.7 2.3 virginica
5.6 2.8 4.9 2.0 virginica
7.7 2.8 6.7 2.0 virginica
6.3 2.7 4.9 1.8 virginica
6.7 3.3 5.7 2.1 virginica

Base de Dados de ´Iris XI
7.2 3.2 6.0 1.8 virginica
6.2 2.8 4.8 1.8 virginica
6.1 3.0 4.9 1.8 virginica
6.4 2.8 5.6 2.1 virginica
7.2 3.0 5.8 1.6 virginica
7.4 2.8 6.1 1.9 virginica
7.9 3.8 6.4 2.0 virginica
6.4 2.8 5.6 2.2 virginica
6.3 2.8 5.1 1.5 virginica
6.1 2.6 5.6 1.4 virginica
7.7 3.0 6.1 2.3 virginica
6.3 3.4 5.6 2.4 virginica
6.4 3.1 5.5 1.8 virginica

Base de Dados de ´Iris XII
6.0 3.0 4.8 1.8 virginica
6.9 3.1 5.4 2.1 virginica
6.7 3.1 5.6 2.4 virginica
6.9 3.1 5.1 2.3 virginica
5.8 2.7 5.1 1.9 virginica
6.8 3.2 5.9 2.3 virginica
6.7 3.3 5.7 2.5 virginica
6.7 3.0 5.2 2.3 virginica
6.3 2.5 5.0 1.9 virginica
6.5 3.0 5.2 2.0 virginica
6.2 3.4 5.4 2.3 virginica
5.9 3.0 5.1 1.8 virginica

Algoritmo do Vizinho Mais Próximo - Neareast Neighbor
1 Seja Xnew um vetor cuja classe é desconhecida.
2 Procurar na tabela o vetor armazenado mais próximo de
Xnew.
3 Chamar de Xnear o vetor mais próximo de Xnew
4 Atribuir a Xnew a mesma classe de Xnear
5 Se a classifica¸cão for correta incluir Xnew na tabela.
Mão à obra, ou melhor ao código ...

Qual o problema com o Vizinho Mais Pr´oximo?

Uma Solu¸cão
KNN - K Vizinhos Mais Próximos
(K=Número Ímpar Inteiro)
O Padrão é classificado de acordo com a maioria dos vizinhos.

Algoritmo dos K Vizinhos Mais Próximos - K Neareast
Neighbors
1 Armazenar os exemplos em uma tabela.
2 seja Xnew um vetor de classe desconhecida.
3 Encontrar na tabela os K vetores mais próximos de Xnew
4 Seja Ck a classe a que pertence a maioria dos vetores.
5 Atribuir Classe(Xnew) = Ck
6 Se a classifica¸cão for correta incluir Xnew na tabela.
Bom, vamos ao código ...

Vantagens e Desvantagens do KNN
Vantagens
Simplicidade de Implementa¸cão.
Ideal para tabelas pequenas ou médias.
Não requer treinamento.
Desvantagens
Alto custo computacional para tabelas grandes.
A constante K é obtida por tentativa e erro.

Distância M´ınima ao Centroide
Cada classe passa a ter um único vetor que a representa
chamado de centróide.
Após o ”treinamento”não será necessário armazenar os
exemplos. Apenas os centróides permanecem na memória.
O centróide é o vetor médio, ou seja, a média dos exemplos
da classe.
O centróide é o representante de sua classe.

Distˆancia M´ınima ao Centr´oide

Atualizando o Centróide
Como foi visto o centróide representa a classe, portanto,
descoberto um novo indiv´ıduo da classe, o centróide deve/pode ser
atualizado.
Mj (nj + 1) = (1 − a)Mj (nj ) + a(Xnew)
Onde:
a = 1/(nj + 1) é o fator de aprendizagem
nj é o total de exemplos utilizados antes da chegada do Xnew
Mj (nj ) é o centróide antes da chegada do Xnew
Mj (nj + 1) é o novo centróide com Xnew incorporado.

Estratégias de Avalia¸cão
(Montando um Experimento de Avalia¸cão)
Cuidado. O vilão se chama superadapta¸cão ou sobre-ajuste.
(OVERFITTING)

(Treinamento e Teste)

(Valida¸c˜ao Cruzada)

Avaliando Classificadores - Matriz de Confusão
Corretamente Classificadas = 5 + 3 + 11 = 19
Erroneamente Classificadas = 2 + 3 + 0 + 0 + 2 + 1 = 8
Total de Instâncias = 27
Taxa de Acerto = 19/27 (70,4 % )
Taxa de Erro = 8/27 (29,6 % )

Então basta termos uma boa taxa de acerto e nosso classificador
está pronto pra ser usado?

N˜ao necessariamente.

Para cada uma das classes existem os elementos (instâncias)
que pertecem a classe. São os POSITIVOS para a classe.
Para cada classe existem as instâncias que não pertecem a
classe. São os NEGATIVOS para a classe.
Os elementos classificados como POSITIVOS, quando
corretos, são chamados de VERDADEIROS POSITIVOS.
Os elementos classificados como POSITIVOS, quando
incorretamente classificados, são chamados de FALSOS
POSITIVOS
Os elementos classificados como NEGATIVOS, quando
corretos, são chamados de VERDADEIROS NEGATIVOS.
Os elementos classificados como NEGATIVOS, quando
incorretamente classificados, são chamados de FALSOS
NEGATIVOS.

Tabela de Confusão para a Classe dos Gatos
TP = True Positives. Verdadeiros Positivos. Classificados corretamente como gatos.
FP = False Positives. Falsos Positivos. Classificados como gatos que são outra coisa
FN = False Negatives. Falsos Negativos. Classificados como outra coisa, mas são realmente gatos.
TN = True Negatives. Classificados como outra coisa e realmente não são gatos.

Avaliando Classificadores - Questões
Dentre os elementos classificados como positivos, qual o
percentual, ou melhor, a TAXA de VERDADEIROS POSITIVOS?
(TAXA de VERDADEIROS POSITIVOS OU ”TRUE POSITIVE
RATE”) (TPR).

Quem são os positivos? R. São os Verdadeiros Positivos (TP) mais
os FALSOS NEGATIVOS (FN).
Portanto: TPR = TP / (TP + FN)
OBSs:
O TPR se aproxima de um quando o FN se aproxima de zero.
Queremos um TPR alto quando não queremos deixar um
POSITIVO passar por NEGATIVO. Imagine que se trata de um
exame para deteçcão de uma doen¸ca altamente contagiosa. Melhor
termos muitos falsos positivos do que falsos negativos. (Melhor ter
um inocente preso que um bandido solto, hehehe)
TPR também é chamada de RECALL.

Dentre os elementos classiﬁcados como negativos, qual o
percentual, ou melhor, a TAXA dos VERDADEIROS NEGATIVOS?
(TAXA de VERDADEIROS NEGATIVOS OU ”TRUE NEGATIVE
RATE”)(TNR).

Quem são os negativos? R. São os VERDADEIROS NEGATIVOS
(TN) mais os FALSOS POSITIVOS (FP).
Portanto: TNR = TN / (TN + FP)
O TNR se aproxima de um quando o FP se aproxima de zero.
Queremos um TNR alto quando não queremos deixar um
NEGATIVO passar por POSITIVO. Imagine que você tem uma
empresa que possa ser processada por danos morais caso você
afirme que um de seus clientes está fraudando quando na realidade
ele não está. (FP)
TNR também é chamada de Especificidade (Specificity).

Você já deve ter percebido que a Taxa de Acerto sozinha não quer
dizer muita coisa e nem sempre é o fator mais importante na
escolha de um classificador para o seu problema. A seguir o
resumo.

M´etricas
True Positive Rate (Recall) (TPR). TPR = TP / (TP + FN)
True Negative Rate (Speciﬁcity) SPC = TN / (FP + TN)
Positive Predictive Value (Precision) PPV = TP / (TP + FP)
Negative Predictive Value (NPV) NPV = TN / (TN + FN)
False Positive Rate (fall-out) FPR = FP /( FP + TN)
False Discovery Rate (FDR) FDR = FP /(FP + TP) = 1 -
PPV
False Negative Rate (Miss Rate) FNR = FN / ( FN + TP)
etc etc etc

Métricas Curva ROC - Receiver Operating Characteritics
Área Sob a curva. Acima de 0.9 (excelente). Entre 0.8 e 0.9
(bom). Entre 0.7 e 0.8 (médio). Entre 0.6 e 0.7 (fraco).Abaixo de
0.6 (ineficaz).

ZERO R - O Classiﬁcador do Preconceito
Seja o DataSet Jogar Tˆenis (Dispon´ıvel na Literatura)

O ZERO R classifica as instâncias pela maioria. No caso do deste
dataset temos:
Instâncias classificadas como P (Positivo = SIM) : 9
Instâncias classificadas como N (Negativo = Não) : 5
Classe Maioria: SIM.
Matriz de Confusão:
Real Predito P (SIM) N (Não)
P (SIM) 9 0
N (Não) 5 0

M´etricas
Classe TPR FPR ROC
P (SIM) 1 1 0,5
N (N˜ao) 0 0 0,5
Taxa de Acerto (Acuracidade) : 9/13 = 0,69

Na prática, o classificador Zero R pode ser usado para criar uma
”baseline”para avaliar o seu classificador.

ONE R - Melhorando um Pouco
Observemos o atributo tempo:
Valor Classes P (SIM) N (Não)
Ensolarado 2 3
Nublado 4 0
Chuva 4 1
Que regra podemos extrair da´ı? (Descoberta de regras)
R. SE Está nublado ou com Chuva ENTÃO P (SIM) SENÃO N
(Não)

ONE R - Melhorando um Pouco - Aplicando ao Dataset
Instˆancia Real Classiﬁcado (Predito)
1 N N
2 N N
3 P P
4 P P
5 P P
6 N P
7 P P
8 N N
9 P N
10 P P
11 N P
12 P P
13 P P
14 N P

Instâncias classificadas corretamente : 10
Instâncias classificadas erroneamente : 4
Da´ı..
Matriz de Confusão
Real Predito P(SIM) N(NÃO)
P(SIM) 7 2
N(NÃO) 2 3
Medidas
Classe TPR FPR ROC
P (SIM) 0,778 0,4 0,689
N (Não) 0,6 0,222 0,689

Moral da Hist´oria: Encontre um atributo mais ´util para fazer seus
julgamentos. ;-)

Alguns classificadores Interessantes - Árvores de Decisão
O que é ?
Uma árvore de decisão é uma ferramenta de apoio a decisão que,
graficamente, apresenta a forma de uma árvore (de cabe¸ca para
baixo). A raiz é a parte de cima e as folhas ficam na parte de
baixo. Veja o desenho abaixo.

Exemplo
A Raiz e os nós são as variáveis a serem avaliadas, os ramos
(arcos) que ligam os nós são os valores admiss´ıveis ou caminhos a
serem seguidos no processo de decisão e as folhas são as sa´ıdas.
Veja o exemplo de uma árvore de decisão para o caso de decidir se
vc vai jogar ou não tênis.

Tabela
A partir da ´arvore acima podemos construir a seguinte tabela.

Questão
Então a próxima pergunta é: Porque usar uma árvore e não
simplesmente consultar a tabela?

Questão
Então a próxima pergunta é: Porque usar uma árvore e não
simplesmente consultar a tabela?
Resposta
Economia e, consequentemente, viabilidade dos cálculos.

Seja o dataset (Ida ao restaurante):
Por onde come¸car?

Atributo Clientela
lotado (0 casos positivos, 4 casos negativos); m´edio (4 casos
positivos, 0 casos negativos) e vazio (4 casos negativos, 0 casos
positivos).

Atributo Clientela
lotado (0 casos positivos, 4 casos negativos); m´edio (4 casos
positivos, 0 casos negativos) e vazio (4 casos negativos, 0 casos
positivos).
Atributo Tipo
a la carte (2 casos negativos, 1 caso positivo); self service (2 casos
negativos, 1 caso positivo) fast food (2 casos negativos, 1 caso
positivo) e sushi bar (2 casos negativos e 1 caso positivo).

Proposta 1

Proposta 2

Manual Selecionar sempre o atributo que levar mais rápido para as
folhas (Decisão). Atributos que dividem as instâncias
equilibradamente não são bons.
ID3 Desenvolvido por Ross Quillan, usa a teoria do ganho da
informa¸cão para sele¸cão dos atributos. Ver no BLOG (
https://lambrain.wordpress.com/page/4/) e
(https://lambrain.wordpress.com/2014/10/13/tutorial-
arvores-de-decisao-continuacao-ia/)
C4.5 Melhoria para trabalhar com valores continuos e poda a árvore
após cria¸cão
C5.0 Mais rápido. Bom para grandes volumes de dados. Os autores
dizem que é o melhor classificador que existe.

Redes Neurais Artiﬁciais
1011 Neurˆonios — + 20 Tipos — 1014 Sinapses — 1 a 10 ms de
ciclo.

Neurˆonio artiﬁcial.

Fun¸cões de Ativa¸cão. Limiar e Sigmóide.

Separabilidade
Problema da separa¸c˜ao.

Topologias de Redes Neurais
Redes Feed Forward.

Topologias de Redes Neurais
Redes com recorrˆencia, inibi¸c˜ao, etc.

Redes Bayesianas
P(X1, . . . , Xn) = i P(Xi|Pais(Xi)) Exemplo:
P(j ∧ m ∧ a ∧ ¬b ∧ ¬e) = P(j|a)P(m|a)P(a|¬b, ¬e)P(¬b)P(¬e)

Forma¸cão de Agrupamentos - Clustering
FILO - CLASSE - ORDEM - FAMÍLIA - GÊNERO - ESPÉCIE

Forma¸c˜ao de Agrupamentos - Clustering
Doen¸cas do Ov´ario.
Figura:Prof. Ronaldo F. Ramos, Dr

Cluster Hier´arquico

Cluster Hier´arquico
Algoritmo aglomerativo

K-Means
Seja um dataset com seu conjunto de indiv´ıduos.

K-Means
Passo 1 - Selecionar K elementos como as m´edias iniciais (K
Deﬁnido antes)

K-Means
Passo 2: Classificar os elementos usando as médias (Forma¸cão dos
primeiros K Grupos)

K-Means
Passo 3: Recalcular as m´edias de cada grupo.

K-Means
Passo 4: Reclassiﬁcar todos.

K-Means
Passo 5: Recalcular m´edias

K-Means
Repetir passos 4 e 5 at´e convergˆencia.

Correla¸c˜ao Entre Atributos

Sele¸c˜ao de Atributos

Limpeza de Dados

Extra¸c˜ao de Regras a Partir dos Dados

Constru¸c˜ao Autom´atica de Ontologias

Comitˆes de Classiﬁcadores
Proposta Gissa

Porquˆe combinar?
Duas cabe¸cas pensam melhor do que uma?
Todos tem direito a uma segunda opini˜ao ;-)

Vantagens
Melhor do que o melhor dos classificadores selecionados
Aumenta a estabilidade do classificador 2
bias-variance decomposition. Bias = “erro persistente” de um
algoritmo de aprendizagem. Variance = “erro particular” de
um modelo treinado.
. Sistemas combinados reduzem a variância
. Quanto mais sistemas combinados mais se reduz a variância
2
O quanto um algoritmo é perturbado por pequenas mudan¸cas nas entradas

Desvantagens
Nenhuma garantia que será sempre melhor do que o uso
simples de um classificador
Ainda é uma área de pesquisas
Dif´ıceis de analisar.
Complexo e custoso para construir

Elementos a definir.
Estrutura
Componentes
Método de combina¸cão

Continua
Temos assunto para v´arios outros cursos ....

Continua

Contatos
Prof. Ronaldo F. Ramos
Doutor em Systèmes Informatiques (Informática)- Universidade de Evry - Fran¸ca.
Pós Doutorado - UFC - DETI
Mestre em Engenharia de Produ¸cão/Inteligência Aplicada - Universidade Federal de
Santa Catarina
Engenheiro Mecânico - Universidade Federal do Ceará
30 Anos de experiência em Projetos de Engenharia e Sistemas Informatizados.
ronaldo.ramos@gmail.com
Prof. Guilherme de Alencar Barreto
Doutor em Engenharia Elétrica - Universidade de São Paulo - USP - São Carlos /
Universidade de Bielefeld, UB, Alemanha
Mestre em Engenharia Elétrica - Universidade de São Paulo - USP - São Carlos
Engenheiro de Teleinformática - Universidade Federal do Ceará
Bolsista CNPQ N´ıvel 2
http://lattes.cnpq.br/8902002461422112

Curso datamining

Mais conteúdo relacionado

Mais de ronaldo ramos

Último

Curso datamining