O documento apresenta uma introdução às árvores de decisão, descrevendo-as como modelos estatísticos que classificam e preveem dados através de divisões recursivas. Os principais pontos abordados são: os elementos básicos de uma árvore de decisão, como nós, ramos e regras; algoritmos comuns como CART, ID3 e C4.5; e aplicações como diagnóstico médico e análise de crédito.

1. Árvore de Decisão
IA - INTELIGÊNCIA ARTIFICIAL
Professor:
Cloves Rocha
PhD Student in Computer Science
MSc. in Computer Science

2. Agenda
⚫ Introdução
⚫ O que é?
⚫ Elementos
⚫ Características
⚫ Vantagens e Desvantagens
⚫ Ganho de Informação e Entropia
⚫ Principais Algoritmos
⚫ Exemplos
⚫ Bibliografia
Professor: Cloves Rocha | Árvore de Decisão

3. Introdução
1959: William. A. Belson propõe uma “técnica para
combinar” amostras de população;
1984: Breiman et al, Classification and Regression
Trees (CART);
1987: J. R. Quinlan, discute técnicas para
simplificação, mantendo a precisão.
Professor: Cloves Rocha | Árvore de Decisão

4. O que é?
Árvores de decisão (Decision Tree) são modelos
estatísticos que utilizam um treinamento
supervisionado para a classificação e previsão de
dados.
Estes modelos utilizam a estratégia de dividir para
conquistar (Gama, 2004).
Professor: Cloves Rocha | Árvore de Decisão

5. Elementos
Professor: Cloves Rocha | Árvore de Decisão

6. Elementos
➔Cada nó representa um ponto de decisão que irá testar
um atributo;
➔Cada ramo descendente corresponde a um possível valor
do atributo;
➔Cada nó folha está associado a uma classe;
➔Cada percurso na árvore (da raiz a uma folha)
corresponde a uma regra de classificação.
Professor: Cloves Rocha | Árvore de Decisão

7. Características
● Permite comparar possíveis ações
com base em seus custos,
probabilidades ou benefícios;
● Adquirem conhecimento simbólico a
partir dos dados de treinamento;
● Retorna valores discretos;
● Podem ser representadas como
conjuntos de regras IF-THEN.
Professor: Cloves Rocha | Árvore de Decisão

8. Vantagens
● Fácil interpretação. Percebe-se a razão da decisão;
● Atributos mais relevantes aparecem mais na parte superior da árvore (Entropia e
Ganho de Informação);
● Adaptável também a problemas de regressão (Árvores de Regressão).
Professor: Cloves Rocha | Árvore de Decisão
Desvantagens
● Podem se tornar complexas (verificar condição de parada);
● Sensibilidade a pequenas perturbações no conjunto de treino (necessário de
árvore).

9. Ganho de informação e Entropia
● Através da análise do ganho de informação e da entropia, busca-se o nó que
pode melhor prever o resultado da classificação;
● Há maior ganho de informação através do atributo que, ao se tornar um nó,
produz subconjuntos com menor entropia.
Professor: Cloves Rocha | Árvore de Decisão

10. Principais Algoritmos
● Classification And Regression Trees (CART)
Desenvolvido por Breiman, é caracterizado pelo fato de construir árvores binários,
ou seja, cada nó possui exatamente duas bordas de saída.
A árvore criada é dividida através do critério de complexidade de custo.
O CART pode lidar com variáveis numéricas e categóricas e também com valores
discrepantes.
Professor: Cloves Rocha | Árvore de Decisão

11. Principais Algoritmos
● Iterative Dichotomiser 3 (ID3)
Desenvolvido por Ross Quinlan, a árvore é construída com base na maximização
do ganho de informações e na minimização da entropia, no qual os resultados
são usados para dividir o conjunto de objetos. Esse processo é feito de forma
recursiva até que o conjunto em uma determinada subárvore seja homogêneo
(isto é, contém objetos pertencentes à mesma categoria).
Professor: Cloves Rocha | Árvore de Decisão

12. Principais Algoritmos
● C4.5
Versão melhorada no ID3, no qual os novos recursos são: aceitam atributos
contínuos e discretos; lida com pontos de dados incompletos; resolve o problema
de over-fitting através da técnica de poda; e pesos diferentes podem ser
aplicados aos recursos que compõem os dados de treinamento.
Professor: Cloves Rocha | Árvore de Decisão

13. Principais Algoritmos
● C4.5
Versão melhorada no ID3, no qual os novos recursos são: aceitam atributos
contínuos e discretos; lida com pontos de dados incompletos; resolve o problema
de over-fitting através da técnica de poda; e pesos diferentes podem ser
aplicados aos recursos que compõem os dados de treinamento.
Professor: Cloves Rocha | Árvore de Decisão

14. Exemplos
➢ Diagnóstico médico
➢ Chatbot
➢ Análise de crédito
Professor: Cloves Rocha | Árvore de Decisão

15. Bibliografia
➔ BELSON, William. A. Matching and Prediction on the Principle of Biological
Classification. Applied Statistics, 1959;
➔ FRATELLO, Michele, TAGLIAFERRI, Roberto. Decision Trees and Random
Forests.
Reference Module in Life Sciences, 2018;
➔ GAMA, J. Functional Trees. Machine Learning, p. 219-250, 2004.
➔ QUINLAN, John Ross. Simplifying decision trees. International Journal of
Man-Machine Studies, p. 221–234, 1987;
➔ TOPÎRCEANU, Alexandru, GROSSECK, Gabriela. Decision tree learning used
for the classification of student archetypes in online courses. Procedia
Computer Science, p. 51–60, 2017.

16. Obrigado! Thank you!
Dúvidas?
<?php
print("ACESSO AO MATERIAL");
Professor: Cloves Rocha | Árvore de Decisão