Objetivo: Investigar o uso de meta-aprendizado para otimização de parâmetros de redes neurais.

1. Meta-aprendizado
para otimização de
parâmetros de
redes neurais
André Ricardo Frederico
Orlando da Silva Junior

2. O Artigo
• Título
• Meta-aprendizado para otimização de parâmetros de redes
neurais
• Autores
• Tarcísio D. P. Lucas, Teresa B. Ludermir, Ricardo B. C. Prudêncio
(UFPE)
• Carlos Soares (Univ. Porto, Portugal)
• Publicação
• Encontro Nacional de Inteligência Artificial (ENIA 2011)

3. Problema
• Problema
• Como otimizar os parâmetros de uma rede neural artificial
(RNA)?
• Hipótese
• O meta-aprendizado pode ser utilizado para a otimização de
parâmetros de RNAs.

4. Objetivo
• Investigar o uso de meta-aprendizado para otimização de
parâmetros de redes neurais
• Justificativa: a otimização de RNAs é uma tarefa importante
para o sucesso do uso desses modelos em aplicações reais.

5. Conceitos – RNAs
• RNAs são utilizadas para resolver problemas em diferentes áreas do
conhecimento
• O desempenho de uma RNA depende da escolha de seus
parâmetros de treinamento e arquitetura
• A definição dos parâmetros depende do problema ou tarefa de
aprendizagem sendo resolvida
• A otimização dos parâmetros é um problema complexo e várias
soluções já foram propostas:
• Tentativa e erro (experiência do usuário)
• Algoritmos genéticos
• Enxame de partículas
• Têmpera simulada
• Etc.

6. Conceitos – Meta-aprendizado
• Meta-aprendizado é um processo de aquisição automática de
conhecimento que relaciona o desempenho dos algoritmos de
aprendizado com as características dos problemas.
• No meta-aprendizado, há uma BD com diversos meta-
exemplos, onde cada um é composto por:
• Um conjunto de meta-atributos: estatísticas que descrevem o
conjunto de dados (número de exemplos, número de
atributos, entropia, etc.)
• Um meta-rótulo: melhor algoritmo aplicado ao problema

7. Metodologia
• Desenvolvimento de um estudo de caso que aplica meta-aprendizado para a
escolha da quantidade de neurônios escondidos em uma rede perceptron multi-
camadas (MLP).
• Avaliação de 93 bases de dados de dados para a construção da base de meta-
exemplos, variando o número de neurônios escondidos
• Cada meta-exemplo é associado a um problema de regressão e armazena:
• 16 características descrevendo os dados do problema;
• O melhor número de neurônios para a rede MLP do problema
• Um algoritmo de regressão é usado como meta-aprendiz para predizer o melhor
número de neurônios para um novo problema a partir de suas características.
Quatro algoritmos são testados:
• Regressão linear
• kNN
• M5
• SVM

8. Experimentos
• A otimização é realizada em cima de um dos parâmetros de
uma rede MLP com uma camada escondida
• Por ser veloz no treinamento e só possuir 2 parâmetros, o
algoritmo de treinamento escolhido foi o Extreme Learning
Machine (ELM)
• Parâmetro escolhido: quantidade de neurônios escondidos
• A função de ativação sigmoidal foi fixada e foram testadas as
quantidades de neurônios escondidos entre 1 e 300 para cada
uma das 93 bases

9. Experimentos
• Cada experimento foi repetido 10 vezes, com diferentes pesos
e bias
• O número de neurônios ideal é o menor erro médio no
conjunto de teste nas 10 repetições, calculado com a raiz
quadrada média dos erros

10. Experimentos

11. Experimentos
• Com a meta-base pronta, os meta-exemplos foram
submetidos a 4 algoritmos de meta-aprendizado:
• kNN: com 1 vizinho mais próximo
• M5 (indução de árvores de regressão)
• Regressão linear
• SVM: polinomial e RBF
• Todos eles foram testados nos parâmetros default do
WEKA, exceto a SVM

12. Resultados
• A validação cruzada leave-one-out foi utilizada para testar a
precisão dos meta-aprendizes, resultando em 93
treinamentos
• Em seguida, foi observado o erro médio absoluto (RAE) e a
correlação entre as respostas dos meta-aprendizes e as saídas
desejadas
• Um RAE próximo de 100% indica que o algoritmo não é um
regressor útil
• A correlação indica a regularidade nos meta-
atributos, informando que podem ser utilizados para predizer o
número de neurônios ocultos

13. Resultados

14. Conclusão
• O melhor erro foi obtido tendo o SVM como meta-aprendiz
(52,85%)
• O meta-aprendizado ainda é menos custoso que abordagens
com algoritmos de busca
• Trabalhos futuros
• Melhorar a precisão do meta-aprendizado através de uma melhor
seleção de meta-atributos
• Aplicação em MLP treinada com backpropagation

15. Referências
• LUCAS, T. D. P. ; PRUDENCIO, R. B. C. ; LUDERMIR, T. B. ;
SOARES, C. . Meta-aprendizado para otimização de
parâmetros de redes neurais. In: VIII Encontro Nacional de
Inteligência Artificial (ENIA), 2011, Natal. Anais do Encontro
Nacional de Inteligência Artificial 2011, 2011.
• http://www.lbd.dcc.ufmg.br/colecoes/enia/2011/0061.pdf