Este documento describe los mapas autoorganizados o mapas de Kohonen, que son una herramienta para la visualización y análisis de datos multidimensionales. Explica la inspiración biológica detrás de los mapas autoorganizados, su arquitectura y algoritmo de aprendizaje no supervisado. El objetivo es agrupar datos similares y reducir la dimensionalidad para facilitar la visualización e interpretación de grandes conjuntos de datos.

1. Mapas Autoorganizados o Mapas de Kohonen Miguel BARRETO Investigador MINISTERIO DE AGRICULTURA Y DESARROLLO RURAL asocaña

2. Plan Nuestro proyecto Descripción Visualización inteligente Mecanismos de Aprendizaje supervisado no supervisado La inspiración biológica Cartas topológicas Cartas retinotópicas Informaciones Multidimensionales Autoorganización Mapas autoorganizados Arquitectura SOM Algoritmo de aprendizaje Ejemplo práctico

3. Nuestro proyecto Proyecto: Agricultura de precisión y la construcción de modelos campo-cultivo para especies de frutas tropicales. Objetivo general: Contribuir a la competitividad de pequeños cultivadores de frutales nativos en la región tropical de América Latina y al sector azucarero con el desarrollo e integración de técnicas computacionales bioinspiradas e información y procedimientos agrobiológicos.

4. Investigación COCH (“triple I”) I ncremental modeling I ntegration of heterogeneous data I ntelligent visualization 4th dimension: model validation (usefulness & biological response) model exploitation Nuestro proyecto

5. Visualización Inteligente y mapas autoorganizados Los mapas auto organizados son una herramienta para la visualización de datos en altas dimensiones. Básicamente SOM produce un grafico de similitud de los datos de entrada. Convierte las relaciones estadísticas no lineales entre datos de alta dimensionalidad en simples relaciones geométricas en puntos de una imagen en una visualización de baja dimensionalidad En contraste con los métodos clásicos, los SOM proporcionan una fácil visualización, tomando pocas suposiciones y restricciones además es capaz de manejar grandes grupos de datos y aislar patrones y estructuras de los datos. Por estas razones los mapas autoorganizados han empezado a ser de gran interés para en exploración y análisis de datos, data mining y ahora también en procesos agro-ecológicos. Nuestro proyecto

6. Mecanismos de Aprendizaje

9. La inspiración biológica W. Penfield

10. Los experimentos de Penfield La inspiración biológica

11. Cartas topológicas La inspiración biológica

12. Humunculus, el hombrecito dentro del cerebro La inspiración biológica

13. Humunculus, el hombrecito dentro del cerebro La inspiración biológica

14. Cartas retinotópicas Hubel & Wiesel La inspiración biológica

15. Cartas retinotópicas La inspiración biológica

16. Informaciones Multidimensionales La inspiración biológica

17. Sinestesia La inspiración biológica

18. Sinestesia La inspiración biológica

19. Proceso biológico Si algunas regiones del espacio de entrada son mas usadas que otras y reciben una rica variedad de estímulos estas se mapearan mejor. (ej. Las manos de un pianista o un cirujano) La inspiración biológica

20. Autoorganización Cada nodo de la red tiene conexiones exicitatorias laterales con su vecinos mas próximos pero conexiones laterales inhibitorias con sus vecinos mas distantes. En el mapa topográfico cortical estas regiones crecerán , mientras que las regiones que no son usadas se harán mas pequeñas. La inspiración biológica

21. El “sombrero mejicano” La inspiración biológica Respuesta Positiva (Excitación) Respuesta Negativa (Inhibición) + -

22. El “sombrero mejicano” La inspiración biológica

23. Tomando la inspiración biológica La inspiración biológica Mapas Autoorganizados Al final del aprendizaje neuronas con características similares se ubican cerca unas de otras. Red de Neuronas Proceso de aprendizaje por competición Bioinspirado Biológico Ejemplos Estímulos del espacio de entrada

26. Creando el modelo bioinspirado Inspirándose en estos comportamientos biológicos se desarrollaron los mapas autoorganizados. Los Mapas Autoorganizados o SOM (Self-Organizing Maps) fueron creados por Teuvo Kohonen entre los años 1982 y 1990 La idea se basa en un funcionamiento biológico de aprendizaje por competición, de forma que cuando un conjunto de datos de entrada se presenta a la red, los pesos de las neuronas se adaptan de forma que la clasificación presente en el espacio de entrada se preserva en la salida. Mapas autoorganizados

27. Arquitectura SOM Capa de entrada Una por cada variable de entrada Capa de salida y competición No existe capa oculta Mapas autoorganizados … n … … n m

28. Un ejemplo de la arquitectura SOM Capa de entrada de tres dimensiones (x,y,z) Capa de salida y competición de 9 neuronas Mapas autoorganizados

29. Capa de entrada Tabla con ejemplos Estímulos del espacio de entrada. Una neurona por cada dimensión, en este ejemplo 3. Mapas autoorganizados/ Un ejemplo de la arquitectura SOM x y z R 3

30. Capa de entrada Cada neurona de la capa de entrada esta conectada a todas las neuronas de la capa de salida. Mapas autoorganizados/ Un ejemplo de la arquitectura SOM x y z R 3

31. Capa de entrada x y z 18.91 22.13 27.40 Cada ejemplo es presentado a las neuronas de la capa de salida. Así se buscan las neuronas mas parecidas al vector de entrada mediante un proceso de competición. Finalmente se crean grupos con características similares. Mapas autoorganizados/ Un ejemplo de la arquitectura SOM R 3

32. Capa de salida y competición Mapas autoorganizados/ Un ejemplo de la arquitectura SOM Entre las neuronas de la capa de salida, puede decirse que existen conexiones laterales de excitación e inhibición implícitas, pues aunque no estén conectadas, cada una de estas neuronas va a tener cierta influencia sobre sus vecinas.

33. Capa de salida y competición Mapas autoorganizados/ Un ejemplo de la arquitectura SOM La influencia sobre vecinos se consigue a través de un proceso de competición entre las neuronas y de la aplicación de una función denominada de vecindad. Cuadrada Hexagonal 0 1 2 0 1 2

34. Resumen Mapas autoorganizados/ Un ejemplo de la arquitectura SOM

35. Algoritmo de aprendizaje Mapas autoorganizados/ Algoritmo de aprendizaje

36. 1.Determinar la topología del mapa Mapas autoorganizados/ Algoritmo de aprendizaje

37. 2. Determinar el tamaño del mapa Mapas autoorganizados/ Algoritmo de aprendizaje

38. 3. Escoger el tipo de vecindario Mapas autoorganizados/ Algoritmo de aprendizaje 0 1 2 0 1 2

39. 4. Inicializar los pesos de las neuronas Mapas autoorganizados/ Algoritmo de aprendizaje x y R 2

40. Concepto de peso Capa de Salida Dos Dimensiones (x,y) Tres Dimensiones (x,y,z) n Dimensiones (x,y,z, …, n) Capa de Entrada Mapas autoorganizados/ Algoritmo de aprendizaje w2 w1 w w1 w2 w w2 w1 w3 w w1 w2 w3 w w1 w2 w3 … wn w Dos Dimensiones Dos Dimensiones Dos Dimensiones

41. Inicializar los pesos de las neuronas Mapas autoorganizados/ Algoritmo de aprendizaje x y R 2 t = 0

42. Inicializar los pesos de las neuronas Mapas autoorganizados/ Algoritmo de aprendizaje x y R 2 t = 0 0.2 0.3

43. Inicializar los pesos de las neuronas Mapas autoorganizados/ Algoritmo de aprendizaje t = 0 0.2 0.3 0.4 0.8 0.9 0.3 0.5 0.7 0.7 0.3 0.6 0.1 0.6 0.7 0.2 0.7 0.9 0.4 0.6 0.7 0.5 0.3 0.2 0.3 0.4 0.7 0.9 0.2 0.1 0.3 0.8 0.3 0.5 0.8 0.3 0.3 0.2 0.6 0.6 0.6 0.7 0.4 0.5 0.5 0.5 0.6 0.6 0.3 0.2 0.7 0.7 0.8 0.7 0.8 0.8 0.6 0.6 0.7 0.2 0.3 0.2 0.7 0.2 0.3 0.9 0.3 0.9 0.7 0.2 0.3 0.7 0.8

44. Inicializar los pesos de las neuronas Mapas autoorganizados/ Algoritmo de aprendizaje x y R 2 t = 0 0.2 0.3 0.4 0.8 0.9 0.3 0.5 0.7 0.7 0.3 0.6 0.1 0.6 0.7 0.2 0.7 0.9 0.4 0.6 0.7 0.5 0.3 0.2 0.3 0.4 0.7 0.9 0.2 0.1 0.3 0.8 0.3 0.5 0.8 0.3 0.3 0.2 0.6 0.6 0.6 0.7 0.4 0.5 0.5 0.5 0.6 0.6 0.3 0.2 0.7 0.7 0.8 0.7 0.8 0.8 0.6 0.6 0.7 0.2 0.3 0.2 0.7 0.2 0.3 0.9 0.3 0.9 0.7 0.2 0.3 0.7 0.8

45. Inicializar los pesos de las neuronas Mapas autoorganizados/ Algoritmo de aprendizaje x y R 2 0.2 0.3 0.4 0.8 0.9 0.3 0.5 0.7 0.7 0.3 0.6 0.1 0.6 0.7 0.2 0.7 0.9 0.4 0.6 0.7 0.5 0.3 0.2 0.3 0.4 0.7 0.9 0.2 0.1 0.3 0.8 0.3 0.5 0.8 0.3 0.3 0.2 0.6 0.6 0.6 0.7 0.4 0.5 0.5 0.5 0.6 0.6 0.3 0.2 0.7 0.7 0.8 0.7 0.8 0.8 0.6 0.6 0.7 0.2 0.3 0.2 0.7 0.2 0.3 0.9 0.3 0.9 0.7 0.2 0.3 0.7 0.8

46. Inicializar los pesos de las neuronas Mapas autoorganizados/ Algoritmo de aprendizaje 1 x y R 2 0.2 0.3 0.4 0.8 0.9 0.3 0.5 0.7 0.7 0.3 0.6 0.1 0.6 0.7 0.2 0.7 0.9 0.4 0.6 0.7 0.5 0.3 0.2 0.3 0.4 0.7 0.9 0.2 0.1 0.3 0.8 0.3 0.5 0.8 0.3 0.3 0.2 0.6 0.6 0.6 0.7 0.4 0.5 0.5 0.5 0.6 0.6 0.3 0.2 0.7 0.7 0.8 0.7 0.8 0.8 0.6 0.6 0.7 0.2 0.3 0.2 0.7 0.2 0.3 0.9 0.3 0.9 0.7 0.2 0.3 0.7 0.8 1 w2 w1 0

47. 5. Presentar una entrada a la red Mapas autoorganizados/ Algoritmo de aprendizaje x y R 2 0.2 0.3 0.4 0.8 0.9 0.3 0.5 0.7 0.7 0.3 0.6 0.1 0.6 0.7 0.2 0.7 0.9 0.4 0.6 0.7 0.5 0.3 0.2 0.3 0.4 0.7 0.9 0.2 0.1 0.3 0.8 0.3 0.5 0.8 0.3 0.3 0.2 0.6 0.6 0.6 0.7 0.4 0.5 0.5 0.5 0.6 0.6 0.3 0.2 0.7 0.7 0.8 0.7 0.8 0.8 0.6 0.6 0.7 0.2 0.3 0.2 0.7 0.2 0.3 0.9 0.3 0.9 0.7 0.2 0.3 0.7 0.8 0.14 0.77 1 1 w2 w1 0

48. Presentar una entrada a la red Mapas autoorganizados/ Algoritmo de aprendizaje 1 1 w2 w1 0 x y R 2 0.2 0.3 0.4 0.8 0.9 0.3 0.5 0.7 0.7 0.3 0.6 0.1 0.6 0.7 0.2 0.7 0.9 0.4 0.6 0.7 0.5 0.3 0.2 0.3 0.4 0.7 0.9 0.2 0.1 0.3 0.8 0.3 0.5 0.8 0.3 0.3 0.2 0.6 0.6 0.6 0.7 0.4 0.5 0.5 0.5 0.6 0.6 0.3 0.2 0.7 0.7 0.8 0.7 0.8 0.8 0.6 0.6 0.7 0.2 0.3 0.2 0.7 0.2 0.3 0.9 0.3 0.9 0.7 0.2 0.3 0.7 0.8 0.14 0.77

49. Concepto de distancia Mapas autoorganizados/ Algoritmo de aprendizaje Recordemos que cuando se presenta un patrón de entrenamiento, se debe identificar la neurona de salida vencedora, esto es, la neurona cuyo vector de pesos sea el más parecido al patrón presentado. De acuerdo con este criterio, dos vectores serán más similares cuanto menor sea su distancia. Un criterio de similitud muy utilizado es la distancia euclidiana que viene dado por la siguiente expresión: De acuerdo con este criterio, dos vectores serán más similares cuanto menor sea su distancia .

50. Concepto de distancia Mapas autoorganizados/ Algoritmo de aprendizaje Una medida de similitud alternativa más simple que la euclidiana, es la correlación o producto escalar: según la cual, dos vectores serán más similares cuanto mayor sea su correlación.

51. 6. Encontrar la neurona ganadora Mapas autoorganizados/ Algoritmo de aprendizaje x y R 2 0.2 0.3 0.4 0.8 0.9 0.3 0.5 0.7 0.7 0.3 0.6 0.1 0.6 0.7 0.2 0.7 0.9 0.4 0.6 0.7 0.5 0.3 0.2 0.3 0.4 0.7 0.9 0.2 0.1 0.3 0.8 0.3 0.5 0.8 0.3 0.3 0.2 0.6 0.6 0.6 0.7 0.4 0.5 0.5 0.5 0.6 0.6 0.3 0.2 0.7 0.7 0.8 0.7 0.8 0.8 0.6 0.6 0.7 0.2 0.3 0.2 0.7 0.2 0.3 0.9 0.3 0.9 0.7 0.2 0.3 0.7 0.8 0.14 0.77

52. Ajustar los pesos de la neurona ganadora Ajustar los pesos de la neurona ganadora en la dirección del punto presente en la entrada. ΔW = α(t) (X – W) , también los pesos de las neuronas de la vecindad de la neurona ganadora. Pero con una tasa de aprendizaje reducida (Sombrero Mejicano) de manera que se especialice menos que la neurona ganadora . Mapas autoorganizados/ Algoritmo de aprendizaje

53. 7. Presentar otro ejemplo Mapas autoorganizados/ Algoritmo de aprendizaje x y R 2 0.2 0.3 0.4 0.8 0.9 0.3 0.5 0.7 0.7 0.3 0.6 0.1 0.6 0.7 0.2 0.7 0.9 0.4 0.6 0.7 0.5 0.3 0.2 0.3 0.4 0.7 0.9 0.2 0.1 0.3 0.8 0.3 0.5 0.8 0.3 0.3 0.2 0.6 0.6 0.6 0.7 0.4 0.5 0.5 0.5 0.6 0.6 0.3 0.2 0.7 0.7 0.8 0.7 0.8 0.8 0.6 0.6 0.7 0.2 0.3 0.2 0.7 0.2 0.3 0.9 0.3 0.9 0.7 0.2 0.3 0.7 0.8 0.09 0.71

54. Presentar otro ejemplo Mapas autoorganizados/ Algoritmo de aprendizaje x y R 2 0.2 0.3 0.4 0.8 0.9 0.3 0.5 0.7 0.7 0.3 0.6 0.1 0.6 0.7 0.2 0.7 0.9 0.4 0.6 0.7 0.5 0.3 0.2 0.3 0.4 0.7 0.9 0.2 0.1 0.3 0.8 0.3 0.5 0.8 0.3 0.3 0.2 0.6 0.6 0.6 0.7 0.4 0.5 0.5 0.5 0.6 0.6 0.3 0.2 0.7 0.7 0.8 0.7 0.8 0.8 0.6 0.6 0.7 0.2 0.3 0.2 0.7 0.2 0.3 0.9 0.3 0.9 0.7 0.2 0.3 0.7 0.8 0.09 0.71

55. BMU (Best match unit) Mapas autoorganizados/ Algoritmo de aprendizaje

56. Repetir Mapas autoorganizados/ Algoritmo de aprendizaje Reducir la vecindad de las neuronas y repetir 2 a 4 veces para todos los puntos por un cierto numero de iteraciones

57. Visualización y funcionamiento del mapa Mapas autoorganizados/ Algoritmo de aprendizaje x y R 2 0.2 0.3 0.4 0.8 0.9 0.3 0.5 0.7 0.7 0.3 0.6 0.1 0.6 0.7 0.2 0.7 0.9 0.4 0.6 0.7 0.5 0.3 0.2 0.3 0.4 0.7 0.9 0.2 0.1 0.3 0.8 0.3 0.5 0.8 0.3 0.3 0.2 0.6 0.6 0.6 0.7 0.4 0.5 0.5 0.5 0.6 0.6 0.3 0.2 0.7 0.7 0.8 0.7 0.8 0.8 0.6 0.6 0.7 0.2 0.3 0.2 0.7 0.2 0.3 0.9 0.3 0.9 0.7 0.2 0.3 0.7 0.8

58. Visualización y funcionamiento del mapa Una vez seleccionado el mapa óptimo, podemos pasar a la fase de visualización observando en qué coordenadas del mapa se encuentra la neurona asociada a cada patrón de entrenamiento. Esto nos permite proyectar el espacio multidimensional de entrada en un mapa bidimensional y, en virtud de la similitud entre las neuronas vecinas, observar los clusters o agrupaciones de datos organizados por la propia red. Por este motivo, el modelo de mapa autoorganizado es especialmente útil para establecer relaciones, desconocidas previamente, entre conjuntos de datos. En la fase de funcionamiento, la red puede actuar como un clasificador de patrones ya que la neurona de salida activada ante una entrada nueva representa la clase a la que pertenece dicha información de entrada. .

59. Visualización y funcionamiento del mapa Mapas autoorganizados/ Algoritmo de aprendizaje x y R 2

60. Evaluación del ajuste del mapa Los mapas tienen dos formas de medir su calidad: Exactitud de la representación de los datos Exactitud de la representación de la topología de los datos Para ajustar el mapa se debe jugar un poco con el manejo de las vecindades y la tasa de aprendizaje. También se deben hacer varios mapas para así escoger el que presente menos error. El compromiso entre los dos errores debe ser evaluado por el experto

61. Dos dimensiones Mapas autoorganizados/ Algoritmo de aprendizaje

62. Tres dimensiones Mapas autoorganizados/ Algoritmo de aprendizaje

63. Ejemplo practico Mapas autoorganizados/ Algoritmo de aprendizaje

64. Ejemplo práctico En el proceso general de aprendizaje suelen considerarse dos fases. En la primera fase, se pretende organizar los vectores de pesos en el mapa. Para ello, se comienza con una tasa de aprendizaje y un tamaño de vecindad grandes, para luego ir reduciendo su valor a medida que avanza el aprendizaje. En la segunda fase, se persigue el ajuste fino del mapa, de modo que los vectores de pesos se ajusten más a los vectores de entrenamiento. El proceso es similar al anterior aunque suele ser más largo, tomando la tasa de aprendizaje constante e igual a un pequeño valor y un radio de vecindad constante.