Utp sirn_s2_rna 2012-2

Sistemas Inteligentes
y Redes Neuronales
(SI01)

Sesión: 2 y 3
Ing. José C. Benítez P.

Sesión 2. Temas
Redes Neuronales Artificiales (RNA)
Introducción a la RNA
Características de las RNA
La Neurona biológica
Red neuronal biológica
Computación tradicional VS computación neuronal
Historia de la computación neuronal
Aplicación de las RNA
Representación una RNA
Funcionamiento de una RNA
Funciones de las RNAs
Ventajas de las RNAs
Modelos de RNAs
Clasificación de las RNAs
Sistemas Inteligentes y Redes Neuronales - Prof. Ing. José C. Benítez P. 2

Introducción a las RNA
El cerebro humano es el
sistema de cálculo más
complejo que conoce el
hombre.



El computador y el hombre realizan
bien, diferentes clases de tareas; así
la operación de reconocer el rostro
de una persona resulta una tarea
relativamente sencilla para el hombre
y difícil para el computador, mientras
que la contabilidad de una empresa
es tarea costosa para un experto
contable y una sencilla rutina para un
computador básico.



La capacidad del cerebro humano de pensar, recordar
y resolver problemas ha inspirado a muchos científicos
intentar o procurar modelar en el computador el
funcionamiento del cerebro humano.


Características de las RNA
Las Redes Neuronales Artificiales ( ANN - Artificial Neural
Networks) están inspiradas en las RNB del cerebro
humano.
Las RNA están constituidas por elementos (NA) que se
comportan de forma similar a la NB en sus funciones más
comunes.
Estos elementos están organizados de una forma
parecida a la que presenta el cerebro humano.
Las RNA al margen de "parecerse" al cerebro presentan
una serie de características propias del cerebro.


Características propias del cerebro en las RNA

Por ejemplo las ANN
aprenden de la experiencia,
generalizan de ejemplos previos a ejemplos
nuevos y
abstraen las características principales de una
serie de datos.



Aprender:
Adquirir el conocimiento de una cosa por medio
del estudio, ejercicio o experiencia.
Las RNA pueden cambiar su comportamiento
en función del entorno.
Se les muestra un conjunto de entradas y
ellas mismas se ajustan para producir unas
salidas consistentes.



Generalizar:
Extender o ampliar una cosa.
Las RNA generalizan automáticamente
debido a su propia estructura y naturaleza.
Estas redes pueden ofrecer, dentro de un
margen, respuestas correctas a entradas
que presentan pequeñas variaciones
debido a los efectos de ruido o distorsión.



Abstraer:
Aislar mentalmente o considerar por
separado las cualidades de un objeto.
Algunas RNA son capaces de abstraer
la esencia de un conjunto de entradas
que aparentemente no presentan
aspectos comunes o relativos.


La neurona biológica
La neurona es la unidad
fundamental del sistema
nervioso y en particular del
cerebro.
Cada neurona es una simple
unidad procesadora que recibe
y combina señales desde y
hacia otras neuronas.
Si la combinación de entradas
es suficientemente fuerte la
salida de la neurona se activa.



El cerebro consiste en 100,000 millones de
neuronas densamente interconectadas.
Las partes de la neurona son las:
dendritas,
el cuerpo (o soma),
el núcleo,
el axón y
las terminaciones nerviosas.
La eficacia de la sinapsis es modificable
durante el proceso de aprendizaje de la red.



La señal ingresa por las dendritas atraviesa
el cuerpo, el axón (salida), y sale por las
terminaciones nerviosas.


El axón de la neurona se ramifica en las terminaciones
nerviosas (salida) y estas están conectadas a las dendritas
(entradas) de otras neuronas a través de uniones llamadas
sinapsis.


Existen varios tipos de neuronas.


C. Tradicional VS C. Neuronal

Programación/Entrenamiento
Arquitectura
Sistemas Expertos


Las técnicas tradicionales de programación utilizadas para
la solución de un problema requieren la creación de un
algoritmo.
Un algoritmo consiste en una secuencia de instrucciones
que indica el modo en el que debe proceder el sistema
basado en un computador para lograr el fin perseguido
que es la resolución del problema.
El diseño de una secuencia de instrucciones para resolver
un problema de contabilidad es relativamente sencillo,
mientras que existen muchos problemas del mundo real
en los que resulta difícil realizar un algoritmo que resuelva
dichos problemas.

Por ejemplo imaginemos desarrollar un programa para
cualquiera de los problemas de reconocimiento de
imágenes como el rostro de una persona.
Hay muchas variaciones de la imagen de una persona, como
que presente un rostro serio o un rostro alegre, variaciones
en general que deben tenerse en cuenta a la hora de
diseñar el algoritmo.
Las RNA, a diferencia de los algoritmos que son
instrucciones previamente programadas, deben ser
previamente entrenadas. Esto significa que a la red se le
muestra en su capa de entrada unos ejemplos y ella misma
se ajusta en función de alguna regla de aprendizaje.

Arquitectura
Las RNA presentan una arquitectura totalmente diferente de
los computadores tradicionales de un único procesador.
Las máquinas tradicionales basadas en el modelo de Von
Neuman tienen un único elemento procesador, la CPU (Control
Process Unit) que realiza todos los cálculos ejecutando todas las
instrucciones de la secuencia programada en el algoritmo.


Arquitectura
Cualquier CPU realiza más de cien comandos básicos,
incluyendo sumas, restas, y desplazamientos entre otros.
Los comandos o instrucciones se ejecutan
secuencialmente y sincronizadas con el reloj del sistema.
Sin embargo en los sistemas de computación neuronal
cada elemento PE sólo puede realizar uno, o como
mucho, varios cálculos.
La potencia del procesado de las ANN se mide
principalmente por el número de interconexiones
actualizadas por segundo durante el proceso de
entrenamiento o aprendizaje.


Arquitectura
Sin embargo las máquinas de Von Neuman se miden por el
número de instrucciones que ejecuta por segundo el
procesador central CPU.
La arquitectura de las ANN parte de la organización de los
sistemas de procesado en paralelo, es decir, sistemas en
los que distintos procesadores están interconectados.
No obstante los procesadores son unidades procesadoras
simples, diseñadas para la suma de muchas entradas y con
un ajuste automático de las conexiones ponderadas.


Sistemas expertos
Los sistemas expertos difieren de la programación tradicional
en que la base del conocimiento está separada del motor de
inferencia (el método del procesado del conocimiento).
Esta característica permite que todo el conocimiento
adicional puede ser añadido al sistema sin necesidad de
tener que ser reprogramado todo el sistema.
Esta técnica requiere que exista una persona experta en un
área y que se puedan crear reglas que codifiquen el
conocimiento.
En el desarrollo de una red neuronal no hay que programar
ni el conocimiento ni las reglas del procesamiento del
conocimiento.

Sistemas expertos
La red neuronal aprende las reglas del procesamiento del
conocimiento mediante el ajuste de las conexiones
ponderadas entre las neuronas de distintas capas de la red.
Mientras que en los Sistemas Expertos el conocimiento se
hace explícito en forma de reglas, en la computación neuronal
las ANN generan sus propias reglas aprendiendo de los
ejemplos que se les muestran en la fase de entrenamiento.
El aprendizaje se consigue a través de una regla de
aprendizaje que adapta o cambia los pesos de las conexiones
en respuesta a los ejemplos de entrada, y opcionalmente
también en respuesta a las salidas deseadas.


Sistemas expertos.-
Esta característica de las ANN es lo que permite decir que
las redes neuronales aprenden de la experiencia.
Una característica importante de las ANN es la forma o el
modo en que se almacena la información.
La memoria o el conocimiento de estas redes está
distribuida a lo largo de todas las conexiones ponderadas
de la red.
Algunas ANN presentan la característica de ser "asociativas"
que significa que para una entrada parcial la red elegirá la
entrada más parecida en memoria y generará una salida
que corresponda a la entrada completa.


Sistemas expertos
La naturaleza de la memoria de las RNA permite que la red
responda adecuadamente cuando se le presenta una entrada
incompleta o con ruido. Esta propiedad es la capacidad de
"generalización".
Las RNA son tolerantes a las fallas (Fault Tolerance). En muchas
RNA si resultaran destruidos varios elementos procesadores
(PE), o se alteraran las conexiones el comportamiento de la red
sería mínimamente modificado. El comportamiento varía pero
el sistema no se descompone o deja de funcionar.
Esta característica se debe a que las RNA tienen la información
distribuida a lo largo de toda la red y no está contenida en un
único lugar.

Historia de la RNA
Base
En 1943, el neurobiólogo Warren McCulloch, y el
estadístico Walter Pitss, publicaron el artículo "A
logical calculus of Ideas Imminent in Nervous Activity".
Este artículo constituyó la base y el inicio del desarrollo
en diferentes campos como son:
los Computadores Digitales (John Von Neuman),
la Inteligencia Artificial (Marvin Minsky con los
Sistemas Expertos) y
el funcionamiento del ojo (Frank Rosenblatt con la
famosa red llamada Perceptron).


Historia de la RNA
Inicio de las RNA

En 1956, los pioneros de la Inteligencia Artificial,
Minsky, McCarthy, Rochester, Shanon, organizaron
la primera conferencia de Inteligencia Artificial que
fue patrocinada por la Fundación Rochester.
Esta conferencia se celebró en el verano de 1956 en
la localidad inglesa de Darmouth y en muchos libros
se hace referencia al verano de este año como la
primera toma de contacto seria con las RNAs.


Historia de la RNA
Perceptron
Nathaural Rochester del equipo de investigación de
IBM presentó el modelo de una red neuronal que él
mismo realizó y puede considerarse como el primer
software de simulación de RNAs.
En 1957, Frank Rosenblatt publicó el mayor trabajo de
investigación en computación neuronal realizado hasta
esas fechas. Su trabajo consistía en el desarrollo de un
elemento llamado "Perceptron".
En 1959, Bernard Widrow en Stanford desarrolló un
elemento adaptativo lineal llamado "Adaline"
(Adaptive Linear Neuron).


Historia de la RNA
Descenso de las expectativas
A mediados de los años 60, Minsky y Papert pertenecientes
al Laboratorio de Investigación de Electrónica del MIT
(Massachussets Institute Technology) comenzaron un trabajo
profundo de crítica al perceptron.
El resultado de este trabajo, el libro Perceptrons, era un
análisis matemático del concepto del perceptron.
La conclusión de este trabajo, que se transmitió a la
comunidad científica del mundo entero, es que el Perceptron
y la Computación Neuronal no eran temas interesantes que
estudiar y desarrollar.
A partir de este momento descendieron drásticamente las
inversiones en la investigación de la computación neuronal.

Historia de la RNA
Pero continuaron…
Uno de los pocos investigadores que continuaron con su trabajo
en la computación neuronal tras la publicación del libro
Perceptrons fue James Anderson.
Teuvo Kohonen, de la Universidad de Helsinki, es uno de los
mayores impulsores de la computación neuronal de los 70.
Otro investigador que continuó con su trabajo de investigación en
la computación neuronal a pesar del mal presagio que indicaron
Minsky y Papert fue Stephen Grossberg.
En 1982 John Hopfield publicó el artículo Hopfield Model o
Crossbar Associative Network, junto con la invención del
algoritmo Backpropagation se consiguió devolver el interés y la
confianza en el fascinante campo de la computación neuronal tras
dos décadas de casi absoluta inactividad y desinterés.

Historia de la RNA
Hoy
Existen muchos grupos en diferentes universidades de todo
el mundo que están realizando investigación en el área de
las RNA.
Cada grupo tiene diferente énfasis y motivación, con los
neurólogos, psicólogos del conocimiento, físicos,
programadores y matemáticos.
Grossberg continua trabajando en compañía de Carpenter
en la Universidad de Boston, mientras Teuvo Kohonen está
en la Universidad de Helsinki.
Uno de los mayores grupos de investigación de los últimos
años ha sido el grupo PDP (Parallel Distributed Processing)
formado por Rumelhart, McClelland y Hinton.

Historia de la RNA
Hoy
Rumelhart de la Universidad de Stanford es uno de los
principales impulsores de la red más utilizada en la mayoría
de las aplicaciones actuales, la famosa Backpropagation.
En la Universidad de Carnegie-Mellon, el grupo de
investigación de McClelland destaca por el estudio de las
posibles aplicaciones de la Backpropagation.
Y en la Universidad de Toronto, Hinton y Sejnowski han
desarrollado una máquina llamada Boltzman que consiste
en la red de Hopfield con dos modificaciones significativas.
Bart Kosko ha diseñado una red llamada BAM (Bidirectional
Associate Memory) basado en la red de Grossberg.


Historia de la RNA
Hoy

Existen grandes grupos de investigación como los de
California Institute of Technology, Massachussets
Institute of Technology, University of California Berkeley
y University of California San Diego.
Conviene no olvidar el esfuerzo económico y técnico que
están realizando las empresas privadas tanto en USA
como en Japón y en la Comunidad Económica Europea.
Las inversiones en estos países es muy significativa; sólo
en USA se gasta más de 100 millones de dólares al año.


RNA aplicaciones

Las características especiales de los sistemas de
computación neuronal permiten que sea utilizada
esta nueva técnica de cálculo en una extensa
variedad de aplicaciones.
La computación neuronal provee un acercamiento
mayor al reconocimiento y percepción humana
que los métodos tradicionales de cálculo.
Las RNAs presentan resultados razonables en
aplicaciones donde las entradas presentan ruido o
las entradas están incompletas.


RNA aplicaciones
Algunas de las áreas de aplicación de las RNA:
Análisis y Procesado de señales
Reconocimiento de Imágenes
Control de Procesos
Filtrado de ruido
Robótica
Procesado del Lenguaje
Diagnósticos médicos
Otros


Representación de una RNA

Red neuronal artificial perceptrón simple con n neuronas
de entrada, m neuronas en su capa oculta y una neurona
en su capa de salida.

Funcionamiento de una RNA
• Las RNAs consisten en una simulación de las propiedades
observadas en los sistemas neuronales biológicos a través de
modelos matemáticos recreados mediante mecanismos
artificiales (como un circuito integrado, un computador o un
conjunto de válvulas).
• El objetivo es conseguir que las máquinas den respuestas
similares a las que es capaz de dar el cerebro que se
caracterizan por su generalización y su robustez.
• Una RNB se compone de unidades llamadas neuronas.
• Cada neurona recibe una serie de entradas a través de
interconexiones y emite una salida.


Tres Funciones
La salida de una neurona viene dada por tres funciones:
1. Una función de propagación
2. Una función de activación
3. Una función de transferencia


Función de Propagación
También es conocida como función de excitación.
Consiste en la sumatoria de cada entrada multiplicada por el
peso de su interconexión (valor neto).
Si el peso es positivo, la conexión se denomina excitatoria; si
es negativo, se denomina inhibitoria.


Función de activación
La función de activación, modifica a la función de propagación.
Puede no existir, siendo en este caso la salida la misma función
de propagación.


Función de transferencia
La función de transferencia, se aplica al valor devuelto por la
función de activación.
Se utiliza para acotar la salida de la neurona y generalmente
viene dada por la interpretación que queramos darle a dichas
salidas.
Algunas de las más utilizadas son:
la función sigmoidea (para obtener valores en el intervalo
[0,1]) y
la función tangente hiperbólica (para obtener valores en el
intervalo [-1,1]).

Sistemas Inteligentes y y Redes Neuronales- - Prof. Ing. Jose Benítez P. P.
Sistemas Inteligentes Redes Neuronales Prof. Ing. José C. C. Benitez 43


Las RNA tienen muchas
ventajas debido a que están
basadas en la estructura del
sistema nervioso,
principalmente el cerebro.
Aprendizaje
Auto organización
Tolerancia a fallos
Flexibilidad
Tiempo real


• Aprendizaje:
• Las RNA tienen la habilidad de aprender mediante una
etapa que se llama etapa de aprendizaje.
• Esta consiste en proporcionar a la RNA datos como
entrada a su vez que se le indica cuál es la salida
(respuesta) esperada.
• Auto organización:
• Una RNA crea su propia representación de la información
en su interior, descargando al usuario de esta tarea.
• Tolerancia a fallos:
• Debido a que una RNA almacena la información de forma
redundante, ésta puede seguir respondiendo de manera
aceptable aun si se daña parcialmente.

• Flexibilidad:
• Una RNA puede manejar cambios no importantes en la
información de entrada, como señales con ruido u otros
cambios en la entrada
• Ejemplo: Si la información de entrada es la imagen de un
objeto, la respuesta correspondiente no sufre cambios si la
imagen cambia un poco su brillo o el objeto cambia
ligeramente.
• Tiempo real:
• La estructura de una RNA es paralela, por lo cuál si esto es
implementado con computadoras o en dispositivos
electrónicos especiales con procesamiento paralelo, se
pueden obtener respuestas en tiempo real.

Modelos de RNAs
Perceptrón
Adaline
Perceptrón multicapa
Memorias asociativas
Máquina de Boltzmann
Máquina de Cauchy
Propagación hacia atrás (backpropagation)
Redes de Elman
Redes de Hopfield
Redes de neuronas de base radial
Redes de neuronas de aprendizaje competitivo
Mapas Auto organizados (Redes de Kohonen)
Crecimiento dinámico de células
Gas Neuronal Creciente
Redes ART (Adaptative Resonance Theory)


Las RNA se pueden clasificar según:

Topología
Tipo de Aprendizaje.
Tipo de información.



Las RNA en función de su topología (patrón de
conexiones) que presenta, se clasifican en dos
tipos básicos de redes:

Las redes de propagación
hacia delante
Las redes recurrentes.


Patrón de conexiones:
Las redes de propagación hacia delante o acíclicas.
Todas las señales van desde la capa de entrada hacia la salida sin
existir ciclos, ni conexiones entre neuronas de la misma capa.
• Monocapa. Ejemplos:
perceptrón,
Adaline.
• Multicapa. Ejemplos:
perceptrón multicapa.


Patrón de conexiones:
Las redes recurrentes
Son las que presentan al menos un ciclo cerrado de activación
neuronal.
Ejemplos:
Elman,
Hopfield,
máquina de Boltzmann.


Las RNA en función del tipo de aprendizaje de que es capaz
(si necesita o no un conjunto de entrenamiento supervisado)
se clasifican en:

Aprendizaje supervisado
Aprendizaje no supervisado o
auto organizado
Redes híbridas
Aprendizaje reforzado


Tipo de aprendizaje:
Aprendizaje supervisado:
Necesitan un conjunto de datos de entrada previamente
clasificado o cuya respuesta objetivo se conoce.
Ejemplos de este tipo de redes son:
el perceptrón simple,
la red Adaline,
el perceptrón multicapa y
la memoria asociativa bidireccional.


Aprendizaje no supervisado o auto organizado:
No necesitan de tal conjunto previo.
las memorias asociativas,
las redes de Hopfield,
la máquina de Boltzmann y
la máquina de Cauchy,
las redes de aprendizaje competitivo,
las redes de Kohonen o mapas autoorganizados y
las redes de resonancia adaptativa (ART).


Redes híbridas:
Son un enfoque mixto en el que se utiliza una función de
mejora para facilitar la convergencia.
Un ejemplo de este último tipo son:
las redes de base radial.

Aprendizaje reforzado:
Se sitúa a medio camino entre el supervisado y el auto
organizado.



También se pueden clasificar las RNAs según sean
capaces de procesar un tipo información en:

Redes analógicas
Redes discretas


Tipo información:
Redes analógicas:
Procesan datos de entrada con valores continuos y
habitualmente acotados.
Hopfield,
Kohonen y
las redes de aprendizaje competitivo.


Tipo información:
Redes discretas:
Procesan datos de entrada de naturaleza discreta;
habitualmente valores lógicos booleanos.
Ejemplos de este segundo tipo de redes son:
La máquina de Boltzmann,
La maquina de Cauchy, y
la red discreta de Hopfield.


Tarea 2. Preguntas
Con la ayuda de fuentes y mediante mapas conceptuales y/o semánticos
responda las siguientes preguntas:
1. ¿Cuáles son los objetivos de las RNA?
2. Explique las características propias del cerebro en las RNA.
3. ¿Qué es y cuáles son las partes de una NB?
4. ¿Que son las sinapsis?
5. ¿Cuáles son lo tipos de NB que existen?. Hacer una maqueta.
6. Compare la computación tradicional con la computación neuronal.
7. Listar cinco hechos mas importantes para usted, de la historia de las RNA.
8. Listar cinco aplicaciones de las RNA.
9. Representar una perceptron simple de 5 neuronas de entrada, 3 neuronas
en su capa oculta y dos neuronas en su capa de salida.
10. Describa en detalle cada una de las funciones de las RNA.
11. ¿Cuales son las ventajas de las RNA?.
12. Grafique las clasificaciones de las RNA y de un ejemplo como mínimo en
cada una.

Presentación
La Tareas se presentarán en un archivo Word en su Carpeta
Personal del Dropbox.
Las fuentes utilizadas en la tarea se presentarán en su CP del
Dropbox y deben conservar el nombre original y agregar al final
_T2.
Para cada Tarea crear una carpeta dentro de su CP del Dropbox y
debe nombrarse de esta forma:
SIRN_PaternoM_T2

Las Tareas que no cumplan las
indicaciones no serán considerados
por el profesor.


Sesión 2 y 3. Redes Neuronales Artificiales

Sistemas Inteligentes y Redes Neuronales

http://utpsirn.blogspot.com

Utp sirn_s2_rna 2012-2

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (19)

Similar a Utp sirn_s2_rna 2012-2

Similar a Utp sirn_s2_rna 2012-2 (20)

Más de jcbenitezp

Más de jcbenitezp (20)

Utp sirn_s2_rna 2012-2