Teoría de resonancia adaptativa
La teoría de resonancia adaptativa ( ART ) es una teoría desarrollada por Stephen Grossberg y Gail Carpenter sobre aspectos de cómo el cerebro procesa la información. Describe una serie de modelos de redes neuronales que utilizan métodos de aprendizaje supervisados y no supervisados, y abordan problemas como el reconocimiento y la predicción de patrones.
La intuición principal detrás del modelo ART es que la identificación y el reconocimiento de objetos generalmente ocurren como resultado de la interacción de las expectativas del observador ‘de arriba abajo‘ con la información sensorial ‘de abajo hacia arriba’. El modelo postula que las expectativas «de arriba hacia abajo» toman la forma de una plantilla de memoria o prototipoeso se compara con las características reales de un objeto tal como lo detectan los sentidos.
Esta comparación da lugar a una medida de pertenencia de categoría. Mientras esta diferencia entre sensación y expectativa no exceda un umbral establecido llamado ‘parámetro de vigilancia’, el objeto detectado se considerará un miembro de la clase esperada. Por lo tanto, el sistema ofrece una solución al problema de ‘plasticidad / estabilidad’, es decir, el problema de adquirir nuevos conocimientos sin interrumpir el conocimiento existente que también se llama aprendizaje incremental.
Modelo de aprendizaje
El sistema ART básico es un modelo de aprendizaje no supervisado. Por lo general, consiste en un campo de comparación y un campo de reconocimiento compuesto por neuronas, un parámetro de vigilancia (umbral de reconocimiento) y un módulo de reinicio.
El campo de comparación toma un vector de entrada (una matriz de valores unidimensional) y lo transfiere a su mejor coincidencia en el campo de reconocimiento.
Su mejor coincidencia es la neurona individual cuyo conjunto de pesos (vector de peso) coincide más estrechamente con el vector de entrada.
Cada neurona de campo de reconocimiento emite una señal negativa (proporcional a la calidad de coincidencia de esa neurona con el vector de entrada ) a cada una de las otras neuronas de campo de reconocimiento y, por lo tanto, inhibe su salida.
De esta manera, el campo de reconocimiento exhibe inhibición lateral, permitiendo que cada neurona en él represente una categoría en la que se clasifican los vectores de entrada.
Después de clasificar el vector de entrada, el módulo de reinicio compara la intensidad de la coincidencia de reconocimiento con el parámetro de vigilancia.
Si se supera el parámetro de vigilancia (es decir, el vector de entrada está dentro del rango normal visto en los vectores de entrada anteriores ), entonces comienza el entrenamiento:
Los pesos de la neurona de reconocimiento ganadora se ajustan a las características del vector de entrada.
De lo contrario, si el nivel de coincidencia está por debajo del parámetro de vigilancia (es decir, la coincidencia del vector de entrada está fuera del rango normal esperado para esa neurona), la neurona de reconocimiento ganadora se inhibe y se lleva a cabo un procedimiento de búsqueda.
En este procedimiento de búsqueda, la función de restablecimiento desactiva las neuronas de reconocimiento una por una hasta que el parámetro de vigilancia se supera con una coincidencia de reconocimiento.
En particular, en cada ciclo del procedimiento de búsqueda, se selecciona la neurona de reconocimiento más activa y luego se apaga, si su activación está por debajo del parámetro de vigilancia
Tenga en cuenta que, por lo tanto, libera las neuronas de reconocimiento restantes de su inhibición).
Si ninguna coincidencia de neuronas de reconocimiento comprometido supera el parámetro de vigilancia, entonces se compromete una neurona no comprometida y sus pesos se ajustan para que coincidan con el vector de entrada.
El parámetro de vigilancia tiene una influencia considerable en el sistema: una vigilancia más alta produce recuerdos muy detallados (muchas categorías detalladas), mientras que una vigilancia más baja da como resultado memorias más generales (menos categorías más generales).
Entrenamiento
Existen dos métodos básicos para entrenar redes neuronales basadas en ART: lento y rápido. En el método de aprendizaje lento, el grado de entrenamiento de los pesos de las neuronas de reconocimiento hacia el vector de entrada se calcula en valores continuos con ecuaciones diferenciales y, por lo tanto, depende del tiempo que se presenta el vector de entrada.
Con el aprendizaje rápido, las ecuaciones algebraicas se utilizan para calcular el grado de ajuste de peso que se realizará, y se utilizan valores binarios. Si bien el aprendizaje rápido es efectivo y eficiente para una variedad de tareas, el método de aprendizaje lento es más biológicamente plausible y puede usarse con redes de tiempo continuo (es decir, cuando el vector de entrada puede variar continuamente).
Tipos
ART 1 es la variedad más simple de redes ART, y solo acepta entradas binarias. ART 2 amplía las capacidades de red para admitir entradas continuas. ART 2-A es una forma simplificada de ART- con un tiempo de ejecución drásticamente acelerado, y con resultados cualitativos que rara vez son inferiores a la implementación completa de ART-.
ART 3 se basa en ART- al simular la regulación rudimentaria de neurotransmisores de la actividad sináptica mediante la incorporación de concentraciones simuladas de iones de sodio (Na ) y calcio (Ca ) en las ecuaciones del sistema, lo que resulta en un medio más fisiológicamente realista de inhibir parcialmente las categorías que desencadenan restablecimientos de falta de coincidencia.
ARTMAP también conocido como ART predictivo, combina dos unidades ART- o ART- ligeramente modificadas en una estructura de aprendizaje supervisada donde la primera unidad toma los datos de entrada y la segunda toma los datos de salida correctos, luego se utiliza para hacer el ajuste mínimo posible del parámetro de vigilancia en la primera unidad para hacer la clasificación correcta.
Fuzzy ART implementa lógica difusa en el reconocimiento de patrones de ART, mejorando así la generalización. Una característica opcional (y muy útil) de fuzzy ART es la codificación de complemento, un medio para incorporar la ausencia de características en las clasificaciones de patrones, lo que contribuye en gran medida a prevenir la proliferación de categorías ineficiente e innecesaria.
Las medidas de similitud aplicadas se basan en la norma L1. Fuzzy ART es conocido por ser muy sensible al ruido.
Fuzzy ARTMAP es simplemente ARTMAP que utiliza unidades ART difusas, lo que resulta en un aumento correspondiente en la eficacia.
Simplified Fuzzy ARTMAP (SFAM) constituye una variante muy simplificada de Fuzzy ARTMAP dedicada a tareas de clasificación.
Gaussian ART y Gaussian ARTMAP utilizan funciones de activación gaussianas y cálculos basados en la teoría de la probabilidad. Por lo tanto, tienen cierta similitud con los modelos de mezcla gaussiana. En comparación con ART difuso y ARTMAP difuso, son menos sensibles al ruido. Pero la estabilidad de las representaciones aprendidas se reduce, lo que puede conducir a la proliferación de categorías en las tareas de aprendizaje abiertas.
Fusion ART y redes relacionadas extienden ART y ARTMAP a múltiples canales de patrones. Soportan varios paradigmas de aprendizaje.
TopoART combina ART difuso con redes de aprendizaje de topología como el creciente gas neuronal. Además, agrega un mecanismo de reducción de ruido. Existen varias redes neuronales derivadas que extienden TopoART a otros paradigmas de aprendizaje.
Hypersphere ART y Hypersphere ARTMAP están estrechamente relacionados con ART difuso y ARTMAP difuso, respectivamente. Pero como usan un tipo diferente de representación de categoría (es decir, hiperesferas), no requieren que su entrada se normalice al intervalo. Aplican medidas de similitud basadas en la norma L2.
LAPART Las redes neuronales de la Teoría de la resonancia adaptativa preparada lateralmente (LAPART) acoplan dos algoritmos Fuzzy ART para crear un mecanismo para hacer predicciones basadas en asociaciones aprendidas. El acoplamiento de los dos ART Fuzzy tiene una estabilidad única que permite que el sistema converja rápidamente hacia una solución clara.
Además, puede realizar inferencias lógicas y aprendizaje supervisado similar a ARTMAP difuso.
Crítica
Se ha observado que los resultados de Fuzzy ART y ART 1 (es decir, las categorías aprendidas) dependen críticamente del orden en que se procesan los datos de entrenamiento. El efecto puede reducirse hasta cierto punto utilizando una velocidad de aprendizaje más lenta, pero está presente independientemente del tamaño del conjunto de datos de entrada.
Por lo tanto, las estimaciones de ART difuso y ART 1 no poseen la propiedad estadística de consistencia. Este problema puede considerarse como un efecto secundario de los mecanismos respectivos que aseguran un aprendizaje estable en ambas redes.
Las redes ART más avanzadas, como TopoART y Hypersphere TopoART, que resumen las categorías en grupos, pueden resolver este problema, ya que las formas de los grupos no dependen del orden de creación de las categorías asociadas. (cf. Fig. 3 (g, h) y Fig. 4 de )
Referencias
Carpenter, GA y Grossberg, S. (2003), Adaptive Resonance Theory Archived 2006-05-19 at the Wayback Machine, In Michael A. Arbib (Ed.), The Handbook of Brain Theory and Neural Networks, Second Edition (pp 87-90). Cambridge, MA: MIT Press
Grossberg, S. (1987), Aprendizaje competitivo: de la activación interactiva a la resonancia adaptativa Archivado el 07/09/2006 en la Wayback Machine, Cognitive Science (revista), 11, 23-63
Carpenter, GA y Grossberg, S. (1987), ART 2: autoorganización de códigos de reconocimiento de categoría estable para patrones de entrada analógica Archivado 2006-09-04 en Wayback Machine, Applied Optics, 26 (23), 4919-4930
Carpenter, GA, Grossberg, S. y Rosen, DB (1991a), ART 2-A: un algoritmo de resonancia adaptativa para el aprendizaje y el reconocimiento rápidos de la categoría Archivado 2006-05-19 en Wayback Machine, Neural Networks (publicación), 4, 493-504
Carpenter, GA y Grossberg, S. (1990), ART 3: Búsqueda jerárquica utilizando transmisores químicos en arquitecturas de reconocimiento de patrones autoorganizados Archivado 2006-06-06 en Wayback Machine, Neural Networks (Publicación), 3, 129-152
Carpenter, GA, Grossberg, S. y Reynolds, JH (1991), ARTMAP: aprendizaje supervisado en tiempo real y clasificación de datos no estacionarios por una red neuronal autoorganizada Archivado 2006-05-19 en Wayback Machine, Neural Networks (Publicación), 4, 565-588
Carpenter, GA, Grossberg, S. y Rosen, DB (1991b), Fuzzy ART: Aprendizaje estable rápido y categorización de patrones analógicos mediante un sistema de resonancia adaptativa Archivado 2006-05-19 en Wayback Machine, Neural Networks (Publicación), 4, 759-771
Carpenter, GA, Grossberg, S., Markuzon, N., Reynolds, JH y Rosen, DB (1992), Fuzzy ARTMAP: una arquitectura de red neuronal para el aprendizaje supervisado incremental de mapas analógicos multidimensionales Archivado el 2006-05-19 en el Wayback Machine, transacciones IEEE en redes neuronales, 3, 698-713
Mohammad-Taghi Vakil-Baghmisheh y Nikola Pavešić. (2003) A Fast Simplified Fuzzy ARTMAP Network, Neural Processing Letters, 17 (3): 273–316
James R. Williamson. (1996),Gaussian ARTMAP: una red neuronal para el aprendizaje incremental rápido de mapas multidimensionales ruidosos, redes neuronales, 9 (5): 881-897
YR Asfour, GA Carpenter, S. Grossberg y GW Lesher. (1993) Fusion ARTMAP: una red difusa adaptativa para la clasificación multicanal. En: Actas de la Tercera Conferencia Internacional sobre Control Industrial Difuso y Sistemas Inteligentes (IFIS).
Marko Tscherepanow. (2010) TopoART: una red ART jerárquica de aprendizaje de topología, en: Actas de la Conferencia Internacional sobre Redes Neuronales Artificiales (ICANN), Parte III, LNCS 6354, 157-167
Georgios C. Anagnostopoulos y Michael Georgiopoulos. (2000),Hypersphere ART y ARTMAP para el aprendizaje incremental no supervisado y supervisado, en: Actas de la Conferencia Internacional Conjunta sobre Redes Neuronales (IJCNN), vol. 6, 59-64
Documentación de Sandia National Laboratories (2017) Lapart-python
Sarle, Warren S. (1995), por qué los estadísticos no deberían FART archivado 20 de julio de 2011, en la máquina Wayback
Marko Tscherepanow. (2012) Agrupamiento en línea incremental con una red neuronal ART jerárquica de aprendizaje de topología utilizando categorías hipersféricas, en: pósters y actas de la industria de la Conferencia Industrial sobre Minería de Datos (ICDM), 22–34
Fuentes
- Fuente: cns.bu.edu
- Fuente: web.archive.org
- Fuente: www.cns.bu.edu
- Fuente: cns-web.bu.edu
- Fuente: dcommon.bu.edu
- Fuente: open.bu.edu
- Fuente: pub.uni-bielefeld.de
- Fuente: techlab.bu.edu
- Fuente: lapart-python.readthedocs.io
- Fuente: medusa.sdsu.edu
Autor
