Breve Historia de la Redes Neuronales

Historia De Redes Neuronales Artificiales

Los intentos por imitar el funcionamiento del cerebro han seguido la evolución del estado de la tecnología. Por ejemplo, al finalizar el siglo 19 se le comparó con la operación de la bomba hidráulica; durante la década de 1920 a 1930 se intento utilizar la teoría de la conmutación telefónica como punto de partida de un sistema de conocimiento similar al del cerebro. Entre 1940 y 1950 los científicos comenzaron a pensar seriamente en las redes neuronales utilizando como concepto la noción de que las neuronas del cerebro funcionan como interruptores digitales (on - off) de manera también similar al recién desarrollado computador digital. Así nace la idea de "revolución cibernética" que maneja la analogía entre el cerebro y el computador digital.

1943 Teoría de las Redes Neuronales Artificiales

Walter Pitts junto a Bertran Russell y Warren McCulloch intentaron explicar el funcionamiento del cerebro humano, por medio de una red de células conectadas entre sí, para experimentar ejecutando operaciones lógicas. Partiendo del menor suceso psíquico (estimado por ellos): el impulso todo/nada, generado por una célula nerviosa.

El bucle "sentidos - cerebro - músculos", mediante la retroalimentación producirían una reacción positiva si los músculos reducen la diferencia entre una condición percibida por los sentidos y un estado físico impuesto por el cerebro.

También definieron la memoria como un conjunto de ondas que reverberan en un circuito cerrado de neuronas.

1949 Conductividad de la sinápsis en las Redes Neuronales.

Seis años después de que McCulloch y Pitts mostraran sus Redes Neuronales, el fisiólogo Donald O. Hebb (de la McGill University) expuso que estas (las redes neuronales) podían aprender. Su propuesta tenia que ver con la conductividad de la sinápsis, es decir, con las conexiones entre neuronas. Hebb expuso que la repetida activación de una neurona por otra a través de una sinápsis determinada, aumenta su conductividad, y la hacia más propensa a ser activada sucesivamente, induciendo a la formación de un circuito de neuronas estrechamente conectadas entre sí.

1951 Primera Red Neuronal

El extraordinario estudiante de Harvard, Marvin Minsky conoció al científico Burrhus Frederic Skinner, con el que trabajó algún tiempo ayudándole en el diseño y creación de máquinas para sus experimentos. Minsky se inspiró en Skinner para gestar su primera idea "oficial" sobre inteligencia artificial, su Red Neuronal. Por aquel entonces entabló amistad con otro brillante estudiante, Dean Edmonds, el cual estaba interesado en el estudio de una nueva ciencia llamada Electrónica.

Durante el verano de 1951, Minsky y Edmonds montaron la primera máquina de redes neuronales, compuesta básicamente de 300 tubos de vacío y un piloto automático de un bombardero B-24. Llamaron a su creación "Sharc", se trataba nada menos que de una red de 40 neuronas artificiales que imitaban el cerebro de una rata. Cada neurona hacia el papel de una posición del laberinto y cuando se activaba daba a entender que la "rata" sabia en que punto del laberinto estaba. Las neuronas que estaban conectadas alrededor de la activada, hacían la función de alternativas que seguir por el cerebro, la activación de la siguiente neurona, es decir, la elección entre "derecha" o "izquierda" en este caso estaría dada por la fuerza de sus conexiones con la neurona activada. Por ejemplo, la "rata" completaba bien el recorrido eligiendo a partir de la quinta neurona la opción "izquierda" (que correspondería a la sexta), es entonces cuando las conexiones entre la quinta y sexta se hacen más fuertes (dicha conexión era realizada por el piloto automático), haciendo desde este momento más propensa esta decisión en un futuro. Pero las técnicas Skinnerianas (que eran las que se habían puesto en funcionamiento en esta red neuronal) no podrían llevar muy lejos a este nuevo engendro, la razón pasa porque esto, en sí, no es inteligencia, pues la red neuronal nunca llegaría a trazar un plan.

Después de su Red Neuronal, Minsky escribió su tesis doctoral acerca de esta, en ella describía "cerebros mucho mayores", exponiendo que si se realizaba este proyecto a gran escala, con miles o millones de neuronas más y con diferentes censores y tipos de retroalimentación… la máquina podría ser capaz de razonar, mas el sabia que la realización de esta Red Neuronal era imposible y decidió buscar otra forma de crear inteligencia…

Cronología y Línea histórica.

La historia de las RNAs puede ser dividida en varios periodos marcados por los siguientes importantes sucesos:

Primeros Inicios.
1940s: Inicio de una nueva vía de investigación a partir de dos ramas confluyentes: la neurología y las ciencias computacionales.
1943: McCulloch y Pitts describen el cálculo lógico de las redes neuronales.
1948: Wiener publica "Cybernetics" donde describe importantes conceptos en los campos de control, comunicaciones y procesado estadístico de las señal.
1949: Hebb publica "The Organization of Behaviour", donde se describe por vez primera una regla de aprendizaje de modificación de los pesos sinápticos en una RNA.

Periodo emergente y prometedor.
1950s: Se dan grandes avances en el estudio de las memorias asociativas.
1952: Ashby publica "Design for a Brain: The Origin of Adaptative Behaviour", donde se establece que el comportamiento adaptativo se da a través del aprendizaje y no es innato.
1954: Minsky publica "Theory of Neural-Analog Reinforcement Systems and Its Applications to the Brain-Model Problem".
1956: Rochester, Holland, Habit y Duda hacen el primer intento de simulación de las teorías de Hebb. Uttley demuestra que una red neuronal es capaz de clasificar conjuntos de muestras binarias en sus respectivas clases.
1958: Rosenblatt publica trabajos sobre el perceptrón monocapa junto con su teorema de convergencia.
1960s: Periodo monopolizado por el perceptrón y sus variantes.
1960: Widrow y Hoff introducen el LMS (Least Mean Square, Algoritmo de Mínimo Cuadrático), y lo usan para la formulación del Adaline (Adaptive Linear Element).
1961: Steinbuch introduce el concepto de matriz de aprendizaje (La adaptación de los algoritmos al cálculo matricial ha sido fundamental para la implementación hardware de las redes neuronales).
1962: Widrow presenta el Madaline (Multiple-Adaline)
1965: Nilsson publica "Learning Machines" que es todavía la mejor exposición acerca de patrones linealmente separables en hipersuperficies.
1969: Willshaw, Buneman y Lonquet-Higgins publican importantes avances en memorias asociativas.

Periodo de frustación y descrédito.
1969: Minsky y Papert demuestran las limitaciones del perceptrón monocapa aunque no presentan ninguna solución. (El principal problema era la asignación de crédito a las neuronas ocultas de la red). Pasarán alrededor de 10 años hasta su solución con la aparición del primer algoritmo de aprendizaje robusto para el perceptrón multicapa.
1970s: Son años de desánimo, incentivado por las carencias tecnológicas para la experimentación y la falta de apoyos financieros.

Periodo de Renovación.
1972: Anderson, Kohonen y Nakano introducen independientemente el concepto de matriz de correlación. Henry Klopf desarrolla una base para el aprendizaje basada en un principio de aprendizaje biológico llamado heterostasis.
1973: Von der Malsburg demuestra las teorías auto-organizativas. 1974: Werbos introduce la idea general del aprendizaje con back-propagation (Se trata de un algoritmo de aprendizaje más robusto y potente a los empleados hasta entonces basado en la retropropagación de los errores generados en los nodos de la capa de salida de un perceptrón multicapa.), aunque pasarán años hasta que su uso se popularice.
1980: Grossberg postula un nuevo principio de auto-organización, base para el nacimiento de otro tipo de teoría en el campo de las redes neuronales: la ART o Teoría de Resonancia Adaptativa.

Periodo de Renacimiento.
1980s: Expansión del conocimiento en forma de conferencias, libros, publicaciones, cursos, aplicaciones en la industria y las finanzas...
1982: Hopfield introduce otro tipo de redes basadas en la idea de la función energía, un nuevo camino en la comprensión del comportamiento de las redes recurrentes con conexiones sinápticas simétricas.
1983: Cohen y Grossberg establecen un principio general para el diseño de una memoria direccionable por contenido.Barto, Sutton y Anderson publican un trabajo en torno al aprendizaje reforzado de gran interés en cuanto a su aplicación al campo de control.
1986: Rumelhart, Hinton y Williams popularizan el uso del algoritmo de back-propagation. Rumelhart y McClelland publican "Parallel Distributed Processing: Explorations in the Microstructures of Cognition".

Actualidad.
1988: Linsker describe un nuevo principio para redes autoorganizativas, y Broomhead y Lowe describen el uso de RBF o funciones de base radial.
1989: Mead publica "Analog VLSI and Neural Systems" que proporciona una mezcla de conceptos entre la neurobiología y la tecnología VLSI.
1990s: Las aplicaciones a problemas complejos ante los que las técnicas tradicionales poco pueden hacer y la integración de RNAs en CIs son las vías más extendidas, sin olvidar los intentos de enlazar la Lógica Difusa (Fuzzy Logic) con las redes neuronales.