2.4 APRENDIZAJE ASOCIATIVO

2.4.3 Regla de Hebb: Esta regla puede interpretarse matemáticamente teniendo en cuenta que si dos neuronas en cualquier lado de la sinápsis son activadas simultáneamente, la longitud de la sinápsis se incrementará. Si se revisa la figura 2.4.3 correspondiente a un asociador lineal, se ve como la salida a, es determinada por el vector de entrada p.

Figura 2.4.3 Asociador Lineal

(2.4.4)

Puede notarse como la conexión (sinápsis) entre la entrada pj y la salida ai es el peso wij. De esta forma el postulado de Hebb implica que si un valor positivo pj produce un valor positivo ai, el valor de wij debe incrementarse,

(2.4.5)

Donde :

pjq :j-ésimo elemento del q-ésimo vector de entrada pq
aiq :i-ésimo elemento de salida de la red, cuando el q-ésimo vector de entrada es presentado
 :es la rata de aprendizaje, la cual es un valor positivo constante

La regla de Hebb dice que el cambio en el peso wij es proporcional al producto de las funciones de activación en cualquier lado de la sinápsis. Así, los pesos serán incrementados cuando pj y ai sean positivos, pero también lo harán cuando ambos parámetros sean negativos, en contraposición los pesos se decrementarán cuando pj y aijtengan signos contrarios.

Si se retorna a la discusión de los estímulos en animales y seres humanos, debe decirse que ambos tienden a asociar eventos que ocurren simultáneamente. Parafraseando el postulado de Hebb: "Si el estímulo del olor de la fruta, ocurre simultáneamente con la respuesta del concepto de esa fruta, (activada por algún otro estímulo como la forma de la fruta), la red debe alargar la conexión entre ellos para que después, la red active el concepto de esa fruta en respuesta a su olor solamente."

La regla de aprendizaje de Hebb determina que el incremento del peso wij entre la entrada pj de una neurona y su salida ai en la q-ésima iteración es:

(2.4.6)

La rata de aprendizaje determina cuantas veces un estímulo y su respuesta deben ocurrir juntos antes de que la asociación sea hecha. En la red de la figura 2.4.2, una asociación será hecha cuando w > -b = 0.5, entonces para una entrada p=1 se producirá una salida a=1, sin importar el valor de p0

Para comprender el funcionamiento de la regla de Hebb, ésta se aplicará a la solución del asociador de la fruta resuelto en el numeral anterior. El asociador será inicializado con los valores determinados anteriormente

w 0=1, w (0) = 0 (2.4.7)

El asociador será repetidamente expuesto a la fruta; sin embargo mientras el sensor de olor trabajará en forma siempre confiable (estímulo condicionado), el sensor de la forma operará intermitentemente (estímulo no condicionado). Así la secuencia de entrenamiento consiste en la repetición de la siguiente secuencia de valores de entrada:

{p0(1) = 0, p(1) = 1}, {p 0(2) = 1, p(2) = 1}.... (2.4.8)

Usando una rata de aprendizaje , y empleando la regla de Hebb, serán actualizados los pesos w correspondientes al estímulo condicionado, ya que como se dijo anteriormente, los pesos correspondientes al estímulo no condicionado se mantendrán constantes.

La salida para la primera iteración (q=1) es:

a(1) = hardlim(w 0 p 0 (1)+ w(0) p (1) - 0.5)

= hardlim (1*0 + 0*1- 0.5) = 0 No hay respuesta (2.4.9)

El olor solamente no ha generado una respuesta esto es, no hubo una asociación entre el olor de la fruta y el concepto de la fruta como tal, sin una respuesta la regla de Hebb, no altera el valor de w

w(1)=w(0)+a(1) p(1) = 0 + 0*1=0 (2.4.10)

En la segunda iteración, son detectados tanto la forma como el olor de la fruta y la red responderá correctamente identificando la fruta

a(2) = hardlim (w0p0 (2) + w(1) p(2) - 0.5) (2.4.11)

= hardlim(1*1 + 0*1- 0.5) = 1 La fruta ha sido detectada

Como el estímulo del olor y la respuesta de la red ocurrieron simultáneamente la regla de Hebb, incrementa los pesos entre ellos.

w(2)= w(1) + a(2) p(2) = 0 + 1*1 =1 (2.4.12)

En la tercera iteración a pesar de que el sensor de la forma falla nuevamente, la red responde correctamente. La red ha realizado una asociación útil entre el olor de la fruta y su respuesta.

a(3)=hardlim(w 0p0(3)+w(2) p(3) - 0.5) (2.4.13)

=hardlim(1*0+1*1-0.5) =1 La fruta ha sido detectada

w(3) = w(2)+a(3) p(3) = 1+1*1 = 2 (2.4.14)

Ahora la red es capaz de identificar la fruta por medio de su olor o de su forma; incluso si los dos sensores tienen fallas intermitentes, la red responderá correctamente la mayoría de las veces.

Una forma de mejorar la regla de Hebb, es adicionar un término que controle el crecimiento de la matriz de peso, a esta modificación se le da el nombre de regla de Hebb con rata de olvido.

(2.4.15)

 

Donde es la rata de olvido, la cual es una constante positiva menor que 1; cuando se aproxima a cero la ley de aprendizaje se convierte en la ley de Hebb estándar; cuando se aproxima a 1, la rata de aprendizaje olvida rápidamente las entradas anteriores y recuerda solamente los patrones más recientes. El efecto de esta nueva constante, es controlar que el crecimiento de la matriz de pesos no se realice sin límites y así darle un mejor aprovechamiento a la capacidad de memoria de la red.