Módulo 1

Sistemas Reactivos
reaccionar a lo que ves

Antonio Reynoso Lobato 1

Objetivo del Módulo

Analizar, en sus fundamentos físicos, los

métodos de control que posee el agente así
como el procesamiento de señales del
entorno del mismo; por medio de la
aproximación subsimbólica evolutiva

Antonio Reynoso Lobato 2

1
 Secciones

• Agentes de estímulo-respuesta
• Redes neuronales
• Sistemas evolutivos
• Sistemas con estados
• Visión artificial

Antonio Reynoso Lobato 3

Módulo 1, Sección 1

Agentes de
estímulo-respuesta

Antonio Reynoso Lobato 4

2
 Objetivo de la Sección

Analizar sistemas que no tienen estados

internos y que sólo reaccionan a los estímulos
generados por los entornos donde operan.

Antonio Reynoso Lobato 5

Temas

• Percepción y acción.
• Representación e implementación de
las funciones para la selección de
acciones.
• Consideraciones adicionales.

Antonio Reynoso Lobato 6

3
 Percepción y acción.

• Robots: capaces de responder a estímulos

que reciben sus sensores.
– Machina Speculatrix (53): se movía hacia
una luz de intensidad moderada y evitaba
luces brillantes
– Agentes de estímulo-respuesta
(Agentes E-R)

Antonio Reynoso Lobato 7

Ejemplo ilustrativo
• Mundo:
– Limites:
7 No existen pasillos estrechos ( el espacio entre los
objetos y la frontera deberá ser, de al menos, dos
celdas de longitud)
• Robot:
– Comportamiento:
7 Ir a una celda fronteriza, o que limite con un objeto, y
seguir su perímetro indefinidamente.

Antonio Reynoso Lobato 8

4
 Robot en un Mundo cuadriculado

X = (0,0,0,0,0,0,1,0)

Antonio Reynoso Lobato 9

Comportamiento

• Percibir: si una celda esta libre para ser ocupada ó no

– Ocho entradas sensoriales S = [s(1),s(2),....,s(8)]
7 S(i) = 0: si puede ser ocupada
7 S(i) = 1: si no.

• Acción:
– Acciones primitivas que correspondan a las percepciones:
7 Puede moverse a una celda libre adyacente que este en su
misma fila o columna (si la celda no esta libre la acción no
tendría efecto):
– 1: Norte (1 celda hacia arriba)
– 2: Este (1 celda a la derecha)
– 3: Sur (1 celda hacia abajo)
– 4: Oeste (1 celda a la izquierda)

Antonio Reynoso Lobato 10

5
 Diseñar

1.Dadas las propiedades del mundo a habitar.

2.Concretada la tarea que tiene que desarrollar.

Diseñar: especificar una función definida

sobre las entradas sensoriales que
seleccione la acción apropiada en cada
momento para lograr el objetivo
encomendado al robot

Antonio Reynoso Lobato 11

Cálculo

• Vector de características: que se correlacionan con las propiedades

del entorno que son relevantes
– Numéricas (números reales)
– Categorizadas (nombres o propiedades: [color = (rojo, verde,...)] )
– Binarias (1 y 0´s ó F y V)
• Cálculo de la acción: se selecciona una acción a partir del vector de
características
Antonio Reynoso Lobato 12

6
 Proceso

• Proceso:
– Desplazado hacia la percepción:
7El mundo se percibe como un estado en
que la acción X ( norte por ejemplo) es
posible
– Desplazado hacia la acción:
7Se obtiene la acción X realizando el cálculo
directamente sobre las entradas sensoriales
– Dividido entre percepción y acción.

Antonio Reynoso Lobato 13

¿Cómo realizar la División?

• De modo que las mismas características puedan ser

usadas en otras tareas que el robot tenga que realizar (se
asemeja al uso de las funciones de una librería)
– 1° Resolver como realizar la división.
– 2° Resolver:
7 Conversión de los datos primitivos del vector de
características.
7 Especificar la función para el cálculo de la acción.

Antonio Reynoso Lobato 14

7
 Percepción:

• Entradas sensoriales:
– (S1, S2,....,S8) => 2^8 = 256 combinaciones posibles.
7 La condición que prohíbe pasillos estrechos descarta
combinaciones.
– Definir:
» Características: X1, X2, X3, X4 (variables sensoriales)

• El procesamiento perceptual puede producir ocasionalmente

información errónea, incompleta ó ambigua que lleve a una
selección inadecuada de la acción a tomar.

Antonio Reynoso Lobato 15

Características:

• X1 = 1 si y solo si S2 = 1 ó S3 = 1.
• Combinaciones booleanas de las entradas sensoriales

Antonio Reynoso Lobato 16

8
 Acción:
• Definir la función:
– Reglas:
7 Si ninguna característica toma el valor de 1, moverse en
cualquier dirección (norte por defecto) hasta encontrar un borde.
7 Si X1=1 y X2=0, moverse al Este
7 Si X2=1 y X3=0, moverse al Sur.
7 Si X3=1 y X4=0, moverse al Oeste
7 Si X4=1 y X1=0, moverse al Norte
– Combinaciones booleanas de las características

Antonio Reynoso Lobato 17

Álgebra Booleana
• Representación de la función booleana:
– F(X1, X2,...,Xn) : le hace corresponder a este arreglo de 1´s y 0´s
o bien 1 o bien 0
• Conectivas: ( * , + , ¬ )
– Conjunción:
7 = : tiene el valor
7 X1X2 = 1 si y solo si X1 = 1 y X2 = 1;
7 X1X2 = 0 en cualquier otro caso
– Disyunción inclusiva:
7 X1+X2 = 0 si y solo si X1 = 0 y X2 = 0;
7 X1+X2 = 1 en cualquier otro caso
– Complemento o Negación:
7 ¬X = 1 si y solo si X = 0
7 ¬X = 0 si y solo si X = 1
PROPIEDAD DE DUALIDAD

Antonio Reynoso Lobato 18

9
 Álgebra Booleana
• Reglas:
– 1+1 = 1; 1+0 = 1; 0+0 = 0
– 1*1 = 1; 1*0 = 0; 0*0 = 0
– ¬1 = 0; ¬0 = 1
• Robot:
– F = ¬X1*¬X2*¬X3*¬X4 + X4*¬X1 (moverse al norte)
– X4 = S1 + S8 (característica)
• Átomo: Formula booleana de una variable X1
• Literal: Función booleana de una variable o su
complemento ¬X1

Antonio Reynoso Lobato 19

Leyes de las conectivas

• Conmutativa:
– X1X2 = X2X1; X1+X2 = X2+X1
• Asociativa:
– (X1X2)X3 = X1(X2X3)
– (X1+X2)+X3 = X1+(X2+X3)
– Estas dos leyes permiten eliminar los paréntesis
• De Morgan:
– ¬(F1F2) = ¬F1 + ¬F2
– ¬(F1+F2) = ¬F1*¬F2
• Distributiva:
– F1(F2+F3) = F1F2 + F1F3
– F1+(F2F3) = (F1+F2)(F1+F3)
Antonio Reynoso Lobato 20

10
 Formas y Clases
• Monomio ó término: conjunción de literales
– L1L2....Ln es un término de la función
– Tamaño del término: número de literales
– 3^n monomios distintos de n variables
(límite inferior)
• Cláusula: disyunción de literales
– (L1+L2+....+Ln) es una cláusula de la función
– Tamaño de la cláusula: número de literales
– 3^n cláusulas distintas de n variables
(límite superior)
• Si F es un término aplicando la leyes de De Morgan
¬F es una cláusula y viceversa

Antonio Reynoso Lobato 21

Formas y Clases
• FND: Forma Normal Disyuntiva, si puede escribirse como una
disyunción de términos
– F = X1X2 + X2X3X4
– FND de k términos: si consiste en una disyunción de k
términos.
– Pertenece a la Clase k-FND: si el tamaño del mayor término
es k
• FNC: Forma Normal Conjuntiva, si puede expresarse como una
conjunción de cláusulas
– F = (X1+X2)(X2+X3+X4)
– FNC de k cláusulas: si consiste en una conjunción de k
cláusulas.
– Pertenece a la Clase k-FNC: si el tamaño de la mayor cláusula
es k
• Cualquier expresión FNC se convierte a FND aplicando las leyes
de De Morgan y viceversa (reciprocas)
Antonio Reynoso Lobato 22

11
 Representación e Implementación

• Selección de Acciones:
– Una generalización de las funciones booleanas:
7 Función definida sobre el vector de
características, que tenga R valores de salida
distintos:
– R posibles acciones a seguir

Antonio Reynoso Lobato 23

Representación
• Funciones de selección de acciones:
– Sistemas de Producción:
7 Reglas de Producción:
– c(i) Î a(i) : c(i) condición; a(i) acción
7 Conjunto de Producciones: (Tablas de
decisión )

c(1) Î a(1)
c(2) Î a(2)
.
.
c(n) Î a(n)

Antonio Reynoso Lobato 24

12
 Funciones de selección de acciones:
– Reglas de Producción:
7 c(i) Î a(i) :
– c(i) condición: cualquier función booleana
definida sobre el vector de características
» (normalmente es un monomio).
– a(i) acción:
» Acción primitiva
» Llamadas a otro sistema de producción
» Conjunto de acciones a ser ejecutadas
simultáneamente

Antonio Reynoso Lobato 25

Funciones de selección de acciones:

Conjunto de Producciones:
Se busca, siguiendo el orden establecido en el
conjunto de reglas, la que la evaluación de su
condición sea igual a 1

c(1) Î a(1)
c(2) Î a(2)
.
.
c(n) Î a(n)

Antonio Reynoso Lobato 26

13
 Ejecución por defecto
• Por lo general la última regla tiene el valor de 1
(Regla por defecto)
• A medida que se van ejecutando las acciones las condiciones de las
reglas deben ser comprobadas continuamente:
– Se modifican las entradas sensoriales constantemente
• Sistema de Producción:
– X4¬X1 Î norte
– X3¬X4 Î oeste
– X2¬X3 Î sur
– X1¬X2 Î este
– 1 Î norte
• Proceso sin Fin.

Antonio Reynoso Lobato 27

Sistemas Dirigidos por Objetivos

• Las acciones se ejecutan hasta que se alcanza algún

objetivo
– Objetivo: condición booleana de las características
7 C:alcanzo la esquina cóncava
– C Î nil: acción nula (sin efectos)
– 1 Î sb: seguimiento de bordes
• Programas Teleo-Reactivos (T-R)
– Teleo: fin ó propósito

Antonio Reynoso Lobato 28

14
 Programas T-R

• La primera regla define el objetivo general

( ciclo WHILE)
• El objetivo debe de estar bien definido:
– expresado como una función booleana de las
características
• Las acciones conducen al agente, inexorablemente,
hacia el objetivo general (Robustez)

Antonio Reynoso Lobato 29

Programas T-R

• El sistema de percepción debe de ser preciso

( se puede recuperar de):
– Percepciones erróneas (contratiempos)
– Acciones ejecutadas incorrectamente
– Procesos externos del entorno
• Pueden contener Parámetros: fijados en el momento
en que los programas son llamados
• Pueden llamar a otros programas T-R
• Pueden llamarse ellos mismos (Recursividad)

Antonio Reynoso Lobato 30

15
 Redes Lógicas

• Puertas Lógicas:
– AND, NAND, OR,etc...
• Unidad Lógica con Umbral (ULU)
– Aplica una función no lineal sobre una suma
ponderada de sus entradas.

Antonio Reynoso Lobato 31

Unidad Lógica con Umbral (ULU)

• ULU: Modelo simplificado de una neurona biológica:
– Cuyo disparo depende de la suma de intensidades de
las sinapsis:
• Que atenúan o amplifican la intensidad de las
entradas

Antonio Reynoso Lobato 32

16
 Implementación mediante ULU´s

• Separa el espacio de los vectores de entrada en

dos regiones mediante una superficie lineal:
– Hiperplano de n dimensiones
• Funciones linealmente separables:
– Monomios: conjunción de literales
– Cláusulas: disyunción de literales
• Funciones no-separables:
– Ó exclusivo:
7 f = X1¬X2 + ¬X1X2

Antonio Reynoso Lobato 33

Implementación de un monomio

• Los pesos en las líneas de entrada

• Umbral dentro del circulo

Antonio Reynoso Lobato 34

17
 Función para el seguimiento de bordes

f = X1¬X2 = (S2 + S3)¬(S4 + S5)

= (S2 + S3)¬S4¬S5

(Moverse al Este)
Antonio Reynoso Lobato 35

Redes Neuronales

• Selección de acciones:
– 2 acciones posibles:
• Implementación con una sola ULU:
– siempre y cuando tengamos como entrada
una representación codificada del vector de
características
– Mas de 2 acciones posibles:
• Implementación con una red de ULU´s
(red neuronal)

Antonio Reynoso Lobato 36

18
 Implementación de Programas T-R

• Sugerencia de Kats: combinaciones repetidas de

inversores y puertas AND
– implementadas por medio de ULU´s
• Entradas: valores binarios de c(i)
• Salidas: activan a las acciones a(i)
– Implementación por medio de CIPA:
Comprobación, Inhibición, Propagación, Acción
• 2 entradas
• 2 salidas
• 2 ULU´s

Antonio Reynoso Lobato 37

Unidades CIPA
• CIPA: Comprobación, Inhibición, Propagación, Acción
• 2 entradas:
• Inhibición
• Comprobación
• 2 salidas:
• Propagación
• Acción
• 2 ULU´s
• Conjunción: de una entrada con el
complemento de la otra
• Disyunción: de las dos entradas

Antonio Reynoso Lobato 38

19
 Red de Unidades CIPA
• La entrada de inhibición será igual a 0, cuando
en ninguna de las reglas precedentes la condición
sea cierta
• La entrada de comprobación toma el valor de 1,
cuando la condición correspondiente a la regla
representada es cierta

Conjunción

Disyunción

Antonio Reynoso Lobato 39

Red de Unidades CIPA

• Si la entrada de comprobación es igual a 1 y la
de inhibición es igual a 0, la salida de acción
toma el valor de 1
• Si las dos entradas toman el valor de 1, la salida
de propagación toma el valor de 1 inhibiendo a
todas las unidades que siguen

Conjunción

Disyunción

Antonio Reynoso Lobato 40

20
 Unidades CIPA

• Si implementamos un CIPA por medio de una

matriz de puertas programables
– ( o de cualquier forma dinámica de construir
circuitos)
– cada vez que se llama al programa T- R
– se construye dinámicamente el circuito que
implementamos

Antonio Reynoso Lobato 41

Arquitectura de Subsunción

• Otro formalismo para especificar el proceso que

asocia las entradas sensoriales con las
acciones correspondientes.
• La idea general es que el comportamiento
global del agente descansa sobre un conjunto de
módulos de comportamiento

Antonio Reynoso Lobato 42

21
 Módulos de comportamiento
• Cada módulo recibe información de las entradas sensoriales:
– Si las entradas satisfacen una precondición específica, se
ejecuta el programa específico para cada módulo
• Un módulo puede ser subsumido en otro (inmediato inferior)

prioridad

Antonio Reynoso Lobato 43

Sistemas E-R
• Arquitectura horizontal
– Cuando un modulo j se subsume en un modulo i;
• El modulo i tiene prioridad sobre el módulo j

• Arquitectura vertical
– Procesamiento perceptual: calcular el
• Vector de características, a partir de
– Señales sensoriales
– Selección de acciones: calcular la
• Acción, a partir del
– Vector de características

Antonio Reynoso Lobato 44

22
 Sistemas E-R
• Arquitectura horizontal
– Permite al diseñador considerar de forma simultánea aquellos
aspectos relacionados con la percepción y la acción que sirven
de base para presentar pautas de comportamiento especificas
7 Se benefician con la división vertical entre percepción y
acción
– El vector de características lo pueden dividir en diferentes
campos y procesarlos concurrentemente
• Arquitectura vertical
– La relación inherente entre extracción de información y la
generación de pautas de comportamiento hace mas atractiva la
optimización de la programación
7 La interacción entre sistemas reactivos relativamente simples
en entornos complejos pueden producir comportamientos
verdaderamente complejos
7 Tiene una pequeña cantidad de estados internos

Antonio Reynoso Lobato 45

Consideraciones Adicionales
• Agentes E-R: no son verdaderamente inteligentes
– Teoría de control
7 Termostato
7 Controladores
7 Las partes de un sistema operativo

• Sistemas E-R:
– Sistemas T-R:
7 Modelos etológicos. Comportamiento animal
– El resultado de una acción actúa de estimulo para la
activación de la siguiente acción de la secuencia
7 Agentes tropistas:
– Buscan o se mueven hacia los estímulos:
» fototropismo

Antonio Reynoso Lobato 46

23