MORELOS

IEEE 5 Congreso Internacional en Innovacin y Desarrollo Tecnolgico, 10 al 12 de octubre de 2007, Cuernavaca, Morelos, Mxico

Avances en el desarrollo de un sistema de control para una silla de ruedas mediante instrucciones gestuales, utilizando el lenguaje labview
Luis Humberto Snchez Medel1, Rubn Posada Gmez2, Giner Alor Hernandez3 Departamento de Posgrado e Investigacin, Instituto Tecnolgico de Orizaba Av. Instituto Tecnolgico No.852, Col. Emiliano Zapata C.P. 94320, Orizaba Veracruz Mxico.
1

lsmedel@gmail.com, 2rposada@itorizab.edu.mx, 3galor@itorizaba.edu.mx

Resumen: Cuando un acontecimiento desafortunado afecta las capacidades motoras de una persona, es necesario recurrir a dispositivos tales como las sillas de ruedas, que permiten brindar un medio de desplazamiento a pacientes con problemas motores principalmente en los miembros inferiores. Los pacientes que no pueden manipular la silla de ruedas con sus brazos por falta de fuerza o problemas psicomotores en los miembros superiores, recurren a sillas de ruedas elctricas robticas, frecuentemente manipuladas con joysticks; sin embargo la manipulacin del joystick resulta aun poco prctica debiendo recurrir frecuentemente al control del joystick mediante la boca. El presente artculo presenta los resultados parciales en el desarrollo de una silla de ruedas que sea controlada por medio de una interfaz mas intuitiva, empleando instrucciones dadas gestualmente. Se presentan los avances en la realizacin del software de control usando como medio de adquisicin una cmara Web y diversos sensores de presencia y distancia controlados mediante un microcontrolador PIC que establece una comunicacin con un programa desarrollado en Labview. Abstract: When an unfortunate event affects the motor capacity of a person, it is necessary to use devices like wheelchairs that offer a means o displacement for patients with motors problems of the inferior members. Some patients that cannot manipulate the wheelchair with their arms due to a lack of force or psychomotor problems in the superior members, request electric wheelchairs, frequently manipulated with joysticks; however the joystick manipulation is even not practical and frequently it must be handle with the mouth. The present article presents the partial results in the

development of a wheelchair controlled by an intuitive interface, where the instructions are given by gesture instructions. The advances are presented in the realization of the control software using a Webcam and some distances and presence sensors controlled by a PIC microcontroller that establishes the communication with a program developed in Labview.

Keywords: instrucciones gestuales, control de silla de ruedas, procesamiento de imagenes, labview.

Introduccin
La capacidad de desplazarnos libremente es una accin natural, desde el mismo instante en que nacemos y conforme crecemos aprendemos, sin embargo eventos como accidentes, enfermedades o la edad pueden mermar nuestra calidad de vida disminuyendo nuestra libertad de movimiento, esto puede ser causado por la edad o algn incidente que afecte nuestra espina dorsal ocasionando algn tipo de parlisis. La falta de movimiento en alguna extremidad superior o inferior es conocida como parlisis, esta puede ser por debajo de la cintura conocindose como paraplejia o desde el nivel de cuello hacia los pies, llamada cuadraplejia [1,2]. Con el objetivo de optimizar la calidad de vida de personas de avanzada edad o pacientes con parlisis, se han desarrollado sillas de ruedas elctricas de potencia (EPWs), las cuales son operadas mediante controles tipo joystick [3], este tipo de controles, requieren que el usuario de las EPWs sean personas con plena movilidad en sus miembros superiores (paraplejia), sin embargo
Pag.

Nmero de Referencia del artculo: 148

5 Congreso Internacional en Innovacin y Desarrollo Tecnolgico, 10 al 12 de octubre de 2007, Cuernavaca, Morelos., Mxico

las personas de edad avanzada, quienes sufren movimientos involuntarios de la mano o pacientes con cuadraplejia, no pueden utiliza este tipo de EPWs. En otros trabajos se han agregado sensores y computadores a una EPWs para obtener una silla inteligente o IWs. Recientemente gracias a las altas velocidades de las computadoras en el campo de procesamiento de imgenes es posible aplicar diversos algoritmos para realizar lo que es llamado visin por computadora dando paso a nuevos tipos de IWs [4]. El control planteado en este proyecto de una IWs se basa en los gestos faciales captados por una webcam, este mtodo se acogi debido a que los pacientes con cuadraplejia pueden tener movimiento en su rostro, siendo este un mtodo asequible para el control.

la posicin de todo el rostro del usuario [11,12]; Este tipo de IWs sin embargo, no son suficientemente robustas o dependen de componentes complejos para realizar tareas sencillas de control de sensores, adems de imposibilitar su uso en personas cuadraplejicas con dao a nivel de cuello [13]. En este artculo se presentan los avances en el desarrollo del software de control del seguimiento de un objeto de forma definida; se plantea el reconocimiento en primera instancia de una forma definida, que puede ser la forma de la mano del usuario utilizando la tcnica de reconocimiento geomtrico programado en Labview as como la salida al mundo real utilizando un puerto de computadora para controlar un mvil robot.

Trabajos relacionados
Las sillas inteligentes han sido de gran inters en las investigaciones recientes, tratando de incluir mejoras en diversos aspectos tanto de su diseo como de su funcionamiento; se han desarrollado dispositivos que permiten subir la IWs a un auto provisto de arneses especiales para sillas de ruedas donde la propia IWs toma la posicin ms conveniente para poder subir al vehculo. Para ello se requiere de una serie de sensores en el automvil donde se desea incorporar la silla de ruedas y cmaras en diversos puntos para controlar el camino a tomar [5]. Adicionalmente se ha trabajado en el desarrollo de IWs capaces de controlar la direccin que se debe seguir mediante algoritmos de por computadora, determinando as que ruta puede seguir en base a los bordes de las paredes [6]. En lo que concierne a la inclusin de algoritmos capaces de controlar una silla de ruedas prescindiendo de la utilizacin de las manos por parte de los usuarios, se han efectuado trabajos, que incluyen el control de la silla de ruedas mediante instrucciones por voz [7,8], o la identificacin de forma y posicin de los labios [9]; sin embargo ambos sistemas son susceptibles a movimientos indeseados de la IWs durante una conversacin mientras se opera la silla. Adicionalmente, se han desarrollado trabajos en la identificacin del rostro del usuario como control de la silla de ruedas, para ello se ha aprovechado el seguimiento de la posicin de la nia de los ojos [10] o

Desarrollo
Para la realizacin de este proyecto se ha propuesto desarrollar un robot, que en futuros trabajos podra ser sustituido por una silla de ruedas; En primer lugar, se describe el hardware del robot diseado para entablar comunicacin con la computadora, posteriormente el diseo del programa utilizado; cabe mencionar que para el desarrollo de un primer prototipo, se persiguieron los siguientes objetivos: Economa en los componentes. Disponibilidad de componentes. Facilidad para implementar a un sistema real Implementacin de nuevos algoritmos. Comunicacin va RS232.

El software de control del robot esta hecho en lenguaje grfico Labview, debido a la facilidad del diseo que ofrece esta plataforma de software; un objetivo adicional planteado en este trabajo es la utilizacin de un lenguaje de programacin que no ha sido ampliamente explotado en la deteccin de rostros. Una de las primeras etapas ha sido el reconocimiento de una forma definida dentro de una escena para poder controlar el movimiento del robot a travs del puerto serie. La funcin principal del robot es obedecer las seales provenientes del puerto serie RS232 de la computadora. El robot cuenta con 2 tipos de sensores analgicos: sensores de presencia y sensores de luz y un sensor

Pag.

5 Congreso Internacional en Innovacin y Desarrollo Tecnolgico, 10 al 12 de octubre de 2007, Cuernavaca, Morelos., Mxico

digital tipo bumper. Los sensores son de carcter anlogo, debido a que la determinacin de su valor corresponde al nivel de voltaje que el microcontrolador PIC16F877A convierte a un valor digital por medio de una microprograma realizando un barrido de ADC. Los sensores digitales son acoplados al puerto B del microcontrolador para obtener una interrupcin ante la presencia de un obstculo. Los sensores de presencia determinan el momento en que puede avanzar el robot sin que tropiece con un obstculo o un desnivel. Los sensores de luz, determinan cuanta luz incide sobre el objeto; esto puede ayudar a acelerar el proceso del algoritmo de visin al determinar la mejor forma de procesar la intensidad de la luz en la imagen. Consta de un teclado mediante el cual es posible elegir el nmero de microprograma a correr desde un mismo microcontrolador, de esta manera se puede elegir entre una comunicacin simplex o semiduplex con barrido de ADC. Una pantalla de LCD donde se mantiene una ayuda visual al elegir el microprograma a ejecutar, adems de mostrar los valores de los sensores. La comunicacin con la computadora es realizada mediante un protocolo USART RS232, ya que el microcontrolador PIC16F877A cuenta con

Tabla 1 trama de byte que son enviados y recibidos B B0 B1 B2 B3 B4 B5 B6 B7 Byte Transmitido S. presencia Frontal S. presencia Trasero S. de luz izquierdo S. de luz derecho S.contador izquierdo S. contador derecho Sin uso. Sin uso. Byte recibido Direccin PWM 1 PWM 2 Sin uso Sin uso Sin uso Sin uso Sin uso

interrupciones especializadas que determinan cuando un byte es recibido o enviado. Para fines prcticos de comunicacin semiduplex se implement el uso de una conexin directa por medio de un cable tipo UTP de 8 lneas al puerto de la computadora (pin 9 no utilizado). Se desarroll para una comunicacin simplex un receptor de radio frecuencia como medio de comunicacin (Figura 1b). En este primer avance se mantiene una comunicacin simplex, de la computadora al robot, donde las instrucciones de direccin son dadas en un solo byte como se muestra en la Tabla 1. En versiones posteriores se implementar una comunicacin semiduplex llevando la informacin de esta trama de bytes a la computadora la cual determinar si es posible o no avanzar. En la tabla 1 se muestra el significado de la trama enviada, los bytes B6 y B7 son enviados con dato en cero lgico. La etapa de potencia es controlada por el mismo microcontrolador al ser posible usar un PWM para el control del motor mediante E1 y E2. El control de direccin hacia adelante o atrs es dado por D1 y D2. La salida de estos bits son introducidos a la etapa de potencia, a la cual los motores son finalmente conectados. Esta versin prototipo de control de silla de ruedas debe de adaptarse cuando se implemente en una silla real solo en la etapa de potencia, ya sea mediante

a).
LCD 2X16 KEYBOARD

POTENCY STAGE

b).

SENSORS

Fig. 1. a) Robot diseado para implementar el control por software. b) Diagrama a bloques del robot.

Pag.

5 Congreso Internacional en Innovacin y Desarrollo Tecnolgico, 10 al 12 de octubre de 2007, Cuernavaca, Morelos., Mxico

mtodo mostrado en la Figura 3; el cual consta de los siguientes pasos:

IMAGE ACQUISITION REAL WORLD PORT OUTPUT MACHINE VISION COLOR PROCESS

Generar una lista de cmaras disponibles. Elegir una cmara mediante un ndice Abrir una sesin y configurarla.

Figura 2 Diagrama a bloques del sistema de control

uso de relevadores (eliminando el PWM) o un puente H de mayor potencia.

Etapas del sistema de visin implementado

Las diversas partes del sistema de control del robot son ilustradas en el diagrama a bloques de la Figura 2. Primero debemos de tener un medio para la adquisicin de la imagen, en este caso se propone el uso de una cmara Web, debido a que su disponibilidad, economa y generalizacin de su utilizacin. Una vez adquirida la imagen debemos desechar el color, puesto que el reconocimiento se basa en la deteccin de la forma del objeto, y para estos fines el color no aporta informacin relevante, de esta manera puede ubicarse el objeto (en las primeras pruebas se emple un objeto circular) y se determinaron sus coordenadas dentro de la imagen creada. Una vez determinada las coordenadas se establecen los lmites de regin en la imagen que definen la direccin a desplazarse (arriba =adelante, abajo=atrs, izquierda=giro a la izquierda o derecha= giro a la derecha). Adquisicin de la imagen Se propuso para la adquirir la imagen una cmara Web, para desarrollar esta etapa en labview se sigui el

Posteriormente se crea una nueva imagen donde se almacenar la imagen generada por la cmara Web y se crea una toma o snap de la misma donde se reconocer el objeto, en este caso un disco. Proceso de reconocimiento geomtrico La localizacin de cierto objeto en la imagen se realiza mediante Geometric Matching. Este mtodo localiza una regin en una imagen en escala de grises que hagan una correspondencia con algn modelo o patrn de referencia previamente cargado en formato PNG. Este mtodo se especializa en buscar patrones por medio de correspondencia geomtrica. Es decir, busca la correspondencia entre la imagen patrn y una imagen temporal sin importar su escala, condicin de luz, ruido o rotacin. Mediante este mtodo es posible buscar una correspondencia aun cuando el fondo de la imagen cambie. En la Figura 3 se muestra la forma de implementar esta herramienta 14. Siendo la salida de este la posicin la en la cual se encuentra el objeto de inters. Una vez ubicado el objeto de inters mediante un Overlay se encierra en un recuadro para observar la ubicacin del objeto usando las coordenadas dadas en el maching.

Figura 3 Visualizacin de imagen por cmara Web

Pag.

5 Congreso Internacional en Innovacin y Desarrollo Tecnolgico, 10 al 12 de octubre de 2007, Cuernavaca, Morelos., Mxico

Lmites de posicin en la imagen Una imagen es un arreglo de 2D de valores que representan la intensidad de la luz. Siendo una imagen una funcin de la intensidad de la luz. Un pxel es un punto en la imagen que representa su intensidad de luz y por convencin la referencia espacial con la coordenada (0,0) esta ubicada en la esquina izquierda de la imagen en la parte superior 15. Si es cierto que Geometric matching nos ofrece la coordenada donde se ubica el objeto de inters es necesario establecer regiones donde se considere que el objeto cambi de posicin, de otra forma al mandar posiciones el robot podra realizar giros involuntarios y ser inestable, es por esto que se establecieron las regiones. Cuando el objeto pase enfrente de la cmara Web y el sistema de visin localice las coordenadas, dependiendo de la regin en que se ubique ser posible determinar la direccin que tomara el robot haciendo de esta manera que sea ms estable al tomar la decisin de una direccin.

mayor orden son bits despreciables en este caso. Para ubicar la regin donde se ubica el objeto de inters, primero se pregunta si no existe correspondencia; de existir una seria falsa, la declaracin y dependiendo las coordenadas dadas por el matching se enviaran los datos. Una vez configurada la cadena de datos es necesario enviarla a travs de un protocolo RS232, por lo que el puerto debe de configurase a 9600 baudios, sin paridad ni control de flujo, con 1 bit de stop. Para ello se envan los datos asegurando que el nibble de mayor peso se ponga a 0, sin embargo al ser despreciable y el robot no reconocer esta parte de la cadena la ignora, es necesario llenar este nibble con el objetivo de completar el byte 16.

Resultados
En la tabla 3 se muestran los tiempos en que el sistema reconoce al objeto de inters, estos tiempos son tomados una vez que la cmara es encendida (el tiempo para el reconocimiento del objeto en la primer adquisicin, es decir al encender la cmara es de 1 segundo). El sistema tiene lmites en cuanto al ngulo de contraccin, en futuros trabajos se buscara identificar el objeto ante una transformacin de perspectiva.

Puerto RS232 envo de datos Una vez determinada la direccin se deben de organizar los datos para enviar al robot. Los nibble de Tabla 2 Relacin ngulo de contraccin / tiempo

Trabajo futuro
Angulo de contraccin 30 20 10 0 10 20 30 Tiempo (ms) 200 202 191 197 194 192 191 Se ha dado el primer avance hacia la localizacin de un objeto circular en una imagen, con ellos se han creado herramientas en labview para posteriormente poder localizar los ojos en una imagen, sin embargo para poder hace un correcto seguimiento de los mismo es necesario segmentar la imagen detectando al usuario de forma automtica, una tcnica que actualmente se esta implementando es la deteccin de la piel, y posteriormente la deteccin del rostro del usuario como se muestra en la figura 6, lo cual ayuda a aumentar la velocidad de procesamiento y disminuye el error de un falso ojo. Debido a que la correspondencia geomtrica depende de los bordes es necesario contar con un mejor algoritmo para acondicionar la imagen antes de ubicar el objeto de inters.

Pag.

5 Congreso Internacional en Innovacin y Desarrollo Tecnolgico, 10 al 12 de octubre de 2007, Cuernavaca, Morelos., Mxico

Fig. 6. Resultados de segmentacin de piel y deteccin del rostro

Conclusiones
Se ha presentado el primer avance hacia una IWs controlada por el reconocimiento de un objeto utilizando la tcnica del reconocimiento geomtrico, el cual sirve para reconocer objetos planos donde la mayor parte del xito depende de la contraccin del objeto a inspeccionar y las condiciones de luz que afecten a la imagen captada por la cmara Web. Este algoritmo en conjunto al programa Labview presenta una forma optima de control y visin por maquina pues es fcilmente configurable. Hasta el momento se han reconocido formas geomtricas de manera exitosa, sin embargo cuando existen diversos objetos similares en la imagen el sistema tiende a oscilar, por lo que es necesario desarrollar algoritmos robustos a duplicidad del objeto de inters.

[6]. Trahanias, P. E. and et al. 1997. Navigational support for robotic wheelchair platforms: an approach that combines vision and range sensors Proceedings of the 1997 IEEE International Conference on Robotics and Automation, Albuquerque, NM, 1265-70. [7]. R.C. Simpson and S.P. Levine, Adaptive shared control of a smart wheelchair operated by voice control, Proc. 1997 IEEE/RSJ International Conference on Intelligent Robots and Systems, vol. 2, pp. 622626, 1997. [8]. Pacnik, G., K. Benkic and B. Brecko, Voice operated intelligent wheelchair VOIC, Proc. of the IEEE International Symposium on Industrial Electronics, vol.3, pp.1221-1226, 2005. [9]. Ulrico Canzler, Karl-Friedrich Kraiss, Person-Adaptive Facial Feature Analysis for an Advanced Wheelchair User-Interface, Conference on Mechatronics & Robotics 2004, Volume Part III, pp. 871-876, September 13-15, Aachen, Sascha Eysoldt Verlag. [10]. L.M. Bergasa, M. Mazo, C. T. San Juan, J. A. Herradas. Guiado de unmvil mediante los movimientos oculares. I Jornadas de Inteligencia Artificial, Control y Sistemas Espertos, E.U. Politcnica. Universidad de Alcal, pp 25-33. 1996 [11]. Kuno, Y., T. Murashima, N. Shimada und Y. Shirai (2000a), Interactive gesture interface for intelligent wheelchairs. In: Proceedings of the 2000 IEEE International Conference on Multimedia and Expo (ICME 2000). Band 2. p. 789792. [12]. P. Jia and H. Hu (2005), Head Gesture Based Control of an Intelligent Wheelchair, p.1, The 11th Annual Conference of the Chinese Automation and Computing Society in the UK (CACSUK05), Sheffield, UK,10 September 2005. [13]. Odor, J.P, Watson M. Learning trough smart wheelchirs as parto f childrens emerging mobility, Report to the Nuffield foundation and the Scottish office, Ed. Univ. of Edinburg, 1994. [14]. NI, Imaq visin concepts manual, National Instruments. USA 2000 to 2005. [15]. Imaq visin for labview user manual, National Instruments, USA, 2000 to 2004. [16]. Antonio Manuel lazaro, Labview 6i Programacin Grafica para el control de instrumentacin, p.295, Ed. Paraninfo 2001.

REFERENCIAS
[1]. Wylie EJ, Chakera TM. Degenerative joint abnormalities inpatients with paraplegia of duration greater than 20 years.Paraplegia 1988;26:1016. [2]. Richard Gutirrez, Scott Gardner, Julie Steward, Problemas de las articulaciones, p.2. Universidad de Kansas Research & Training Center on Independent Living, Serie A - No.5, 1993. [3]. Amundson JS, Amundson SG., A joystick controlled wheelchair., Biomed Sci Instrum. 1991;27:131-3. [4]. T. Gomi and A. Griffith, Developing intelligent wheelchairs for the handicapped, Lecture Notes in AI: Assistive Technology and Artificial Intelligence, Springer, vol. 1458, pp. 150 178, 1998. [5]. Humberto semeno-Villalta and jhon Spletzer, Vision-based Control of a Smart Wheelchair for the Automated Transport and Retrieval System (ATRS), p.1, Department of Computer Science and Engineering Lehigh University, 2005.

Pag.