Mecatrnica del Gesto

Dr. Dr. Lino Garca Morales, Dra. Martina Eckert

El gesto tiene la suerte de poseer la abstraccin de la poesa y el ritmo de la msica El gesto y su lenguaje en la pintura abstracta, Mara Mira-Perceval Graells La mecatrnica es una disciplina heterotpica, en la interseccin de reas como la mecnica, electrnica e informtica, cuyo objetivo es proporcionar mejores productos, procesos y sistemas; un concepto recientemente desarrollado que enfatiza la necesidad de integracin y de una interaccin intensiva entre diferentes reas de la ingeniera. Sin embargo, ms all de su causa final, en la confluencia con el arte, la mecatrnica proporciona valiosas herramientas para la comprensin (anlisis) y simulacin (sntesis) del movimiento, del gesto; especialmente de los mensajes del cuerpo. El gesto es un vehculo de expresin, consciente e inconsciente, meditado e improvisado, liberado de las exigencias de la representacin. La mecatrnica proporciona un vehculo multimedia: autor (gestotrazo), de control (gesto-marioneta, gesto-compositor), de inmersin (gesto-avatar), una extensin del hombre hacia la subjetividad, la creatividad, la ficcin. 1. Mecatrnica 1.1. Captura del Gesto 2. Conexiones 3. Ejercicio 4. Conclusiones

1. Mecatrnica La mecanotrnica1 resulta autosuficiente para su enseanza. Sin embargo la introduccin de herramientas libres, simples y potentes como Arduino, Processing, Pure Data, etc., (connaturales a la mecanotrnica), en el mundo del arte, permite replantear la interrogante de si seran tiles para ensear arte? No ya arte tecnolgico2 sino simplemente: arte. Tngase en cuenta la importancia del gesto, como vehculo expresivo: en el dibujo, la pintura, la escultura, etc., y su intrincada relacin con el movimiento. Cuestionada de otra manera: podra la mecanotrnica ayudar al estudiante en la comprensin de elementos propios del arte? podra aportar una visin atpica, eficaz, ldica, superior? podra ser el propio cuerpo humano no objeto pasivomedio de expresin, sino sujeto activomedio de comprensin? El paradigma de la complejidad, superado el enfoque mecanicista de la realidad, proporciona una visin holstica relacionada directamente con una actitud transdisciplinar. El arte, liberado de las exigencias de la representacin, se dilata a otras disciplinas, las absorbe, las redibuja, en un proceso irreversible de auto-transformacin. Este contexto resulta un terreno frtil para la investigacin y conexin de procesos aparentemente dispares en aras de la excelencia pedaggica. Segn W. Bolton: Un sistema mecatrnico es ms que solo una unin entre los sistemas elctricos y mecnicos, y ms que slo un sistema de control; es una integracin completa de todos ellos3 (Bolton, 2001, p. 1). La mecatrnica es transdisciplinar, adopta un enfoque concurrente y participativo entre las ingenieras mecnica, elctrica, electrnica y de control, aprovecha la porosidad de sus lmites, fusiona e integra. Una de las aplicaciones ms comunes

La existencia de sta palabra se atribuye a Tetsura Mori, un ingeniero Senior que trabajaba para Yaskawa Electric Corp., en 1969. Mori la emple para referirse a la combinacin de sistemas elctricos y mecnicos. Tambin se conoce por mecanotrnica. 2 Las prcticas artsticas relacionadas con la tecnologa se producen en la interseccin, ya sea parcial o total, de los ingredientes de la era de la informacin: computacin, comunicacin, contenidos e, indirectamente, con las disciplinas ingenieriles relacionadas: robtica, electrnica, informtica, redes, programacin, vida e inteligencia artificial, mecnica, multimedia, etc. Esta particularidad le otorgan precisamente las caractersticas ms importantes de la mecanotrnica: la progresividad y la reactividad. La primera est relacionada con la accin procesual y activa de las obras (autnticos sistemas de ingeniera) y la segunda con su capacidad de interaccin. 3 Traduccin de los autores.
1

de la mecatrnica es la robtica y, consecuentemente, la visin e inteligencia artificial, los sensores y actuadores, los sistemas de control, etc. 1.1. Captura del Gesto La captura del movimiento (conocida en ingls como motion capture, motion tracking o mocap) describe el proceso de grabacin de movimiento, de la cualidad expresiva del gesto, y lo traslada a un modelo digital. En el contexto de la animacin, se refiere a la tcnica de almacenar las acciones de actores, y usar esa informacin para animar modelos digitales de personajes ya sea en 2D 3D. Se basa tradicionalmente en las tcnicas de fotogrametra4, medidas sobre fotos, sin embargo, es el propio concepto de fotografa el que ha revolucionado. La fotografa permite obtener imgenes duraderas, atrapar el movimiento, debidas a la accin de la luz; sin embargo la extensin de la radiacin luminosa por debajo y por encima del espectro visible (luz infrarroja, IR y ultravioleta, UV; respectivamente) permiten ver ms all de lo que el ojo ve. Kinect es una tecnologa que supone una revolucin en la tecnologa similar a las que dio forma a la mayora de avances fundamentales del siglo XX. Al igual que el estreno del ordenador personal o Internet, la publicacin de la Kinect fue otro momento en que la fruta, de miles de millones de dlares y dcadas de investigacin que anteriormente slo haba estado disponible para los militares y la comunidad intelectual, cay en manos de la gente comn (Borenstein, 2012, p. v). Kinect es, bsicamente, una cmara de profundidad (depth camera) de bajo coste que no slo convierte en imagen la luz que devuelven los objetos sino que registra la distancia de los objetos. Por cada pxel5, Kinect devuelve informacin de color y profundidad.

Figura 1. Kinect sin la carcasa. De izquierda a derecha: proyector IR, cmara RGB, cmara IR. Adems incorpora un arreglo lineal de micrfonos, control motorizado de la inclinacin de los sensores y conexin USB.

Kinect es un producto de Microsoft para su consola de juegos Xbox 360 desarrollado por PrimeSense. Sin embargo su masificacin se debi a una recompensa de 2.000 dlares que ofreci Adafruit (empresa distribuidora de kits para proyectos de cdigo abierto de hardware,

La fotogrametra es una tcnica que determina las propiedades geomtricas de los objetos y las situaciones espaciales a partir de imgenes fotogrficas. 5 El pxel es la mnima unidad de informacin de la imagen digital. Es resultado de un doble proceso de cuantificacin espacial y del color; determinado por la resolucin de la imagen 2D y del color, respectivamente. La codificacin de la informacin del color ms habitual es la RGB que corresponde a la suma aditiva de los tres colores primarios: rojo, verde y azul. La inclusin de la coordenada profundidad permite generar imgenes 3D.
4

muchos de ellos basado en el microcontrolador Arduino6), a la primera persona que produjera controladores de cdigo abierto, mediante procesos de ingeniera inversa, que permitieran a cualquiera acceder a los datos del Kinect.

Figura 2. Ejemplos de informacin generada por Kinect a partir de imagen de profundidad. Arriba. Modelo 3D. Abajo. Esqueleto con puntos de control (joint) indicados y etiquetados en rojo y huesos (bones) trazados en negro.

Arduino. http://www.arduino.cc/es/. Consultado el 28 de junio , 2012. Arduino es una plataforma de hardware libre, basada en una placa con un microcontrolador y un entorno de desarrollo, diseada para facilitar el uso de la electrnica en proyectos multidisciplinares.
6

Esta iniciativa puso en marcha el proyecto Open Kinect, un esfuerzo de colaboracin de cdigo abierto, para construir recursos gratuitos de explotacin y desarrollo del Kinect que, paradjicamente, terminaron por consolidar el producto de Microsoft mediante una poltica de liberalizacin de las herramientas de desarrollo para PC de PrimeSense y de realimentacin de la creatividad de la comunidad. Posteriormente PrimeSense incluy software ms sofisticado para procesar la imagen bruta (raw) de profundidad, detectar usuarios y localizar la posicin de las articulaciones (skeleton), en tres dimensiones, en un sistema que denomin OpenNI, por "Interaccin Natural" (Natural Interaction). Afortunadamente, hay una cosa que tanto OpenNI y Open Kinect tienen en comn: una biblioteca para Processing. Dan Shiffman y Max Rheiner, desarrollaron bibliotecas para Processing7: Open Kinect y OpenNI (SimpleOpenNI), respectivamente8, que permiten acceder a prcticamente la totalidad de las funcionalidad del Kinect. La conexin KinectProcessing produce un beneficio recproco que resulta un salto cualitativo para la captura gestual. La extraordinaria capacidad interactiva del Kinect en conjuncin con la potencia de Processing (soportada en la amplia y potente biblioteca de contribuciones) y la interaccin con Arduino, permiten construir complejos sistemas mecatrnicos de manera relativamente sencilla y barata. La parte inferior de la Figura 2 muestra una captura de la posicin de las quince uniones o puntos de control del esqueleto, que, en el tiempo, forman trayectorias. De arriba hacia abajo: lHand, rHand, lElbow, rElbow, lShoulder, rShoulder (parejas izquierdaderecha de mano, codo y hombro), head, neck y torso, lHip, rHip, lKnee, rKnee, lFoot y rFoot (parejas izquierda derecha de cadera, rodilla y pie). 1.2. Animata La mecatrnica proporciona un vehculo de control gestomarioneta. Una prctica artstica del arte contemporneo en la interseccin con la tecnologa es la animacin digital.
La animacin es un proceso utilizado para dar la sensacin de movimiento a imgenes o dibujos. Existen numerosas tcnicas para realizar animacin que van ms all de los familiares dibujos animados. Los cuadros se pueden generar dibujando, pintando, o fotografiando los minsculos cambios hechos repetidamente a un modelo de la realidad o a un modelo tridimensional virtual; tambin es posible animar objetos de la realidad y actores9.

La rotoscopa, por ejemplo, se basa en dibujar directamente sobre la referencia, que pueden ser los cuadros de la filmacin de una persona real. La captura de movimiento (motion capture) infogrfica puede considerarse su anloga. Pero en la animacin digital, donde el objeto no es una imagen sino un modelo (2D 3D) de esa imagen, la rotoscopa pasa por controlar el movimiento del modelo (referencia) con la informacin obtenida del modelo real (persona). Animata10 es un programa de cdigo abierto en tiempo real, diseado para crear animaciones interactivas, proyecciones de fondo para conciertos, teatro y danza, etc. Animata se basa en una tcnica, conocida en ingls como cutout animation, que utiliza figuras recortadas digitales (ya sea de dibujos, impresiones, fotografas, etc.). Los cuerpos de los personajes se construyen con los recortes de sus partes. Los personajes cobran vida a travs del movimiento y reemplazo de

Processing. http://www.processing.org/. Consultado el 16 de Junio, 2012. Processing es un lenguaje de programacin y entorno de desarrollo integrado de cdigo abierto basado en Java (lenguaje de programacin orientado a objetos multiplataforma), de fcil utilizacin, y que sirve como medio para la enseanza y produccin de proyectos multimedia e interactivos de diseo digital. Fue iniciado por Ben Fry y Casey Reas a partir de reflexiones en el Aesthetics and Computation Group del MIT Media Lab dirigido por John Maeda. Processing es desarrollado por artistas y diseadores como una herramienta alternativa al software propietario. Puede ser utilizado tanto para aplicaciones locales as como aplicaciones para la web (applets). Se distribuye bajo la licencia GNU GPL. 8 Vase: http://www.shiffman.net/p5/kinect/ y http://code.google.com/p/simple-openni/, Consultado el 28 de Junio, 2012. 9 Animacin. http://es.wikipedia.org/wiki/Animacin. Consultado el 28 de Junio, 2012. 10 Animata. http://animata.kibu.hu/. Consultado el 28 de Junio, 2012.
7

las partes, que configuran las diversas poses. La peculiaridad de este sencillo entorno es que permite la interactividad y el control del movimiento de las marionetas desde otros programas en tiempo real a travs de un protocolo de comunicacin heredado de la msica: OSC (Open Sound Control).
La particularidad de este software es que la animacin el movimiento de las marionetas, los cambios de fondo se genera en tiempo real, lo que hace posible la interaccin continua. Esta capacidad tambin permite conectar sensores fsicos, cmaras u otras variables ambientales a la animacin de personajes, creando una caricatura que puede reaccionar a su entorno. Por ejemplo, es muy simple crear una banda virtual de tteres que reaccione en directo a una entrada de audio, o una escena de personajes dibujados controlados por el movimiento de bailarines (Vase: http://animata.kibu.hu/).

Animata constituye un recurso muy til, no slo para el aprendizaje de determinadas tcnicas de animacin, o de la dinmica del movimiento, sino tambin para la introduccin de prcticas procesuales.

lHand lShoulder lElbow rShoulder rElbow rHand

Figura 3. Ejemplos de tteres marionetas. Arriba izquierda. Imagen fragmentada inicial. Arriba derecha. Modelo Animata. Abajo izquierda. Captura de la animacin. Abajo derecha. Ejemplo de animacin de marioneta mediante el cuerpo humano. Obsrvese la correspondencia entre seis puntos de control o uniones del esqueleto de la marioneta y del Kinect (Figura 2 abajo), respectivamente.

Existen otros entornos de animacin ms potentes y de libre distribucin como Blender11. Blender ofrece un amplio espectro de modelado, texturizado, iluminacin, animacin y postprocesado de vdeo en un solo paquete. A travs de su arquitectura abierta, Blender proporciona interoperabilidad entre plataformas, extensibilidad, un tamao increblemente pequeo, y un

11

Blender. http://www.blender.org/. Consultado el 28 de Junio, 2012.

flujo de trabajo totalmente integrado. Blender es una de las ms populares aplicaciones de cdigo abierto de grficos 3D, no slo por su calidad y potencia sino tambin por su naturaleza abierta. Blender incorpora un intrprete de Python12 totalmente funcional que permite a cualquier usuario aadir funcionalidades mediante un simple script. A travs de un enchufable (plugin), escrito en Python, Blender se puede convertir en un cliente de mensajes OSC y conectar de esta manera la animacin con un controlador externo; como puede ser Kinect Processing.

Figura 4. Ejemplo de ttere en Blender.

2. Conexiones La arquitectura clienteservidor es un modelo de aplicacin distribuida en el que las tareas se reparten entre los servidores (proveedores de recursos o servicios) y los clientes (demandantes). Un cliente realiza peticiones al servidor. El servidor procesa y responde tales peticiones. Esta idea tambin se puede aplicar a programas que corren sobre una nico ordenador, aunque es ms ventajosa en un sistema operativo multiusuario distribuido a travs de una red de ordenadores. El protocolo OSC que conecta el tndem KinectProcessing con Animata o Blender comunica mltiples aplicaciones entre s, ya sea en un mismo ordenador o en distintos ordenadores. Lo que permite incluso controlar una animacin desde diversos Kinects, en diferentes localizaciones geogrficas. OSC es un formato de contenido para mensajes entre ordenadores, sintetizadores de sonido y otros dispositivos multimedia que estn optimizados para trabajar en red con sus ventajas y conveniencias: interoperabilidad, precisin, flexibilidad y una mejor organizacin y documentacin. OSC surgi como alternativa al estndar MIDI (Musical Instrument Digital Interface) de 1983, con mejores prestaciones, mayor resolucin y un espacio de parmetros
12 Python es un lenguaje de programacin interpretado, interactivo, y orientado a objetos. Incorpora mdulos, excepciones, y tipos de datos dinmicos de muy alto nivel y clases. Est expresamente diseado como una extensin de aplicaciones que necesiten una interfaz programable; razn por la que Blender lo utiliza. Python combina un gran poder con una sintaxis muy sencilla.

musicales ms amplio. Los mensajes OSC viajan a travs de Internet y en subredes domsticas y de estudios mediante: UDP/IP, Ethernet, etc. Los mensajes OSC entre controladores gestuales se transmiten normalmente en conexiones USB punto a punto encapsulados en el protocolo serie SLIP (Serial Line Internet Protocol). OSC hereda de su antecesor, MIDI, su facilidad de evolucin y mejora en relacin al tipo de datos, influido por protocolos abiertos como XML, JSON y WDDX; lo que permite generalizar su alcance y trascender su utilizad especfica en la msica. Tanto Animata como Blender tienen la capacidad de reaccionar a mensajes OSC, lo que permite controlar el movimiento de las marionetas con mensajes musicales, por ejemplo, y sincronizarlo, a su vez, con cualquier otra aplicacin que procese estos mensajes. Esta capacidad de interconexin universal permite expandir el uso del Kinect a muchas otras prcticas artsticas intermediales, o incluso transmediales, y por lo tanto enriquecer las actividades educativas y generar metodologas pedaggicas avanzadas. Si se tiene en cuenta la conexin natural ArduinoProcessing, Arduino podra servir como una pasarela de mensajes entre diferentes entornos de trabajo; por ejemplo, el protocolo de control de iluminacin DMX (Digital MultipleX), etc. 3. Conclusiones Vivimos en la era de la informacin y a las puertas de la inteligencia ambiental o computacin ubicua, donde la mecatrnica promete su integracin en el entorno personal. Lo dispositivos inteligentes no se percibirn como objetos diferenciados sino como sistemas integrados en escenarios y espacios habitables con los que el ser humano interactuar de manera natural y realizar cualquier tarea diaria de manera completamente trasparente con respecto a sus ordenadores. A las puertas de esta hiperrealidad no slo es necesario formar a los alumnos para que puedan desenvolverse congnitamente en ella sino que es casi imprescindible el uso de estas tecnologas como medio de aprendizaje. Parafraseando a McLuhan: el medio es la didctica. Bibliografa Bolton, W. (2001). Mecatrnica. Sistemas de Control Electrnico en Ingeniera Mecnica y Elctrica. Barcelona: Marcombo. Borenstein, G. (2012). Making Things See. 3D vision with Kinect, Processing, Arduino, and MakerBot. Make: Book. OReilly.