Generacin de secuencias de expresiones faciales a partir de texto completo mediante gramticas independientes del contexto

Marcela S. Castro - Jorge H. Doorn - Pablo A. Jalabert - Adriana I. Berruti Universidad Nacional del Centro Facultad de Ciencias Exactas - ISISTAN San Martn 57, (7000) Tandil, Argentina 1. Introduccin La tarea de mejorar la calidad de vida, como as tambin las oportunidades vocacionales, para millones de personas con discapacidades es una necesidad inminente [1]. La demora en el desarrollo de herramientas para discapacitados no es debido a la falta de tecnologa sino al escaso reconocimiento de su potencial [2]. Por otra parte, el desarrollo de herramientas computacionales que faciliten la integracin de personas discapacitadas requiere la comprensin precisa y detallada de cmo la habilidad faltante funciona en una persona normal [3]. En el presente artculo se describe un aspecto del desarrollo de un sistema de apoyo en el entrenamiento en la lectura de labios [4], como parte de un proyecto ms amplio de creacin de un conjunto de herramientas de ayuda a personas con dificultad auditiva [5]. 1.1 Comunicacin oral El ser humano se vale de las ms diversas maneras para transmitir ideas, lo hace mediante gestos, gritos, actitudes, movimientos; pero su lenguaje ms frecuente es la voz, la cual est constituida por sonidos cuyos elementos sonoros bsicos son los fonemas. Por otra parte es bien conocida la importancia de la escritura como medio de comunicacin, la cual est basada en un conjunto de smbolos grficos o grafemas [6]. La unidad bsica terica que permite describir cmo el habla transporta significado lingstico a travs del sonido es denominada fonema. Cada fonema puede ser considerado un cdigo que consiste de un conjunto nico de gestos articulatorios, los cuales incluyen el tipo y la ubicacin de la estimulacin de sonido as como la posicin o movimiento de los articuladores vocales [7]. El acto concreto de hablar se realiza mediante la produccin de sonido articulado, esto es, cada segmento sonoro es el resultado de utilizar simultneamente los rganos del aparato vocal: lengua, labios, glotis, etc. [8]. Cada emisin de un sonido es distinto a otra emisin del mismo. Por ejemplo, la emisin de la secuencia escrita flores no es siempre igual; la /s/ puede aparecer ms o menos sonora.; la /o/ admite realizaciones ms o menos abiertas, etc. Hay sin embargo, un conjunto de caractersticas comunes a todas las variantes de un determinado fonema, que le permite ser reconocido como tal. Reconocemos una /s/ entre todas las variaciones de la /s/; una /o/ entre todas las infinitas pronunciaciones de /o/. Es decir, un fonema est constituido por un conjunto de alfonos que representan la libertad permisible dentro de cada lenguaje para la produccin de un fonema. Toda lengua dispone de un conjunto pequeo de fonemas, que actan como elementos constitutivos de la palabra, es decir, permiten la construccin de las mismas, y con ellas los mensajes del habla [9]. 1.2 Desarrollo lingstico en personas hipoacsicas La capacidad para desarrollar el lenguaje est codificada en el DNA de los cromosomas humanos. Pero cualquier nio adquiere el lenguaje como lo recibe durante su infancia. Su lengua natural es la que l espontneamente desarrollar, corregida constantemente por el modelo de la lengua de la comunidad en la que vive [10]. Durante el primer ao de vida el balbuceo de un nio sin discapacidad no se distingue, generalmente, de uno hipoacsico. Pero aqul no puede escuchar sus propios sonidos perdiendo, as, un muy importante estmulo. Por esta razn, la disminucin o carencia de audicin es descubierta ms tarde de lo imaginado, incrementndose de esta manera la necesidad de un entrenador experto [11]. El hipoacsico debe aprender cmo se produce el sonido de una forma ms consciente, esto es, deber entender que hay algo llamado sonido que no puede percibir, pero que es muy importante para comunicarse con otras personas. El nio tiene un

desarrollo mental concurrente con el desarrollo del habla y de muchas otras habilidades. Durante esta etapa, el desarrollo se basa en estmulos, siendo el auditivo una de las ms importantes fuentes de nuevos conceptos e incentivos. Como resultado de la diferencia de estmulos recibidos entre un hipoacsico y un nio normal, tiene lugar un desarrollo intelectual tambin diferente. Las dos principales formas en las que una persona hipoacsica puede reemplazar parcialmente la habilidad faltante, son el lenguaje de seas y el aprendizaje de la diccin conjuntamente con la lectura de labios. El lenguaje basado en seas ofrece una muy buena fuente de estimulacin, y si bien requiere poco esfuerzo, reduce el nmero de personas con las cuales el hipoacsico podr interactuar apropiadamente. Por otro lado, la lectura de labios hace posible mejorar la comunicacin del no hbil y, tambin sus oportunidades de vida. Una herramienta computacional basada en la animacin de expresiones faciales, resulta vlida para colaborar en el proceso del entrenamiento en la lectura de labios. Indudablemente, esta herramienta no intenta reemplazar o disminuir el rol del maestro especializado. Por el contrario, la idea que podra ser una herramienta de ayuda resulta muy alentadora. 2. Apoyo computacional para el entrenamiento en la lectura de labios Al pronunciar un fonema se deben ejecutar actividades especficas con la boca, labios, dientes y lengua. Cada actividad puede ser parcialmente vista por un interlocutor adecuadamente ubicado respecto del hablante. La edad en la cual la lectura de labios se ensea es muy importante, puesto que el conocimiento de la escritura se vuelve extremadamente relevante. Leer los labios cuando una expresin facial se puede correlacionar con letras es una tarea ms fcil. En particular, hay una relacin uno a uno entre expresiones faciales y vocales. Por otra parte el castellano es, generalmente, calificado como un lenguaje fontico, en el sentido que el sonido de sus palabras pueden ser bien predicho desde la forma en la cual ellas estn escritas. 2.1 Lenguaje fontico y expresiones faciales Para la persona hbil auditivamente, la diferencia entre fonemas es mayor que la diferencia entre las respectivas expresiones faciales. Hay 22 fonemas diferentes en el castellano rioplatense, sin embargo solo 18 de ellos producen imgenes visualmente distinguibles. De los 22 fonemas, 5 derivan de las vocales; de los restantes, 8 derivan de 8 letras (d, l, m, f, n, , p, t) y cada uno de ellos tiene su propia expresin facial, esto les brinda la oportunidad de ser "ledos". Los restantes 9 fonemas que derivan de 14 letras, disponen slo 5 expresiones faciales diferentes. Es por esto que la lectura de labios se desarrolla en un mbito con un importante grado de ambigedad, ya que ms de un fonema se manifiesta con la misma expresin facial. Si todas las expresiones faciales "ambiguas" fueran interpretadas incorrectamente, el grado mximo de confusin sera del 41%. Este nmero aparece como exagerado, pero si se tiene en cuenta la prdida de informacin que va del texto a su versin oral, bajo las mismas consideraciones, el grado de confusin sera del 52 %. Es decir, la prdida de informacin por observacin de expresiones faciales respecto de escuchar los correspondientes fonemas es, en principio, menor que la que existe al escuchar un texto respecto de su versin escrita. Est claro que en el anlisis anterior se ha ignorado la dificultad adicional que emerge de ver la expresin facial en lugar de or el fonema. La comparacin del prrafo anterior proporciona los porcentajes del 18 % para ambos casos, cuando se considera que el acierto es tan probable como el error. Finalmente, si se tiene en cuenta la probabilidad de ocurrencia de cada una de las letras, y fonemas en el idioma castellano estos valores se reducen a 16 y 14 % respectivamente. 2.2 Duracin de los fonemas La duracin individual de cada fonema depende no slo de su naturaleza propia, sino tambin de la velocidad global con que se habla. Aunque hay algunos fonemas cuyas expresiones faciales son indistinguibles, su duracin es diferente. La herramienta de ayuda que se describe fue construida teniendo en cuenta la duracin

de los fonemas, de tal forma que cada expresin facial dura en la pantalla un perodo predeterminado. En otras palabras, cada fonema tiene una expresin facial y un perodo de duracin asociado; ste se modifica, en funcin de la velocidad global del discurso, de manera diferente para cada fonema o ms precisamente para cada alfono. Un fonema no voclico ubicado en una posicin libre en una slaba, es decir antes del grupo voclico, se comporta de una manera muy diferente en cuanto a su duracin, que un fonema ubicado en una posicin trabada, es decir al final de la slaba. Los fonemas consonnticos libres tienen una flexibilidad en su duracin mucho ms rgida que los fonemas trabados, especialmente cuando encuentran al final de la palabra. Aparentemente esta caracterstica no es fcil de apreciar, sin embargo posiblemente ofrezca un servicio adicional para la persona bajo entrenamiento que no es posible ser apreciado apropiadamente todava. 2.3 Traduccin texto-expresiones faciales El corazn de la herramienta utilizada para el entrenamiento en la lectura de labios por parte de hipoacsicos graves, est constituido por un traductor texto a secuencia de expresiones faciales, cuyo componente ms importante es, a su vez, el traductor texto a secuencia de fonemas, dado que como ya se ha dicho, conocido el fonema existe una sola expresin facial y una sola duracin para el mismo. Cuando en la modalidad interactiva, el usuario escribe una palabra o una sentencia en la pantalla, sta es traducida a una secuencia de fonemas. Para lograrlo, se aplican las reglas fonticas del castellano rioplatense. Estas reglas se basan en el conocimiento de la posicin de cada letra en relacin con las dems y tambin, en la forma en que la palabra se separa en slabas. Un aspecto significativo para asegurar una traduccin correcta, es el conocimiento de la ubicacin del acento tnico, puesto que cada palabra castellana tiene acento, sea ste escrito o no. La traduccin de texto escrito a expresiones faciales, para el castellano rioplantense, es un proceso de cuatro etapas, dos de las cuales fueron construidas basadas en las gramticas de las reglas fonticas. Esta traduccin es mostrada en el siguiente diagrama:

La primer etapa escribe un guin en cada posible separacin de slaba dentro del texto. La segunda hace la traduccin de texto guionizado a secuencia de fonemas usando las reglas fonticas del lenguaje. La tercera estudia completamente la acentuacin de las palabras, clasificando en tres grupos todas las slabas del texto: slabas con acento principal, slabas con acento secundario y slabas no acentuadas. Debiera notarse que el acento dentro de una palabra es muy importante en la fontica castellana y, finalmente, la ltima etapa es, simplemente, una bsqueda en una tabla de dibujos de expresiones faciales indexada por fonema. La primera y la segunda etapa fueron implementadas como una especie de pequeo compilador con los correspondientes analizadores lxicos y sintcticos y un generador de cdigo directo. Ambos analizadores fueron construidos basados en una gramtica libre de contexto escrita en BNF. La gramtica de la primer etapa es ms pequea que la gramtica de la segunda, la cual contiene ms de trescientas reglas. La fase de acentuacin lee una secuencia de fonemas separada en slabas mediante guiones y modifica las palabras de tal forma que el acento de cada slaba es codificado dentro de sta. En la seccin 3 se amplia y detalla el proceso de traduccin indicado. 2.4 Animacin de expresiones faciales Un prototipo completamente operacional ha sido escrito en Visual C++, el cual se ejecuta en el ambiente Windows. Este prototipo se encuentra evolucionando en base a las realimentaciones que se reciben, a punto de partida de su uso concreto con un reducido grupo de hipoacsicos, bajo la supervisin de docentes especializados. La animacin de las figuras faciales se realiza presentando en la pantalla dibujos en los que se destaca la posicin de los dientes, labios y lengua para cada fonema distinguible. Entre cada "expresin facial lmite", se intercalan dos o tres posiciones

intermedias las que fueron creadas para cada posible transicin. La barra de control de la ventana en la cual la figura facial est "hablando" contiene varios conos permitiendo al usuario entrar nuevos textos, cambiar la velocidad del movimiento de la figura, mover cuadro por cuadro o moverse hacia atrs. Las figuras 1 y 2 muestran los cuadros que representan las expresiones faciales de las letras a y f, respectivamente.

Figura 1 -----------------------------------------------------------Figura 2 3. Traduccin texto-fonema Dependiendo del lenguaje, la relacin entre los grafemas y los fonemas es ms o menos prxima. En el idioma castellano en general, y en el castellano rioplatense en particular, esta relacin es muy cercana, ya que a partir de cualquier sucesin de grafemas se genera una nica sucesin de fonemas. Por otra parte, la relacin inversa no es cierta en virtud que, frecuentemente, varias sucesiones de grafemas diferentes producen la misma sucesin de fonemas. Si bien, en el castellano rioplatense, la vinculacin entre una sucesin de grafemas con la correspondiente sucesin de fonemas es totalmente determinstica, eesto no significa que a cada grafema le corresponda un slo fonema. El fonema correspondiente a un determinado grafema slo puede obtenerse a partir del conocimiento de los grafemas que le anteceden y suceden. En otras palabras, puede decirse que la relacin entre los grafemas y los fonemas es una relacin funcional pero cuando la misma se aplica a un conjunto de grafemas. Si a cada fonema le correspondiera una letra e inversamente a cada letra le correspondiera un fonema, no habra ningn tipo de dificultad ortogrfica en este aspecto o causada por esta relacin, sin embargo, a pesar de que como ya se dijo el castellano es una de las lenguas que tiene mayor relacin entre fonemas y grafemas, se producen algunas situaciones de disociacin con sus correspondientes dificultades ortogrficas. Este fenmeno es ms notorio en el castellano rioplatense, ya que existen menos fonemas que en otras variantes del mismo idioma. Por ejemplo los sonidos asociados al grafema /c/ antes de /e/ o /i/ no se distinguen del sonido del grafema /s/ y tambin ocurre que el sonido que surge del par de grafemas /ll/, no se distinguen del que surge del grafema /y/ antes de una vocal. Como ya se indic ms arriba, un aspecto a ser tenido en cuenta, es que cada fonema no es un sonido monoltico e invariante, sino que est influenciado por los fonemas que lo encierran, generndose de esta manera los diferentes alfonos del fonema en cuestin. En el castellano existen grafemas que suelen ser afectados por smbolos, como el acento y la diresis. El primero de ellos se caracteriza por influir a las vocales, en tanto que el segundo es utilizado para destacar el sonido asociado con la letra /u/ cuando es precedida por la letra /g/ y seguida de otra vocal, donde habitualmente su sonoridad es nula por ejemplo en la palabra lingista. Por otra parte, ciertas consonantes al combinarse con las consonantes /l/ o /r/ forman grupos consonnticos cuyas caracterstica ms relevante es que en el silabeo forman duplas que no es posible separar, y durante la diccin aunque se trate de dos fonemas independientes actan como un grupo consonntico consolidado. Las vocales tambin presentan caractersticas similares a los grupos anteriores, pero sus agrupaciones poseen distintos nombres dependiendo de la combinacin y cantidad existente de las mismas, cuando el conjunto de vocales pertenece a una misma slaba se trata de diptongos o triptongos, cuando involucra a la(s) vocal(es) final(es) de una palabra y a la(s) vocal(es) inicial(es) de la palabra siguiente es una sinalefa. Cuando el grupo voclico que puede ser tanto un diptongo como un triptongo, se haya separado constituyendo ms de una slaba, recibe el nombre de hiato. 3.1 Proceso de silabeo

La palabras constituyen grupos fnicos que se organizan en slabas, las cuales son unidades rtmicas constituidas de uno o ms grafemas; en forma intuitiva se puede afirmar que una slaba se produce cada vez que el aire sale de la boca y se emite un sonido al hablar, es decir que las slabas se encuentran limitadas por depresiones de la perceptibilidad, las cuales son observables al or los sonidos de las palabras. Estas caractersticas permiten definir a la slaba como la emisin indivisa de un sonido voclico simple o compuesto, solo o acompaado de sonidos consonnticos, por lo cual la slaba es el grupo fnico ms elemental. Desde el punto de vista de la separacin silbica, los sonidos voclicos pueden constituir una slaba por s solos, en tanto que los consonnticos no. Este hecho se debe a que las consonantes impiden momentneamente la salida del aire de la cavidad bucal, o bien provocan cierta resistencia la que produce fricaciones perceptibles, en cambio en las vocales los rganos toman posiciones ms abiertas. Si se realiza una comparacin en iguales condiciones del aparato fonador, las vocales poseen un mayor grado de perceptibilidad que las consonantes; dando por resultado que en la slaba siempre se destaque el sonido de la vocal o vocales que la componen, por lo cual la vocal constituye el ncleo de la slaba, pudiendo la misma constar de una, dos o tres vocales y hasta cuatro consonantes. El silabeo ortogrfico, es un proceso de separacin de palabras en slabas que se lleva a cabo siguiendo normas fijas. Debe tenerse en cuenta que un texto est constituido por una secuencia de palabras, cada palabra por una cadena de caracteres iniciales, intermedios y finales; que pueden ser consonantes, vocales, agrupacin de vocales o agrupacin de consonantes. NO-TERMINAL ---> DEFINICION <silaba-libre> <grupo-vocalico> <silaba-libre>--> <grupo-consonante> <grupo-vocalico> <silaba--> <silaba-libre> <silaba>--> <silaba> <consonante> <grupo-vocalico>--> <vocal> <grupo-vocalico>--> <diptongo> <grupo-vocalico>--> <triptongo> <diptongo>--> <vocal-abierta> <vocal-cerrada> <diptongo>--> <vocal-abierta> H <vocal-cerrada> <diptongo>--> <vocal-cerrada> <vocal-abierta> <diptongo>--> <vocal-cerrada> H <vocal-abierta> <diptongo >--> <vocal-cerrada> <vocal-cerrada <diptongo>--> <vocal-cerrada> H <vocal-cerrada> ______________________________________________________ Tabla 1 Las reglas de silabeo han sido totalmente formalizadas mediante reglas de produccin en BNF. En la tabla 1 se presentan algunos ejemplos de las reglas BNF utilizadas para la construccin del traductor de texto a texto separado en slabas. El analizador lxico del traductor de texto a texto separado en slabas, es simple y se ocupa de algunas tareas menores como de reconocer maysculas y minsculas,

eliminar espacios innecesarios, etc. 3.2 Proceso de fonetizacin El traductor de texto separado en slabas a secuencia de fonemas tambin ha sido realizado mediante una suerte de compilador cuyo programa fuente es el texto guionizado y cuyo programa objeto es la secuencia de fonemas. El analizador lxico de este compilador se ocupa de detectar todas las posibles situaciones de sinalefa, eliminando la separacin entre las palabras involucradas, de tal manera que el anlisis sintctico asuma la existencia de diptongos y genere los alfonos correspondientes a esta situacin. Por otra parte, el mismo tiene a su cargo el anlisis de la conjuncin "y" determinando su reemplazo por el grafema "i" y provocando la sinalefa cuando la palabra que la precede termina en vocal y/o la que la sucede empieza con vocal. Otra tarea del analizador lxico consiste en la eliminacin del grafema /h/, excepto cuando se produce la sucesin de los grafemas /c/ y /h/. El analizador sintctico del traductor de texto guionizado a secuencia de fonemas, ha sido tambin construido a partir de un conjunto de producciones escritas en BNF que describen las reglas fonticas del castellano rioplatense. En la tabla 2 se presentan algunos ejemplos de las reglas BNF utilizadas para la construccin del traductor de texto separado en slabas a secuencia de fonemas. NO-TERMINAL------> DEFINICION <p-implosiva>--> P GUION <t-dental> <p-nula>--> P <s-trabada> <p-bilabial>--> P <b-oclusiva>--> <espacio-largo> B <b-oclusiva>--> <espacio-largo> V <b-fricativa relajada>--> B <s-trabada> <b-fricativa-relajada>--> B <s-relajada> <b-fricativa-relajada>--> V <s-trabada> <b-fricativa relajada>--> V <s-relajada> <b-fricativa>--> B<b-fricativa>--> V <m-bilabial-implosiva>--> M <m-bilabial-implosiva-sorda>--> M GUION <p-bilabial> _______________________________________________________ Tabla 2 3.3 Proceso de acentuacin Tanto en la lectura de un texto como en el dilogo coloquial, en la pronunciacin de las palabras se aprecia claramente la existencia de distintas intensidades sonoras para las diferentes slabas que las constituyen. Algunas tienen una sonoridad mucho ms destacada que el resto, otras poseen sonoridad intermedia y las restantes sonoridad baja. La slaba con mayor intensidad de una palabra se dice que tiene el acento principal de la misma, ste puede ser tanto escrito como prosdico. Adems de este acento, existen otros de menor intensidad conocidos como acentos secundarios. Las slabas con acento secundario, comparten con el acento prosdico el hecho de no

tener una representacin escrita. Su diferencia reside en la menor intensidad sonora con la que se pronuncian. En una secuencia de slabas correspondientes a una palabra, el acento secundario se distribuye segn un esquema conocido como el del principio alternativo: a partir de la slaba con acento principal tanto hacia el final de la palabra como hacia el inicio, las slabas se clasifican en no tnica y tnica alternativamente. Existe una excepcin a esta alternancia que se da en las palabras que poseen 4 o 5 slabas con acento principal sobre la cuarta slaba, en donde el acento secundario no recae sobre la slaba segunda sino sobre la primera. La influencia del tipo de acento que recibe una determinada slaba se extiende a todos los fonemas de la misma de tal manera que se producen sonidos cuya diferencia es notoriamente perceptible. Los fonemas correspondientes a las slabas con acento principal poseen mayor intensidad sonora y se extienden durante un periodo ms largo que los mismos fonemas cuando pertenecen a slabas con acento secundario o sin acentuacin en absoluto. Finalmente, los fonemas pertenecientes a slabas sin acento, o slabas relajadas, tienen una intensidad y una duracin menor an que aquellas con acento secundario. En principio esta diferencia no resulta perceptible a nivel de las expresiones faciales asociadas a los fonemas, pero definitivamente la duracin de los mismos es mayor, por lo que es posible que esta diferencia pueda ser notada por una persona que realiza la actividad de lectura de labios. La secuencia de fonemas recibida del paso anterior es modificada de acuerdo a la posicin del acento principal y de los acentos secundarios generndose una secuencia de fonemas acentuados, la cual es utilizada para seleccionar de una tabla las expresiones faciales y las duraciones correspondientes. 4. Conclusiones y futuras investigaciones En este artculo se presentan las principales ideas de un proyecto de investigacin y desarrollo, que si bien no est an terminado, ha permitido obtener conclusiones preliminares que se estiman de mucho inters: La animacin de expresiones faciales es, una herramienta til y de ayuda en el proceso de entrenamiento en la lectura de labios. Las gramticas BNF de silabeo y fontica, permiten dar un conjunto de reglas claras que describen correctamente la morfologa y las combinaciones sonoras del castellano rioplantense. La duracin de los fonemas depende fuertemente de la acentuacin. En futuras investigaciones, se estudiarn las diferentes formas de visualizar expresiones faciales para intentar determinar cual es la forma que resulta ms atractiva y eficaz para el entrenamiento en la lectura de labios. La influencia del acento en los fonemas voclicos parece ser ms fuerte que lo establecido en la fontica hispana tradicional. Bibliografa [1] Hazan, Paul L. PERSONAL COMPUTING TO AID THE HANDICAPPED. Johns Hopkins, APL Technical Digest. pp. 226-230, Volume 3-Number 3, 1982. [2] Levitt, Harry, TELECOMMUNITACIONS DEVICES FOR THE DEAF Johns Hopkins, APL Technical Digest. pp. 231-235, Volume 3-Number 3, 1982. [3] Hight, Robin L. LIP-READER TRAINER. Johns Hopkins, APL Technical Digest. pp. 235-237, Volume 3-Number 3, 1982. [4] Castro, M., Doorn J., TOWARD AN AID TOOL FOR LIP-READER TRAINING. IWHIT95 pp. 59-63. Japn, Octubre 1995 [5] Doorn, J.; Castro. M. INTEGRATED SET OF AID TOOLS FOR THE HELP OF IMPAIRED-HEARING PERSONS. CSUN96, California State University, EEUU, Marzo 1996. [6] Borzone, Ana Mara. MANUAL DE FONETICA ACUSTICA Madrid, 1980. [7] Deller J., Proakis J., Hansen J. DISCRETE TIME PROCCESING OF SPEECH

SIGNAL. New York 1993. [8] Navarro, T. MANUAL DE PRONUNCIACION ESPAOLA. Madrid, 1957. [9] Alonso-Corts, Angel, LINGUISTICA GENERAL. Madrid, 1992. [10] Saucedo, M. ORALIZACION DEL NIO SORDO. Fonoaudiologa. Tomo 39 N 2 pp 75-91 Mayo-Agosto 1993. A.S.A.L.F.A. [11] Hight, R. LIP-READER TRAINER. J. H., APL Tech. Dig. pp 235-237, Vol. 3N. 3.

(Home) (Prefacio) (Programa) (Organizadores) (Charlas) (Papers) (Posters)