Visualizador de voz

Discriminacin de fonemas
Introduccin
La intencin de este programa es facilitar la discriminacin de los fonemas a personas
con deficiencias auditivas o con dificultades en el habla.
La idea para intentar conseguirlo es controlar sencillos juegos con la voz.
En principio el programa funciona comparando patrones de voz que el mismo programa
permite crear.
Descripcin de la fase de inicio del programa
Cuando encendemos el programa aparece despus del cuadro de crdito el siguiente
cuadro:
Aqu tenemos cuatro opciones:
Cargar un patrn de fonemas:
2
Discriminaci de fonemes - 23/07/1999
!os permitir" recuperar un patrn de fonemas previamente entrenado i guardado en la
opcin Guardar... . Esta opcin es la misma que la del men# Abrir fichero.
Crear un patrn de fonemas:
Esto nos permitir" construir patrones de fonemas. Esta opcin es la misma que la del
men# Entrenamiento.
Control de volumen del micrfono:
$ace aparecer una ventana donde podremos ver el nivel de sonido de entrada cuando
est el sistema de captura de sonido en funcionamiento% o sea% cuando estemos
entrenando al ordenador o cuando estemos haciendo el reconocimiento.
La barra de desplazamiento% la flecha% nos permite escoger el nivel mnimo de
reconocimiento. &'u quiere decir esto( 'ue los sonidos que no lleguen al nivel de la
flecha no ser"n nunca reconocidos% ) los que la pasen ocasionar"n el proceso de
reconocimiento. Este nivel se puede cambiar desplazando la flecha izquierda o derecha%
dependiendo de si estamos en un ambiente silencioso o ruidoso% tambin puede
interesar modificar esto si el nivel de deteccin de nuestro sistema micrfono*placa es
mu) o poco sensible.
Este cuadro tambin nos permite acceder al programa Control del volumen% programa
que viene con +indo,s o con la tarjeta de sonido% ) a partir de l subir o bajar el nivel
del volumen de entrada de sonido.
3
-i no se ve ninguna se.al har" falta subir el nivel del volumen del micrfono. -i por el
contrario la se.al se activa ) llega al final mu) f"cilmente har" falta bajar el volumen.
Cuando aparece este cuadro se mantiene el cuadro anterior por si queremos hacer el
entrenamiento o el reconocimiento.
Cancelar:
-i apretamos este botn no pasa nada% vamos directamente a la ventana principal del
programa ) podemos hacer las opciones que e/plicaremos a continuacin:
Arrancar el programa con un parmetro:
-i arrancamos el programa con un par"metro% per ejemplo:
ReconeiementDe!onemes "epetAAE#$I%&.'ons(pm'R)*
El programa cargar" el fichero "epetAAE#$I%&.'ons(pm'R)*% si contiene
par"metros correctos de reconocimiento pasar" )a la pantalla principal.
0ecuerden que se puede hacer esto clicando el botn Inicio de +indo,s )% a
continuacin% clicando en e+ecutar programa donde podemos escribir dicha lnea de
comandos.
1ambin se puede hacer en el e/plorador de +indo,s clicando en el fichero )
arrastr"ndolo encima del fichero.ee del programa.
4
Discriminaci de fonemes - 23/07/1999
Descripcin de la ventana principal del programa
La ventana principal del programa tiene el siguiente aspecto:
* 2emos la barra del ttulo. 3Aqu se escribir" el fonema reconocido4.
* $a) una barra de men#s que describiremos m"s adelante.
* 5ebajo de la barra de men#s ha) un espacio gris. Aqu se escribir"n los fonemas que
puede entender.
* 6n cuadro con unas flechas. Aqu se escribir"n los fonemas que equivalen a las teclas
que controlar"n los juegos.
* A su lado% un cuadro donde aparecer" en letra grande el fonema reconocido cuando
se haga el reconocimiento.
A continuacin pasamos a describir las opciones de los men#s:
,en- Archivo
$a) cinco opciones% ha) algunas que se habilitar"n o deshabilitar"n% se vuelven grises%
seg#n el estado del programa.
Abrir... permite cargar un fichero de patrones que previamente ha)amos guardado con
este programa. Act#a de la misma manera que lo hemos e/plicado antes. La e/tensin
por defecto de este programa es: 'ons(pm'R)*% tal ) como siempre se recomienda% no
es bueno cambiarlo. El programa% autom"ticamente% al iniciarse se asocia con esta
e/tensin. -i hubiese otro programa con esta misma e/tensin% cosa bastante
improbable% e/cepto que tengamos dos o m"s copias de este programa en nuestro disco
duro% nos preguntar" si se lo queremos asociar.
Guardar... permite guardar los datos de reconocimiento previamente recogidos en la
opcin. Entrenamiento en un fichero del disco. 1al ) como hemos dicho antes la
e/tensin por defecto es: 'ons(pm'R)* ) no es conveniente cambiarla.
Abrir script... -e e/plica dicha opcin m"s adelante en este manual.
5
.er el nivel del sonido... da acceso al mismo cuadro sobre el nivel del volumen del
sonido que hemos e/plicado previamente.
'alir% permite abandonar el programa.

,en- Entrenamiento...
Es la opcin que permite que el ordenador aprenda a reconocer nuestra voz% o la de
quien sea. Es la misma de la que hemos hablado antes en el cuadro inicial% pero que no
hemos e/plicado en profundidad% ) aqu pasamos a hacerlo. Empezamos a tratar las
particularidades del programa )a que% hasta ahora% lo que hemos hablado% o cosas
parecidas% acostumbra a encontrarse% en la ma)ora de programas.
En primer lugar aparece el siguiente cuadro:
Aqu basta clicar en los sonidos a los que queremos crear el patrn de voz. Como
mnimo hace falta clicar a dos sonidos.
Est" la opcin de cambiar los sonidos. En los cuadros de edicin es donde est"n
escritos los sonidos ) es donde podemos poner los sonidos% slabas% o las palabras que
queramos. 1ambin% podemos poner el tiempo de duracin del reconocimiento
cambiando el valor del cuadro donde ha) un /% que significa 7 dcima de segundo 3como
m"/imo 8 dcimas de segundo4. -i lo que queremos es que reconozca slabas har" falta
aumentar este n#mero. 1ambin puede ser bueno clicar en el chekBox Deteccin de
principio de sonido cuando queramos detectar slabas o palabras. En general para
sonidos es mejor que esta opcin est desactivada ) para slabas ) palabras es mejor que
6
Discriminaci de fonemes - 23/07/1999
est activada. La e/periencia del usuario le indicar" como modificar estos par"metros
para que el reconocimiento sea mejor.
El botn iniciar hace que los nombres de los sonidos vuelvan a ser los que veis en esta
figura.
-upongamos que ha)amos clicado sobre todas las vocales: A% E% 9% :% 6% ) clicamos
en 0E160!% nos aparecer la siguiente ventana:
$ar" falta acercarnos al micrfono ) decir el sonido A durante mu) poco tiempo% slo
un par o tres dcimas de segundo. Cuando la ha)a detectado desaparecer" del cuadro. -i
desaparece demasiado deprisa% o sea% antes de que no ha)amos dicho nada quiz"s sea
porque tengamos el micrfono demasiado sensible. 0ecuerden lo que hemos e/plicado
antes de utilizar la opcin de control de volumen del micrfono. Al principio sera una
buena costumbre tener esta ventana siempre abierta para ver si gritamos demasiado
fuerte o flojo o tenemos el valor del micrfono demasiado arriba o abajo. -i por el
contrario por m"s que gritamos no pasa nada% o sea% no desaparece este cuadro% puede
ser debido a las causas antes mencionadas o a que el micrfono no est correctamente
enchufado a la tarjeta de sonido o el nivel del micrfono est" demasiado bajo. En este
#ltimo caso va)an a la opcin control del volumen.
En el caso de que no estuviese la tarjeta instalada% que estuviese mal instalada% o que
hubiese otro programa haciendo servir la entrada de voz% como puede ser la
grabadora de 0indo1s2 antes de que saliese el anterior cuadro os saldra el siguiente:
En este caso har" falta que os enteris de cual de los problemas mencionados es el que
falla ) corregirlo. $asta que no est la tarjeta ) el micro correctamente instalados% )
hasta que no ha)a ning#n programa que la haga servir% el programa no podr" funcionar
3En ,indo,s ;< parece que )a no es problema esto% )a que permite tener varios
programas que capturan sonido a la vez4. -i el ordenador tuviese m"s de una tarjeta no
s mucho qu puede pasar% este programa hace servir la que el ordenador ha
configurado como primera. <ero supongo que no se dar"n muchos casos de que esto
pase.
7
-uponiendo que no ha)a habido esta dificultad ) que ha)a aparecido la palabra a
reconocer ) el ordenador la ha)a detectado correctamente a continuacin aparecer" un
nuevo cuadro:
En este nuevo cuadro hacemos e/actamente lo que acabamos de decir para entrenar
dicho sonido. -i funciona% a continuacin aparecer"n los siguientes cuadros:
-i todo ha ido bien veris como la ventana principal ha cambiado de aspecto ) la opcin
del men# E+ercicio de discriminacin habr" dejado de ser gris ) ser" de color negro%
que quiere decir que ahora )a est" activa.
Cuando no estamos realizando el reconocimiento veris que el men# Guardar como...
est" activado= esta ser" la opcin que haremos servir si los patrones de reconocimiento
son suficientemente buenos ) queremos guardarlos para otra ocasin.
,en- E+ercicios de discriminacin
-i lo activamos aparecer"n > submen#s:
8
Discriminaci de fonemes - 23/07/1999
Discriminacin de fonemas:
-i lo activamos empieza el reconocimiento% veris que los men#s Entrenamiento )
E+ercicios de discriminacin se desactivan ) se activa el men# parar. -i acercamos el
micrfono a la boca ) decimos sonidos parecidos a los fonemas que ha) en el patrn
que hemos grabado o recuperado del disco% veremos lo m"s parecido a lo indicado con
letra grande en el cuadro de la derecha% que tambin aparece en la barra de ttulo. Este
es el ejercicio m"s simple porque el feedback slo nos indica el fonema reconocido.
A continuacin vienen ? submen#s donde se activan los juegos de discriminacin de
fonemas.
Estas cuatro opciones son equivalentes% la #nica diferencia es el n#mero de fonemas a
discriminar. E/plicaremos la opcin: 3uego de 4 fonemas: "latillos volantes.
Al clicar aparece el siguiente cuadro% que es mu) parecido a uno anterior:
9
2emos que slo aparecen activadas las casillas de los fonemas que tenemos en el patrn.
Aqu har" falta escoger tantos fonemas como teclas necesite el juego. En nuestro caso @
teclas. !ecesitaremos clicar consecutivamente @ casillas para cada una de las teclas. :
sea% primero para la tecla izquierda% despus para la tecla derecha ) finalmente para la
tecla disparar% que son las @ teclas que necesita el juego platillos voladores. Cuando
ha)amos clicado en los @ fonemas aparecer" el mismo cuadro con el siguiente aspecto:
2emos que se ha activado la tecla Aceptar. -i lo hacemos aparecer" el juego
correspondiente% en este caso platillos voladores2 ) se activar" el reconocimiento de
voz ) )a podremos controlar el juego con la voz. En este caso si decimos A veris como
el cohete va a la izquierda% si decs E el cohete ir" a la derecha ) si decs I el cohete
disparar". 5e hecho al principio del juego aparece la primera pantalla donde se e/plica el
funcionamiento del programa. <ara empezar tenis que disparar% o sea decir I.
-e puede parar el juego ) el reconocimiento de voz en cualquier momento clicando el
men# parar.
-i par"is el juego podis reanudarlo clicando la opcin del men# .olver a +ugar o
continuar al -ltimo +uego.
5ota /: CheABo/ 'lo discriminar los sonidos escogidos. Esta es una opcin
importante. -i nuestro patrn de sonidos contiene 8 fonemas ) el juego necesita @% por
defecto el programa reconoce los 8 sonidos% o sea% que si decimos un sonido parecido a
uno de los que no controla el juego se reconocer" ste ) se indicar" en la ventana% pero
no har" ning#n efecto en el juego. -i se activa esta opcin entonces slo se comparar"
con los @ #nicos sonidos que controla el programa.
10
Discriminaci de fonemes - 23/07/1999
5ota *: <ara evitar problemas con la localizacin de los archivos necesarios para
ejecutar los juegos% copiad el archivo% cncs4*.dll% en el directorio% 1indo1s6s7stem.
'ub,en- E+ercicios de discriminacin 8 "rograma eterno...
Esta opcin es bastante importante para dedicarle un captulo aparte. Est" pensada para
ampliar al m"/imo las posibilidades del programa. -i la clicamos aparecer" un cuadro
est"ndar para abrir ficheros donde podremos escoger un programa para ejecutar.
Este programa puede ser en principio cualquiera. !o tiene porque tener ninguna relacin
con el pro+ecte !ressa. -i escogemos un programa ) clicamos Abrir 3el lenguaje
depende del +indo,s que teng"is4 se ejecutar" el programa ) al cabo de 8 segundos
tiene que aparecer el siguiente cuadro. -i no apareciese% clicad en la ventana principal
del programa ReconocimientoDe!onemas:
-i en el cuadro anterior clicamos Cancelar podremos utilizar otro juego que est en
pantalla escogindolo en el cuadro que ha aparecido.
11
Aqu har" falta clicar encima de las casillas que indican las teclas que controlan vuestro
programa. Estas teclas est"n porque son las que creemos que controlan a la ma)ora de
juegos. -i alguno quiere hacer un juego controlado por voz haced servir estas teclas. -i
alguien conoce un juego que quiere controlar con fonemas ) no hace servir estas teclas
hacdnoslo saber.
5etalle importante% para que las teclas se enven al programa correcto hace falta conocer
el nombre de la ventana +indo,s que contiene el programa. En principio si todo
funciona como tendra que funcionar% tiene que ser la que aparece en el cuadro de
seleccin. "latets voladors per escaneig de teclat. -i no fuese esta la ventana haced
doble clic en este cuadro de seleccin% se actualizan los ttulos de ventana que en este
momento se est"n ejecutando ) despus clicando en la flecha se desplegar"n los ttulos
de las ventanas disponibles% clicad en la de vuestro juego o programa ) )a podris
apretar de acuerdo ) a continuacin suceder" lo mismo que pasaba en los juegos del
programa. : sea% saldr" el cuadro donde podis asociar cada tecla con un fonema. A
continuacin se activar" el reconocimiento ) en principio podris jugar al juego con
reconocimiento de fonemas como si se tratase de uno de los juegos del programa. $a)
que hacer notar que los juegos del programa son e/clu)entes% o sea% cuando jugamos a
un juego el programa descarga los otros juegos que ha)% pero no lo hace con los
programas e/ternos. <ara descargar 3salir4 de los programas e/ternos lo tendris que
hacer de la forma que lo haga el programa% si es una aplicacin +indo,s normal% con
Alt C D? acostumbra a funcionar. <rocurad descargar los programas cada vez que
empiece un juego nuevo% sino no sabris a que programa envi"is las teclas.
,en- %pciones
-i lo activamos aparecen 8 submen#s:
9engua+e. 'ue podemos hacer que el programa funcione en castellano o catal"n.
.er las funciones de onda. -irve para detectar problemas de reconocimiento.
E/plicamos esta opcin m"s abajo.
'acar los +uegos de la pantalla. -i queremos sacar los juegos del programa que hemos
ejecutado previamente. 1ambin se puede hacer manualmente saliendo de ellos.
Intercambiar los botonse de la rata. Esta opcin slo sirve por si se juega al juego de
8 sonidos% bon:2 +uego del matamoscas. Este juego no se controla por teclas% sino con
la rata% se cazan moscas clicando. -i sois zurdos ) hacis servir el mouse con la mano
izquierda es posible que teng"is los botones intercambiados. -i fuese as no cazarais
moscas nunca porque de hecho clicarais con el otro botn. Con esta opcin podis
intercambiar los clics que envi"is al programa bon:. En ,indo,s ;< en principio no es
necesario utilizar esta opcin.
12
Discriminaci de fonemes - 23/07/1999
'cripts
-e puede crear un fichero script para facilitar la ejecucin de los juegos contolados por
voz. -e han de realizar de forma manual mediante un editor de te/tos como el%
notepad.ee. En el mismo se ha de definir el fichero donde se guardan los patrones de
voz% el nombre del ejecutable del juego ) los sonidos asociados a las distintas teclas que
controlan el juego. La e/tensin que deben tener los archivos script es% ;.srstpm. La
ventaja es que ejecutando directamente el script se carga el archivo de patrones el juego
) la configuracin de sonidos que activan las teclas para controlar el sonido. <uede ser
aberto dicho script directamente desde el administrador de archivos de ,indo,s o bin
desde el men#% abrir% submen#% abrir script... Como ejemplo se adjunta los archivos:
%rdres E' DI' DRE.srstpm Archivo script de ejemplo.
%rdresE'DREDI'.'ons(pm'R)* Archivo con los patrones de sonidos% @% Es% 5re%
5is. 9zquierda% derecha% dispara.
El contenido del archivo de script:
Projecte Fressa 2001 Reconeixement de fonemes
Fitxer amb el patr de so = ordresESDREDIS.SonspmSR02
Fitxer amb el joc = DispScan.exe
!!ecles
!! "#1$ "E#2$ %#&$ '#($ I#)$ *#+$ ,#-$ F#.$ /#0$ //#10$ 1#11$ 2#12
3#1&$ R#1($ RR#1)$ S#1+$ SS#1-$ 4#1.$ 5#10$ 6#20$
Es78erra = 1
Dreta = 2
"m8nt = 0
"9all = 0
S:ift = &
Espai = 0
Ret8rn = 0
La primera linea es para que el programa ReconeixementDeFonemes reconozca el script
como su)o. -iempre debe estar escrita as.
La segunda se escribe el nombre del fichero con el patrn de sonido% 3Fitxer amb el
patr de so =4 en este caso el nombre de dicho fichero es%
ordresESDREDIS.SonspmSR02.
Las dos lineas siguiente no sirven para nada. 'uando una linea va precedida de EE el
programa las ignora.
Las lineas a continuacin indican que sonido se asigna a cada tecla. En nuestro caso la
tecla 9zquierda al primer sonido% ES% la tecla 5erecha al segundo sonido% DRE% )
finalmente la tecla disparar al tercer sonido% DIS.
-e recuerda que las palabras:
Projecte Fressa 2001 Reconeixement de fonemes
Fitxer amb el patr de so =
Fitxer amb el joc =
Es78erra =
Dreta =
"m8nt =
13
"9all =
S:ift =
Espai =
Ret8rn =
!o se pueden cambiar )a que son la sinta/is que entiende el programa.
-e adjunta otro ejemplo
;ocals "E I %.SrStpm
9ocals""E%'I*,.SonspmSR02
-e recuerda que los patrones han sido grabados con mi voz ) utilizando fonemas
catalanes por lo que a lo mejor si se quiere probar% stos no funcionan correctamente.
<u= pasa si detecta los sonidos mal
5ad un poco de confianza al programa% volved a repetir el entrenamiento ) volvedlo a
probar% al principio puede costar un poco% pero cuando funcione veris que el resultado
es espectacular.
>?a7 alguna manera de ver por @u= falla el reconocimiento en el caso de @ue lo
hagaA -%
Fen# %pciones% opcin .er funciones de onda.
-i clic"is esta opcin os aparecer" la ventana siguiente:
14
Discriminaci de fonemes - 23/07/1999
Aqu tendris el sonido que os ha grabado para hacer el reconocimiento. -i veis alguna
gr"fica de funcin que se vea mu) poco quiz"s es porque no se ha grabado nada.
Clicando en el #ltimo botn podremos escuchar todos los sonidos grabados% por si ha)
alguno con el volumen insuficiente o con otro sonido grabado que no es el que creemos.
Con el primer botn podemos escuchar cada uno de los sonidos independientemente de
los otros escogindolo en el cuadro de eleccin donde ahora aparece AE-Izquierda. -i
alg#n sonido estuviese mal grabado podemos volver a hacer el entrenamiento para este
#ltimo sonido clicando en el botn de color rojo que nos har" aparecer uno de los
cuadros descritos anteriormente% ) que en este caso sera:
G podemos volver a grabar el sonido. El otro botn% el de la flecha se.alando una
especie de dibujo de un disco duro% sirve para guardar la grabacin como fichero .1av.
!o es una opcin que interese demasiado para el objetivo del programa..
Aprovecho para decir que si nos paseamos por encima de cualquier botn aparecer" un
tip que nos dir" qu hace el botn.
El primer sonido% de color rojo% es al que le hacemos el reconocimiento ) los azules son
los patrones. -i tenemos escogido el primero veris como el botn que tiene una
redonda roja sta le desaparece. Es porque el botn se vuelve inactivo. Este sonido no
es un patrn.
-i alguna persona tiene cierta curiosidad ) se pregunta si el reconocimiento se hace
comparando estas funciones% os digo que no. -e hace haciendo unas transformaciones
matem"ticas a estas funciones.
!inal
.isualiBador de voB 8 Discriminador de fonemas es un programa que est"
continuamente en evolucin. es posible que la versin que teng"is tenga m"s opciones
que no estn recogidas en este manual o alguna cosa cambiada.
.isualiBador de voB 8 Discriminador de fonemas se est" desarrollando por Hordi
Lagares 0oset% profesor de matem"ticas de el 9E- -anta EugInia de Jirona.
.isualiBador de voB 8 Discriminador de fonemas es una primera apro/imacin al uso
del reconocimiento de voz para a)udar a discriminar fonemas para personas con
dificultades en el habla.
.isualiBador de voB 8 Discriminador de fonemas es uno de los programas de los que
forman el K"ro+ecte !ressaK un conjunto de programas inform"ticos para a)udar en el
mundo del discapacitado.
15
A#n ) las limitaciones que pueda tener este programa% pensamos que puede a)udar a la
escuela a cubrir un vaco de manera razonable reservando otras soluciones m"s costosas
para equipos m"s especializados.
<ara cualquier sugerencia ) aportacin% que ser" bien recibida% os podis dirigir por
correo electrnico a: jordiLlagares.org.
<odis obtener m"s informacin% la versin m"s actualizada ) otros programas del
mismo autor en la direccin: ,,,.lagares.org.
Animamos a los usuarios a visitar con cierta asiduidad dicha ,eb )a que continuamente
se van realizando modificaciones ) actualizaciones de los programas del K"ro+ecte
!ressaK.
Agradecimientos
El autor quiere e/presar a Joaquim Fonoll del <rograma de 9nform"tica Educativa ) a
las profesoras del CREDAG ) de la escuela ,aCana de -alt% el m"s sincero
agradecimiento por el apo)o ) sugerencias hechos a este programa. As tambin quiero
e/presar mi agradecimiento a FMnica% mi esposa% por su inestimable a)uda en la
confeccin de este manual.
16