Universidad Nacional de Quilmes Ing.

en Automatizacin y Control Industrial

Ctedra: Visin Artificial
Octubre de 2005

Aspectos de un Sistema de Visin Artificial

Este apunte tiene como objetivo presentar brevemente los pasos fundamentales de un
proyecto de visin artificial.
La visin artificial es una tcnica basada en la adquisicin de imgenes, generalmente
en dos dimensiones, para luego procesarlas digitalmente mediante algn tipo de CPU
(computadora, microcontrolador, DSP, etc), con el fin de extraer y medir determinadas
propiedades de la imgenes adquiridas. Se trata, por tanto, de una tecnologa que combina las computadoras con las cmaras de video para adquirir, analizar e interpretar imgenes de una forma equivalente a la inspeccin visual humana.
Actualmente se aplica en diversos procesos cientficos y militares, extendindose su uso adems, en un amplio rango de sectores industriales para la automatizacin de tareas
anteriormente reservadas para la inspeccin visual humana. Este tipo de incremento de utilizacin a nivel industrial es debido a que se trata de una tecnologa especialmente til
en labores de inspeccin o supervisin, siendo cuantitativamente ms objetivos y consistentes que la inspeccin humana. Un segundo aspecto complementario de estas tcnicas
es la automatizacin derivada de esta inspeccin y la posibilidad de actuar sobre el proceso de fabricacin o inspeccin modificando parmetros de la mquina de produccin. Las
tcnicas de visin artificial, como demuestra su gran uso en la industria, son particularmente apropiadas para la realizacin de trabajos visuales altamente repetitivos que sean
fatigosos o difciles de realizar para un operario, especialmente cuando este trabajo es ineficiente o costoso en trminos econmicos o temporales.
Un sistema de visin artificial se compone bsicamente de los siguientes elementos:

Fuente de luz: es un aspecto de vital importancia ya que debe proporcionar unas

condiciones de iluminacin uniformes e independientes del entorno, facilitando adems, si es posible, la extraccin de los rasgos de inters para una determinada aplicacin.

Sensor de imagen: es el encargado de recoger las caractersticas del objeto bajo

estudio.

Tarjeta de captura o adquisicin de imgenes: es la interfaz entre el sensor y la

computadora o mdulo de proceso que permite al mismo disponer de la informacin capturada por el sensor de imagen.

Algoritmos de anlisis de imagen: es la parte inteligente del sistema. Su misin

consiste en aplicar las transformaciones necesarias y extracciones de informacin
de las imgenes capturadas, con el fin de obtener los resultados para los que haya
sido diseado.

Computadora o mdulo de proceso: es el sistema que analiza las imgenes recibidas por el sensor para extraer la informacin de inters en cada uno de los casos
implementando y ejecutando los algoritmos diseados para la obtencin de los objetivos.

Aspectos de un Sistema de Visin Artificial

Universidad Nacional de Quilmes Ing. en Automatizacin y Control Industrial

Ctedra: Visin Artificial
Octubre de 2005

Sistema de respuesta en tiempo real: con la informacin extrada, los sistemas de

visin artificial pueden tomar decisiones que afecten al sistema productivo con el fin
de mejorar la calidad global de produccin.

Computadora (CPU o
mdulo de proceso)

Tarjeta
Adquisidora

Fuente de luz
(iluminacin)

Cmara
y lentes

Algoritmos de
procesamiento

Interfase

Actuadores
externos
del proceso

Figura 1: Elementos de un sistema de visin artificial.

Fuentes de luz
La fuente de luz es un factor de vital importancia en los sistemas de visin artificial y afectan de forma crucial a los algoritmos de visin que se vayan a utilizar bajo esas condiciones. Una iluminacin arbitraria del entorno no suele ser aceptable ya que muy probablemente se obtengan imgenes con un bajo contraste, reflexiones especulares, adems
de sombras y detalles espurios. Los objetivos de una iluminacin adecuada son, bsicamente, independizar las condiciones del entorno y resaltar los rasgos de inters de una
determinada aplicacin.
Tipos de iluminacin
A continuacin slo se enuncian los diferentes tipos de iluminacin. En el apunte
Tipos de Iluminacin.pdf se pueden encontrar los detalles acerca de las tcnicas de iluminacin ms comunes y generalmente usadas.

Iluminacin posterior (backlight).

Iluminacin Frontal Oblicua y Direccional.
Iluminacin Frontal Axial (difusa).
Iluminacin de Da Nublado (cloudy day ilumination, CDI).
Iluminacin de Campo Oscuro (dark field).
Array de luces.
Iluminacin de campo claro (o brillante).

Aspectos de un Sistema de Visin Artificial

Universidad Nacional de Quilmes Ing. en Automatizacin y Control Industrial

Ctedra: Visin Artificial
Octubre de 2005

Sensores de imagen
Los sensores de imagen son componentes sensibles a la luz que modifican su seal elctrica en funcin de la intensidad luminosa que perciben. La tecnologa ms habitual en
este tipo de sensores es el CCD (charge coupled devices o dispositivos de acoplamiento
de carga) donde se integra en un mismo chip los elementos fotosensibles y el conjunto de
puertas lgicas y circuitera de control asociada. En stos, la seal elctrica que transmiten los fotodiodos es funcin de la intensidad luminosa que reciben, su espectro, y el tiempo de integracin (tiempo durante el cual los fotodiodos son sensibles a la luz incidente).
Otra tecnologa que est empezando a extenderse son los sensores CMOS (complementary metal oxide semiconductor) dada las ventajas de stos sobre los CCD, y la reduccin
de precios de estos dispositivos. En cuanto al rango dinmico (rango de amplitud entre los
valores mximos y mnimos que un elemento puede producir, medido en decibeles) se pasa de los 70dB de los sensores CCD a los 120dB de los sensores CMOS, valor ms cercano a los 200dB del ojo humano, lo que facilita la autoadaptacin en el propio chip al brillo existente en el entorno. El sensor CMOS puede amplificar de forma individual la respuesta de los pxeles en funcin de sus respectivas condiciones de iluminacin. El acceso
multipxel permite configurar individualmente distintos intervalos de tiempo de integracin,
mejorando la calidad de imagen mediante la seleccin del mejor tiempo de exposicin de
cada pxel.
Resolucin
Existen diferentes arquitecturas de sensores. En primer lugar estn los sensores lineales. En stos, el sensor es una lnea de fotodiodos. Esta arquitectura permite la utilizacin
de sensores de 1x1024, 1x2048, 1x4096, e incluso 1x6000 pxeles, lo que la hace muy adecuada para trabajar con altas resoluciones sobre superficies en movimiento. Para condiciones de iluminacin muy exigentes o velocidades de trabajo muy altas existe la posibilidad del uso de sensores TDI (time delay integrated). Esta tecnologa consiste en el uso
de varias lneas de captura sobre la misma lnea del objeto, con el fin de sumar su carga y
obtener as una mayor sensibilidad. En segundo lugar estn los sensores de rea. Estos
alcanzan resoluciones habituales de 1024x1024, aunque existen en el mercado algunas
casas que disponen de cmaras especiales con resoluciones de hasta 3072x2048. En este caso existen tecnologas de adquisicin de imgenes, entrelazada y no entrelazada. El
mtodo entrelazado captura las lneas pares e impares que forman una imagen en instantes de tiempo diferentes. La tecnologa de no entrelazado (progressive scan) captura todas las lneas en el mismo instante de tiempo. Es ms costoso econmicamente, pero indispensable para trabajar con objetos en movimiento.
Cuantizacin
Independientemente de la arquitectura utilizada, existen otros aspectos importantes en
estos sensores. La cuantizacin (conversin analgica-digital) determina el nmero de
bits usados para representar la informacin capturada. Por ejemplo, usando un sistema
blanco y negro de 8 bits tenemos 256 niveles diferentes mientras que, usando un sistema
de 10 bits, obtendramos 1024 niveles de gris diferentes, lo que permite una mayor definicin.
La evolucin de las capacidades y caractersticas tcnicas de estos dispositivos ha seguido una tendencia muy favorable, potenciado en parte por el mayor uso industrial de estos sistemas. Por tanto, en el mercado existen hoy en da numerosos dispositivos para a-

Aspectos de un Sistema de Visin Artificial

Universidad Nacional de Quilmes Ing. en Automatizacin y Control Industrial

Ctedra: Visin Artificial
Octubre de 2005

bordar cualquier tipo de aplicacin, ya sea en blanco y negro o color, a las velocidades requeridas en los procesos de produccin.
Entre los avances ms significativos, adems de la utilizacin de puertos de comunicacin cada vez ms potentes y fiables, est una capacidad de proceso ms o menos relevante e integrada en la propia cmara. Por ejemplo, la cmara lineal OPSIS 5150ALC dispone de FPGA (Field-programmable gate array, matriz de puertas programable por campo) programable y de un microprocesador Motorola Power PC con sistema operativo en
tiempo real VxWorks que permite realizar procesamiento de imgenes. De esta forma se
puede transmitir la imagen, la imagen preprocesada, o los resultados del procesamiento
de la imagen a travs de los puertos de comunicacin de que dispone la cmara, haciendo innecesario el uso de tarjetas de captura.

Tarjetas de captura (o adquisidora)

Las tarjetas de captura de imagen permiten transferir la imagen de la cmara a la memoria de la computadora con el fin de que sta pueda realizar el procesamiento adecuado
a las imgenes.
Aspectos importantes en la adquisidora: velocidad de transmisin, el formato de los
datos, la profundidad de pxel, la capacidad de captura por disparo, la capacidad de preprocesado de la imagen, la velocidad de transferencia de la imagen de la memoria de la
tarjeta a la memoria de la computadora, el reset asncrono o la capacidad de controlar parmetros de la cmara en tiempo real. Evidentemente, todos los datos relativos a velocidades de transmisin son especialmente importantes para poder trabajar en tiempo real.
Este aspecto ha mejorado notablemente en los ltimos aos. Otro parmetro que ha evolucionado muy favorablemente es el formato de los datos. Con la estandarizacin definitiva de los formatos EIA-644 o LVDS, y del IEEE 1394, se consigue no slo aumentar la velocidad de transferencia, sino que tambin se hace con una mayor inmunidad al ruido y
con longitudes de cableado aceptadas mucho mayores (de 2-10 metros a 25 metros de
distancia cmara tarjeta). La capacidad de sincronizar la captura de las imgenes con
una seal externa tambin se ha mejorado con el reset asncrono, lo que habilita el inicio
de la captura sin tener que esperar el siguiente vertical blank (es decir, sin necesidad de
finalizar completamente la captura de anterior). La capacidad de controlar la cmara con
salidas RS-232 de la tarjeta facilita la variacin de parmetros de la cmara, fundamentalmente la ganancia de los canales RGB, o de pticas motorizadas en tiempo real.
Un aspecto relativamente reciente es la capacidad de poder trabajar con multitap. Existen tarjetas capaces de trabajar con varias cmaras a la vez (hasta 6 cmaras de 8 bits
por pxel), o usar los canales de que dispone para trabajar con cmaras multitap que
transmiten a la vez varios pxeles por cada uno de los canales. Por ejemplo, a 40 MHz, una tarjeta puede recibir la informacin por un canal de 8 bits a 40 Mbytes/seg mientras
que si usa dos canales, la informacin la puede recibir a 80Mbytes/seg, incrementndose
de forma proporcional al nmero de canales la velocidad de transmisin.
En cuanto a la capacidad de proceso de las tarjetas, actualmente slo existe la posibilidad de incorporar un Procesador Digital de Seal (DSP), que permite realizar determinados algoritmos de anlisis de imagen en la propia memoria de la tarjeta, acelerando la imAspectos de un Sistema de Visin Artificial

Universidad Nacional de Quilmes Ing. en Automatizacin y Control Industrial

Ctedra: Visin Artificial
Octubre de 2005

plementacin de los algoritmos de visin. El desarrollo de mdulos de proceso altamente

especializados ha sido abandonado debido a la evidencia de la evolucin superior en
prestaciones de los procesadores convencionales, que hacen que el costo de desarrollo
de las placas altamente especializadas no sea rentable para las casas fabricantes de la
misma, al ser stos rpidamente superados por los constantes incrementos en velocidad
y mejoras internas de los procesadores convencionales.
Otra de las recientes ventajas en cuanto a las tarjetas de captura de imgenes es la in
integracin de la tarjeta de captura, la visualizacin, y el mdulo de proceso (CPU) en un
solo elemento. Estos equipos se proporcionan en un chasis adecuado para trabajar en entornos industriales.

Algoritmos de anlisis de imagen y reconocimiento de formas

Los algoritmos relacionados con visin artificial son muy variados y abarcan numerosas tcnicas y objetivos. Los pasos ms comunes en que consiste el anlisis o procesamiento de imagen se muestran en la figura 2.
Filtrado o
preprocesamiento

Segmentacin

Clculo de
caractersticas

Clasificacin

Seleccin de
caractersticas

Diseo del
clasificador

Implementacin

Diseo

Figura 2: Etapas de un proceso de reconocimiento de formas.

Filtrado o Pre-procesamiento
Cuando se adquiere una imagen mediante cualquier sistema de captura, por lo general
esta no es directamente utilizable por el sistema de visin. La aparicin de variaciones en
intensidad debidas al ruido, por deficiencias en la iluminacin, o la obtencin de imgenes
de bajo contraste, hace necesario un preprocesamiento de la imagen con el objetivo fundamental de corregir estos problemas, adems de aplicar aquellas transformaciones a la
imagen que acenten las caractersticas que se deseen extraer de las mismas, de manera
que se facilite las operaciones de las etapas posteriores. A este campo pertenecen las
tcnicas de transformaciones geomtricas, las basadas en el histograma, el filtrado espacial (apunte Filtrado Espacial.pdf) y el filtrado frecuencial (apunte Filtrado en el dominio de la frecuencia.pdf). Aunque existen lneas de investigacin abiertas, no es el
campo ms activo en ese sentido, y las tcnicas existentes son bastante tiles para la mayora de las aplicaciones.
Algunas de las tcnicas ms habituales son:

Conversin de los niveles de gris: su objetivo es la mejora de la calidad de la imagen.

Aspectos de un Sistema de Visin Artificial

Universidad Nacional de Quilmes Ing. en Automatizacin y Control Industrial

Ctedra: Visin Artificial
Octubre de 2005

Transformaciones geomtricas: los objetivos de sta son la correccin de la perspectiva y la reconstruccin tridimensional de los objetos de la escena.
Transformacin del histograma: las transformaciones del histograma pueden facilitar la segmentacin de objetos de la imagen, aunque habitualmente slo sirve para
modificar el contraste de la imagen y el rango dinmico de los niveles de gris.
Filtrado espacial y frecuencial: dado que pueden suponer una importante modificacin de la imagen original, generalmente slo se consideran filtrados aquellas operaciones realizadas en el dominio espacial o frecuencial que suponen transformaciones pequeas de la imagen original.

Segmentacin o aislamiento de los objetos de inters

Cuando ya se dispone de la imagen capturada y filtrada, es necesario aislar o separar
los objetos de inters de la escena. Se pretende por tanto dividir una imagen en diferentes
regiones, o dicho de otra forma, detectar automticamente los bordes entre los elementos
o regiones. Las operaciones de segmentacin de una escena dependen de la propia escena y de la informacin que se busque dentro de la imagen. Por ejemplo, en fotografa area se utiliza para separar regiones pobladas, agrcolas, bosques, aguas, etc. En imagen
mdica se usa para aislar zonas enfermas de los rganos, o para detectar y contar microorganismos en microscopia. Industrialmente, se usa como primer paso para la medicin
de piezas, para determinar la correcta disposicin del etiquetado de los envases (aislar el
envase, aislar la etiqueta, determinar si la relacin entre estos dos objetos es correcta),
para la medicin de irregularidades en superficies homogneas, para la deteccin de
cambios de texturas en las que el sistema ha de determinar si es un defecto o no lo es,
etc.
Las tcnicas bsicas de segmentacin se pueden dividir en tres grupos:

Aplicacin de umbrales de niveles de gris (apunte Segmentacin por umbralizacin - Mtodo de Otsu.pdf).
Agrupacin por rasgos comunes.
Extraccin de bordes.

La segmentacin de imagen es una temtica actual de investigacin y se han definido

numerosos mtodos diseados para aplicaciones particulares. No obstante, no hay mtodos que sean tiles en una amplia variedad de situaciones, por lo que cada problema necesita la adaptacin o desarrollo de nuevas tcnicas.
Extraccin y seleccin de caractersticas
Con los objetos a estudiar ya definidos, es necesario extraer una serie de medidas que
los caractericen adecuadamente, en forma de vector de caractersticas.
Como norma general, para la eleccin de caractersticas se intenta que:

Sean discriminantes, es decir, tengan valores numricos diferentes para clases diferentes.
Sean fiables, es decir, tengan valores parecidos dentro de una misma clase.

Aspectos de un Sistema de Visin Artificial

Universidad Nacional de Quilmes Ing. en Automatizacin y Control Industrial

Ctedra: Visin Artificial
Octubre de 2005

Estn incorreladas, es decir, obtener la misma informacin con el mnimo nmero

de caractersticas.
Se calculen en un tiempo aceptable, de manera que sea utilizable en problemas de
tiempo real.

Dado que las caractersticas relevantes son a menudo desconocidas a priori, habitualmente se introducen muchas caractersticas candidatas para intentar representar mejor
las clases, an cuando muchas de ellas puedan ser parcial o completamente redundantes
o irrelevantes. No obstante, existen unas tcnicas para mejorar las prestaciones del conjunto de caractersticas escogido inicialmente. stas estn ntimamente ligadas al reconocimiento de formas en su etapa de diseo del clasificador.
Reconocimiento de formas e inteligencia artificial
Normalmente, la visin artificial se utiliza para tomar decisiones a partir de la informacin proporcionada por el sistema de adquisicin de imgenes y las transformaciones y operaciones realizadas con ellas. La informacin extrada se puede considerar como un
vector que recoge las caractersticas o rasgos diferenciadores de la imagen analizada. En
el caso de que se trate de una aplicacin de medicin, este vector recoge todas aquellas
medidas que se deseaban obtener. En aplicaciones de inspeccin, y sobre todo, en aplicaciones de clasificacin, este vector es el conjunto de datos con los que ha de trabajar
un reconocedor o clasificador encargado de extraer las conclusiones posibles a partir del
vector de entrada. Para el diseo del clasificador es necesaria una etapa de seleccin de
caractersticas y una etapa de aprendizaje o entrenamiento. Generalmente, se usa el propio clasificador como evaluador del conjunto de caractersticas en prueba dado que el mtodo que proporciona la mayor fiabilidad, aunque sea el ms costoso temporalmente y de
menor generalidad o capacidad de aplicacin del clasificador a otros problemas. Respecto
a los mtodos clsicos de bsqueda secuencial, actualmente uno de los campos de investigacin abiertos es el uso de algoritmos genticos para la seleccin en paralelo de caractersticas.
En el reconocimiento de formas aplicado a la visin artificial se utilizan tcnicas de reconocimiento geomtrico de formas, como el aprendizaje supervisado (se conoce la clase
a la que pertenece cada vector) en condiciones estadsticas o algoritmos de clasificacin
no supervisados o clustering y, adems, las redes neuronales, siendo estas ltimas especialmente interesantes por su capacidad de aprendizaje adaptativo. Existen numerosos algoritmos para cada una de estas tcnicas y se investiga ampliamente el desarrollo de
nuevos algoritmos e implementaciones hardware de stos. El problema fundamental de
estas tcnica, es que cada una de ellas suele ser la ms adecuada para las caractersticas de un tipo especfico de problema no conocidas a priori, lo que dificulta la seleccin
de la tcnica con la que se desea abordar inicialmente el problema.

CPU o mdulo de proceso

Se trata del sistema encargado de recibir y analizar, mediante los algoritmos adecuados, las imgenes a la velocidad necesaria para poder interactuar con el entorno en tiem-

Aspectos de un Sistema de Visin Artificial

Universidad Nacional de Quilmes Ing. en Automatizacin y Control Industrial

Ctedra: Visin Artificial
Octubre de 2005

po real. Es, pues, la parte del sistema encargada de implementar las funciones y objetivos
para los que se haya diseado el sistema.
Los altos requerimientos computacionales de esta tecnologa no se pueden especificar
de una forma genrica. Un ejemplo demostrativo de estos requerimientos es el del reconocimiento automtico de matrculas mediante una cmara de 8 bits y una resolucin de
640x480 (307.200 pxeles). En esta aplicacin se necesita una etapa de filtrado, una binarizacin que convierta la imagen de 256 niveles de gris a slo 2, una de segmentacin
que asle cada caracter de la matrcula y una de clasificacin. Las operaciones necesarias
se resumen en la siguiente tabla:
Comparaciones

Sumas y restas

Multiplicaciones

Divisiones

Op. en coma
flotante

Total

Filtrado
Binarizacin
Segmentacin
Clasificacin

0
307.200
1.229.310
0

2.457.600
0
1.510
3.304

0
0
0
129.857

307.200
0
1.000
0

0 2.764.800
0
307.200
0 1.231.820
417
133.578

Total

1.536.510

2.462.414

129.857

308.200

417 4.437.398

Si se tiene en cuenta que el sistema ha de trabajar en tiempo real, capturando para ello 30 imgenes por segundo, se necesita una capacidad de clculo de 133.121.940 instrucciones por segundo (133 MIPS). Teniendo en cuenta que el ejemplo comentado es una aplicacin relativamente simple, podemos comprender los altos requerimientos computacionales para el uso de estas tcnicas.
Quizs sea este el campo que ms rpidamente ha evolucionado, debido al uso generalizado de este tipo de sistemas en todos los campos. La rpida evolucin de los procesadores de propsito general ha desbancado la utilizacin de procesadores especializados (ms caros y de una evolucin ms lenta por la demanda del mercado), excepto para
casos muy concretos. Por tanto, la potencia de los procesadores actuales, junto con las
arquitecturas hardware y software que soportan los sistemas multiprocesadores, permiten
el desarrollo de algoritmos complejos con tiempo de respuesta muy cortos y dentro de los
requerimientos de las aplicaciones en tiempo real.
Entre las mejoras ms destacadas podemos mencionar:

Pipeline: capacidad de separar la ejecucin de cada instruccin en varias etapas, lo

que permite que varias instrucciones se ejecuten en paralelo. El primer procesador
Pentium dispone de 5 etapas mientras que el Pentium IV dispone de 20.
Tecnologas de ejecucin dinmica: stas permiten una ejecucin especulativa superando la secuenciacin lineal de las instrucciones de bsqueda y ejecucin de
instruccin. El procesador Pentium contiene un buffer de 40 instrucciones, mientras
que el Pentium IV tiene un buffer de 126 instrucciones y un algoritmo mejorado para la prediccin de saltos.
Juegos de instrucciones SIMD (Single Instruction, Multiple Data): las 57 instrucciones MMX de 64 bits que aparecieron con los primeros Pentium MMX permitan un
alto paralelismo en la ejecucin de instrucciones con tipos de datos multimedia, como son, por ejemplo, las imgenes utilizadas en los sistemas de visin. Esto se traduce en importantsimas mejoras en los tiempos de ejecucin de determinadas o-

Aspectos de un Sistema de Visin Artificial

Universidad Nacional de Quilmes Ing. en Automatizacin y Control Industrial

Ctedra: Visin Artificial
Octubre de 2005

peraciones muy utilizadas en los algoritmos de procesamiento de imgenes, como

las convoluciones o las transformadas de Fourier. Los procesadores Pentium IV
disponen del juego de instrucciones de 128 bits SSE2 con 144 instrucciones nuevas.
Cachs de 2 nivel: estas cachs permiten disponer de memoria para instrucciones
y datos dentro de la propia pastilla del procesador, lo que evita los ciclos de acceso
a la memoria convencional, incapaz de proporcionar los datos a las velocidades
que los procesadores pueden consumirlas. El procesador Pentium II dispone de
512Kb de cach L2 para cdigo y datos, y un bus de 64 bits para conseguir altas
transferencias de datos entre la cach y el procesador.
Unidades de ejecucin en coma flotante FPU avanzadas: soporte del formato IEEE
754 de 32, 64 y 80 bits.

No obstante, para aplicaciones de muy elevados requerimientos computacionales y

estrictos requerimientos de tiempo, la existencia de hardware especializado o, principalmente, la utilizacin de otras arquitecturas paralelas que hagan uso de DSP o sistemas
FPGA aseguran la viabilidad en este sentido de cualquier aplicacin de visin artificial, al
permitir la utilizacin de sistemas multiprocesadores con los DSP en paralelo que se necesiten en la aplicacin.
Paralelamente al hardware utilizado, se han desarrollado libreras software que implementan numerosas funciones utilizadas habitualmente en esta tecnologa, lo que permite
reducir el ciclo de desarrollo de las aplicaciones y facilita la obtencin e implementacin
de algoritmos complejos con tiempos de ejecucin adecuadamente bajos.

Sistemas de respuesta
Se trata de automatismos que responden electromecnicamente con el fin de corregir
o evitar, por ejemplo, en los sistemas de produccin, las causas generadoras de los problemas de deteccin. Otra de las funciones de estos sistemas es la generacin de estadsticas e informes de del proceso al que estn asociados, lo que permite disponer de una
informacin global de los procesos para facilitar la toma de decisiones.
En cuanto a los dispositivos electromecnicos utilizables en los sistemas de visin,
destacan los variadores de frecuencia para el control de motores y la comunicacin entre
las PCs y los autmatas programables que gestionan los distintos dispositivos mediante
redes de campo como Profibus o WorldFIP, y ms recientemente mediante Industrial
Ethernet, y protocolos Wireless. Estos buses permiten la integracin de los sistemas de
visin y sus acciones de respuesta dentro de la estructura CIM de las empresas, lo que
supone un ahorro econmico en los casos en que ya se disponga de esta estructura.

Aspectos de un Sistema de Visin Artificial

Universidad Nacional de Quilmes Ing. en Automatizacin y Control Industrial

Ctedra: Visin Artificial
Octubre de 2005

Ejemplo de un Sistema de Visin: Control de Blisters

En esta seccin se presentar un breve resumen del proyecto final de carrera de la egresada de la Universidad Nacional de Quilmes, Iris Herrero, de manera que puedan verse los aspectos de un sistema de visin en una aplicacin probada y aprobada.
El proyecto consiste en el desarrollo de un sistema de visin para la inspeccin y supervisin de blisters con base de PVC o aluminio. Tal inspeccin debe ser capaz de determinar la ausencia de comprimidos en los alvolos, la presencia de comprimidos fuera de
los alvolos, alvolos sobrecargados, presencia de cuerpos extraos, comprimidos partidos, comprimidos con desmoronamientos, y comprimidos manchados. Todo el anlisis
necesario debe tomar como mximo 1 segundo por cada paso de la blistera. Adems, el
proyecto cuenta con una interfase hombre-mquina que permite configurar ciertos parmetros de la inspeccin (nivel de rigurosidad), proporcionar informacin del error detectado y generar estadsticas de produccin. No obstante, nos concentraremos en lo relacionado a la inspeccin y supervisin.
El sistema
El sistema consiste bsicamente en la integracin de un sensor, una CPU, un lente, un
software y una estructura de iluminacin y montaje.
Para la implementacin del proyecto se defini la utilizacin de la tecnologa de la
Smart-camera mvBlueLYNX, de la librera mvIMPACT-SDK de Matriz Vision para el procesamiento y anlisis de imgenes, y de la librera GNU-PicoGUI para la programacin de
la interfase hombre-mquina.
En particular, la Smart-camera mvBlueLYNX integra el sensor con el CPU, obteniendo
una potente herramienta de desarrollo para una amplia gama de aplicaciones. Su tamao
reducido, sumado al hecho de no necesitar una PC dedicada para que realice el procesamiento, permite que el sistema sea altamente portable y adaptable a los diferentes modelos de blisteras.
Sensor, tarjeta de captura y CPU
Por lo dicho en el prrafo anterior, se eligi la Smart-camera mvBlueLYNX como elemento sensor, que adems integra la tarjeta de captura (necesaria para la digitalizacin
de las imgenes) y el mdulo de proceso o CPU. Puede encontrarse informacin detallada de esta cmara en la siguiente pgina web:
http://www.matrix-vision.com/manuals/mvBlueLYNX/main.html
Fuente de luz. Tipo de Iluminacin. Lentes
Para resaltar los detalles de inters en los comprimidos, se opt por luz blanca difusa
como iluminacin. Para ello, se utilizaron como fuentes de luz arrays de LEDs blancos. La
tcnica de iluminacin frontal se logr mediante una combinacin de difusin y reflexin.
Aspectos de un Sistema de Visin Artificial

10

Universidad Nacional de Quilmes Ing. en Automatizacin y Control Industrial

Ctedra: Visin Artificial
Octubre de 2005

La fuente de luz, el difusor y la cmara se integraron mediante una estructura (campana) rgida. Para favorecer la difusin de la luz aportada por los LEDs, la estructura se pint interiormente de color blanco mate.
La primera estructura de iluminacin desarrollada fue complementada con un lente de
4mm instalado en la Smart-camera. Luego de observar las imgenes obtenidas con esta
estructura, se observ que sta no brindaba un iluminacin uniforme: era ms intensa en
el centro de las imgenes. Por este motivo se debi redisear la estructura eliminando las
terminaciones en ngulos rectos. En esta segunda estructura se observ una mejora en la
distribucin de luz.
La utilizacin de un lente de 4mm gener una importante deformacin geomtrica de
la imagen. Para reducir este efecto no deseado, se decidi su reemplazo por un lente de
8mm. El cambio de lente implic que la segunda estructura deba ser rediseada para una
nueva distancia cmara-objeto de 42.7cm, dando paso a la creacin de la tercera estructura de iluminacin.
En las imgenes captadas usando la tercera estructura se observ que las deformaciones geomtricas se redujeron notablemente. Esto fue sumamente beneficioso para lograr mayor simplicidad y robustez en la etapa de procesamiento.
A pesar de haberse obtenido unas imgenes muy adecuadas para el procesamiento,
esta tercera estructura debi ser rediseada una vez ms. Este cambio se debi a que,
por cuestiones operativas y de espacio, el tamao de la estructura (que se ubica sobre la
mesa de amasado de la blistera) debi ser reducido.
El diseo de la estructura definitiva tuvo en cuenta un sistema de montaje robusto para
la cmara, que la asle de los cambios de luz del entorno y la resguarde mecnicamente.
Software. Algoritmos de anlisis de imagen
El software est integrado por una lgica de control y anlisis y una interfase hombremquina.
Para el funcionamiento del sistema, el software requiere de la determinacin de varios
parmetros. Por ello, se configur de modo que como primera instancia, luego del arranque automtico, se carguen automticamente dichos parmetros desde un archivo de
configuracin almacenado en el disco de la Smart-camera.
Como se mencion, para el procesamiento y anlisis de las imgenes se eligieron las
funciones contenidas en la librera mvIMPACT-SDK de Matrix Vision.
En la figura 3, 4 y 5 se pueden ver diferentes diagramas de flujo que muestran esquemticamente la forma en que trabaja el software.

Aspectos de un Sistema de Visin Artificial

11

Universidad Nacional de Quilmes Ing. en Automatizacin y Control Industrial

Ctedra: Visin Artificial
Octubre de 2005

Encendido de la Smart-camera
Inicio automtico del sistema
Carga de la configuracin del sistema
Almacenamiento de la imagen con fondo blanco
Imagen en Vivo

Configurar

Analizar?

Configurar

Analizar

Captura de Imagen
Rutina
Configuracin

Rutina Anlisis
Carga configuracin

Graba
Configuracin

SI

Detener?

Rutina Anlisis

NO

Detecta
Pulso?

NO

Rutina Configuracin

SI
Captura Imagen
Realiza Anlisis
Genera / Actualiza
estadsticas

Figura 3: Diagrama de estados.

Aspectos de un Sistema de Visin Artificial

12

Universidad Nacional de Quilmes Ing. en Automatizacin y Control Industrial

Ctedra: Visin Artificial
Octubre de 2005

Imagen en Vivo

Captura Imagen

Compensacin de Iluminacin

Define Zona de anlisis

Calcula Histograma

Calcula Umbral ptimo

Segmenta Imagen

Procesa Imagen

Filtra Objetos Extraos

Analizar Imagen

Calcula el Nmero de Calles

Guarda Configuracin

Figura 4: Diagrama de la Rutina Configuracin.

Aspectos de un Sistema de Visin Artificial

13

Universidad Nacional de Quilmes Ing. en Automatizacin y Control Industrial

Ctedra: Visin Artificial
Octubre de 2005

A continuacin se explica brevemente algunos de los pasos presentados en los diagramas.

Compensacin de Iluminacin: debido a la forma rectangular de la estructura de iluminacin del sistema, se debi proceder a realizar una compensacin por software de la
luminosidad de la imagen. La compensacin de la intensidad de los pxeles de la imagen
se realiza en base a la distribucin de la intensidad detectada en una imagen con fondo
blanco. Esta imagen es capturada por nica vez al instalar el sistema y se encuentra almacenada en el disco de la Smart-camera.
Define Zona de Anlisis: esta funcin tiene como objetivo delimitar la zona de anlisis con el fin de descartar posible contaminacin de la imagen, excluyendo zonas que exceden los lmites de inters.
Calcula Histograma: permite determinar en qu rango de intensidades se encuentra
centralizada la mayor cantidad de pxeles.
Clculo Umbral ptimo: esta funcin permite el clculo ptimo del umbral de una imagen o histograma, usando el mtodo de Otsu.
Segmentacin de la Imagen: usando el umbral ptimo, se realiza la segmentacin de
la imagen. Si el objeto y el fondo difieren en el nivel de gris, se pueden identificar los pxeles que pertenecen al objeto mediante el proceso de segmentado. Para segmentar la imagen se utiliza la binarizacin: se etiqueta con cero los pxeles cuyo nivel de gris sean menores al valor del umbral ptimo y con 1 a los pxeles con nivel de gris mayor.
Proceso Imagen: la imagen utilizada para obtener la configuracin es la imagen a tomar como patrn. De sta, se obtienen los valores que determinarn qu comprimido
cumple las especificaciones y cules no. Por este motivo se procesa esta imagen de modo de obtener los datos ms exactos. Con este fin, en esta etapa se aplican dos funciones
a los efectos de eliminar las fallas de iluminacin u otros factores que afecten la definicin
de la imagen a establecer como patrn. stas son:
1) Transformada de Morfologa Open: esta funcin se aplica sobre la imagen segmentada (binarizada) y sirve para suavizar los contornos de los comprimidos, separando as objetos que se encuentren vinculados por pequeas uniones.
2) Filtrado de Objetos por rea: esta funcin permite remover objetos basndose en
su rea. De este modo podemos filtrar (eliminar) todos los objetos de una imagen
cuya rea sea menor que un determinado valor.
Analizar Imagen: Esta etapa es la ms importante de la rutina, dado que previo procesado de la imagen, se obtienen los parmetros esenciales del patrn. Estos componen
la configuracin que se utilizar como base para el control de la blisteada de este producto.
Los parmetros que se utilizaron para la creacin de la configuracin fueron:
1. rea (AREA);
2. Factor de forma (ROUDNESS);
3. Coordenadas del rectngulo perimetral (EXTREME_BOX).

Aspectos de un Sistema de Visin Artificial

14

Universidad Nacional de Quilmes Ing. en Automatizacin y Control Industrial

Ctedra: Visin Artificial
Octubre de 2005

En base a las caractersticas de las fallas que se pretenden detectar, se comprob empricamente que este conjunto de parmetros otorgaba una gran confiabilidad requiriendo
un tiempo de procesamiento reducido.
Definicin de los parmetros:
rea (AREA): es el nmero de pxeles blancos en un objeto. El nmero de pxeles es
multiplicado por el valor del rea del pxel. Los agujeros no contribuyen para el rea.
Factor de forma (ROUDNESS): este valor es derivado del permetro y el rea de un
objeto. Este parmetro tiene un rango de valores de 0 a 1. Un objeto circular tiene el mximo valor del rango (1) y para objetos irregulares o alargados el parmetro tiende al mnimo valor del rango (0). Su ecuacin es:
4 . Area
Roudness =
Perimetro 2
Coordenadas del rectngulo perimetral (EXTREME_BOX): especifica la mxima y la
mnima coordenada de un objeto (bounding box). Las coordenadas son retornadas en dos
puntos en las unidades especificadas: el punto superior izquierdo (XMIN,YMIN) y el punto
inferior derecho (XMAX,YMAX). De modo que:
ancho = X Max X Min + 1

alto = YMax YMin + 1

XMIN,YMIN

YMAX,YMIN

Guardo Configuracin: los parmetros extrados del anlisis de la imagen patrn son
guardados en un archivo en el disco de la cmara con extensin txt. Los datos que se
guardan son los siguientes: nmero de alvolos; rea mnima y mxima; factor de forma
mnimo y mximo; valor del umbral; flag de descarte por comprimido fallado, ausente y
manchado; tipo de fondo; coordenadas del rectngulo perimetral de cada alvolo; nmero
de calles; y posicin de las calles.
El valor del umbral se calcula en forma automtica y es un parmetro altamente afectado por las variaciones en la iluminacin. Por este motivo, es muy importante que el sistema de iluminacin implementado permita un aislamiento adecuado del sistema a las variaciones externas de la luz, y que a su vez otorgue una iluminacin constante y uniforme
sobre la zona de anlisis.

Aspectos de un Sistema de Visin Artificial

15

Universidad Nacional de Quilmes Ing. en Automatizacin y Control Industrial

Ctedra: Visin Artificial
Octubre de 2005

Imagen en Vivo
SI

Detener?

Carga Configuracin
NO

Detecta Pulso

Captura Imagen

Compensacin de Iluminacin

Segmenta Imagen
SI

ltimo?

Procesa Imagen
NO

Define Zona de Anlisis

p/Alvolo

Funcin Control

Descarte?

NO

SI
Genera Seal de Descarte

Figura 5: Diagrama de flujo de la Rutina Analizar.

Aspectos de un Sistema de Visin Artificial

16

Universidad Nacional de Quilmes Ing. en Automatizacin y Control Industrial

Ctedra: Visin Artificial
Octubre de 2005

A continuacin se describen algunos de los pasos de la Rutina Analizar.

Carga Configuracin: carga en la memoria de la Smart-camera los parmetros guardados en el archivo de configuracin (en el disco de la cmara), correspondientes al tipo
de blisteado a realizarse.
Detecta Pulso: una vez cargada la configuracin, el sistema se queda a la espera de
la seal digital que enva el sensor a la Smart-camera para realizar la captura y procesamiento de la imagen a analizar.
Compensacin de Iluminacin: Idem a la Rutina Configuracin.
Segmenta Imagen: se realiza usando el valor de umbral calculado en base a la imagen patrn. Este valor es cargado del archivo de configuracin.
Proceso Imagen: a diferencia de la rutina configuracin, en esta etapa no se realiza el
filtrado de objetos por rea mnima. Si realizramos ese filtrado en este paso, podramos
perder informacin importante para realizar la supervisin del correcto estado de los comprimidos de los blisters.
Define Zona de Anlisis por Alvolo: en esta etapa se define una subimagen por alvolo. El nmero total de alvolos y sus correspondientes coordenadas son parmetros
que se cargan del archivo de configuracin. Las regiones definidas por estas coordenadas
corresponden a los rectngulos externos de cada alvolo de la imagen patrn con la que
se realiz la configuracin. Se trabaja con una subimagen para optimizar la bsqueda y
minimizar el tiempo de requerido por el sistema para ejecutar la rutina de anlisis.
Funcin Control: la subimagen definida en la etapa anterior es pasada como parmetro a la Subrutina Control, donde se realiza un anlisis y se determina el correcto estado
del comprimido de ese alvolo.
Genera Seal de Descarte: en caso de producirse la deteccin de un comprimido defectuoso, la subrutina retorna un valor que indica que se produjo una falla en el comprimido de ese alvolo, por lo que se genera en forma automtica la seal de descarte de ese
blister.

Fases del Proyecto

A continuacin se enunciarn las pasos que constituyeron el desarrollo del sistema de
visin (ordenados temporalmente):

Anlisis de las caractersticas tcnicas (alcances y limitaciones) de la Smart-camera mvBlueLINX.

Puesta en funcionamiento de la Smart-camera mvBlueLYNX: Upgrade del software, conexionado, configuracin de interfases.
Configuracin del puerto serial RS 232 requeridos para la comunicacin e interaccin entre la Smart-camera mvBlueLYNX y la PC mediante el protocolo de comunicacin TCP.
Aspectos de un Sistema de Visin Artificial

17

Universidad Nacional de Quilmes Ing. en Automatizacin y Control Industrial

Ctedra: Visin Artificial
Octubre de 2005

Configuracin de la interfase Ethernet LAN para establecer la comunicacin entre

la Smart-camera mvBlueLYNX y una PC mediante el protocolo FTP (para enviar a
la Smart-camera los programas compilados en la PC de desarrollo).
Instalacin, configuracin y actualizacin de los programas y libreras requeridas
para el desarrollo y compilacin de los programas en la PC.
Estudio de la librera mvIMPACT-SDK.
Programacin en el entorno de desarrollo Visual C++ de las rutinas de configuracin y anlisis mediante el uso de las funciones de anlisis y procesamiento de imgenes definidas en la librera mvIMPACT-SDK.
Prueba y ajuste del funcionamiento de las rutinas de configuracin y anlisis en la
PC mediante el uso de la funcin import de la librera mvIMPACT-SDK, la cual permite la carga de imgenes guardadas en el disco.
Estudio de la librera GNU-PicoGUI mediante el anlisis de ejemplos y el manual
de referencia API.
Desarrollo de la interfase hombre-mquina mediante el uso de la librera GNUPicoGUI.
Acople a las rutinas de configuracin y anlisis de la interfase hombre-mquina.
Pruebas y ajustes del funcionamiento del nuevo software integrado en la Smartcamera mvBlueLYNX.
Diseo y armado de la primera estructura de iluminacin.
Clculo de lente acorde a las dimensiones de la estructura de iluminacin y la zona
de inspeccin definida.
Modificacin del software para la captura de imgenes por deteccin de la seal
digital emitida por el sensor.
Montaje de la mesa de ensayos para el sistema integrado por la Smart-camera
mvBlueLYNX, el software, la estructura de iluminacin y el lente.
Realizacin de pruebas y ajustes del sistema integrado en la mesa de ensayos.
Instalacin y ensayo del prototipo en la planta.
Procesamiento de los resultados del ensayo.
Ajustes en el diseo de la estructura de iluminacin.
Segundo ensayo en la planta.
Ajustes en el diseo y tamao de la estructura de iluminacin.
Clculo del lente adecuado a la nueva estructura de iluminacin.
Tercer ensayo en planta.
Rediseo de la estructura de iluminacin para una mejor integracin mecnica a la
lnea de blisteado, e inclusin de un mecanismo para el montaje de la Smart-camera mvBlueLYNX.
Adaptacin del software a la nueva estructura de iluminacin.
Pruebas y ajustes del sistema final.
Realizacin de prueba final en la mesa de ensayos con el sistema terminado.

Resultados obtenidos

Durante las pruebas de funcionamiento, el sistema present una muy buena respuesta en la deteccin de comprimidos ausentes, manchados y calados.

Aspectos de un Sistema de Visin Artificial

18

Universidad Nacional de Quilmes Ing. en Automatizacin y Control Industrial

Ctedra: Visin Artificial
Octubre de 2005

Se presentaron algunos casos de no deteccin de comprimidos partidos, dado que

la deteccin de stos depende fuertemente del valor del umbral que calcula el sistema para la segmentacin de la imagen. Otro factor que afecta a la deteccin de
estos casos es la holgura (o la falta de la misma) existente entre el comprimido y el
alvolo. Se debe tener en cuenta que los casos no detectados por el sistema automtico tampoco son fcilmente detectables por el operador humano.
La forma rectangular de la estructura de iluminacin (con su distribucin no uniforme de la luz) dificult la determinacin de un umbral nico adecuado para la correcta segmentacin de toda la imagen. Por ello, se debi proceder a compensar
por software el efecto de la iluminacin a fin de evitar que el clculo automtico del
umbral se vea afectado.
El tiempo requerido por la Smart-camera mvBlueLYNX para realizar un anlisis
completo fue de aproximadamente 1.5 segundos, siendo el tiempo mximo admisible para el anlisis de 1 segundo. En este punto se propone como solucin posible la adquisicin de una Smart-camera mvBlueLYNX de mayor capacidad de procesamiento.

A continuacin se presenta un ejemplo de la puesta a prueba del sistema con una tanda de blisteado en el que se forzaron diferentes casos de comprimidos defectuosos.
Total
Total
Total
Total
Total
Total
Total

comprimidos
comprimidos
comprimidos
comprimidos
comprimidos
comprimidos
comprimidos

analizados
OK
NoOK
ausentes
fallados
manchados
superpuestos

640
621
19
6
10
2
1

Durante esta prueba, el sistema present tan slo 2 falencias en la deteccin de

un total de 640 comprimidos analizados (Tasa de Error: 0,31%).

Referencias
1) AITEX Instituto Tecnolgico Textil, Anlisis de la tecnologa de visin artificial
aplicada al sector textil.
http://www.aitex.es/estudios/Vision_Artificial1.pdf
2) Iris Herrero, Control de Blisters mediante Visin Artificial, Informe del Proyecto
Final de la carrera de Ingeniera en Automatizacin y Control Industrial de la Universidad
Nacional de Quilmes.
Aspectos de un Sistema de Visin Artificial

19