ALCALDIA DE SAN ANTONIO DEL SENA

Secretaría de Hacienda
En esta dependencia laboran 20 profesionales.

 la secretaría cuenta con 20 computadoras con la misma configuración de las

computadoras de la secretaría de gobierno.
 Acceso a la intranet con IP versión 4.0, Internet limitado en horas pico y una
demanda de usuarios que llega a 1000 personas en días críticos.

Los usuarios normalmente se acercan a esta secretaría para realizar consultas

referentes a impuesto predial y pago del mismo, ocasionando en algunos momentos
colapsos administrativos por tener una base de datos de consulta en Oracle® 9i® que
según los funcionarios es bastante lenta en los tiempos de respuesta y esto contrasta
con la inconformidad de quienes solicitan los servicios.

TECNICAS DE MIGRACIÓN DE DATOS

IMPORTACIÓN/EXPORTACIÓN DE ARCHIVOS (CSV) O XML A TRAVÉS DE
COMANDOS DE CONSOLA O INTERFAZ GRÁFICA.
Para las actividades de migración de datos es muy común utilizar archivos para el
movimiento de los datos. Se pueden utilizar diferentes tipos de archivos, pero los
formatos más usados son los archivos de texto, llamados archivos planos, que guardan
la información sin formato usando solo caracteres.
Los archivos de texto pueden tener formato delimitado utilizando coma (,), punto y
coma (;) o Tabulaciones para delimitar los campos definiendo de esa forma columnas y
filas. También pueden tener formato de ancho fijo para los campos, que se utiliza para
delimitar columnas y filas.
Un formato de archivo plano muy usado es el “.CSV” (Comma-Separated-Values, en
español valores Separados por Coma), donde el delimitador usado es una coma. Muy
usado para movimientos de datos con hojas de cálculo.
Otro formato útil para la migración de datos es el “.XML” (eXtensible Marckup
Language), que utiliza un metalenguaje extensible de etiquetas las cuales sirven como
estándar para intercambio de información estructurada entre distintas plataformas.

Los sistemas de codificación más comunes para estos archivos son: ASCII, ISO-8859-1 o
Latín-1 y Unicode.

SINCRONIZACIÓN DE BASE DE DATOS

Es una técnica muy utilizada en procesos de migración de datos, consiste en hacer que
dos bases de datos sean equivalentes en el mismo tiempo.
Se logra mediante la copia de datos y metadatos de una base de datos origen a una base
de datos destino mediante una herramienta tecnológica. Los asistentes de
sincronización de los SMBD son configurados con las bases de datos origen y la base de
datos destino, parametrizando la ubicación de particiones y métodos de seguridad.

PROCEDIMIENTOS ETCL (EXTRACCIÓN, TRANSFORMACIÓN, LIMPIEZA Y

CARGA)
Esta técnica se basa en el diseño y construcción de procedimientos técnicos para realizar
Extracción, Transformación, Limpieza y Cargue de Datos (ETCL).
En todo proceso de migración, se ha de proceder a integrar dos o más sistemas por lo
cual
pueden usarse diferentes técnicas, siendo las más comunes:

 Perfilado de datos: permite explorar los propios datos, agregando a los de

origen las reglas necesarias. Esta técnica hace posible también el obtener
resultados acerca de duplicidades o errores en los datos.
 Limpieza de datos: que puede llevarse a cabo empleando para ello una
herramienta de Data Quality que ayude a eliminar errores, incorrecciones o
duplicidades, entre otras inconsistencias; y que, al mismo tiempo, enriquezca y
homologue los datos, preparándolos para el sistema de destino.
 Conexión a distintas fuentes de datos: una técnica que precisa de una
herramienta ad hoc que garantice el hacerlo en condiciones de simultaneidad.

Las ventajas que proporciona el usar estas tecnologías se traducen en un aumento de la

precisión, reducción del índice de errores, mayor agilidad y optimización del tiempo; ya
que su automatización evita los procesos manuales, algo que supone su principal
beneficio.

Existen muchas herramientas de ETL diferentes, como también hay infinidad de bases
de datos, sistemas y organizaciones distintas. En el momento de seleccionar la que
liderará la migración e integración de datos pueden tomarse en consideración las
recomendaciones de Gartner en cuanto a las cualidades que la herramienta ha de
presentar:

 Adaptabilidad a distintos sistemas operativos y plataformas hardware.

 Capacidades de gestión de datos: en cuanto a minería, perfilado y calidad.
 Habilidades para monitorizar, gestionar y controlar los procesos de
integración de datos: en lo relativo a gestión de errores, recolección de
estadísticas de ejecución, controles de seguridad, etc.
 Capacidades SOA.
 Capacidades de diseño y entorno de desarrollo: como soporte para test,
representaciones gráficas, modelos y flujos de datos y flujos de datos, etc.
  Cualidades de arquitectura e integración referidas al grado de
interoperabilidad, compactación y consistencia de los diferentes
componentes que la formen.

Aunque la elección de un software de ETL no es sencilla, su repercusión en el curso del

proyecto es decisiva. Una decisión correcta pasa por la automatización y en base a ella
quedan garantizados:

 Un aumento en la velocidad de desarrollo del proyecto.

 La descentralización del control de la ejecución y de todos los procesos.
 Una mayor agilidad en el negocio.
 Mayor precisión.
 Minimización de errores.

SENTENCIAS DML

Una posibilidad de los SMBD es la utilización de sentencias DML para generar scripts SQL
que permiten realizar migraciones de bases de datos existentes. En un script SQL se
pueden realizar las siguientes tareas:

 Copia de seguridad para creación de todos los usuarios, grupos, inicios de sesión
y permisos.
 Creación o actualización de código para la implementación de una base de datos.
 Creación de un entorno de pruebas.

Los procesos se orientan al uso de las sentencias DML, para realizar el paso de datos de
la base

de datos de origen a la base de datos destino, a través de los entornos administrativos

de los SMBD.

APLICACIÓN SMBD SELECCIONADO

 SQL SERVER INTEGRATION SERVICES: es el componente de la plataforma SQL

Server que nos proporciona una completa herramienta ETL (Extraction,
Transformation, Loading) que nos permitirá captar datos de fuentes
heterogéneas, convertirlos a datos compatibles con nuestras reglas de negocio e
incorporarlos a nuestros almacenes de datos sean estos servidores SQL Server o
no.
Microsoft Integration Services es una plataforma para la creación de soluciones
empresariales de transformaciones de datos e integración de datos. Integration
Services sirve para resolver complejos problemas empresariales mediante la
copia o descarga de archivos, el envío de mensajes de correo electrónico como
 respuesta a eventos, la actualización de almacenamientos de datos, la limpieza y
minería de datos, y la administración de objetos y datos de SQL Server. Los
paquetes pueden funcionar en solitario o junto con otros paquetes para hacer
frente a las complejas necesidades de la empresa. Integration Services puede
extraer y transformar datos de diversos orígenes como archivos de datos XML,
archivos planos y orígenes de datos relacionales y después, cargar los datos en
uno o varios destinos.
Integration Services contiene un variado conjunto de tareas y transformaciones
integradas, herramientas para la creación de paquetes y el servicio Integration
Services para ejecutar y administrar los paquetes. Las herramientas gráficas de
Integration Services se pueden usar para crear soluciones sin escribir una sola
línea de código. También se puede programar el amplio modelo de objetos de
Integration Services para crear paquetes mediante programación y codificar
tareas personalizadas y otros objetos de paquete.

El SSIS Import/Export Wizard permite mover datos de origen a destino sin

modificar los datos del origen y permitiendo hacer iteraciones y cambios de
información antes de llegar al destino dentro de tablas de ETL. Se pueden
importar datos de fuentes diferentes a SQL Server.

Con la herramienta Business Intelligence Development Studio, se pueden realizar

tareas de migración fácilmente usando tareas visuales. Si se desea crear nueva
funcionalidad, se pueden crear scripts en c# o VB.

Los paquetes, que son las unidades de almacenamiento de estas tareas de

migración se pueden guardar en archivos dtsx o en la base de datos en formato
XML.

Una vez implementado el paquete puede ser depurado.

 ORACLE WAREHOUSE BUILDER:

Oracle Warehouse Builder es una herramienta única e integral para todos los
aspectos de la integración de datos. Warehouse Builder aprovecha Oracle
Database para transformar los datos en información de alta calidad. Proporciona
calidad de datos, auditoría de datos, modelado relacional y dimensional
totalmente integrado, y gestión completa del ciclo de vida de datos y metadatos.
Warehouse Builder le permite crear almacenes de datos, migrar datos de
sistemas heredados, consolidar datos de fuentes de datos dispares, limpiar y
transformar datos para proporcionar información de calidad y administrar
metadatos corporativos.
Es una complete herramienta para todos los aspectos de administración de datos
y metadatos.
Esta brinda características para asegurar la calidad de datos, que integran el
modelado relacional
 y multidimensional y que permiten la administración de todo el ciclo de vida de
datos y metadatos

Enterprise ETL Option: La opción empresarial ETL (Enterprise ETL Option) para
Warehouse Builder es una opción que puede ser adquirida con Oracle Warehouse Builder
como parte de la edición empresarial del motor de base de datos (Oracle DB Enterprise
Edition).

Como parte de la Enterprise ETL Option, Warehouse Builder permite ejecutar cargas de
datos usando métodos rápidos y eficientes tales como el Oracle Data Pump y
transportable tablespaces. Esta es una aproximación completamente diferente al
movimiento de datos que se realiza por medio de conjuntos de datos controlados por el
motor de base de datos. Los incrementos en velocidad de carga se deben entonces a la
omisión de las capas SQL tradicionales.

En Warehouse Builder la lógica de dimensiones lentamente cambiantes es diseñada en

los metadatos de la dimensión. La dimensión captura toda la lógica que será aplicada a
los datos que se insertan dentro de la misma.

Una vez, los usuarios de negocio han decidido que atributos son importantes, el
modelador de datos diseña la dimensión. Con los pasos de ETL el desarrollador ve esta
dimensión como cualquier otra. El siguiente paso es definir cómo efectuar los cambios y
actualizaciones en la dimensión. Warehouse Builder automatiza esto basado en la
definición de la dimensión. La combinación entre estos pasos, el diseño y la
estandarización hacen que los procesos relacionados con dimensiones lentamente
cambiantes presente un alto desempeño en su ejecución.

Los servicios de administración de dependencias (Warehouse Builder Dependency

Management) le permiten prever el efecto que puedan tener los cambios que se hagan
en cualquier lugar de los metadatos del sistema ETL antes de que estos puedan afectarlo
y deterióralo.