Oracle Data Integrator

Humberto Alvarez Vilches Data Integrator Engineer *

*

Definiciones

Integracin de datos
Es el proceso combinar datos que residen en diferentes fuentes para permitir al usuario final tener una vista unificada de todos sus datos.

Componente de Oracle Data Integrator

Componentes ODI
Mdulos de Conocimiento (Knowledge Modules) Mdulos Grficos Componentes de Tiempo de Ejecucin

Mdulos de conocimientos
Los Mdulos de Conocimiento implementan los flujos de datos actuales y definen las plantillas para la generacin de cdigo a travs de mltiples sistemas involucrados en cada proceso. Tipos de Mdulos de conocimientos RKM (Reverse Knowledge Modules) LKM (Loading Knowledge Modules) JKM (Journalizing Knowledge Modules) IKM (Integration Knowledge Modules) CKM (Check Knowledge Modules) SKM (Service Knowledge Modules)

Mdulo grficos
Designer Operator Topology Manager Security Manager

ODI Designer
Es donde los proyectos son desarrollados Ingeniera reversa automtica de aplicaciones y bases de datos Desarrollo grfico y mantenimiento de las interfaces de transformacin e integracin Visualizacin de los flujos de datos de las interfaces Administracin automtica de la documentacin Customizacin de cdigo generado

Designer ODI

ODI Operador
Administra y monitorea la produccin Presenta logs de ejecucin, con mensajes de error, nmeros de filas procesadas, estadsticas de ejecucin, y otros. Permite a los desarrolladores hacer depuracin de los procesos.

Odi Operador

ODI Topology Manager

Define la arquitectura fsica y lgica de la infraestructura. Se encarga de registrar en el repositorio maestro Servidores, Esquemas y Agentes

ODI Topology Manager

ODI Security Manager

Administra los usuarios, perfiles y privilegios de acceso. Puede tambin dar privilegios especficos a objetos y funcionalidades

ODI Security Manager

Componentes de RunTime
El Agente El Repositorio Metadata Navigator

Agente ODI
En tiempo de ejecucin, el agente coordina la ejecucin de los escenarios de produccin. La ejecucin de procesos puede ser disparada a partir de uno de los mdulos grficos o tambin por el agente o desde herramientas de terceros (schedulers).

Repositorio ODI
Es un repositorio de metadatos integrado, abierto compartido, que almacena metadatos de las aplicaciones y datos involucrados en las transformaciones y procesos de integracin, las versiones de los proyectos desarrollados y todas las informaciones requeridas para el uso de estos (planeamiento, programacin y reportes de ejecucin).

Metadata Navigator
Es un cliente web para el acceso al Repositorio de Oracle Data Integrator. Lista, investiga y analiza todo el contenido del repositorio, adems de ofrecer data lineage tracing, referencias cruzadas, anlisis de impacto, etc. Tambin se puede utilizar esta herramienta para la administracin de procesos en ejecucin.

Creacion de un Proyecto en ODI

Creacin de un Proyecto ODI

1. Definir una Topologa (Topology Manager) 2. Crear los Modelos 3. Crear el Proyecto 4. Crear y Organizar Carpetas 5. Importar KMs. 6. Crear y Modificar Objetos 7. Testear los Objetos 8. Hacer Paquetes 9. Testear Paquetes 10. Generar Escenarios

Habilitar Topologa

1. Definir una Topologa

1. 2. 3. 4. 5. 6. Crear los Contextos Crear los Servidores de Datos Crear Esquemas Fsicos Crear los Esquemas Lgicos Crear Agentes Fsicos Crear Agentes Lgicos

1. Definir una Topologa

1. 2. 3. 4. 5. 6. Crear los Contextos Crear los Servidores de Datos Crear Esquemas Fsicos Crear los Esquemas Lgicos Crear Agentes Fsicos Crear Agentes Lgicos

1.1. Crear los Contextos

1. Los Contextos renen los componentes de la Arquitectura Fsica (Arquitectura Real), con los componentes de la Arquitectura Lgica, que es la que usa el usuario para trabajar.

1.2. Crear los Servidores de Datos

1.3. Crear Esquemas Fsicos

Esquema Fsico: Esquema de Datos Esquema de Trabajo, que es donde ODI creara y manipular las tablas temporales asociadas con los orgenes y destinos contenidos en el esquema de datos.

1.3. Crear Esquemas Fsicos

Si el Esquema Fsico no existe, se crear automticamente al digitar su nombre

1.3. Crear Esquemas Fsicos

Vincular los esquemas fsicos y lgicos en el contexto:

Desarrollo de Escenarios

2. Crear los Modelos

Desde el Modulo Designer

2. Crear los Modelos

3. Crear el Proyecto

4. Crear y Organizar Carpetas

En las Carpetas se almacenan los Paquetes, Interfaces y Procedimientos Escenarios, etc.

5. Importar KMs
Deben importarse los KMs adecuados para cada tecnologa. Los KMs se encuentran en el directorio \ODI\oracledi\impexp\

Crear Interfaces

Crear Interfaces
Arrastrar desde el rbol de Modelos, la tabla de destino sobre la parte derecha de la ventana. Arrastrar las tablas de origen sobre la parte izquierda. Escribir las reglas de mapeo para cada columna de la tabladestino en el panel inferior.

Crear Interfaces
Se debe seleccionar el lugar donde se ejecutar dicha regla (origen, rea de ensayo, destino), segn corresponda. Para hacer un join se debe arrastrar un campo sobre otro en las tablas de origen.

8. Hacer Paquetes
Un Paquete es una secuencia ordenada de Objetos (Interfaces, Procedimientos, etc.)

8. Hacer Paquetes
Un Paquete es una secuencia ordenada de Objetos (Interfaces, Procedimientos, etc.) Dentro de la Pestaa Diagram arrastrar los objetos para armar una secuencia. Tambin se pueden arrastrar objetos de la barra de herramientas en la parte izquierda del a ventana.

8. Hacer Paquetes

8. Hacer Paquetes
Si un proceso termina su ejecucin correctamente, a continuacin se ejecutar el proceso que esta apuntado por una flecha verde. Si una ejecucin termina con errores, el siguiente proceso a ejecutar ser el que esta apuntado por una flecha roja.

10. Generar Escenarios

Un escenario es una versin compilada de un paquete. Una vez generado no se puede modificar. Si se desea modificar un paquete, es necesario generar nuevamente el escenario. Se pueden ejecutar desde lnea de comandos.

Operador

Testear Ejecuciones
Las ejecuciones de procedimientos, interfaces, paquetes o escenarios, pueden ser monitoreadas desde el mdulo Operator.

Testear Ejecuciones

Testear Ejecuciones
Tambin es posible ver las filas que no fueron insertadas por tener errores errores.

Scheduleando un Escenario
1. 2. 3. 4. 5. 6. Editar odiparams.bat Crear scripts para lanzar Agente Fsico Crear Agente Fsico Crear Agente Lgico Testear Insertar Programacin

Editar odiparams.bat
odiparams.bat esta situado en el subdirectorio \bin del directorio ODI

Iniciar y detener el agente:

start.bat: C:\ODI\oracledi\bin\agentscheduler -port=<puerto> -name=<nombre> -v=<valor entre 0 y 5> stop.bat: C:\ODI\oracledi\bin\agentstop -port=<mismo puerto>

Iniciar y detener el agente:

start.bat:
C:\ODI\oracledi\bin\agentscheduler -port=<puerto> -name=<nombre>
-v=<valor entre 0 y 5>

stop.bat:

C:\ODI\oracledi\bin\agentstop -port=<mismo puerto>

Crear Agente Fsico

Desde el Topology Manager

Crear Agente Lgico

Vincular Agente Lgico al Agente Fsico con un Contexto

Crear Agente Lgico

Test Agente
Lanzar el Agente ejecutando el archivo .bat

Test Agente
Abrir el Agente Fsico y Testear

Insertar Programacin
Desde el Mdulo Designer

Insertar Programacin

Monitorear Ejecuciones
Desde el mdulo Operator:

Otras formas de ejecutar Escenarios

Desde Lnea de Comandos:
startscen <Name> <Version> <Context code> [<Log_Level>] [-SESSION_NAME=<session name>] [-KEYWORDS=<keywords>] [-NAME=<agent_name>] [-v=<trace level>] [<variable>=<value>]

Otras formas de ejecutar Escenarios

Desde el mdulo Operator

Fin