SSIS: Integrando datos

entre diferentes sistemas

Salvador Ramos
webmaster@helpdna.net

Agenda

Familiarizndonos con Integration Services

Seamos productivos y eficaces integrando datos

Qu es SSIS?

Una plataforma para ETL empresarial

Permite integracin entre bases de datos y ficheros
Alto rentimiento
Workflows
Limpieza y depuracin de datos
Text mining y Data mining

Qu podemos hacer con SSIS?

Importar/Exportar libros Excel, archivos de texto, CSV.

Enviarlos por mail

Integrar los pedidos de nuestra web con el ERP

Exportar las facturas de clientes a la extranet
Detectar cuando un cliente del CRM que est como
cliente potencial, hace la primera compra, reflejada
en el ERP y cambiar su estado a cliente nuevo

Cualquier tarea en la que deban fluir datos entre un

origen y un destino, en diversos formatos, con sus
correspondientes transformaciones

Integrando datos mediante Cdigo

Mobile
data

Warehouse

Reports

Integrando datos mediante SSIS

Text mining
components

Custom
source

Standard
sources

Data mining
components

Mobile
data

Merges
Warehouse

Data cleansing
components

SQL Server Integration Services

Reports

Carga mediante cdigo

XML
Warehouse 1

.txt

Carga mediante SSIS

Escalabilidad

Origen
OLTP

Destino

Relacional
SSIS
AdventureWorks

Pruebas

SSIS
MSDB
Configuracion
AdventureWorks
Pruebas

MSDB
Configuracin

BIDS

Parent
Solution
Folder

SLN
PRJ

Project Subfolders

PRJ
.PRJ

.DS

.DSV

.DTSX

Project XML File

Data Source XML File
Data Source View XML File
SSIS Package XML File

DEMO

Un primer vistazo al entorno

DEMO

Transacciones

Control Flow & Data Flow

Data Flow

Control Flow
2009 Solid Quality Mentors

Control Flow & Data Flow

Data Flow Task

Control Flow elements

Containers
Tasks
Precedence constraints

Completion

SendMail Task

Data Flow elements

Source and destination adapters

Transformations
Paths

Failure

Success

Lookup GeoKey

Ok

Error

Merge Join

Success &
expression

Control Flow Tasks

Data Flow Tasks

DEMO

Importando todos los Excel

de una carpeta

DEMO

Analizando los datos

(Data Profiling)

DEMO

Poblaciones correctas
(Fuzzy Lookup)

BI - Herramientas y Componentes

CRM

Otros

ERP
Informes de usuario
Informes analticos

E.T.L.
(SSIS)

data
Warehouse
*relacional*

cubos
(SSAS)
OLAP

(SSRS)
Excel
Sharepoint
BI Portal,
Performance Point 2007
Proclarity
Otros

Modelo en Estrella

Configurando diferentes entornos

Configuraciones externas

Evitan editar el paquete ante cualquier cambio en el origen

o destino
Permiten cambiar el valor de las variables

SSIS Package
Package
SSIS
Connection
Connection 11 == XYZ
XYZ
Variable
Variable 11 == XYZ
XYZ

SSIS Package
Connection
1 = ABC
Connection
1 = ABC
VariableVariable
1 = ABC1 = ABC

Configuration

Estrategia de Configuracin

Configuracin

Paquete DTSX

Archivo
.dtsconfig

SQL Server

Logging

SSIS logging providers

Text files
SQL Server Profiler
SQL Server
Windows Event Log
XML files

Logging (eventos)

DEMO

Configuracin y Logging

DEMO

Relanzando paquetes

Optimizando buffers

Streaming
Reutiliza el Buffer
Ejemplos: Data Convert, Derived Column, Lookup

Bloqueo parcial

Copia los datos a un nuevo buffer

Ejemplos: Pivot, Un-pivot, Merge, Merge Join, Union All

Bloqueo

Necesita todas las filas de entrada antes de continuar

Copia datos a un nuevo buffer
Ejemplos: Aggregate, Sort, Row Sampling, Fuzzy Grouping

SSIS Uso eficiente

Todas las transformaciones, limpiezas, clculos, joins,

etc, se hacen en el Data Flow

Optimizar lecturas en origen:

SELECT <Col1>,,<ColN>
From <Tabla>
Where <Slo las filas que necesito>
[order by <Col1>,, <ColN>]

Optimizar escrituras en destino

SSIS Uso eficiente

SSIS Uso eficiente

Qu nos aporta SSIS?

Productividad

Qu nos aporta SSIS?

Facilita el mantenimiento

Qu nos aporta SSIS?

Logging (registro de actividad)

Qu nos aporta SSIS?

Diseamos desde Visual Studio

Qu nos aporta SSIS?

Rendimiento (datos en memoria)

Qu nos aporta SSIS?

Podemos ver los datos mientras fluyen

Integracin de Datos -> Herramientas ETL

Cuando la nica herramienta que posees es un

martillo, tiendes a ver todos tus problemas como si

fueran un clavo.
(Abraham Maslow)

Integracin de Datos -> Herramientas ETL

Sgueme en

http://SQLServerSi.com
http://helpdna.net
http://CursoSQLServer.com
http://youtube.com/sqlserversi
http://blogs.solidq.com/BICorner

Estamos en contacto

https://mvp.support.microsoft.com/profile/salvador
http://twitter.com/salvador_ramos
http://www.linkedin.com/in/SalvadorRamos
https://www.xing.com/profile/Salvador_Ramos
http://facebook.com/SQLServerSi
webmaster@helpdna.net

Preguntas ?
Salvador Ramos
webmaster@helpdna.net