1

Table des matires

Avant-propos
1. Public vis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2. Pr-requis des connaissances techniques . . . . . . . . . . . . . . . . . . . . . 19
3. Configuration matrielle et logicielle . . . . . . . . . . . . . . . . . . . . . . . 20
Chapitre 1

Prsentation gnrale
1. Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2. Secteur BI Open Source . . . . . . . . . . . . .
2.1 Intgrations OEM . . . . . . . . . . . . . .
2.2 Partenariats technologiques . . . . . . .
2.2.1 Microsoft . . . . . . . . . . . . . . . .
2.2.2 Teradata . . . . . . . . . . . . . . . . .
2.2.3 SAP. . . . . . . . . . . . . . . . . . . . .
2.2.4 Produits CRM. . . . . . . . . . . . .
2.3 Plates-formes dcisionnelles. . . . . . .
2.4 Consortiums et Alliances . . . . . . . .
2.5 Acteurs intgrateurs . . . . . . . . . . . .
2.6 Livraisons SaaS - architectures SOA

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

23
23
24
24
25
25
26
26
27
28
29

3. Solution globale Talend . . . . . . . . . . . . . . . . . . . . .

3.1 Service R&D . . . . . . . . . . . . . . . . . . . . . . . . . .
3.2 Modle conomique . . . . . . . . . . . . . . . . . . . .
3.3 Soutiens financiers . . . . . . . . . . . . . . . . . . . . .
3.4 Plate-forme unifie . . . . . . . . . . . . . . . . . . . . .
3.4.1 Principe global . . . . . . . . . . . . . . . . . . . .
3.4.2 Transparence du code gnr . . . . . . . . .
3.4.3 Mutualisation des lments de rfrence.
3.4.4 Dploiement et planification des tches .
3.4.5 ventail des versions communautaires . .
3.4.6 Spcificits des versions commerciales. . .

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

30
31
31
33
34
34
34
34
35
35
35

Talend Open Studio

Mettre en uvre une solution d'intgration de donnes

3.5 Extraire, transformer et charger les donnes (ETL)
3.5.1 Entrepts de donnes . . . . . . . . . . . . . . . . . .
3.5.2 Intgration d'Applications d'Entreprise . . . . .
3.5.3 Autres applications . . . . . . . . . . . . . . . . . . . .

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

36
36
37
37

4. Dcouverte, aide et support . . . . . . . . . . . . . . . . . . . . . . . . . . .

4.1 Veille technologique . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.2 Socit TALEND . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.2.1 Informations gnrales . . . . . . . . . . . . . . . . . . . . . . .
4.2.2 Sminaires et ateliers dcouverte. . . . . . . . . . . . . . . .
4.2.3 Formations proposes . . . . . . . . . . . . . . . . . . . . . . . .
4.2.4 Documentations fournies . . . . . . . . . . . . . . . . . . . . .
4.2.5 Prsentations en ligne (Webinars) . . . . . . . . . . . . . . .
4.2.6 Tutoriaux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.2.7 Forums . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.2.8 Connaissances encyclopdiques (Wiki) . . . . . . . . . . .
4.2.9 Suivi des dysfonctionnements
et corrections (BugTracker). . . . . . . . . . . . . . . . . . . .
4.2.10 Contributions de la communaut des dveloppeurs.
4.3 Internet. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.3.1 Sites spcialiss . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.3.2 Forums de dveloppeurs . . . . . . . . . . . . . . . . . . . . . .

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

37
37
38
38
40
40
41
42
42
43
43

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

44
44
45
45
46

Chapitre 2

Installation, lancement et paramtrage

1. Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
2. Installation de Talend Open Studio . . . . . . . . . . . . .
2.1 Environnement d'excution . . . . . . . . . . . . . . . .
2.1.1 Ressources systme. . . . . . . . . . . . . . . . . .
2.1.2 Machine Virtuelle Java (JVM). . . . . . . . . .
2.2 Package d'installation pour Windows ou Linux .
2.2.1 Tlchargement depuis le site de Talend . .
2.2.2 Droulement de l'installation . . . . . . . . . .

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

47
48
48
49
50
51
51

Table des matires

2.2.3 Installation par copie de fichiers . . . . . . . . . . . . . . . . . . . 53

3. Diffrentes options de lancement . . . . . . . . . . . . . . . . . . . . . .
3.1 Dmarrage initial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.1.1 Lancement de l'application Talend Open Studio . . .
3.1.2 Activation de la licence GPL . . . . . . . . . . . . . . . . . .
3.1.3 Enregistrement sur la communaut des utilisateurs
3.2 Paramtrage spcifique . . . . . . . . . . . . . . . . . . . . . . . . . .
3.2.1 Slection de la langue . . . . . . . . . . . . . . . . . . . . . . .
3.2.2 Gestion de la mmoire disponible . . . . . . . . . . . . . .
3.3 Dfinition du rfrentiel . . . . . . . . . . . . . . . . . . . . . . . . .
3.3.1 Local . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.3.2 Distant . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.4 Lancement de Talend Open Studio . . . . . . . . . . . . . . . . .
3.4.1 Action sur les projets . . . . . . . . . . . . . . . . . . . . . . .
3.4.2 Configuration du langage interprteur . . . . . . . . . .
3.4.3 Dmarrage d'une autre instance . . . . . . . . . . . . . . .

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

54
54
54
55
56
60
60
61
62
62
65
65
65
71
73

Chapitre 3

Gestion et mise en uvre d'un projet

1. Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
2. Menus de l'environnement Eclipse RCP . . . . . . . . . . . . . .
2.1 Action sur le projet : menu Fichier . . . . . . . . . . . . . .
2.1.1 Changer de Projet . . . . . . . . . . . . . . . . . . . . . . .
2.1.2 diter les proprits du Projet . . . . . . . . . . . . . .
2.2 Action sur les lments : menu dition . . . . . . . . . . .
2.3 Contrle de l'affichage et des options : menu Fentre
2.3.1 Disposition de l'affichage : Vue et Perspective. .
2.3.2 Options et paramtres : Prfrences . . . . . . . . .
2.4 Documentations et informations : menu Aide. . . . . .
2.4.1 Documentation utilisateur Talend . . . . . . . . . .
2.4.2 Guide Dveloppeur . . . . . . . . . . . . . . . . . . . . . .
2.4.3 Communaut des dveloppeurs . . . . . . . . . . . .

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

78
78
78
78
81
82
82
82
85
85
88
88

Talend Open Studio

Mettre en uvre une solution d'intgration de donnes
2.4.4 Moteur de recherche . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
3. Application des mcanismes d'import/export . . . . . . . . . . . . . . .
3.1 Synchronisation d'un projet . . . . . . . . . . . . . . . . . . . . . . . .
3.2 Ajout d'lments au projet courant . . . . . . . . . . . . . . . . . . .
3.2.1 Import d'un projet existant. . . . . . . . . . . . . . . . . . . . .
3.2.2 Synchronisation d'lments. . . . . . . . . . . . . . . . . . . . .
3.3 Prparation d'un export . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.3.1 Archivage d'un projet . . . . . . . . . . . . . . . . . . . . . . . . .
3.3.2 Ensemble d'lments . . . . . . . . . . . . . . . . . . . . . . . . . .
3.4 Mise niveau de l'environnement : migration automatique

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

4. laboration d'un Business Model . . . . .

4.1 Modlisation graphique . . . . . . . . .
4.1.1 Principe de conception . . . . .
4.1.2 Gestion des versions . . . . . . .
4.2 Schmas de description . . . . . . . . .
4.2.1 Dfinition des besoins. . . . . .
4.2.2 Spcifications fonctionnelles .
4.2.3 Spcifications techniques . . .

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

100
100
100
101
101
101
101
102

5. Utilisation de la documentation intgre . .

5.1 Saisie libre . . . . . . . . . . . . . . . . . . . . . .
5.1.1 Les notes. . . . . . . . . . . . . . . . . . .
5.1.2 La documentation ("Info-bulles").
5.1.3 Les descriptions. . . . . . . . . . . . . .
5.2 Gnration automatique . . . . . . . . . . .

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

104
104
104
105
106
107

6. Diffusion d'un package de dploiement.

6.1 Scripts autonomes . . . . . . . . . . . . .
6.1.1 Export d'un Job . . . . . . . . . . .
6.1.2 Paramtrage spcifique . . . . .
6.2 Services Web . . . . . . . . . . . . . . . . .
6.2.1 Export d'un Job . . . . . . . . . . .
6.2.2 Serveur d'application Tomcat
6.2.3 Paramtres d'excution . . . . .

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

110
110
110
112
114
114
115
117

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

89
90
91
91
93
94
94
96
98

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

Table des matires

Chapitre 4

Conception d'un Job

1. Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
2. Gestion des vues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.1 Personnalisation des fentres . . . . . . . . . . . . . . . . . . . . . . .
2.1.1 Utiliser l'affichage par dfaut . . . . . . . . . . . . . . . . . .
2.1.2 Fermer, dplacer, agrandir, rduire ou restaurer . . . . .
2.1.3 Rtablir l'affichage des lments ferms . . . . . . . . . .
2.2 Rfrentiel et Navigateur. . . . . . . . . . . . . . . . . . . . . . . . . .
2.3 Onglet designer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.3.1 Conception des traitements . . . . . . . . . . . . . . . . . . .
2.3.2 Lecture et visualisation . . . . . . . . . . . . . . . . . . . . . . .
2.3.3 Trace des flux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.3.4 Effacement des informations (statistiques et erreurs)
2.4 Onglet code. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.4.1 Lecture du code gnr . . . . . . . . . . . . . . . . . . . . . . .
2.4.2 Identification des erreurs. . . . . . . . . . . . . . . . . . . . . .
2.4.3 Debug et points d'arrt . . . . . . . . . . . . . . . . . . . . . . .
2.5 Description des paramtres spcifiques . . . . . . . . . . . . . . .
2.5.1 Les proprits du Job. . . . . . . . . . . . . . . . . . . . . . . . .
2.5.2 La dfinition locale des variables de contexte . . . . . .
2.5.3 Les options du composant. . . . . . . . . . . . . . . . . . . . .
2.5.4 Les commandes : Excution et Debug . . . . . . . . . . . .
2.5.5 Le rcapitulatif des erreurs et avertissements. . . . . . .
2.6 Structure et Code viewer. . . . . . . . . . . . . . . . . . . . . . . . . .
2.7 Gestion des Jobs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.7.1 Fonction de recherche . . . . . . . . . . . . . . . . . . . . . . . .
2.7.2 Mise jour automatique . . . . . . . . . . . . . . . . . . . . . .

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

122
122
122
123
126
127
127
127
128
129
131
132
132
136
137
140
140
141
142
143
143
144
145
145
145

3. Liens hypertextes . . . . . .
3.1 Tutoriaux (Learn) . .
3.1.1 Premiers pas . .
3.1.2 Complments .

.
.
.
.

.
.
.
.

146
146
147
147

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

Talend Open Studio

Mettre en uvre une solution d'intgration de donnes

3.2 Forums (Ask). . . . . . . . . . . . . . . . . . . . . . . . . . .
3.2.1 Installation . . . . . . . . . . . . . . . . . . . . . . . .
3.2.2 Utilisation et manipulation. . . . . . . . . . . .
3.2.3 Cration de composants . . . . . . . . . . . . . .
3.2.4 Suggestions . . . . . . . . . . . . . . . . . . . . . . . .
3.2.5 Discussions non techniques . . . . . . . . . . .
3.3 Version entreprise (Upgrade) . . . . . . . . . . . . . . .
3.3.1 Introduction aux fonctionnalits avances
3.3.2 Contrle de l'excution . . . . . . . . . . . . . . .
3.3.3 Pilotage et surveillance . . . . . . . . . . . . . . .

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

148
148
148
148
148
148
149
149
150
151

Chapitre 5

Palette de composants
1. Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
2. Applications Mtier . . . . . . . . . . . . . . . . . . . . .
2.1 Gestion de la Relation Client : CRM . . . . .
2.2 Gestion lectronique Documentaire : GED
2.3 Progiciel de gestion intgr : SAP . . . . . . . .
2.4 SalesForce : Solution cloud computing . . . . .

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

153
154
156
156
156

3. Bases de donnes . . . . . . . . . . . . . . . . . . . .
3.1 lment gnrique : Cration de table .
3.2 lments spcifiques . . . . . . . . . . . . . .
3.2.1 Utilisation du mode BULK . . . . .
3.2.2 Appel de procdures stockes . . .
3.2.3 Excution et contrle . . . . . . . . .

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

157
157
159
159
161
162

4. Dcisionnel : Business Intelligence . . . . . . . . . . . . .

4.1 Gestion des changements dans une table SCD
4.2 Gnration de rapports . . . . . . . . . . . . . . . . . .
4.3 Utilisation des cubes . . . . . . . . . . . . . . . . . . . .

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

162
162
163
163

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

5. Code Utilisateur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164

5.1 lments types d'un composant . . . . . . . . . . . . . . . . . . . . . . 164

Table des matires

5.2 Code Java spcifique . . . . . . . . . . . . . . . . . . . .
5.2.1 Dfinition dans certains lments du Job
5.2.2 Affichage sur la console. . . . . . . . . . . . . .
5.2.3 Chargement de librairies spcifiques . . . .
6. Divers. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6.1 Gnration des jeux de donnes. . . . . . . . . . .
6.2 Manipulation des variables et contextes . . . .
6.3 Disponibilit d'un serveur . . . . . . . . . . . . . . .
6.4 Affichage et choix pour l'utilisateur interactif
6.5 Localisation (adresse IP) . . . . . . . . . . . . . . . .

.
.
.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

165
165
165
166

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

166
167
167
167
168
169

7. Extraire, Charger puis Transformer : ELT . . . . . . . . . . . . . . . . . . . 170

8. Fichier . . . . . . . . . . . . . . . . . . . . . . .
8.1 Gestion des formats spcifiques.
8.2 Lecture/criture. . . . . . . . . . . . .
8.3 Fonctions de gestion . . . . . . . . .

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

172
173
174
174

9. Communication : Internet . . . . . . . . . .
9.1 Transfert de fichiers : FTP . . . . . . .
9.2 Communication entre applications
9.3 Mails . . . . . . . . . . . . . . . . . . . . . . .

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

175
176
176
177

10. Journalisation et suivi : Logs & Erreurs . . . . . . . . . . . . . . . . . . . . . 177

11. Orchestration . . . . . . . . . . . . . . . . . . . . . . . . . . .
11.1 Structurer les traitements . . . . . . . . . . . . . .
11.1.1 Pre/Post Job . . . . . . . . . . . . . . . . . . .
11.1.2 Autre Job . . . . . . . . . . . . . . . . . . . . .
11.2 Organiser les traitements . . . . . . . . . . . . . .
11.2.1 Gestion des flux . . . . . . . . . . . . . . . .
11.2.2 Gestion des itrations . . . . . . . . . . . .
11.2.3 Attente d'un vnement dclencheur.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

179
180
180
180
181
181
182
182

12. Qualit de donnes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182

12.1 Analyse des schmas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183

Talend Open Studio

Mettre en uvre une solution d'intgration de donnes

12.2 Contrle des valeurs . . . . . . . . . . . . . . .
12.2.1 Gestion de l'unicit . . . . . . . . . . .
12.2.2 Divers critres . . . . . . . . . . . . . . .
12.3 Contrle de l'intgrit des informations.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

184
184
185
185

13. Commandes Systme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186

14. Gestion des donnes de rfrence (MDM). . . . . . . . . . . . . . . . . . . 186
15. Dfinition des transformations . . . .
15.1 Conditions de jointures . . . . . .
15.2 Tri et agrgations . . . . . . . . . .
15.3 Conversions, dnormalisation .

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

187
187
188
188

16. Flux XML . . . . . . . . . . . . . . . . . . . . . . . . . . .

16.1 Validation d'un fichier. . . . . . . . . . . . . .
16.2 Configuration d'un arbre . . . . . . . . . . . .
16.3 Mise en forme des donnes d'un fichier .
16.4 Format dchange EDIFACT . . . . . . . . .

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

189
189
189
190
190

Chapitre 6

Architecture et mise en uvre d'un Job

1. Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
2. Liens et connexions . . . . . . . . . . . . . . . . . . . . . .
2.1 Types de liens . . . . . . . . . . . . . . . . . . . . . . .
2.1.1 Flux principal (Row) . . . . . . . . . . . . . .
2.1.2 Flux secondaire (Lookup) . . . . . . . . . . .
2.1.3 Flux de sortie (Output) . . . . . . . . . . . .
2.1.4 Flux de rejet (Rejet) . . . . . . . . . . . . . . .
2.1.5 Flux filtr (Filter). . . . . . . . . . . . . . . . .
2.2 Itration d'un ensemble d'lments (Iterate) .
2.3 Modification des liens . . . . . . . . . . . . . . . . .
2.4 Dclencheurs (Triggers) . . . . . . . . . . . . . . . .
2.4.1 Niveau Subjob . . . . . . . . . . . . . . . . . .
2.4.2 Niveau Composant . . . . . . . . . . . . . . .

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

192
192
192
193
194
194
195
195
196
198
198
199

Table des matires

2.4.3 Conditions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199

2.4.4 Priorits et ordre d'excution . . . . . . . . . . . . . . . . . . . . . 201
3. Orchestration des flux . . . . . . . . . . . . . . . . . . . . . . . . . .
3.1 Traitements spcifiques. . . . . . . . . . . . . . . . . . . . . .
3.1.1 Oprateur logique . . . . . . . . . . . . . . . . . . . . . .
3.1.2 Oprateur ternaire . . . . . . . . . . . . . . . . . . . . .
3.2 Analyse et mise en relation des donnes . . . . . . . . .
3.2.1 Application des filtres (tFilter). . . . . . . . . .
3.2.2 Dfinition des jointures (tJoin) . . . . . . . . . .
3.2.3 Gestion des transformations multiples (tMap)
3.2.4 Gestion des flux XML pour transformations
multiples (tXMLMap). . . . . . . . . . . . . . . . . . .

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

204
204
204
204
205
205
206
207

. . . . . . . 211

4. Organisation des traitements . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215

4.1 Rpartition de la charge. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216
4.2 Dcoupage en squences . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216
Chapitre 7

Contextes et variables
1. Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221
2. Les contextes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.1 Type de dclaration. . . . . . . . . . . . . . . . . . . . . . .
2.1.1 Globale au projet. . . . . . . . . . . . . . . . . . . . .
2.1.2 Locale au Job . . . . . . . . . . . . . . . . . . . . . . . .
2.2 Sparation des environnements . . . . . . . . . . . . . .
2.3 Modification des valeurs . . . . . . . . . . . . . . . . . . .
2.3.1 Paramtrage dans les fichiers properties
2.3.2 Chargement explicite de valeurs . . . . . . . . .
2.3.3 Chargement implicite . . . . . . . . . . . . . . . . .
2.4 Options d'utilisation . . . . . . . . . . . . . . . . . . . . . .
2.4.1 Configuration des groupes . . . . . . . . . . . . .
2.4.2 Dfinition des valeurs d'initialisation . . . . .

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

222
222
222
223
224
225
225
226
229
229
229
230

Talend Open Studio

10

Mettre en uvre une solution d'intgration de donnes

2.4.3 Ajustement en mode design (Prompt) . . .
2.5 Cas d'applications dans les Jobs . . . . . . . . . . . . .
2.5.1 Dfinition des proprits des composants .
2.5.2 Dfinition des paramtres d'un Job . . . . . .
2.6 Application aux mtadonnes . . . . . . . . . . . . . .

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

3. Dclaration et utilisation des variables . . . . . . . . . . . . . . .

3.1 Variables locales . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.1.1 Dfinition dans un composant tMap . . . . . . . .
3.1.2 Utilisation dans une squence de composants
de type tJava. . . . . . . . . . . . . . . . . . . . . . . . . . .
3.2 Variables globales . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.2.1 Enregistrement des valeurs dans un composant
tGlobalVarSet . . . . . . . . . . . . . . . . . . . . . . . . . .
3.2.2 Cas d'itration d'une liste . . . . . . . . . . . . . . . . .

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

231
231
232
232
233

. . . . . . 235
. . . . . . 235
. . . . . . 235
. . . . . . 237
. . . . . . 239
. . . . . . 239
. . . . . . 240

Chapitre 8

Code et routines
1. Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247
2. Les routines systme. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.1 Diffrents types. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.1.1 Les nombres : Numeric . . . . . . . . . . . . . . . . . . .
2.1.2 Les chanes de caractres : StringHandling et
TalendString . . . . . . . . . . . . . . . . . . . . . . . . .
2.1.3 Les fonctions de gnration de donnes :
TalendDataGenerator . . . . . . . . . . . . . . . . .
2.1.4 Les dates : TalendDate. . . . . . . . . . . . . . . . . . .
2.1.5 Les autres types . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . 247
. . . . . 248
. . . . . 248

3. Les routines utilisateur . . . . .

3.1 Dfinir une classe Java. .
3.1.1 Dclaration . . . . . .
3.1.2 Syntaxe spcifique
3.1.3 Modification . . . . .

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

. . . . . 248
. . . . . 249
. . . . . 250
. . . . . 250
.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

250
251
251
255
256

11

Table des matires

3.1.4 Compilation implicite . . . . . . . . . . . . . . . . . . . . . .

3.1.5 Gestion du fichier associ . . . . . . . . . . . . . . . . . . .
3.2 Mettre en uvre des fonctions mtiers . . . . . . . . . . . . .
3.2.1 Formatage, conversion, transformation spcifique.
3.2.2 Combinaison d'lments . . . . . . . . . . . . . . . . . . . .
3.2.3 Rutilisation du code existant . . . . . . . . . . . . . . . .
3.2.4 Gestion des valeurs par dfaut . . . . . . . . . . . . . . .
3.2.5 Exemple d'application : cryptage des donnes . . . .
4. Cas d'applications des routines dans un Job . . . . . . . . . .
4.1 Dclaration des dpendances . . . . . . . . . . . . . . . . . .
4.2 Diffrents types d'utilisation . . . . . . . . . . . . . . . . . .
4.2.1 Configuration des paramtres des composants
4.2.2 Assistant : Constructeur d'expression . . . . . . .
4.2.3 Composants Java . . . . . . . . . . . . . . . . . . . . . .
4.3 Contrle du code gnr : compilation . . . . . . . . . .
4.4 Utilisation du type gnrique Objet . . . . . . . . . . . .

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

257
258
259
260
261
262
263
263

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

268
268
269
269
270
270
271
273

Chapitre 9

Dfinition des mtadonnes

1. Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 275
2. Configuration d'une connexion de type base de Donnes .
2.1 Connexion gnrique JDBC . . . . . . . . . . . . . . . . . . . .
2.1.1 Principe. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.1.2 Pilote JDBC. . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.1.3 Port TCP. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.2 Connexion gnrique ODBC . . . . . . . . . . . . . . . . . . .
2.2.1 Dclaration d'une source de donnes . . . . . . . . .
2.2.2 Utilisation d'une source de donnes . . . . . . . . .
2.3 Connexion native . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.4 Lecture des schmas : tables et vues . . . . . . . . . . . . .

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

276
276
276
276
278
281
281
282
284
286

12

Talend Open Studio

Mettre en uvre une solution d'intgration de donnes
3. Configuration d'un schma de type fichier
3.1 Introduction . . . . . . . . . . . . . . . . . . .
3.2 Fichier dlimit . . . . . . . . . . . . . . . . .
3.3 Fichier positionnel . . . . . . . . . . . . . . .
3.4 Fichier XML . . . . . . . . . . . . . . . . . . .
3.4.1 Dfinition d'un schma . . . . . . .
3.4.2 Gestion d'un arbre. . . . . . . . . . .

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

289
289
289
293
296
296
300

4. Configuration de schmas gnriques . . . . . . . . . . . . . .

4.1 Dfinition libre . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.2 Export/import au format XML . . . . . . . . . . . . . . .
4.3 Enregistrement du schma d'un composant de Job

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

303
303
303
304

5. Utilisation des autres schmas . . . . . . . . . . . . . . . . . . . . . . . . . . . 307

6. Enregistrement des paramtres de connexion . . . . . . . . . . . . . .
6.1 Exporter comme contexte . . . . . . . . . . . . . . . . . . . . . . . . .
6.1.1 Cas des bases de donnes . . . . . . . . . . . . . . . . . . . . .
6.1.2 Cas d'un fichier . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6.2 Dissocier du contexte . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6.2.1 Modification des paramtres . . . . . . . . . . . . . . . . . . .
6.2.2 Enregistrement dans un nouveau groupe de contexte

.
.
.
.
.
.
.

.
.
.
.
.
.
.

307
308
308
309
310
310
310

7. Modification des schmas . . . . . . . . . . . . . . . . . . . . . . . .

7.1 Gestion des impacts sur les Jobs existants . . . . . . . .
7.1.1 Mise jour automatique . . . . . . . . . . . . . . . . .
7.1.2 Dsactivation de la propagation . . . . . . . . . . .
7.2 Application des changements sur les Jobs existants .

.
.
.
.
.

.
.
.
.
.

311
312
312
313
314

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

Chapitre 10

Approche professionnelle
1. Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 317
2. Travail collaboratif . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 317
2.1 Application d'une charte de dveloppement. . . . . . . . . . . . . . 318
2.1.1 Dmarche personnelle . . . . . . . . . . . . . . . . . . . . . . . . . . 318

13

Table des matires

2.1.2 Disposition et affichage des composants . . . . . . . . . .

2.1.3 Limitation du nombre de composants . . . . . . . . . . . .
2.1.4 Rgle des noms . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.2 Cycle de vie des projets . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.2.1 Gestionnaire de code source . . . . . . . . . . . . . . . . . . .
2.2.2 Fusion d'lments dans un projet . . . . . . . . . . . . . . .
2.2.3 Version mineure, majeure et proprits des lments
2.2.4 Notes, commentaires et descriptions . . . . . . . . . . . . .

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

319
325
326
326
326
328
329
330

3. Jobs gnriques et Jobs spcifiques . . . . . . . . . . . . . . . . . . . . . . . .

3.1 Dcoupage des traitements . . . . . . . . . . . . . . . . . . . . . . . . .
3.2 Passage de paramtres par valeur . . . . . . . . . . . . . . . . . . . . .
3.2.1 Paramtres et arguments d'excution du Job principal .
3.2.2 Paramtres d'un Job secondaire . . . . . . . . . . . . . . . . . .
3.2.3 change de paramtres en retour d'excution d'un Job .
3.3 Code utilisateur et bibliothque de routines . . . . . . . . . . . .

.
.
.
.
.
.
.

330
330
331
331
332
332
334

4. Contrle des applications . . . . . . . . .

4.1 Gestion des donnes . . . . . . . . .
4.1.1 Cohrence des schmas . . .
4.1.2 Intgrit des donnes . . . .
4.1.3 Donnes de rfrence . . . .
4.2 Analyse des traitements . . . . . .
4.2.1 Audit des dveloppements
4.2.2Rpartition de la charge . . .

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

335
335
335
336
336
337
337
338

5. Optimisation des transformations . . . . . . . . . . .

5.1 Analyse des performances . . . . . . . . . . . . . .
5.2 Application des filtres . . . . . . . . . . . . . . . . .
5.3 Actualisation des flux secondaires . . . . . . . .
5.4 Syntaxes spcifiques . . . . . . . . . . . . . . . . . .
5.4.1 Utilisation des expressions rgulires. .
5.4.2 Recours l'oprateur ternaire . . . . . . .
5.5 Exploitation de la capacit des disques durs.
5.6 Cas des bases de donnes . . . . . . . . . . . . . .

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

338
339
339
341
341
341
342
343
343

14

Talend Open Studio

Mettre en uvre une solution d'intgration de donnes
5.6.1 Tirer profit du langage SQL . . . . . . . . . .
5.6.2 Appliquer le mode ELT . . . . . . . . . . . . . .
5.6.3 Charger les gros volumes en mode BULK
5.6.4 Utiliser des index . . . . . . . . . . . . . . . . . .
5.7 Choix de types d'objets adapts. . . . . . . . . . . .
5.8 Gestion des rejets et des erreurs. . . . . . . . . . . .
5.8.1 Grer les exceptions . . . . . . . . . . . . . . . .
5.8.2 Tracer les erreurs. . . . . . . . . . . . . . . . . . .
5.8.3 Contrler les rejets . . . . . . . . . . . . . . . . .

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

343
344
345
345
345
346
346
347
349

6. Mise en uvre des applications . . . . . . . . . . . . . . . . . . . . . . . .

6.1 Utilisation des schmas du rfrentiel . . . . . . . . . . . . . . . .
6.2 Dfinition des squences PreJob et PostJob . . . . . . . . . . . .
6.3 Gestion de l'espace de travail et de la mmoire disponible.
6.4 Enregistrement des statistiques, traces et notifications . . .
6.5 Archivage des informations dtailles . . . . . . . . . . . . . . . .
6.6 Contrle final en production . . . . . . . . . . . . . . . . . . . . . . .

.
.
.
.
.
.
.

.
.
.
.
.
.
.

350
350
353
353
355
356
357

7. Organisation des tests et procdures de validation

7.1 Principe gnral . . . . . . . . . . . . . . . . . . . . . . .
7.2 Tests unitaires. . . . . . . . . . . . . . . . . . . . . . . .
7.2.1 onditions et valeurs aux limites . . . . . .
7.2.2 Dtection des donnes incohrentes . . .
7.2.3 Accs aux donnes . . . . . . . . . . . . . . . .
7.2.4 Tests intensifs. . . . . . . . . . . . . . . . . . . .
7.3 Recette interne . . . . . . . . . . . . . . . . . . . . . . .
7.3.1 Reprise manuelle sur erreur . . . . . . . . . .
7.3.2 Tests de non-rgression. . . . . . . . . . . . .
7.4 Recette externe . . . . . . . . . . . . . . . . . . . . . . .

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

358
358
358
359
359
359
360
361
361
362
362

8. Gestion du dploiement . . . . . . .
8.1 Export de scripts . . . . . . . . .
8.1.1 Type Batch Autonome.
8.1.2 Type service Web . . . . .
8.1.3 Type ESB . . . . . . . . . .

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

363
363
363
363
363

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

15

Table des matires

8.2 Planification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 363
Chapitre 11

Exemples d'application
1. Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365
2. Bote outils . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.1 Analyse automatique de flux . . . . . . . . . . . . . . . . . . . . .
2.1.1 Prsentation gnrale . . . . . . . . . . . . . . . . . . . . . .
2.1.2 Collecte des informations . . . . . . . . . . . . . . . . . . .
2.1.3 Gestion des critres de contrle. . . . . . . . . . . . . . .
2.1.4 Agrgation des donnes. . . . . . . . . . . . . . . . . . . . .
2.1.5 Communication d'un rapport . . . . . . . . . . . . . . . .
2.2 Scripts de commande . . . . . . . . . . . . . . . . . . . . . . . . . .
2.2.1 Surveillance systme : Service FTP . . . . . . . . . . . .
2.2.2 Copie et synchronisation diffrentielle (Robocopy) .
2.2.3 Convertisseur FOXPRO (DBF2CSV) . . . . . . . . . . .
2.2.4 Activation des objets COM - Windows Script . . . . .
2.3 Synchronisation sur un vnement de type mail . . . . . .
2.3.1 Dclaration des serveurs POP3 et SMTP . . . . . . . .
2.3.2 Analyse des pices jointes . . . . . . . . . . . . . . . . . . .

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

366
366
366
367
367
368
368
368
369
370
371
373
375
375
375

3. Production de documents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 375

3.1 Transformation XML vers PDF . . . . . . . . . . . . . . . . . . . . . . . 376
3.2 Actualisation de Tableaux Croiss Dynamiques . . . . . . . . . . 376
4. Intgration de donnes oprationnelles . . . . . . . . . . .
4.1 Gestion de comptes bancaires . . . . . . . . . . . . . .
4.1.1 Import : format gnrique ou spcifique . .
4.1.2 Export de donnes consolides vers Excel. .
4.2 Interconnexion avec un systme tiers . . . . . . . .
4.2.1 Export SQL des donnes . . . . . . . . . . . . . .
4.2.2 Import de fichiers . . . . . . . . . . . . . . . . . . .
4.3 Migration des donnes : changement de SGBD .

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

377
377
377
377
377
377
381
381

16

Talend Open Studio

Mettre en uvre une solution d'intgration de donnes
4.3.1 Description explicite des schmas . . . . . . . . . . . . . . . . . 381
4.3.2 Lecture des informations des tables Systmes . . . . . . . . 382
5. Synchronisation de donnes . . . . . . . . . . . . . . . . . . .
5.1 Maintien des donnes homognes
avec le mode transactionnel . . . . . . . . . . . . . . .
5.2 Contrle du flux de la source la destination . .
5.3 Mise en relation des flux . . . . . . . . . . . . . . . . . .
5.3.1 Unicit des Cls . . . . . . . . . . . . . . . . . . . .
5.3.2 Correspondances multiples des rfrences .
5.4 Coexistence de deux rfrentiels . . . . . . . . . . . .

. . . . . . . . . . 383
.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

384
384
385
385
385
387

Chapitre 12

Solutions Open Source complmentaires

1. Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 389
2. Interoprabilit avec la plate-forme dcisionnelle Spago BI
2.1 Principe de l'architecture . . . . . . . . . . . . . . . . . . . . . .
2.2 Installation de la version dmo . . . . . . . . . . . . . . . . .
2.2.1 Application Web de type portail . . . . . . . . . . . .
2.2.2 Enregistrement des mtadonnes . . . . . . . . . . .
2.3 Dploiement d'un Job Talend . . . . . . . . . . . . . . . . . . .
2.3.1 Dclaration du serveur SpagoBI . . . . . . . . . . . . .
2.3.2 Dmarrage du serveur . . . . . . . . . . . . . . . . . . . .
2.3.3 Export d'un Job . . . . . . . . . . . . . . . . . . . . . . . . .
2.4 Dclenchement depuis le portail . . . . . . . . . . . . . . . .
2.4.1 Enregistrement d'un document analytique . . . .
2.4.2 Rle et planification . . . . . . . . . . . . . . . . . . . . .

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

390
390
392
392
392
394
394
396
397
399
399
402

3. Restitution des donnes : solution Jaspersoft . . . . . . . . . . . . . . . . . 403

3.1 Prsentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 404
3.2 Rle de l'ETL Talend . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 405

17

Table des matires

3.3 Mise en uvre de rapports, tableaux croiss
3.3.1 Introduction . . . . . . . . . . . . . . . . . . . .
3.3.2 Utilisation de l'assistant AdHoc . . . . . .
3.3.3 dition avec iReport . . . . . . . . . . . . . . .
3.4 Exemples de restitution des donnes . . . . . .
3.4.1 Rapports et tableaux de bord . . . . . . .
3.4.2 Fonction d'export aux formats usuels .
3.5 Publication vers jasperServer. . . . . . . . . . . . .
3.6 volutions futures . . . . . . . . . . . . . . . . . . . .

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

406
406
407
407
409
409
410
411
413

4. Autres outils complmentaires . . . . . . . . . . . . . . . . . . . . . . . . . . . 413

Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 415