Utiliser des scripts en langage naturel dans DataStage

En quoi consiste l’utilisation de scripts, et pourquoi les intégrer à DataStage?

DataStage (DS) est un outil d’extraction, de transformation et de chargement des données (ETC) extraordinaire. Le combiner à l’utilisation de scripts en langage naturel nous permet d’y ajouter une nouvelle fonctionnalité.
 
Dans cet article, nous vous présenterons plusieurs scénarios propices à cette approche ainsi qu’une liste d’exemples d’utilisation. Nous vous expliquerons également le processus complet étape par étape en décortiquant un cas simple pour faciliter votre compréhension.

Vous pouvez écrire vos scripts en Python ou en Perl, même à l’aide de simples lignes de commande Unix, lesquels seront exécutés au moment de l’étape ExecCommand. Nous allons vous montrer comment vous en servir, mais nous ne nous attarderons pas sur la manière de charger vos données et votre script sur le serveur.

Table des matières

1. Exemples de script
2. Exemple de script en langage naturel dans DataStage : script de décompression
3. Script de décompression
4. Configurer un travail parallèle
5. Configurer un travail séquentiel
6. Exécuter un travail

Exemples d’utilisation de script

• Formatage personnalisé de courriels et de pièces jointes
• Recherche de fichier
• Exécution ou arrêt d’un travail en fonction d’un résultat
• Création d’une instruction SQL dynamique
• Manipulation de fichiers: compression, décompression, déplacement, archivage et suppression de fichiers
• Vérification de date avant l’exécution d’un travail
• Création de fichiers journaux personnalisés
• Comptage des enregistrements

Nous allons maintenant vous aider à y voir plus clair en décrivant certains des exemples listés ci-dessus.

Formatage personnalisé de courriels et de pièces jointes

DS est doté d’une étape de notification et d’une étape de routine, particulièrement pratiques pour envoyer des courriels. Dans un de nos projets, nous avons eu besoin de personnaliser le corps et l’objet de courriels, ainsi que d’y ajouter une pièce jointe. Nous l’avons réalisé sans problèmes avec Python et la fonction SendMail.

Fichiers journaux personnalisés

Certains projets dans DS s’articulent autour de nombreuses étapes. Nous avons cherché un moyen de suivre les étapes exécutées et leur temps de traitement respectif. Pour ce faire, nous avons créé un script Perl dont la fonction est d’écrire une entrée de journal à chaque fois qu’une étape est exécutée, avec sa date de début et de fin. Ces données étaient ensuite jointes à un courriel une fois le travail complété.

Manipulation de fichiers

Les scripts en langage naturel/Unix sont idéaux pour manipuler des fichiers, notamment les déplacer, les supprimer, les archiver, les compresser ou les décompresser. Nous nous en sommes largement servis pour traiter les fichiers entrants.

Exemple de script en langage naturel dans DataStage : script de décompression

Typiquement, on déplace un fichier compressé à l’aide d’un protocole FTP. Ensuite, il est décompressé et extrait par DS via l’étape Sequential File. À l’aide de commandes Unix, le fichier ainsi extrait peut être compressé de nouveau et archivé dans un dossier prévu à cet effet. Il est également possible de consulter les dates associées au traitement du fichier, par exemple celles antérieures à 1 mois, que vous pourriez supprimer.

Comme décrit ci-dessus, décompresser un fichier entrant avant de traiter les données est une tâche fréquente. C’est pourquoi utiliser un script est la solution idéale. Reproduisons le processus en créant un travail dans DS (séquentiel et parallèle).

Le travail exécutera la séquence suivante :

1. Déplacement du fichier compressé dans un dossier accessible à DS
2. Lecture de notre script de décompression par l’étape ExecCommand
3. Traitement du fichier par l’étape Sequential File
4. Chargement du contenu dans le tableau cible par l’étape DB2 Connector

Script de décompression

Voici notre script Perl « unzip_example.pl », qui a pour fonction de décompresser le fichier entrant. Sauvegardez ce fichier dans un endroit accessible du serveur DS.

• #!/usr/bin/perl -w
• # -- EXEMPLE DE FICHIER DE DÉCOMPRESSION
• # -- Le fichier à décompresser
• my $file = 'testdata.zip';
• # -- Le dossier dans lequel le fichier se trouve
• my $specifiedDir = '/ds-shared/data/';
• # -- La commande de décompression
• my $rc = system("/usr/bin/unzip -jp $file -d $specifiedDir") or warn "$!\n";

Exécuter un travail

Nous sommes maintenant prêts à exécuter le travail :

1. Le travail SEQ_UNZIP_SCRIPT exécutera les commandes dans le script pl.
2. Le fichier de données sera décompressé.
3. Le travail parallèle LOAD_UNZIPPED_FILE sera exécuté. Il extraira les données du fichier et les importera dans un tableau de base de données.
4. Enfin, une notification sera envoyée pour nous informer que le travail a été effectué.

Conclusion

Revenons sur notre exemple. Le script de décompression est simple, car nous avons délibérément ignoré les vérifications et les équilibrages typiquement ajoutés aux travaux. Il faudrait au moins y ajouter les étapes Variable et Nested Condition pour séparer les résultats de chaque action (ex : fichier non trouvé, données corrompues). Nous pouvons également utiliser des scripts pour créer des fichiers journaux et des notifications personnalisés.

Notre article ne présente que quelques exemples, mais votre projet vous amènera peut-être à développer de nouveaux moyens d’intégrer des scripts. Ils forment une excellente combinaison avec les fonctions d’ETC de DataStage.