11.03.2023, 23:15
Talend Data Integration & Kobo Toolbox En Français
Dernière mise à jour : 5/2020
MP4 | Video: h264, 1280x720 | Audio: AAC, 44.1 KHz
Language: Français | Size: 6.58 GB | Duration: 16h 18m
Apprendre l'intégration des données avec Talend Data Integration par la PRATIQUE (Source de données : API Kobo Toolbox)
What you'll learn
Avec Talend Data Integration vous allez apprendre par la pratique à automatiser l'extraction, la transformation et le chargement de vos données des formulaires créés dans Kobo Toolbox vers Excel ou vers un fichier au format CSV ou vers une base de données relationnelle.
Installer Talend Open Studion for Data Integration, créer un projet, créer un job, créer des variables de contexte, utiliser certains composants Talend nécessaires à la réalisation de l'atelier.
Apprendre à concevoir et structurer un projet Talend.
Utiliser un fichier des properties (fichiers de configuration du job Talend).
Apprendre à utiliser les web services REST de l'API Kobo ToolBox avec Talend Data Integration.
Documenter un Job Talend, gérer les exception Java, etc...
Apprendre à utiliser Talend Data Integration par la pratique avec un cas concret directement utilisable pour vos besoins au quotidien.
L'application d'extraction de données réalisée à la fin de cet atélier est directement utilisable pour vos besoins d'extraction au quotidien.
Vous réaliserez au moins 17 exercices pratiques pour vous familairiser avec les composants et les bonnes ptratiques avec Talend...
Requirements
Vous devez disposer d'un ordinateur et une connexion internet
Avoir des notions du langage Java ou un autre langage de programmation objet (souhaité)
Avoir des notions en SQL
Les plateformes Open Source de collecte de données avec téléphone mobile tels que Kobo ToolBox, ou ODK ou ONA...
Description
Vous allez apprendre à créer une application professionnelle complète pour l'extraction automatique des données de vos formulaires KoBo ToolBox au format Excel ou CSV en temps réel en utilisant Talend Data Integration. Apprenez les techniques de base de développement et de déploiement de job Talend. Vous allez vous familiarisez avec un ETL open source du marché (gratuit) et puissant d'extraction, de transformation et de chargement de données.A la fin de cette formation Talend Data Integration vous serez fièrement capable par la pratique, d'automatiser l'extraction de vos données des formulaires créés dans Kobo Toolbox vers Excel ou vers un fichier au format CSV. Au fur et à mesure que les équipes d'enquêteurs collecteront les données avec leur téléphone mobile et qu'ils les enverront dans Kobo ToolBox, ces données seront chargées automatiquement dans une table de base de données dédiée au projet. Vos données sont ainsi sécurisées de bout en bout !Cette architecture de collecte et d'intégration des données évite les erreurs liées aux échanges de données entre les enquêteurs et les agents de saisie. Ce système garantie aussi la détection des erreurs en temps réel lors de la phase de collecte des données de l'enquête, de les corriger assez rapidement avant que cela ne soit trop tard.
Overview
Section 1: Bienvenue
Lecture 1 Introduction
Lecture 2 Principes généraux des ETL
Lecture 3 Architecture technique de l'application KOBOTOOLBOX_DATA_EXTRACTOR
Lecture 4 Présentation de la société Talend
Section 2: Intégrer des données avec Talend
Lecture 5 Configuration minimum recommandée pour installer Talend Open Studio
Lecture 6 Installation et prise en main de Talend Open Studio
Lecture 7 Présentation des familles de composants : Partie 1
Lecture 8 Présentation des familles de composants : Partie 2
Lecture 9 Présentation des familles de composants : Partie 3
Lecture 10 Manipulation des composants et Création de liens entre les composants - Partie 1
Lecture 11 Manipulation des composants et Création de liens entre les composants - Partie 2
Section 3: Exercices Pratiques
Lecture 12 Exercice 1 : création d'un premier job simple
Lecture 13 Exercice 2.1: métadonnées de lecture du contenu d'un fichier CSV
Lecture 14 Exercice 2.2 : métadonnées de connexion à une BDD - écrire dans une table de BDD
Lecture 15 Exercice 3 - Isoler les doublons d'enregistrement d'un fichier CSV
Lecture 16 Exercice 4 - Lire les données d'une table de BDD
Lecture 17 Exercice 4.1-Lire les données d'une table de BDD, créer un fichier Excel et CSV
Lecture 18 Exercice 5 - Créer une variable globale et l'utiliser dans un filtre
Lecture 19 Exercice 6 - Utiliser tFilterColumns
Lecture 20 Exercice 7 - Utilisation simple du tMap
Lecture 21 Exercice 8 - Utilisation tMap Jointure et Filtre sur fichiers entrées
Lecture 22 Exercice 9 - Utilisation tMap avec Filtre sur les données en sortie
Lecture 23 Exercice 10 - Utilisation tMap et les conditions ternaires Java
Lecture 24 Exercice 11 - Itération avec tFlowToIterate, utilisation de tFixedFlow
Lecture 25 Exercice 12 - Implémenter l'Exercice 11 avec un tMap
Lecture 26 Exercice 13 - Jointures avancées avec tMap, gestion des rejets et doublons
Lecture 27 Exercice 14 - Gestion des contextes
Lecture 28 Exercice 15 - Versionning de Job
Lecture 29 Exporter un Job
Lecture 30 Importer un Job
Lecture 31 Exporter un Projet
Lecture 32 Importer un Projet
Lecture 33 Mettre en place des logs d'exécution : tLogCatcher, tDie, tWarn
Section 4: Créer l'application KOBOTOOLBOX DATA EXTRACTOR
Lecture 34 Installer, configurer et tester KoBoCollect
Lecture 35 Présentation du formulaire ENQUETE DEMOGRAPHIQUE dans KoboToolBox
Lecture 36 Créer le projet KOBOTOOLBOX_DATA_EXTRACTOR
Lecture 37 Créer la structure des dossiers du projet et initialiser le fichier de config
Lecture 38 Présentation des jobs contenus dans l'application KOBOTOOLBOX_DATA_EXTRACTOR
Lecture 39 Création du job getKoboUserForms
Lecture 40 Création du job getKoboUserFormData
Lecture 41 Création du job getKoBotUserFormDataByOwnerUsername
Lecture 42 Création du job KOBOTOOLBOX_DATA_EXTRACTOR_MAIN
Lecture 43 Intégrer les données du formulaire ENQUETE DEMOGRAPHIQUE dans la BDD Mysql
Lecture 44 Exporter, Décompresser le job KOBOTOOLBOX_DATA_EXTRACTOR_MAIN
Lecture 45 Création de la tâche planifiée sous Windows KoboToolBoxExtractor (taskschd.msc)
Section 5: Bonus
Lecture 46 Lancer un processus en arrière-plan de Windows
Lecture 47 Ressources complètes Formation et Application finale KOBOTOOLBOX_DATA_EXTRACTOR
Gestionnaire de données au sein des ONG,Technicien SIG (Systèmes d'Information Géographique),Géomètre-topographe (collecte des données topographiques),Chef de projet SIG,Chef de Projet Collecte de données avec Kobo ToolBox, ODK, ONA, etc...,Développeur d'Applications,Administrateur de base de données,Consultant en Informatique Décisionnelle (Business Intelligence),Etudiant(es) dans le domaine de l'informatique, Géomatique, Système d'Information Géographique, etc...,Toutes personnes souhaitant s'initier à l'intégration des données via l'ETL Talend
Homepage