Advanced Data Engineering
Apprenez les concepts de DataOps et les techniques de déploiement automatisé
Formation créée le 27/09/2024. Dernière mise à jour le 20/05/2025.
Version du programme : 1
Programme de la formation
Apprenez les concepts de DataOps et les techniques de déploiement automatisé d'architectures de données en utilisant Docker et Terraform.
Objectifs de la formation
- Définir le rôle de DataOps dans la gestion et l'exploitation des architectures de données.
- Identifier les concepts de conteneurisation avec Docker pour des applications de données.
- Délimiter le rôle de Terraform dans la gestion de l'infrastructure en tant que code (IaC) pour des environnements cloud.
- Maîtriser les techniques de déploiement automatisé sur AWS, en utilisant Docker et Terraform.
- Créer des pipelines de déploiement automatisés pour les architectures de données en production.
Profil des bénéficiaires
- Ingénieurs de données et architectes cloud souhaitant automatiser les déploiements de données.
- Professionnels techniques intéressés par la mise en place de pipelines DataOps robustes et reproductibles.
- Connaissance de base en ingénierie des données
- Etre en possession d'un ordinateur
- Connaissances de base sur le fonctionnement des outils dans le cloud
- familiarité avec les conteneurs (Docker) et les principes d'infrastructure en tant que code (IaC) est un plus.
Contenu de la formation
-
Introduction à DataOps et Automatisation des Déploiements - 1h
-
Conteneurisation des Applications de Données avec Docker - 2h
-
Infrastructure en tant que Code avec Terraform - 2h
-
Automatisation du Déploiement sur AWS avec Docker et Terraform dans le cloud - 2h
Arturo GUIZAR 🚀 Passionné par les nouvelles technologies associées à l'Internet d'Objets et l'Intelligence Artificielle. 🎯 J'ai créé un studio (datalo.co) pour donner aux entreprises les moyens d'agir grâce à la Data Science. 💻 Consultant et Teacher en Machine Learning et Data Science (EM Lyon, Le Wagon, Simplon, Open Classroom, INSEEC). 🎓 Academic: PhD en Traitement de signal (Inria), M.Sc en Télécommunications (INSA de Lyon), Certification en Data Science (MIT). 🌱 J'aime contribuer au développement de l'écosystème d'entrepreneurs à Lyon (Startup Weekend, Techstars).
- Feuilles de présence
- Auto -évaluation du stagiaire sur les objectifs pédagogiques en amont de la formation
- Auto -évaluation du stagiaire sur les objectifs pédagogiques en fin de formation
- Évaluation des atteintes des objectifs des stagiaires par le formateur
- Certificat de réalisation de formation
- QCM
- Évaluation pratique via l'automatisation du déploiement d’une architecture de données avec Docker et Terraform
- Conteneuriser une application de traitement de données simple en utilisant Docker
- Exercice : Utiliser Terraform pour déployer une architecture de données
- Exercice : Créer un pipeline CI/CD automatisé pour déployer une architecture de données conteneurisée
- Exemple : Cas d'utilisation réel de DataOps dans une architecture de données moderne, et comparaison avec les pratiques traditionnelles de gestion des données.