Advanced Data Engineering

Apprenez les concepts de DataOps et les techniques de déploiement automatisé

Formation créée le 27/09/2024. Dernière mise à jour le 20/05/2025.
Version du programme : 1

Type de formation

Formation mixte

Durée de formation

7 heures (1 jour)

Accessibilité

Oui

Advanced Data Engineering

Apprenez les concepts de DataOps et les techniques de déploiement automatisé


Apprenez les concepts de DataOps et les techniques de déploiement automatisé d'architectures de données en utilisant Docker et Terraform.

Objectifs de la formation

  • Définir le rôle de DataOps dans la gestion et l'exploitation des architectures de données.
  • Identifier les concepts de conteneurisation avec Docker pour des applications de données.
  • Délimiter le rôle de Terraform dans la gestion de l'infrastructure en tant que code (IaC) pour des environnements cloud.
  • Maîtriser les techniques de déploiement automatisé sur AWS, en utilisant Docker et Terraform.
  • Créer des pipelines de déploiement automatisés pour les architectures de données en production.

Profil des bénéficiaires

Pour qui
  • Ingénieurs de données et architectes cloud souhaitant automatiser les déploiements de données.
  • Professionnels techniques intéressés par la mise en place de pipelines DataOps robustes et reproductibles.
Prérequis
  • Connaissance de base en ingénierie des données
  • Etre en possession d'un ordinateur
  • Connaissances de base sur le fonctionnement des outils dans le cloud
  • familiarité avec les conteneurs (Docker) et les principes d'infrastructure en tant que code (IaC) est un plus.

Contenu de la formation

Introduction à DataOps et Automatisation des Déploiements - 1h
Conteneurisation des Applications de Données avec Docker - 2h
Infrastructure en tant que Code avec Terraform - 2h
Automatisation du Déploiement sur AWS avec Docker et Terraform dans le cloud - 2h

Équipe pédagogique

Arturo GUIZAR 🚀 Passionné par les nouvelles technologies associées à l'Internet d'Objets et l'Intelligence Artificielle. 🎯 J'ai créé un studio (datalo.co) pour donner aux entreprises les moyens d'agir grâce à la Data Science. 💻 Consultant et Teacher en Machine Learning et Data Science (EM Lyon, Le Wagon, Simplon, Open Classroom, INSEEC). 🎓 Academic: PhD en Traitement de signal (Inria), M.Sc en Télécommunications (INSA de Lyon), Certification en Data Science (MIT). 🌱 J'aime contribuer au développement de l'écosystème d'entrepreneurs à Lyon (Startup Weekend, Techstars).

Suivi de l'exécution et évaluation des résultats

  • Feuilles de présence
  • Auto -évaluation du stagiaire sur les objectifs pédagogiques en amont de la formation
  • Auto -évaluation du stagiaire sur les objectifs pédagogiques en fin de formation
  • Évaluation des atteintes des objectifs des stagiaires par le formateur
  • Certificat de réalisation de formation
  • QCM
  • Évaluation pratique via l'automatisation du déploiement d’une architecture de données avec Docker et Terraform

Ressources techniques et pédagogiques

  • Conteneuriser une application de traitement de données simple en utilisant Docker
  • Exercice : Utiliser Terraform pour déployer une architecture de données
  • Exercice : Créer un pipeline CI/CD automatisé pour déployer une architecture de données conteneurisée
  • Exemple : Cas d'utilisation réel de DataOps dans une architecture de données moderne, et comparaison avec les pratiques traditionnelles de gestion des données.

Qualité et satisfaction

satisfaction stagiaires / nombre de stagiaires

Capacité d'accueil

Entre 10 et 15 apprenants

Délai d'accès

12 jours

Accessibilité

Les situations de handicap seront étudiées au cas par cas.