Formation Pratique Certifiante · 64 Heures de Pratique

Maîtrisez le Data Engineering pour construire des |

Devenez l'architecte data de votre organisation : développez des pipelines d'ingestion Python robustes, concevez des entrepôts PostgreSQL en schéma en étoile, transformez avec dbt Core et orchestrez avec Apache Airflow et Docker.

Rejoindre la formation Découvrir les 12 modules

Accès immédiat & à vie Tarif unique : 49 000 FCFA Certificat officiel vérifiable

KORYXA Data Platform • Airflow & dbt Core

Projet Capstone · 64 HeuresPlateforme Analytique Complète

Pipeline de données automatisé & supervisé

De l'extraction d'API avec reprises à la modélisation en étoile testée par dbt et orchestrée par Airflow.

dags/koryxa_daily_sales_pipeline.pySchedule : @daily (02:00 UTC)

with DAG(
    dag_id="koryxa_sales_platform",
    schedule_interval="0 2 * * *",
    start_date=datetime(2026, 1, 1),
    catchup=False,
    max_active_runs=1
) as dag:

    extract_sales = PythonOperator(
        task_id="extract_sales_api",
        python_callable=fetch_incremental_sales
    )

    run_dbt_models = BashOperator(
        task_id="dbt_run_marts",
        bash_command="dbt run --models marts"
    )

    test_contracts = BashOperator(
        task_id="dbt_test_quality",
        bash_command="dbt test"
    )

    extract_sales >> run_dbt_models >> test_contracts

✓ Pipeline orchestré · Dépendances linéaires avec retries (3 tentatives, délai 5m)

Packs d'Exercices & Fichiers Sources

customers.csv & sales.csv

Tables sources de ventes réelles

api_sales_pages.json

Flux API paginé pour les tests d'ingestion

12 Modules Starter

Code de départ avec tests unitaires

12 Modules Solutions

Implémentations de référence complètes

docker-compose.yml

Stack Airflow + Postgres + dbt prête

Stack 100% Reproductible

Lancez l'ensemble de la plateforme en une seule commande `docker compose up`.

Python Ingestion API PostgreSQL DWH dbt Core (Models & Tests) Apache Airflow DAGs Docker & Compose Watermark & Incrémental Contrats de Données JSON Schéma en Étoile (Fact/Dim) Monitoring & Observabilité Python Ingestion API PostgreSQL DWH dbt Core (Models & Tests) Apache Airflow DAGs Docker & Compose Watermark & Incrémental Contrats de Données JSON Schéma en Étoile (Fact/Dim) Monitoring & Observabilité Python Ingestion API PostgreSQL DWH dbt Core (Models & Tests) Apache Airflow DAGs Docker & Compose Watermark & Incrémental Contrats de Données JSON Schéma en Étoile (Fact/Dim) Monitoring & Observabilité Python Ingestion API PostgreSQL DWH dbt Core (Models & Tests) Apache Airflow DAGs Docker & Compose Watermark & Incrémental Contrats de Données JSON Schéma en Étoile (Fact/Dim) Monitoring & Observabilité

Le Métier le Plus Recherché de la Data

Sans Data Engineering solide, aucune analyse n'est possible

Les entreprises ont accumulé des données dispersées, cassées et non fiabilisées. Le rôle du Data Engineer est de créer des autoroutes de données automatisées, vérifiées et disponibles en temps voulu.

Ingestion Python Résiliente

Traitez les pannes d'APIs, les limites de débit et les reprises sans perdre une seule transaction.

Transformations dbt Modulaires

Finis les scripts SQL géants et illisibles : découpez vos transformations en modèles testés et versionnés.

Orchestration Airflow

Automatisez l'exécution quotidienne avec des graphes de dépendances (DAGs) et des alertes automatiques.

Environnements Docker

Conteneurisez toute la plateforme pour une portabilité totale entre votre poste local et les serveurs de production.

Programme Complet · 64 Heures

12 modules complets couvrant la stack Data Engineering moderne

Une pédagogie axée sur la construction : chaque module fournit du code starter et une solution complète commentée.

Module 01 4h00

Fondations du Data Engineering & Architectures

Rôle du Data Engineer, architectures modernes (Modern Data Stack), Data Lake vs Warehouse et cycle de vie de la donnée.

Module 02 4h30

Ingestion Python : APIs, JSON & Pagination

Consommation d'APIs REST avec retry exponentiel, gestion des formats JSON imbriqués, conversion Parquet et stockage brut.

Module 03 4h30

PostgreSQL & Modélisation Relationnelle

Schémas staging/production, typage strict, contraintes CHECK, clés primaires/étrangères et commandes \copy volumétriques.

Module 04 4h00

Contrats de Données & Schémas JSON

Spécification de contrats d'interface, validation de schéma Pydantic, détection des cassures (schema drift) et alertes.

Module 05 4h30

Pipelines d'Ingestion Incrémentale

Techniques de watermark, colonnes modified_at, rechargement idempotent, déduplication et gestion des purges historiques.

Module 06 4h00

Qualité des Données & Tests SQL Automatisés

Tests d'unicité, non-nullité, intégrité référentielle, seuils d'anomalies volumétriques et blocage automatique du pipeline.

Module 07 5h00

Entrepôts de Données (DWH) & Schéma en Étoile

Modélisation dimensionnelle de Kimball : tables de faits, dimensions lentes (SCD Type 1 & 2) et clés de substitution.

Module 08 5h00

Transformations Modulaires avec dbt Core

Structure d'un projet dbt, modèles staging et marts, tests dbt (schema tests & data tests), macros Jinja et documentation générée.

Module 09 5h30

Orchestration Avancée avec Apache Airflow

Conception de DAGs, opérateurs Bash/Python/dbt, gestion des dépendances en cascade, retries automatiques et backfills.

Module 10 4h30

Conteneurisation Complète avec Docker & Compose

Images Docker personnalisées, orchestration multi-conteneurs (Postgres, Airflow, MinIO, dbt) et volumes persistants.

Module 11 4h30

Observabilité, Monitoring, Alerting & Pannes

Métriques de débit de pipeline, alerting Slack/Email sur échec de tâche, SLA de rafraîchissement et runbooks de reprise.

Module 12 4h30

Industrialisation CI/CD, Déploiement & Soutenance

Pipelines GitHub Actions, tests automatisés en pré-production, sécurité des identifiants et livraison de la plateforme complète.

Cas Pratique Entreprise

Le Projet Fil Rouge : Plateforme Analytique Complète

Vous concevez et déployez la plateforme de données centralisée d'une entreprise de commerce panafricaine connectant ventes en ligne et points de vente physiques.

Étape 1

Ingestion & Stockage Brut

Connectez l'API de facturation et les exports clients, validez les schémas avec Pydantic et stockez les données en zone raw.

Étape 2

Entrepôt & dbt Core

Bâtissez le schéma en étoile PostgreSQL, écrivez les modèles staging et marts avec dbt, appliquez les tests d'intégrité référentielle.

Étape 3

Airflow & Dockerisation

Assemblez le DAG Airflow quotidien avec gestion des retries, configurez la stack sous Docker Compose et rédigez le runbook d'exploitation.

Ce que vous saurez faire

Des compétences d'ingénieur data directement déployables

Une expertise pratique sur les outils les plus demandés du marché mondial.

Concevoir et déployer une architecture moderne de données (Modern Data Stack) de bout en bout

Ingérer des flux hétérogènes (APIs, CSV, JSON, Parquet) avec logique incrémentale et idempotence

Modéliser un Data Warehouse relationnel en schéma en étoile certifié pour le reporting

Structurer, tester et documenter des dizaines de modèles SQL avec dbt Core

Orchestrer des pipelines quotidiens avec Apache Airflow et gérer les pannes en autonomie

Conteneuriser l'ensemble de l'infrastructure avec Docker Compose et sécuriser les secrets

FAQ

Questions Fréquentes

Quels sont les prérequis pour suivre ce parcours Data Engineering ?

Une bonne maîtrise du langage SQL (jointures, agrégations) et des bases solides en Python sont nécessaires. Les cours SQL Data Analyst et Python Data Analyst sont d'excellentes préparations.

Ai-je besoin d'un compte cloud payant (AWS/GCP/Azure) pour suivre les TP ?

Non. Toute la stack est conçue pour fonctionner localement sur votre poste grâce à Docker Compose (PostgreSQL, Apache Airflow, dbt). Vous apprendrez les mêmes standards que dans le cloud sans aucun frais d'infrastructure.

Quels outils professionnels sont manipulés concrètement ?

Python, SQL, PostgreSQL 16, dbt Core, Apache Airflow, Docker, Docker Compose, Git et GitHub Actions pour la CI/CD.

Comment est validée la formation et le certificat KORYXA ?

Vous réalisez un projet fil rouge complet noté sur 60 points : pipeline d'ingestion API, projet dbt avec tests, DAG Airflow orchestré et stack Docker Compose fonctionnelle.

Tarif & Inscription

Rejoignez le parcours Data Engineering

Maîtrisez la stack moderne de données et devenez un profil incontournable.

Accès complet & illimité

49 000 FCFA69 000 FCFA

Paiement unique · Aucun abonnement caché

12 modules progressifs de l'ingestion à l'orchestration

Stack complète : Python, SQL, PostgreSQL, dbt Core, Airflow, Docker

Fichiers réels, API paginée, 12 modules starter et solutions

Projet d'architecture de données noté sur 60 points

Certificat d'achèvement officiel KORYXA vérifiable

Accès à vie à la communauté et aux ressources techniques

Accéder immédiatement à la formation

Paiement sécurisé instantané via Mobile Money ou Carte Bancaire