Formation Industrialiser la production de modèles Data Science avec Kubeflow

Programme de la formation
Industrialiser la production de modèles Data Science avec Kubeflow

• Introduction au MLOps & aux défis d'industrialisation Data Science

  - Comprendre les enjeux du MLOps pour la Data Science
  - Présentation des étapes clés d'un cycle de vie de projet ML
  - Identifier les goulots d'étranglement de la mise en production
  - Évolution et historique de l'industrialisation ML
  - Cas d'usage et bénéfices de l'industrialisation pour les entreprises

• Fondamentaux de Kubernetes pour le MLOps

  - Rappels sur les conteneurs Docker et leur rôle
  - Architecture et concepts clés de Kubernetes : Pods, Deployments, Services
  - Gestion des ressources avec Kubernetes (CPU, RAM)
  - Déploiement d'une application simple sur Kubernetes
  - Introduction à la scalabilité et à la résilience

• Présentation de Kubeflow : Anatomie et Composants

  - Qu'est-ce que Kubeflow et son écosystème ?
  - Vue d'ensemble des composants majeurs de Kubeflow : Pipelines, Notebooks, Training, Serving
  - Architecture globale de Kubeflow et son intégration à Kubernetes
  - Avantages de Kubeflow pour l'industrialisation ML
  - Cas d'usage réels et exemples d'entreprises utilisant Kubeflow

• Environnements de développement interactifs avec Kubeflow Notebooks

  - Déploiement et gestion de Notebooks Jupyter via Kubeflow
  - Accès aux données et exécution de code ML dans les Notebooks
  - Intégration des notebooks à l'environnement Kubernetes
  - Best practices pour le développement collaboratif de notebooks
  - Versionnement et partage des notebooks Jupyter

• Gestion des données pour les pipelines ML

  - Stratégies de stockage de données persistantes avec Kubernetes (PV, PVC)
  - Intégration de Kubeflow avec des stockages externes (S3, GCS, Azure Blob)
  - Gestion des jeux de données volumineux pour le Machine Learning
  - Prétraitement et transformation des données en vue du pipelining
  - Data Versioning et Lineage pour la reproductibilité

• Kubeflow Pipelines : Concepts et Conception

  - Introduction aux Kubeflow Pipelines : composants, graphes DAG
  - Création de composants de pipeline réutilisables
  - Définition d'un pipeline ML simple avec KFP SDK
  - Exécution de pipelines et visualisation des exécutions
  - Gestion des paramètres et des entrées/sorties de pipeline

• Entraînement de modèles distribués avec Kubeflow Training

  - Entraînement de modèles ML sur Kubernetes avec TFJob/PyTorchJob
  - Configuration des ressources GPU pour l'entraînement
  - Utilisation de KubeFlow Training Operator pour des entraînements distribués
  - Suivi et monitoring des métriques d'entraînement
  - Gestion des checkpoints et de la résilience d'entraînement

• Déploiement de modèles en production avec Kubeflow Serving

  - Introduction à KServe (anciennement KFServing) pour le déploiement
  - Déploiement de modèles TensorFlow, PyTorch, Scikit-learn
  - Gestion des versions de modèles et mises à jour canary
  - Scalabilité automatique (Horizontal Pod Autoscaler) pour le serving
  - Monitoring des performances et de la latence du modèle

• Opérations avancées sur Kubeflow Pipelines

  - Conditionnalité et boucles dans les pipelines
  - Parallélisation des tâches et optimisation de l'exécution
  - Traitement d'erreurs et gestion des échecs de pipeline
  - Intégration CI/CD pour les pipelines Kubeflow
  - Techniques de débogage et de troubleshooting des pipelines

• Monitoring, Logging et Observabilité dans Kubeflow

  - Surveillance des ressources Kubernetes et Kubeflow
  - Collecte et centralisation des logs avec Fluentd/Elasticsearch/Kibana
  - Métriques et tableaux de bord Prometheus/Grafana pour le MLOps
  - Alerting et notification en cas de défaillance
  - Observabilité des modèles en production (dérive, performances)

• Sécurité et Bonnes Pratiques en MLOps avec Kubeflow

  - Gestion des identités et des accès (RBAC) dans Kubernetes/Kubeflow
  - Sécurisation des données et des communications
  - Gestion des secrets et des informations sensibles
  - Automatisation des tests et validation des modèles
  - Conformité et réglementation des modèles (explicabilité, biais)

• Cas Pratiques et Industrialisation de bout en bout

  - Atelier pratique : Création d'un pipeline complet d'entraînement et déploiement
  - Mise en œuvre d'un projet Data Science sur Kubeflow
  - Conseils pour l'adoption de Kubeflow en entreprise
  - Étude de cas réels : architecture MLOps robuste
  - Bonnes pratiques pour une industrialisation réussie et évolutive