Formation Python : Programmation Parallèle et Calcul Distribué Avancé

Programme de la formation
Python : Programmation Parallèle et Calcul Distribué Avancé

• Introduction à la programmation parallèle et distribuée

  - Concepts fondamentaux : Concurrence, parallélisme, distribué
  - Intérêts et défis de la programmation parallèle
  - Types d'architectures : Multicoeur, clusters, grilles
  - Vue d'ensemble des outils Python pour le parallélisme et le distribué

• Threads en Python : Bases et synchronisation

  - Introduction au module `threading`
  - Création et gestion de threads
  - Le Global Interpreter Lock (GIL) et ses implications
  - Synchronisation : Locks, Semaphores, Conditions

• Gestion avancée des threads et partage de données

  - Utilisation de `Event` et `Barrier`
  - Queues sécurisées (`queue` module) pour la communication inter-threads
  - Variable `RLock` et `local`
  - Bonnes pratiques et pièges courants avec les threads

• Processus en Python : Introduction au multiprocessing

  - Différences entre threads et processus (isolation mémoire)
  - Les bases du module `multiprocessing`
  - Création et gestion de processus
  - Communication entre processus : Pipes, Queues

• Pools de processus et synchronisation inter-processus

  - Utilisation des `Pools` pour le parallélisme de tâches
  - Partage de données entre processus : `Value`, `Array`
  - Verrous et sémaphores pour processus
  - Gestion des erreurs et des exceptions dans les processus

• Programmation asynchrone avec Asyncio

  - Concepts de programmation asynchrone : coroutines, événements
  - Introduction au module `asyncio`
  - `async`/`await` : Syntaxe et usage
  - Gestion des tâches concurrentes avec `asyncio.gather`

• Architectures RPC et introduction au calcul distribué

  - Concepts de Remote Procedure Call (RPC)
  - Mécanismes de sérialisation : Pickle, JSON, Protobuf
  - Création de services RPC simples en Python (XML-RPC, RPyC)
  - Concepts : Microservices, client-serveur

• Bases du calcul distribué avec Dask

  - Introduction à Dask pour les tâches parallèles et distribuées
  - Dask DataFrame et Dask Array pour les données volumineuses
  - Dask Delayed pour les workflows personnalisés
  - Mise en place d'un Dask scheduler local

• Frameworks de messagerie : Introduction à Celery

  - Concepts de file d'attente de messages (RabbitMQ, Redis)
  - Introduction au framework Celery pour les tâches distribuées
  - Définition et exécution de tâches asynchrones
  - Gestion des résultats et des états des tâches

• Optimisation et débogage des applications parallèles

  - Profilage des applications Python (cProfile, line_profiler)
  - Identification des goulots d'étranglement
  - Stratégies de débogage pour les systèmes concurrents
  - Mesure des performances et scalabilité

• Tolérance aux pannes et résilience en distribué
• Cas pratiques et déploiement de systèmes distribués

  - Étude de cas réels d'applications parallèles/distribuées
  - Déploiement basique d'une application distribuée (Docker/Docker Compose)
  - Conseils pour le passage à l'échelle
  - Récapitulatif et perspectives d'évolution