Formation Python : Programmation Parallèle et Calcul Distribué Avancé

01.Introduction à la programmation parallèle et distribuée

• —Concepts fondamentaux : Concurrence, parallélisme, distribué
• —Intérêts et défis de la programmation parallèle
• —Types d'architectures : Multicoeur, clusters, grilles
• —Vue d'ensemble des outils Python pour le parallélisme et le distribué

02.Threads en Python : Bases et synchronisation

• —Introduction au module `threading`
• —Création et gestion de threads
• —Le Global Interpreter Lock (GIL) et ses implications
• —Synchronisation : Locks, Semaphores, Conditions

03.Gestion avancée des threads et partage de données

• —Utilisation de `Event` et `Barrier`
• —Queues sécurisées (`queue` module) pour la communication inter-threads
• —Variable `RLock` et `local`
• —Bonnes pratiques et pièges courants avec les threads

04.Processus en Python : Introduction au multiprocessing

• —Différences entre threads et processus (isolation mémoire)
• —Les bases du module `multiprocessing`
• —Création et gestion de processus
• —Communication entre processus : Pipes, Queues

05.Pools de processus et synchronisation inter-processus

• —Utilisation des `Pools` pour le parallélisme de tâches
• —Partage de données entre processus : `Value`, `Array`
• —Verrous et sémaphores pour processus
• —Gestion des erreurs et des exceptions dans les processus

06.Programmation asynchrone avec Asyncio

• —Concepts de programmation asynchrone : coroutines, événements
• —Introduction au module `asyncio`
• —`async`/`await` : Syntaxe et usage
• —Gestion des tâches concurrentes avec `asyncio.gather`

07.Architectures RPC et introduction au calcul distribué

• —Concepts de Remote Procedure Call (RPC)
• —Mécanismes de sérialisation : Pickle, JSON, Protobuf
• —Création de services RPC simples en Python (XML-RPC, RPyC)
• —Concepts : Microservices, client-serveur

08.Bases du calcul distribué avec Dask

• —Introduction à Dask pour les tâches parallèles et distribuées
• —Dask DataFrame et Dask Array pour les données volumineuses
• —Dask Delayed pour les workflows personnalisés
• —Mise en place d'un Dask scheduler local

09.Frameworks de messagerie : Introduction à Celery

• —Concepts de file d'attente de messages (RabbitMQ, Redis)
• —Introduction au framework Celery pour les tâches distribuées
• —Définition et exécution de tâches asynchrones
• —Gestion des résultats et des états des tâches

10.Optimisation et débogage des applications parallèles

• —Profilage des applications Python (cProfile, line_profiler)
• —Identification des goulots d'étranglement
• —Stratégies de débogage pour les systèmes concurrents
• —Mesure des performances et scalabilité

11.Tolérance aux pannes et résilience en distribué

12.Cas pratiques et déploiement de systèmes distribués

• —Étude de cas réels d'applications parallèles/distribuées
• —Déploiement basique d'une application distribuée (Docker/Docker Compose)
• —Conseils pour le passage à l'échelle
• —Récapitulatif et perspectives d'évolution