Formation Créer son IA Locale : Installer des LLM sur ses propres serveurs

Programme de la formation
Créer son IA Locale : Installer des LLM sur ses propres serveurs

• Introduction aux LLM locaux et prérequis matériels

  - Identifier les architectures de LLM adaptées à l'hébergement local.
  - Lister les spécifications matérielles minimales pour l'exécution de LLM (notamment GPU).
  - Comparer les avantages et inconvénients des déploiements LLM locaux vs cloud.

• Configuration de l'environnement serveur pour LLM

  - Installer les pilotes GPU nécessaires (NVIDIA CUDA, ROCm).
  - Configurer un environnement Python virtuel pour le développement LLM.
  - Mettre en place les dépendances logicielles pour l'inférence de modèles.

• Optimisation des modèles : Quantification et formats

  - Expliquer le principe de la **quantification** pour les LLM.
  - Appliquer des techniques de quantification à un modèle open source.
  - Choisir le format de modèle optimisé (ex: GGUF, ONNX) pour l'inférence locale.

• Déploiement de LLM open source avec Ollama/LM Studio

  - Installer et configurer un serveur d'inférence LLM (ex: Ollama, LM Studio).
  - Télécharger et charger un **Large Language Model (LLM)** open source.
  - Vérifier le bon fonctionnement du modèle sur l'infrastructure locale.

• Interaction avec le LLM via API locale

  - Développer des requêtes HTTP pour interagir avec l'**API locale** du LLM.
  - Interpréter les réponses JSON de l'API.
  - Intégrer le LLM dans une application Python simple.

• Conteneurisation des LLM avec Docker

  - Créer un Dockerfile pour un environnement d'inférence LLM.
  - Construire et exécuter une image Docker contenant un LLM.
  - Gérer les volumes Docker pour la persistance des modèles et données.

• Évaluation des performances et monitoring

  - Mesurer la latence et le débit d'**inférence** du LLM.
  - Surveiller l'utilisation des ressources (CPU, **GPU**, RAM) pendant l'exécution.
  - Identifier les goulots d'étranglement de performance sur les **serveurs locaux**.

• Cas d'usage et sécurité des LLM locaux

  - Mettre en œuvre un assistant conversationnel interne avec un LLM local.
  - Discuter des implications de la **sécurité des données** pour les LLM hébergés localement.
  - Explorer les bases du **fine-tuning** pour adapter un LLM à des données spécifiques.