Formation La computation des seuils

Programme de la formation
La computation des seuils

• Fondamentaux des seuils de classification et de détection

  - Distinguer le seuil de classification du seuil de détection.
  - Identifier les enjeux liés à la définition d'un seuil.
  - Appliquer les concepts de vrais positifs, faux positifs, vrais négatifs, faux négatifs.

• Métriques de performance dépendantes du seuil

  - Calculer la précision et le rappel pour un seuil donné.
  - Évaluer la spécificité et la sensibilité d'un modèle.
  - Interpréter le F-score comme métrique agrégée.

• Analyse des courbes ROC et PR

  - Construire une courbe ROC à partir de scores de prédiction.
  - Interpréter l'aire sous la courbe ROC (AUC-ROC).
  - Utiliser la courbe PR (Précision-Rappel) pour des jeux de données déséquilibrés.

• Méthodes d'optimisation de seuil basées sur les métriques

  - Appliquer la méthode de Youden's J statistic pour l'optimisation de seuil.
  - Déterminer le seuil maximisant le F-score.
  - Comparer les seuils optimaux obtenus par différentes métriques.

• Algorithmes de computation de seuils pour cas spécifiques

  - Implémenter l'algorithme de Cost-Sensitive Learning pour la détermination de seuil.
  - Utiliser les méthodes basées sur la distribution des scores.
  - Appliquer des techniques de seuillage adaptatif.

• Cas d'usage 1 : Détection de fraude bancaire

  - Définir un seuil de détection de fraude minimisant les faux négatifs.
  - Évaluer l'impact économique des variations de seuil.
  - Appliquer des algorithmes de computation de seuils sur des données de transactions.

• Cas d'usage 2 : Diagnostic médical et maintenance prédictive

  - Optimiser le seuil de classification pour un modèle de diagnostic médical.
  - Ajuster le seuil d'alerte pour la maintenance prédictive d'équipements industriels.
  - Interpréter les compromis entre sensibilité et spécificité.

• Interprétation et prise de décision basée sur les seuils

  - Communiquer les résultats de l'optimisation de seuil aux parties prenantes.
  - Justifier le choix d'un seuil optimal en fonction du contexte métier.
  - Mettre en place un processus de réévaluation périodique des seuils.