Module d’évaluation
Cette page documente l’étape d’évaluation et d’interprétation du modèle à l’aide du module d’évaluation.
Initialisation
Découvrez comment créer une page d’évaluation ici.
Pour la configuration de l’évaluation, nous sélectionnerons notre modèle Random Forest enregistré, qui devrait être disponible dans la liste des modèles, puis nous sélectionnerons l’ensemble de validation créé à la troisième étape comme jeu de données d’évaluation. Enfin, cliquez sur « Créer une évaluation ».
Les résultats de l’évaluation
Les résultats de l’évaluation sont répartis en deux sections distinctes :
Prédire/Test
La section Prédire/Test est l’endroit où vous pouvez voir les prédictions pour chaque ligne de notre ensemble de validation. Les résultats se composent de la valeur prédite (prediction_label) et du score de prédiction. Le score de prédiction, qui indique le niveau de confiance du modèle dans sa réponse, s’étend de 0 à 1 (ou de 0 % à 100 %), montrant à quel point le modèle est certain de sa réponse, 1 indiquant que le modèle est totalement certain de sa réponse.
Tableau de bord
Le deuxième onglet, nommé « Tableau de bord », est un outil interactif utilisé pour l’interprétation et le diagnostic. Il nous permet d’analyser comment notre modèle Random Forest produit ses prédictions en visualisant les relations entre les caractéristiques, les résultats et le comportement du modèle, le tout dans une interface de tableau de bord unifiée. Il est basé sur le ExplainerDashboard package open source Python.
Discussion
Examinons de plus près l’onglet Tableau de bord et passons en revue quelques figures afin de comprendre les caractéristiques les plus influentes qui déterminent la classification par notre modèle Random Forest des patients avec ou sans détresse émotionnelle.
Matrice de confusion
La matrice de confusion de l’ensemble de validation révèle que le modèle conserve de bonnes performances de généralisation pour distinguer les patients avec et sans détresse émotionnelle. Plus précisément, 41 % des cas correspondent à de vrais négatifs, ce qui signifie que les patients sans détresse émotionnelle ont été correctement classés, tandis que 30,8 % représentent de vrais positifs, indiquant une identification précise des patients en détresse. Cependant, 13,8 % des cas étaient des faux négatifs, des patients souffrant de détresse émotionnelle qui ont été prédits à tort comme non en détresse, ce qui met en évidence une limite de la sensibilité du modèle. De plus, 14,5 % des cas étaient des faux positifs, où des patients non en détresse ont été classés à tort comme en détresse. Dans l’ensemble, ces résultats suggèrent que le modèle fonctionne bien pour détecter les schémas de détresse émotionnelle, bien que l’amélioration du rappel puisse encore renforcer sa fiabilité dans des scénarios de dépistage clinique.
Importances des caractéristiques (à l’aide des valeurs SHAP)
Que sont les valeurs SHAP ?
Les valeurs SHAP, abréviation de SHapley Additive exPlanations, sont une méthode utilisée pour expliquer comment chaque caractéristique d’un modèle contribue à une prédiction spécifique. En termes simples, une valeur SHAP montre de combien une caractéristique particulière augmente ou diminue la prédiction du modèle par rapport à la prédiction moyenne. Cela fait des valeurs SHAP un moyen puissant et cohérent d’interpréter des modèles complexes, nous aidant à comprendre quels facteurs influencent le plus fortement chaque prédiction. En savoir plus.
Quelles caractéristiques ont eu le plus grand impact ?
Cette figure présente les cinq caractéristiques les plus influentes contribuant à la classification par notre modèle Random Forest des patients avec ou sans détresse émotionnelle, comme déterminé par la moyenne absolue des valeurs SHAP:
SleepRested2 est le prédicteur dominant, affichant la plus grande valeur SHAP absolue moyenne, ce qui indique que la qualité de sommeil perçue a l’influence la plus forte sur les prédictions du modèle.
DailyLifeInterests2 se classe en deuxième position, suggérant que l’engagement ou l’intérêt pour les activités quotidiennes est un autre facteur clé, bien que son impact soit nettement plus faible que celui du sommeil.
SocialRoles et l’âge ont des contributions modérées et comparables, ce qui signifie qu’ils influencent les prédictions mais jouent un rôle secondaire par rapport au sommeil et aux intérêts de la vie quotidienne.
Sexe et ActivitesPain7 a la plus faible importance parmi les principales caractéristiques, ce qui implique une contribution relativement limitée au résultat prédit par rapport aux autres variables.
Dans l’ensemble, cette analyse basée sur SHAP met en évidence la prédominance des variables affectives et d’auto-évaluation dans les décisions prédictives du modèle.
Graphique/Tableau des contributions
Comment chaque caractéristique a-t-elle contribué à la prédiction ?
Les figures suivantes présentent des vues complémentaires de la même décomposition SHAP pour une seule observation (Index = 1) pour la prédiction des patients présentant une détresse émotionnelle (cible=1). La sortie du modèle est de 44,56 %, représentant la prédiction moyenne que le modèle ferait sur l’ensemble de la population en l’absence de toute information individualisée sur les caractéristiques. Chaque valeur SHAP quantifie ensuite dans quelle mesure la valeur observée d’une caractéristique spécifique déplace la sortie à partir de cette base. Après sommation de toutes les contributions, la prédiction finale est de 47,95 %, reflétant un déplacement net positif d’environ +3,39 points de pourcentage par rapport à la base.
Décomposition SHAP caractéristique par caractéristique
SleepRested2
4.0
+13.71%
↑ Fortement positive
sexe
1.0
+1.01%
↑ Légèrement positive
ActivitesPain7
4.0
−1,35 %
↓ Légèrement négative
SocialRoles
1.0
−3,34 %
↓ Modérément négative
DailyLifeInterests2
1.0
−6,65 %
↓ Fortement négative
Interprétations SHAP clés
Le modèle prédit la probabilité qu’un individu éprouve une détresse émotionnelle. La probabilité de base au sein de la population est de 44,56 %, et la probabilité finale prédite pour cet individu est de 47,95 % (juste en dessous du seuil de 50 %), ce qui signifie que le modèle le classe de justesse comme non en détresse émotionnelle, mais avec une incertitude considérable.
SleepRested2 = 4,0 → SHAP : +13,71 % — C’est le facteur unique le plus fort qui pousse le modèle vers une prédiction de détresse émotionnelle. À première vue, cela suggère que, dans la structure apprise par ce modèle, un score SleepRested2 de 4,0 est associé à une probabilité plus élevée de détresse émotionnelle par rapport à la moyenne de la population. Cela pourrait refléter le fait que les individus déclarant un certain schéma de sommeil (par exemple, un sommeil excessif ou une catégorie ordinale spécifique) ont tendance à coexister avec la détresse dans les données d’entraînement.
DailyLifeInterests2 = 1,0 → SHAP : −6,65 % — Cette caractéristique est le facteur le plus fort qui atténue la prédiction de détresse. Une valeur de 1,0 pousse le modèle à s’éloigner d’une classification de cet individu comme émotionnellement en détresse. Cela peut indiquer qu’un certain niveau d’engagement ou de désengagement dans les intérêts de la vie quotidienne est, d’une manière quelque peu contre-intuitive, protecteur contre une classification de détresse dans ce modèle. Autrement, cette valeur représente une catégorie que le modèle associe à une plus faible prévalence de détresse dans la population d’entraînement.
SocialRoles = 1,0 → SHAP : −3,34 % — Cette caractéristique réduit également la probabilité prédite de détresse émotionnelle. Le profil de rôle social de l’individu (valeur = 1,0) est associé à une probabilité de détresse inférieure à la moyenne, ce qui suggère qu’occuper ce rôle social particulier peut jouer un rôle de protection — en cohérence avec la littérature plus large en santé mentale reliant les rôles sociaux structurés à la stabilité psychologique.
âge = 5,0 → SHAP : −1,35 % — L’âge de cet individu (codé 5,0, ce qui signifie que l’âge du patient est compris entre 60 et 64 ans) réduit légèrement la probabilité prédite de détresse. Le modèle a appris que les personnes de ce groupe d’âge tendent à présenter une détresse émotionnelle légèrement plus faible que la moyenne de la population, bien que l’effet soit modeste et ne constitue pas un facteur principal.
sexe = 1,0 → SHAP : +1,01 % — Apporte une légère poussée positive vers une prédiction de détresse. Cela est cohérent avec des résultats épidémiologiques bien établis selon lesquels certains groupes de genre signalent des taux plus élevés de détresse émotionnelle, bien qu’ici la contribution soit relativement faible pour cet individu.
Vue clinique globale : Cet individu se trouve dans une zone d’incertitude concernant la détresse émotionnelle. Le modèle est fortement poussé vers une classification de détresse principalement par son schéma de sommeil, mais cela est largement contrebalancé par son profil d’intérêts dans la vie quotidienne et son contexte de rôle social. Sur le plan clinique, le signal lié au sommeil mérite attention, car il s’agit de loin du facteur le plus influent, même si les autres caractéristiques s’opposent collectivement à une classification de détresse.
Maintenant que nous avons analysé les résultats de notre modèle sur un ensemble de données externe, nous pouvons passer à la dernière étape : déployer le modèle à l’aide du Module d’application pour le tester sur de nouvelles données.
Mis à jour