Réduction de l'incertitude par méthodes d'ensemble

La segmentation automatique des organes, bien que très utile en imagerie médicale, reste sujette à une forte incertitude, notamment lorsqu'elle repose sur des annotations manuelles (subjectives). Ce projet évalue l'utilisation d'une méthode d'ensemble pour réduire cette incertitude, en entraînant et combinant plusieurs U-Nets sur différents scans tomodensitométriques annotés par divers experts. Il évaluons la précision des prédictions, ainsi que leur incertitude aléatoire et épistémique. Les résultats indiquent que cette méthode simple réduit significativement les incertitudes des prédictions.

Contexte et projet

Introduction

Depuis plusieurs années, l'intelligence artificielle révolutionne la pratique médicale, en soutenant les médecins dans leurs diagnostics et leurs prises de décisions. L'imagerie médicale, en particulier, joue un rôle central dans l'évaluation de l'état de santé des patients et l'orientation de leur prise en charge ^{[Li, 2023]}Medical image analysis using deep learning algorithmsLi, Mengfang and Jiang, Yuanyuan and Zhang, Yanzhou and Zhu, Haisheng (2023)Frontiers in Public Health, vol. 11.DOI: 10.3389/fpubh.2023.1273253. La segmentation automatique — c'est-à-dire la délimitation précise des organes et des structures par des algorithmes — facilite le diagnostic, la planification du traitement et le suivi clinique. On retrouve parmi ces algorithmes les réseaux de neurones convolutifs (Convolutional Neural Network, ou CNN), puissant outil d'apprentissage profond (deep learning) ayant surpassé les experts humains dans de nombreuses tâches de compréhension d'images ^{[D. R. Sarvamangala, 2022]}Convolutional neural networks in medical image understanding: a surveyD. R. Sarvamangala and Raghavendra V. Kulkarni (2022)Evolutionary Intelligence, vol. 15(1), pp. 1--22.DOI: 10.1007/s12065-020-00540-3. Une des architectures de CNN les plus utilisées pour la segmentation médicale est le réseau U-Net ^{[Olaf Ronneberger, 2015]}U-Net: Convolutional Networks for Biomedical Image SegmentationOlaf Ronneberger and Philipp Fischer and Thomas Brox (2015)Source.

Cependant, beaucoup des structures et anomalies analysées (organes, vaisseaux sanguins, tumeurs, etc.) sont particulièrement complexes et variables, conduisant à une certaine incertitude dans leur délimitation. Cette incertitude est accentuée par la variabilité inter-experts : différents spécialistes médicaux peuvent avoir des opinions divergentes sur l'emplacement précis des limites des entités segmentées. Elle s'accroît d'autant plus lorsque plusieurs structures sont prédites simultanément. Les réseaux de neurones doivent composer avec ces divergences, conduisant parfois à des incohérences dans les résultats de segmentation.

Quantifier ces incertitudes permet de générer des cartes d'incertitude sur les images médicales, afin d'isoler les zones où les médecins doivent redoubler d'attention, fournir aux cliniciens des prédictions mieux calibrées et intégrer des mesures de confiance dans l'analyse des images médicales et la prise de décision qui en découle ^{[Kim-Celine Kahl, 2024]}ValUES: A Framework for Systematic Validation of Uncertainty Estimation in Semantic SegmentationKim-Celine Kahl and Carsten T. Lüth and Maximilian Zenk and Klaus Maier-Hein and Paul F. Jaeger (2024)Source. Cela améliore non seulement la sécurité des diagnostics assistés par IA, mais rend également les algorithmes plus transparents et fiables pour les applications médicales. Les méthodes d'ensemble, consistant à combiner plusieurs modèles individuels ou leurs prédictions, sont un choix courant pour améliorer la performance des modèles d'intelligence artificielle ^{[Ganaie, 2022]}Ensemble deep learning: A reviewGanaie, M.A. and Hu, Minghui and Malik, A.K. and Tanveer, M. and Suganthan, P.N. (2022)Engineering Applications of Artificial Intelligence, vol. 115, pp. 105151.DOI: 10.1016/j.engappai.2022.105151.

Quantification de l'incertitude

Les modèles d'apprentissage machine n'indiquent pas toujours clairement leur niveau de confiance dans les prédictions qu'ils produisent : c'est le problème de l'incertitude dans les prédictions algorithmiques. Par ailleurs, les experts médicaux peuvent annoter une même image différemment en raison de l'ambiguïté de certaines structures anatomiques. Ces désaccords réduisent la qualité des annotations utilisées pour entraîner les modèles et compliquent l'évaluation de leurs performances. Dans la figure à gauche ci-dessous, trois coupes du scan tomodensitométrique (ou scan abdominal / CT scan) du premier patient du jeu de données fourni pour le challenge CURVAS (plus de détails plus bas), ainsi que les trois annotations du pancréas, du rein et du foie. La figure de droite met en évidence les zones de désaccord.

Théoriquement, on distingue deux types d'incertitude, qui, une fois combinées donnent l'incertitude prédictive (Predictive Uncertainty) $PU$ :

• L'incertitude aléatoire (Aleatoric Uncertainty) $AU$ qui provient des données elles-mêmes. Elle est liée aux ambiguïtés intrinsèques à l'image. On peut citer comme cause d'incertitude aléatoire les artefacts, les erreurs de numérisation, etc… Parmi ces causes, on peut notamment citer les désaccords entre annotateurs, comme illustré précédemment.
• L'incertitude épistémique (Epistemic Uncertainty) $EU$, qui provient du modèle d'apprentissage lui-même. On peut citer comme cause d'incertitude épistémique un manque de connaissances (pas assez de données diversifiées observées durant l'entraînement), une architecture ne permettant pas de bien les « apprendre », etc…

L'approche la plus notable pour capturer ces incertitudes a été introduite par ^{[Alex Kendall, 2017]}What Uncertainties Do We Need in Bayesian Deep Learning for Computer Vision?Alex Kendall and Yarin Gal (2017)Source, qui l'abordent dans le cadre d'un classificateur bayésien. Ce classificateur reçoit une entrée $x$ et produit des probabilités pour les classes $Y$ :

où les paramètres du modèle $\Omega$ suivent $\bbP\p{\omega \enstq D }$ pour les données d'entraînement $D$.

Ce cadre bayésien ^{[David Smerkous, 2024]}Enhancing Diversity in Bayesian Deep Learning via Hyperspherical Energy Minimization of CKADavid Smerkous and Qinxun Bai and Fuxin Li (2024)Source suppose que l'incertitude épistémique est représentée par l'entropie prédictive (Predictive Entropy) $PE$, qui est la somme de l'information mutuelle (Mutual Information) $MI$ et de l'entropie attendue (Expected Entropy) $EE$, représentant respectivement l'incertitude épistémique et l'incertitude aléatoire. En notant $\bbH$ l'entropie de Shannon, on a :

La figure interactive ci-dessous, basée sur la thèse de ^{[Lambert, 2024]}Quantification et caractérisation de l'incertitude de segmentation d'images médicales par des réseaux profondsLambert, Benjamin (2024)Source, illustre les deux types d'incertitudes pour une régression unidimensionnelle. Vous pouvez passer votre souris sur les régions colorées pour voir le détail, changer leurs tailles ou la forme de la fonction.

Un autre concept très important est celui de calibration. Les réseaux de neurones produisent des distributions de probabilités sur les étiquettes de classe possibles, ce qui constitue une mesure naturelle de l'incertitude. Idéalement, un modèle bien calibré devrait avoir une confiance élevée pour les prédictions correctes et une faible confiance pour les prédictions incorrectes. Cependant, les architectures modernes échouent souvent à atteindre cette calibration idéale. Pour évaluer la calibration, on utilise des diagrammes de fiabilité (ou graphiques de calibration), qui comparent la confiance prédite à la précision réelle, mettant ainsi en évidence les écarts — appelés écarts de calibration.

Mathématiquement, un modèle parfaitement calibré satisfait :

Autrement, cela signifie que si le modèle attribue une probabilité de 80 % à une prédiction, il devrait avoir raison 80 % du temps.

Expérience

Données et modèle

Tenu de mai à octobre 2024, le challenge CURVAS (Calibration and Uncertainty for Multi-Rater Volume Assessment in Multiorgan Segmentation) mettait les équipes au défi de produire un modèle de segmentation précis, capable de déterminer la meilleure calibration et quantification de la variabilité inter-expert. Nous utilisons pour ce projet le jeu de données mis à disposition à l'occasion de ce challenge, contenant au total 90 CT scans de patients, chacun annoté par 3 experts différents pour délimiter le pancréas, les reins et le foie de chaque patient. Les figures précédentes ont été réalisées à partir des données du premier patient de la cohorte. Ces scans tomodensitométriques ont été recueillis à l'University Hospital Erlangen entre août et octobre 2023. 20 CT scans ont été fournis pour l'entraînement (groupe A), 5 pour la validation (groupe A), et 65 pour le test (20 en groupe A, 22 en groupe B et 23 en groupe C) ^{[Riera-Marín, 2024]}CURVAS datasetRiera-Marín, Meritxell and Kleiß, Joy-Marie and Aubanell, Anton and Antolín, Andreu (2024)DOI: 10.5281/zenodo.12687192.

Pour les entraînements, nous avons utilisé le framework nnU-Net (no-new-UNet) ^{[Fabian Isensee, 2018]}nnU-Net: Self-adapting Framework for U-Net-Based Medical Image SegmentationFabian Isensee and Jens Petersen and Andre Klein and David Zimmerer and Paul F. Jaeger and Simon Kohl and Jakob Wasserthal and Gregor Koehler and Tobias Norajitra and Sebastian Wirkert and Klaus H. Maier-Hein (2018)Source, une bibliothèque d'outils permettant d'entraîner des réseaux U-Net ^{[Olaf Ronneberger, 2015]}U-Net: Convolutional Networks for Biomedical Image SegmentationOlaf Ronneberger and Philipp Fischer and Thomas Brox (2015)Source pour la segmentation, conçue spécifiquement pour la segmentation automatisée d'images biomédicales. nnU-Net configure automatiquement de nombreux paramètres en fonction des caractéristiques de l'ensemble de données. Ces configurations sont indispensables car, dans les hôpitaux, les images médicales sont produites avec différents instruments, ne respectent pas les mêmes conventions et ont des formats différents (2D, 3D), des saturations et des dimensions variables, … Toutefois, ces architectures présentent l'inconvénient d'être très coûteux en calcul et nécessite des GPU performants.

Nous avons d'abord entraîné 9 modèles différents sur le jeu de données d'entraînement (20 patients) : pour chaque annotateur, nous avons entraîné trois modèles avec des initialisations différentes des poids, afin d'explorer différentes trajectoires dans le loss landscape. Ensuite, nous avons inféré chacun de ces modèles sur le jeu de données de test (65 patients). Systématiquement, nous avons généré les probabilités (sorties softmax du modèle) pour chacun des modèles et des patients, que nous avons ensuite utilisées pour produire 4 ensembles (en les moyennant) : un pour chaque triplet de modèles pour un même annotateur, et un général sur l'ensemble des 9 modèles. Enfin, nous avons exécuté, pour chacun des patients et les 13 modèles différents, des calculs évaluant la précision des prédictions ainsi que les incertitudes aléatoires et épistémiques. Ces calculs et leurs résultats sont présentés dans les sections suivantes.

Évaluation

Pour analyser la précision et l'incertitude, nous utilisons un ensemble de métriques issues du défi CURVAS (Consensus-based DICE, Confidence, ECE, CRPS) ^{[Riera-Marín, 2024]}CURVAS datasetRiera-Marín, Meritxell and Kleiß, Joy-Marie and Aubanell, Anton and Antolín, Andreu (2024)DOI: 10.5281/zenodo.12687192 et du cadre ValUES (ACE, AUROC, AURC, EAURC, NCC) ^{[Kim-Celine Kahl, 2024]}ValUES: A Framework for Systematic Validation of Uncertainty Estimation in Semantic SegmentationKim-Celine Kahl and Carsten T. Lüth and Maximilian Zenk and Klaus Maier-Hein and Paul F. Jaeger (2024)Source, ainsi que des mesures classiques de performance comme l'entropie et la distance de Hausdorff. Ces métriques nous permettent de capturer les deux types d'incertitudes, aléatoire (aleatoric) et épistémique (epistemic), ainsi que la performance globale des modèles. Sans entrer dans trop de détails, regardons-en quelques-unes :

Resultats

Nous calculons quatre ensembles : trois correspondant aux modèles entraînés sur le même annotateur, et un regroupant tous les modèles. Plusieurs métriques montrent une réduction de l'incertitude de prédiction et une amélioration de la précision des prédictions.

Réduction de l'incertitude

La figure ci-dessous montre les diagrammes en « violon » illustrant la distribution de l'ECE moyenne (moyenne des ECE sur les trois organes), accompagnés d'un boxplot classique. Chaque point de la distribution correspond à une paire patient–modèle (trois fois plus pour les modèles individuels que pour les ensembles par annotateur, et neuf fois plus que pour l'ensemble global). Nous observons une forte diminution du nombre de valeurs extrêmes. De plus, les moyennes et médianes diminuent, ce qui indique très clairement une réduction de l'incertitude. Ce résultat est statistiquement significatif après un test unilatéral « less » de Wilcoxon ^{[Frank Wilcoxon, 1945]}Individual Comparisons by Ranking MethodsFrank Wilcoxon (1945)Biometrics Bulletin, vol. 1(6), pp. 80--83.Source (voir rapport PDF).

L'AURC et l'EAURC sont très similaires dans leurs distributions, ce qui signifie que nos modèles se rapprochent fortement d'un modèle avec un arbitrage risque/qualité parfait. De même, les différences entre modèles sont assez faibles, à cela près que les modèles d'ensemble présentent une plus faible dispersion, et donc une plus grande constance dans leurs résultats. Pour autant, cette concentration de la distribution fait aussi que, pour certains patients, certains modèles initialisés aléatoirement sont légèrement plus performants que les modèles d'ensemble. On observe par ailleurs toujours les différences entre les organes, avec le foie en tête : peu de risques d'erreurs pour une bonne qualité de prédiction. Malgré ces différences, les scores restent globalement très bons et indiquent une bonne gestion de l'incertitude par les modèles.

Performance de prédiction

Concernant la performance de prédiction, on observe encore une fois la supériorité des modèles d'ensemble sur les autres modèles. Le DICE moyen sur les trois organes de l'ensemble global est supérieur à celui des ensembles par annotateurs, lui-même supérieur à celui des modèles individuels. Ce résultat est également statistiquement significatif (voir rapport PDF).