Modèle YOLOv5 léger et adaptatif pour la détection des tumeurs pulmonaires sur images PET/CT

Ensembles de données multi-modales PET/CT pour les tumeurs pulmonaires et réglages d’entraînement

L’ensemble de données expérimentales a été sélectionné parmi 104 patients cliniques atteints de tumeurs pulmonaires, recueilli dans un hôpital de Ningxia, en Chine, entre janvier 2014 et juin 2020. Cet ensemble comprend 46 cas féminins et 58 cas masculins, avec un âge variant de 26 à 82 ans. Chaque patient a reçu une injection de 18F-fluorodésoxyglucose (18F-FDG) à une dose de 3,7 MBq/kg. L’acquisition d’images pulmonaires et tronculaires a été réalisée à l’aide de l’instrument PET/CT Discovery™ MI DR (GE Healthcare) pour obtenir des images enregistrées de tumeurs pulmonaires en PET, CT et PET/CT en deux dimensions. Comme illustré sur la Figure 6, le coin supérieur droit de la Figure 3 est une image CT, le coin inférieur gauche est une image PET, et le coin inférieur droit est une image PET/CT. Dans les images CT, la distinction entre les tissus tumoraux et normaux est difficile, tandis que la région tumorale est active métaboliquement et bien visible dans les images PET. Ainsi, les images pulmonaires multi-modales permettent une meilleure identification et localisation des lésions. Une valeur d’absorption standard (SUV) de ≥ 2,5 dans les images de l’ensemble de données est considérée comme positive. L’ensemble de données est labellisé avec les lésions par deux médecins expérimentés.

Images enregistrées en PET, CT et PET/CT.

Il y a 1147 images dans l’ensemble de données multi-modales PET/CT sur les tumeurs pulmonaires, avec deux types de fichiers de données : XML et JPG. Chaque image JPG a des variations de taille, d’angles, de conditions radiométriques et d’arrière-plans. De plus, il y a 1147 fichiers étiquetés XML qui spécifient l’emplacement précis des objets dans les images. L’image d’origine en PET/CT de la tumeur pulmonaire est montrée dans la Fig. 7(a). L’image de la tumeur pulmonaire en PET/CT étiquetée est présentée dans la Fig. 7(b). Ces images sont annotées manuellement à l’aide du logiciel Labelimg selon les recommandations des médecins, et les valeurs annotées sont enregistrées dans un fichier XML pour l’entrée dans le réseau. Dans cette étude, l’ensemble de données est divisé en ensembles d’entraînement, de validation et de test dans un rapport de 6:2:2, avec 684 images pour l’ensemble d’entraînement, 222 pour l’ensemble de validation, et 241 pour l’ensemble de test.

(a) Image d’origine (b) étiquette.

La configuration expérimentale a été réalisée sur un système Windows 11 Professionnel 64 bits (avec un sous-système Ubuntu 18.04 LTS intégré) équipé de 128 Go de RAM, d’un processeur Intel Xeon E5-2696v3 disposant de 36 cœurs, et d’un GPU NVIDIA TITAN Xp en Quad Crossfire. Le réseau est développé à l’aide du framework PyTorch avec un optimiseur de descente de gradient stochastique (SGD). Les configurations initiales des paramètres comprenaient un taux d’apprentissage de 0,01, diminué de 0,95 tous les 10 epochs. L’optimiseur SGD est employé avec une décadence d’apprentissage fixe à 1e-4 et une impulsion à 0,9. L’entraînement a utilisé une taille de lot de 16 sur 300 epochs, et l’évaluation du modèle sur l’ensemble de test impliquait la sélection de poids correspondant à la plus faible perte sur l’ensemble de validation.

Indicateur d’évaluation

L’Intersection over Union (IoU) sert de critère de précision pour la détection d’objets, quantifiant le degré de correspondance entre une boîte de délimitation prédite et son homologue réel. Un seuil de 0,5 est généralement utilisé pour déterminer si l’IoU dépasse le niveau requis. Lorsque l’IoU dépasse ce seuil, la boîte de prédiction est classée comme Vrai Positif (TP), indiquant une identification réussie des cas cancéreux. À l’inverse, si l’IoU est inférieur au seuil, la boîte de prédiction est étiquetée comme Faux Positif (FP). Un Faux Négatif (FN) se produit lorsque la prédiction identifie à tort un marqueur non cancéreux comme cancéreux. La performance du modèle peut être évaluée en utilisant la Précision et le Rappel, qui se calculent comme suit :

Bien que la précision et le rappel soient interdépendants, ils ne peuvent pas être directement utilisés pour évaluer la précision de la détection. Par conséquent, une précision moyenne (AP) est utilisée pour caractériser celle-ci, représentant le rappel moyen des pics de détection dans l’intervalle de 0 à 1. L’AP correspond à l’aire sous la courbe précision-rappel (P-R) pour la classe cancéreuse, des valeurs AP plus élevées signifiant une meilleure précision du réseau, et cela se définit par :

où n est le nombre d’images dans l’ensemble de données, (Précision(k)) est la précision au point de coupure pour k images et (Rappel(k)) est la différence de rappel entre les coupures k-1 et k. La moyenne de la précision moyenne (mAP) est dérivée comme la moyenne de l’aire sous la courbe précision-rappel (P-R) de toutes les catégories, obtenue en calculant l’AP moyenne pour chaque catégorie. En outre, le score F1, qui tient compte des taux de précision et de rappel, est calculé à l’aide de la formule suivante :

Le nombre d’images détectables par seconde (FPS) permet la détection en temps réel à un taux de 24 images par seconde.

Corrélation sémantique cross-modal pour les expériences de détection de différentes modalités

<pDans cette étude, le modèle CMYOLOv5 exploite pleinement les informations sémantiques des trois modalités. Les étapes spécifiques sont les suivantes. Après que les images PET et CT sont fusionnées dans le réseau auxiliaire à l'aide de la Fusion des Caractéristiques Cross-modal (CFF), l'Adaptive Attention Fusion (AAF) est utilisée pour intégrer les caractéristiques fusionnées obtenues avec celles du PET/CT dans le réseau de base.

Quatre expériences ont été conçues dans cette section pour vérifier les avantages du réseau auxiliaire pour l’apprentissage de la corrélation sémantique cross-modal. Ces expériences sont menées avec des images PET/CT en entrée dans le réseau de base.

Dans l’Expérience 1, les deux branches du réseau auxiliaire reçoivent des images PET/CT ; dans l’Expérience 2, le réseau auxiliaire reçoit des images CT et PET/CT ; dans l’Expérience 3, le réseau auxiliaire reçoit des images PET et PET/CT ; enfin, dans l’Expérience 4, le réseau auxiliaire reçoit des images PET et CT. Les résultats sont présentés dans le Tableau 1. Dans cette étude, cinq images multi-modales contenant plusieurs étiquettes ont été sélectionnées pour mieux comparer et visualiser les résultats, comme illustré dans la Fig. 8.

Résultats visuels de la détection de différentes modalités.

Comme le montre le Tableau 1. Dans l’Expérience 1, l’entrée de PET/CT dans le réseau auxiliaire présente les valeurs de Précision, Rappel, mAP et Score F1 les plus faibles, comme le montre la première ligne de la Fig. 8. Dans l’Expérience 2, lorsque le réseau auxiliaire reçoit CT et PET/CT, les valeurs de Rappel et mAP augmentent de manière significative. Les résultats visuels sont affichés dans la deuxième ligne de la Fig. 8. Dans l’Expérience 3, lorsque PET et PET/CT sont utilisés, la valeur de Précision augmente de façon significative avec une amélioration générale par rapport à l’Expérience 1. Bien qu’il y ait peu d’informations de bord dans les images PET, le réseau auxiliaire dans cette étude extrait bien les informations PET et CT, chaque indicateur présentant une légère augmentation. Les résultats visuels apparaissent dans la troisième ligne de la Fig. 8. Dans l’Expérience 4, lorsque CT et PET sont utilisés, les quatre indicateurs augmentent respectivement de 1,04 %, 1,93 %, 1,75 % et 1,49 %, démontrant que le modèle peut améliorer la capacité de détection des lésions en apprenant des informations sémantiques complémentaires cross-modal. Les résultats visuels sont présentés dans la quatrième ligne de la Fig. 8.

Comme observé dans la Fig. 8, en raison de la forme complexe des lésions pulmonaires et des tissus environnants, il ne suffit pas d’extraire uniquement des caractéristiques à l’aide d’images en mode PET/CT. Par exemple, certaines lésions dans la troisième ligne ne sont pas détectées. L’utilisation des images CT et PET/CT permet de mieux identifier les bords des lésions, tandis que l’utilisation de PET et PET/CT facilite la capture et l’identification des lésions, bien que la boîte de prédiction soit trop grande, ce qui empêche une détection précise des lésions. Grâce à l’utilisation complémentaire des trois modalités d’images médicales, non seulement la valeur des indices d’évaluation est améliorée, mais la confiance des résultats de détection augmente également.

Expériences d’ablation

Pour vérifier l’efficacité de la structure du modèle, sept expériences d’ablation ont été réalisées pour illustrer cette efficacité, dont les résultats sont présentés dans le Tableau 2. L’analyse expérimentale a été effectuée sur 8 aspects : quantité de paramètres, quantité de calcul, temps d’entraînement, Précision, Rappel, mAP, Score F1 et FPS. Expérience 1 : YOLOv5 ; Expérience 2 : YOLOv5 + module CFF ; Expérience 3 : YOLOv5 + module CFF + module AAF ; Expérience 4 : YOLOv5 + module CFF + module AAF + module SAT ; Expérience 5 : YOLOv5 + module CFF + module AAF + module SAT + RRB(1×1RConv) ; Expérience 6 : YOLOv5 + module CFF + module AAF + module SAT + RRB(3×3RConv) ; Expérience 7 : YOLOv5 + module CFF + module AAF + module SAT + RRB(1×1RConv) + module RRB(3×3RConv).

Dans l’Expérience 1 : Le modèle de base YOLOv5 est utilisé, avec trois branches dans le réseau d’extraction de caractéristiques. On constate que les valeurs de Précision, de Rappel, de mAP et du Score F1 de YOLOv5 sont respectivement de 94,16 %, 89,65 %, 92,21 % et 91,85 %.

Dans l’Expérience 2 : Le réseau de base est YOLOv5 et le module CFF est utilisé dans le réseau auxiliaire. Comparé à l’Expérience 1, les valeurs de Précision, de Rappel, de mAP et du Score F1 de l’Expérience 2 augmentent respectivement de 0,91 %, 0,27 %, 0,42 % et 0,58 %. Les résultats expérimentaux montrent que le module CFF peut intégrer pleinement les informations pathophysiologiques de l’image PET avec les informations anatomiques fonctionnelles du CT, améliorant ainsi la capacité d’extraction des caractéristiques du modèle.

Dans l’Expérience 3 : Le réseau de base est YOLOv5, avec le module CFF dans le réseau auxiliaire et le module AAF dans le réseau de base. Par rapport à l’Expérience 2, les taux de Précision, de Rappel, de mAP et du Score F1 de l’Expérience 3 augmentent respectivement de 0,25 %, 1,29 %, 1,76 % et 0,79 %. Les résultats expérimentaux montrent que le module AAF peut fusionner de manière adaptative les informations des trois modalités et se concentrer sur les informations multiples concernant les lésions.

Dans l’Expérience 4 : Le réseau de base est YOLOv5, incorporant le module CFF dans le réseau auxiliaire, le module AAF dans le réseau principal, et le module SAT dans l’amélioration des caractéristiques. Comparé à l’Expérience 3, les indices de Précision, Rappel, mAP et Score F1 de l’Expérience 4 augmentent de 0,75 %, 2,48 %, 2,34 % et 1,65 %, respectivement. Les résultats montrent que le module SAT peut mieux capturer la corrélation des informations à longue distance.

Dans l’Expérience 5 : Le réseau de base est YOLOv5, avec le module CFF dans le réseau auxiliaire, le module AAF dans le réseau principal, le module SAT dans l’amélioration des caractéristiques, et le module RRB(1×1RConv) dans le CMYOLOv5. Comparé à l’Expérience 4, les taux de Précision, de Rappel, de mAP et du Score F1 de l’Expérience 5 augmentent de 0,08 %, 1,19 %, 0,8 % et 0,66 %. Les résultats montrent que le RRB(1×1RConv) améliore la performance de détection en apprenant de manière adaptative la diversité des caractéristiques spatiales multi-modales riches.

Dans l’Expérience 6 : Le réseau de base est YOLOv5, avec le module CFF dans le réseau auxiliaire, le module AAF dans le réseau principal, le module SAT dans l’amélioration des caractéristiques, et le module RRB(3×3RConv) dans le CMYOLOv5. Comparé à l’Expérience 5, les taux de Précision, de Rappel, de mAP et Score F1 de l’Expérience 6 augmentent de 0,83 %, 3,67 %, 3,14 % et 2,31 %. Le nombre de paramètres de l’Expérience 6 est réduit de 19,4 %. Les résultats montrent que le RRB(3×3RConv) peut non seulement améliorer efficacement l’efficacité de la détection, mais aussi réduire la consommation des ressources informatiques.

Dans l’Expérience 7 : Le réseau de base est YOLOv5, avec les modules CFF, AAF et SAT, ainsi que les modules RRB(1×1RConv) et RRB(3×3RConv). Les résultats expérimentaux montrent que la Précision, le Rappel, le mAP et le Score F1 du CMYOLOv5 sont respectivement de 97,16 %, 96,41 %, 97,18 % et 96,78 %. Comparé à YOLOv5, le nombre de paramètres a augmenté de 35,92 % et le temps d’exécution a augmenté de 6,86 %. La performance du modèle s’est considérablement améliorée.