Analyse des Constructions Argumentatives dans le Modèle Linguistique BERT

Accepté provisoirement

La compréhension des mécanismes par lesquels le cerveau traite les langues et les constructions linguistiques constitue une question fondamentale en neurosciences cognitives computationnelles. Cette étude se concentre sur le traitement et la représentation des constructions de structure argumentaire (ASCs) au sein du modèle linguistique BERT, tout en développant des analyses antérieures réalisées avec des réseaux LSTM. Nous avons utilisé un ensemble de données personnalisé généré par GPT-4, comprenant 2000 phrases réparties également parmi quatre types d’ASC : constructions transitives, ditransitives, de mouvement causé et résultatives. BERT a été évalué par le biais des différents vecteurs de tokens à travers ses 12 couches. Nos analyses ont consisté à visualiser les vecteurs avec MDS et t-SNE, ainsi qu’à calculer le GDV pour quantifier le degré de regroupement. De plus, nous avons entraîné des classificateurs feedforward (probes) pour prédire les catégories de construction à partir de ces embeddings. Les résultats montrent que les vecteurs de tokens CLS se regroupent de manière optimale selon les types d’ASC dans les couches 2, 3 et 4, avec un regroupement atténué dans les couches intermédiaires et une légère augmentation dans les couches finales. Les vecteurs de tokens DET et SUBJ ont affiché un regroupement intermédiaire constant selon les couches, tandis que les embeddings VERB ont révélé une augmentation systématique du regroupement de la couche 1 à la couche 12. Les embeddings OBJ ont montré un regroupement minimal au départ, qui a considérablement augmenté pour atteindre un sommet dans la couche 10. Les précisions des probes ont indiqué que les embeddings initiaux ne contenaient aucune information spécifique à la construction, comme en témoignent le faible regroupement et les précisions proches du niveau de chance dans la couche 1. À partir de la couche 2, les précisions des probes ont dépassé les 90 pour cent, mettant en lumière des informations latentes sur les catégories de construction non évidentes uniquement à partir du regroupement GDV. De plus, l’analyse du Fisher Discriminant Ratio (FDR) des poids d’attention a révélé que les tokens OBJ avaient les scores de FDR les plus élevés, indiquant leur rôle crucial dans la différenciation des ASCs, suivis des tokens VERB et DET. Les tokens SUBJ, CLS et SEP n’ont pas montré de scores de FDR significatifs. Notre étude met en avant le traitement complexe et stratifié des constructions linguistiques dans BERT, révélant à la fois des similitudes et des différences par rapport aux modèles récurrents comme les LSTM. Les recherches futures compareraient ces résultats computationnels avec des données d’imagerie cérébrale au cours de la perception de la parole continue afin de mieux comprendre les corrélats neuronaux du traitement des ASC. Cette recherche démontre le potentiel des modèles linguistiques neuronaux récurrents et basés sur des transformateurs pour refléter le traitement linguistique dans le cerveau humain, offrant ainsi des aperçus précieux sur les mécanismes computationnels et neuronaux sous-jacents à la compréhension du langage.