PULLMAN – Bien que des modèles de langage avancés tels que ChatGPT réussissent plutôt bien dans les épreuves à choix multiples des examens de licence financière, ils rencontrent des difficultés face à des tâches plus nuancées.
Une étude dirigée par l’Université d’État de Washington a analysé plus de 10 000 réponses à des questions d’examen financier fournies par les modèles de langage artificiel BARD, Llama et ChatGPT.
Les chercheurs ont demandé aux modèles non seulement de sélectionner des réponses, mais aussi d’expliquer le raisonnement derrière celles-ci, puis ont comparé ces explications textuelles avec celles produites par des professionnels humains. Bien que deux versions de ChatGPT aient obtenu les meilleurs résultats dans ces exercices, elles ont montré un niveau élevé d’inexactitude sur des sujets plus avancés.
“Il est beaucoup trop tôt pour s’inquiéter que ChatGPT prenne complètement des emplois dans la finance,” a déclaré DJ Fairhurst, auteur de l’étude au sein du Carson College of Business de WSU. “Pour des concepts larges où des explications de qualité sont disponibles depuis longtemps sur Internet, ChatGPT peut faire un excellent travail de synthèse. En revanche, face à des questions spécifiques et idiosyncratiques, il peine vraiment.”
Pour cette étude publiée dans le Financial Analysts Journal, Fairhurst et son co-auteur Daniel Greene, de l’Université Clemson, ont utilisé des questions issues des examens de licence, notamment le Securities Industry Essentials ainsi que les séries 6, 7, 65 et 66.
Pour aller au-delà de la simple capacité de sélection du bon choix par les modèles, les chercheurs leur ont demandé de fournir des explications écrites. Ils ont également sélectionné des questions basées sur des tâches professionnelles spécifiques que les financiers sont susceptibles d’effectuer.
“Réussir des examens de certification n’est pas suffisant. Nous devons vraiment approfondir pour comprendre ce que ces modèles peuvent réellement accomplir,” a ajouté Fairhurst.
De tous les modèles analysés, la version payante de ChatGPT, version 4.0, a connu les meilleures performances, fournissant des réponses les plus comparables à celles des experts humains. Son taux de précision était également supérieur de 18 à 28 points de pourcentage par rapport aux autres modèles. Cependant, ce constat a évolué lorsque les chercheurs ont affiné la version gratuite antérieure, ChatGPT 3.5, en lui fournissant des exemples de réponses correctes et d’explications. Après cet ajustement, elle a atteint une précision comparable à celle de ChatGPT 4.0, dépassant même ses prédictions en matière de similarité avec les professionnels humains.
Cependant, les deux modèles ont encore montré certaines lacunes pour certains types de questions. Bien qu’ils réussissent à passer en revue les transactions de valeurs mobilières et à surveiller les tendances du marché financier, ils ont donné davantage de réponses inadéquates pour des situations spécialisées telles que la détermination de la couverture d’assurance des clients et de leur statut fiscal.
Fairhurst, Greene, ainsi que le doctorant de WSU Adam Bozman, travaillent actuellement à d’autres méthodes pour déterminer ce que ChatGPT peut et ne peut pas faire, avec un projet qui lui demande d’évaluer des opérations de fusion potentielles. Pour ce faire, ils tirent parti du fait que ChatGPT a été formé sur des données disponibles jusqu’en septembre 2021, en utilisant des opérations effectuées après cette date dont les résultats sont connus. Les résultats préliminaires montrent que, jusqu’à présent, le modèle d’IA n’est pas très performant dans cette tâche.
Dans l’ensemble, les chercheurs estiment que ChatGPT est probablement mieux utilisé comme un outil d’assistance plutôt qu’en tant que remplacement d’un professionnel financier établi. Par ailleurs, l’IA pourrait modifier la manière dont certaines banques d’investissement emploient des analystes juniors.
“La pratique consistant à recruter un grand nombre de personnes en tant qu’analystes juniors, à les laisser concourir et à conserver les meilleurs – cela devient beaucoup plus coûteux,” a expliqué Fairhurst. “Cela pourrait donc signifier une réduction de ce type d’emplois, mais ce n’est pas parce que ChatGPT surpasse les analystes, c’est parce que nous avons demandé à des analystes juniors d’exécuter des tâches plus banales.”
Points à retenir
- Les modèles de langage comme ChatGPT peuvent être efficaces pour des concepts financiers généraux mais sont moins précis pour des chiffres exacts ou spécialisés.
- La version payante de ChatGPT 4.0 a surpassé ses concurrents en précision, après ajustement, la version gratuite 3.5 s’est révélée compétitive.
- Des recherches en cours visent à tester l’application de ChatGPT dans des scénarios de fusions, exploitant la connaissance de données jusqu’en septembre 2021.
En somme, alors que l’IA comme ChatGPT continue d’évoluer, il est essentiel de se demander comment ces outils pourraient redéfinir les rôles au sein des secteurs financiers. L’utilisation de modèles d’IA pourrait-elle se transformer en un complément précieux pour les professionnels, ou serions-nous en train de voir une phase d’adaptation vers un nouveau modèle de travail ? Les défis liés à leur application pratique soulignent le besoin crucial d’une évaluation continue de leurs capacités.
Cette étude souligne bien les limites encore présentes dans l’IA. Bien qu’elle puisse aider, elle ne remplace pas l’expertise humaine dans des domaines aussi pointus que la finance.
L’intelligence artificielle comme ChatGPT ouvre des perspectives fascinantes, mais il est essentiel de se rappeler qu’elle ne remplace pas la nuance et l’expertise humaine.
C’est fascinant de voir comment l’IA évolue dans le domaine financier, mais son incapacité à saisir les nuances montre que l’humain reste irremplaçable. Quelle belle connexion entre créativité et technologie !