Expert UNLV : L’essor fulgurant de l’intelligence artificielle

Article original rédigé par : Anthony Paculan

Newswise – Il serait exagéré de dire que ChatGPT a bouleversé le monde de la technologie du jour au lendemain avec son lancement en novembre 2022. Depuis lors, les modèles d’intelligence artificielle générative (IA) ont émergé de toutes parts, produisant des scripts, des images et même des épisodes entiers de podcasts. Certains d’entre eux vont jusqu’à diagnostiquer des maladies. Si la révolution de l’IA est prometteuse pour certains, d’autres s’inquiètent de la perte d’emplois qu’elle pourrait engendrer. Shaikh Arifuzzaman, professeur d’informatique au sein de l’UNLV College of Engineering, se positionne plutôt du côté des optimistes : il affirme que nous avons la possibilité d’exploiter la puissance de l’IA pour le bien.

« Je sais que beaucoup d’entre nous sont hésitants, car il s’agit d’une technologie très disruptive », admet Arifuzzaman. « Mais les humains peuvent s’adapter. L’IA est là pour nous aider. Elle simplifie de nombreuses tâches et comble des lacunes. »

Les recherches d’Arifuzzaman se concentrent sur les modèles d’apprentissage automatique (ML) et sur des techniques de calcul haute performance. Il met particulièrement l’accent sur les applications du traitement du langage naturel (NLP) et de la science des données. Il utilise son expertise pour expliquer comment fonctionne la technologie NLP et quelles sont ses perspectives d’avenir.

Comment les modèles NLP comme ChatGPT traitent-ils les mots ?
Lorsqu’un modèle NLP comme ChatGPT « lit » un texte, il le décompose d’abord en unités plus petites appelées tokens. Ces tokens peuvent représenter des mots entiers, des parties de mots, ou même juste des caractères. Chaque token est ensuite représenté sous forme de vecteur, qui est une matrice de nombres à plusieurs dimensions. Ces vecteurs agissent comme des points dans un espace multidimensionnel, capturant le sens et le contexte du token. Par exemple, dans ChatGPT-3 – la première version largement disponible de l’outil – chaque token est représenté par un vecteur comportant 12 888 dimensions, chaque dimension codant des relations subtiles entre les tokens basées sur les données d’entraînement du modèle.

Les modèles NLP traditionnels traitent le passage d’entrée de manière séquentielle, c’est-à-dire un token à la fois. Cependant, le langage est fluide, ce qui signifie que les mots peuvent avoir différentes significations selon le contexte. Lorsque le texte est traité de manière séquentielle, ce contexte peut être perdu. ChatGPT a franchi une étape supplémentaire. Le terme « GPT » signifie « générative pré-entraînée transformer ». De manière générale, un transformateur est une architecture qui traite tous les tokens d’un passage simultanément, permettant au modèle de relier les tokens entre eux et de comprendre de manière plus fine les subtilités de la langue. Cette capacité à traiter les tokens en même temps rend les transformateurs, comme ChatGPT, particulièrement efficaces pour saisir la complexité du langage naturel.

Comment forme-t-on un modèle NLP ?
La formation d’un modèle NLP, tel que ChatGPT, repose sur trois étapes clés : la préparation des données, l’entraînement du modèle et l’évaluation. Tout d’abord, les chercheurs collectent un large ensemble de données textuelles, qui est nettoyé et tokenisé selon le processus évoqué précédemment.

Au cours de l’entraînement, le modèle apprend à comprendre et à générer des langages en prédisant le token suivant dans une séquence. Cette méthode utilise une technique appelée rétropropagation, où le modèle évalue ses erreurs de prédiction et ajuste ses paramètres internes pour minimiser ces erreurs. Ce processus est effectué de manière itérative sur l’ensemble de données par lots, à l’aide d’un cadre informatique optimisé pour le traitement parallèle à grande échelle.

Les performances du modèle sont testées grâce à un ensemble de validation, puis évaluées sur un ensemble de test distinct pour garantir sa capacité à généraliser. Une fois déployé, le modèle fonctionne en se basant sur son entraînement et ne continue pas à apprendre à partir de nouvelles données, sauf s’il est réentraîné. Il est fréquent d’affiner un modèle comme GPT pour le spécialiser dans des tâches ou des domaines particuliers, améliorant ainsi ses performances et sa pertinence.

Pourquoi une telle montée en puissance du développement de l’IA ?
C’est une question pertinente. Les technologies d’apprentissage automatique et d’IA reposent essentiellement sur des réseaux neuronaux, une technologie existante depuis plus de 50 ans. Pendant tout ce temps, nous avons théorisé l’apprentissage automatique et l’IA, mais deux conditions importantes ont été réunies récemment.

Premièrement, la technologie informatique est aujourd’hui bien plus puissante qu’elle ne l’était il y a 50 ans. Les smartphones que nous avons dans nos poches sont un million de fois plus puissants que les ordinateurs des années 1970. Par exemple, les disquettes anciennes contenaient 1,44 Mo d’informations, alors que le stockage sur votre téléphone peut contenir 100 000 fois plus de données.

Deuxièmement, une quantité considérable d’informations textuelles est maintenant disponible sur Internet. Tout, des sites web aux PDF, en passant par les publications et les tweets sur les réseaux sociaux, est à la portée de tous et continue de croître. Cela a constitué un ensemble de données vaste et diversifié pour entraîner les modèles d’IA.

Quelles précautions prendre lors de l’utilisation de l’IA générative, telle que ChatGPT ?
La première chose à prendre en compte est l’exactitude des informations produites par tout modèle d’IA générative. Ces modèles s’appuient sur une grande quantité de données et sont essentiellement entraînés pour imiter des formes. Ils ne comprennent pas nécessairement les faits et tentent simplement de produire une réponse qui semble cohérente. Par exemple, un étudiant chercheur chargé d’une revue de littérature demandant à ChatGPT de lui fournir une liste de papiers pertinents pourrait recevoir des titres d’articles qui semblent crédibles, mais qui peuvent ne pas exister. Il est donc essentiel pour l’utilisateur de vérifier plusieurs fois l’exactitude des informations fournies.

Un autre enjeu à considérer est le biais. Tout modèle d’IA doit être formé sur des données créées par des humains, et tous les humains sont biaisés. Ainsi, il est tout à fait possible que ce biais soit transmis au modèle d’IA. Surtout à l’échelle mondiale, il pourrait exister des différences culturelles significatives entre les sociétés occidentales et orientales, et si les données d’entraînement d’un modèle d’IA ne sont pas suffisamment diversifiées, cela pourrait engendrer un biais dans un sens ou dans l’autre.

Comment prévoyez-vous que la technologie NLP sera appliquée à l’avenir ?
Il y a un grand potentiel pour les modèles NLP de révolutionner plusieurs secteurs. En éducation, la technologie NLP pourrait un jour offrir aux élèves des outils de tutorat personnalisés. Khan Academy a déjà développé un GPT qui aide les étudiants à exprimer leurs besoins et difficultés. Ce modèle peut créer un plan d’études comprenant des matériaux d’apprentissage adaptés à chaque élève.

Et ce ne sont pas seulement les étudiants qui en bénéficient ; la technologie NLP peut également aider les éducateurs. Ces derniers pourront s’appuyer sur des outils d’IA générative pour créer du matériel pédagogique, leur permettant ainsi de se concentrer sur l’attention personnelle à apporter à leurs élèves.

Cette technologie pourrait également rationaliser les soins de santé grâce à la synthèse d’informations. Une grande partie du diagnostic des patients repose sur l’analyse d’informations verbales, comme lorsque le patient communique ses symptômes ou son historique médical. Dans un avenir proche, des modèles NLP pourraient être utilisés pour analyser les paroles d’un patient et souligner différentes possibilités pour le professionnel de santé.

Dans le secteur juridique, la technologie NLP facilitera le traitement et le résumé des documents légaux, rendant ces informations plus accessibles, tout en offrant la possibilité de les traduire dans d’autres langues si nécessaire.

Points à retenir

1. Décomposition des données : Les modèles NLP fractionnent les textes en tokens, permettant d’analyser le sens de chaque mot selon le contexte.
2. Entraînement itératif : L’apprentissage d’un modèle repose sur l’ajustement continu de ses paramètres pour réduire les erreurs de prédiction.
3. Biais potentiel : Tous les modèles d’IA peuvent véhiculer des biais en raison de leur formation sur des données humaines, nécessitant une vigilance dans l’utilisation.

En conclusion, alors que la technologie NLP continue de progresser, elle soulève des questions importantes sur l’éthique et l’impact social. Comment nous préparons-nous à intégrer ces avancées dans nos vies quotidiennes tout en veillant à ce que l’IA serve le bien commun ? Une discussion ouverte sur ces enjeux est nécessaire pour orienter le développement futur de ces technologies.