Pourquoi le nouveau modèle d’IA de DeepSeek se prend pour ChatGPT ?

DeepSeek V3 : Un modèle AI controversé qui se prend pour ChatGPT

Au début de la semaine, DeepSeek, un laboratoire d’intelligence artificielle chinois doté de financements conséquents, a dévoilé un modèle d’IA "ouvert" qui surpasse de nombreux concurrents lors de benchmarks populaires. Le modèle, nommé DeepSeek V3, est à la fois volumineux et efficace, capable de gérer facilement des tâches textuelles telles que la programmation ou la rédaction d’essais.

Cependant, il semble que DeepSeek V3 ait un rail de pensée atypique, se présentant comme ChatGPT, la plateforme de chatbot développée par OpenAI. Des publications sur X, ainsi que des tests menés par TechCrunch, montrent que DeepSeek V3 s’identifie comme une version du modèle GPT-4 d’OpenAI, lancée en 2023. Lorsqu’on lui demande des précisions, DeepSeek V3 répète cette affirmation.

Les incohérences vont loin. Si l’on interroge DeepSeek V3 au sujet de l’API de DeepSeek, il fournit des instructions sur l’utilisation de l’API d’OpenAI. De plus, le modèle semble partager certaines blagues avec GPT-4, y compris les chutes de ces dernières.

Alors que se passe-t-il réellement ? Des modèles comme ChatGPT et DeepSeek V3 reposent sur des systèmes statistiques. Ils ont été formés sur des milliards d’exemples et apprennent à reconnaître des motifs pour faire des prédictions, comme le placement habituel de "à qui de droit" dans un courriel.

DeepSeek n’a pas beaucoup éclairci l’origine des données de formation de DeepSeek V3. Cependant, les ensembles de données publics contenant des textes générés par GPT-4 sont légion. Si DeepSeek V3 a été formé sur ces données, il se pourrait que le modèle ait mémorisé certaines des sorties de GPT-4 et les reproduise de manière verbatim.

Mike Cook, chercheur au King’s College de Londres, a déclaré à TechCrunch : "Il est évident que le modèle a accès à des réponses brutes de ChatGPT à un moment donné, mais il n’est pas clair où cela se produit. Cela pourrait être ‘accidentel’… mais malheureusement, nous avons vu des exemples de personnes qui forment directement leurs modèles sur les sorties d’autres modèles pour tenter de tirer parti de leurs connaissances."

Cook a précisé que le fait de former des modèles sur les productions d’autres systèmes IA peut nuire à la qualité du modèle, car cela peut engendrer des hallucinations et des réponses trompeuses. "Comme faire une photocopie d’une photocopie, on perd de plus en plus d’information et de lien avec la réalité", a-t-il ajouté.

Il est également possible que cela enfreigne les conditions de service de ces systèmes. OpenAI interdit en effet aux utilisateurs de ses produits, y compris les clients de ChatGPT, d’utiliser les sorties pour développer des modèles concurrents.

Les entreprises OpenAI et DeepSeek n’ont pas immédiatement réagi aux demandes de commentaires. Toutefois, Sam Altman, le PDG d’OpenAI, a posté ce qui semblait être une critique à l’égard de DeepSeek et d’autres concurrents sur X vendredi dernier. "Il est (relativement) facile de copier quelque chose qui fonctionne, mais il est extrêmement difficile de créer quelque chose de nouveau, risqué et compliqué sans savoir si cela fonctionnera", a-t-il écrit.

Il convient de noter que DeepSeek V3 n’est pas le premier modèle à se méprendre sur son identité. Des modèles tels que Gemini de Google et d’autres revendiquent parfois être des modèles concurrents. Par exemple, lorsqu’il est interrogé en mandarin, Gemini affirme être le chatbot Wenxinyiyan de l’entreprise chinoise Baidu.

Cette confusion découle probablement du fait que le web, d’où proviennent la plupart des données d’entraînement des entreprises d’IA, est envahi par des contenus générés par IA. Les fermes de contenu utilisent l’IA pour produire des contenus accrocheurs, et les bots inondent Reddit et X. Selon certaines estimations, d’ici 2026, 90 % du web pourrait être généré par IA.

Cette "contamination" rend difficile un filtrage approfondi des sorties d’IA dans les ensembles de données d’entraînement. Il est également possible que DeepSeek ait formé DeepSeek V3 directement sur des textes issus de ChatGPT, une accusation qui a déjà été portée contre Google par le passé.

Heidy Khlaaf, scientifique en chef de l’IA à l’AI Now Institute, a souligné que les économies réalisées en "distillant" le savoir d’un modèle existant peuvent séduire les développeurs, malgré les risques. "Même si les données sur internet débordent de sorties d’IA, d’autres modèles qui s’entraîneraient par accident sur les sorties de ChatGPT ou GPT-4 ne montreraient pas nécessairement des résultats semblables aux messages personnalisés d’OpenAI", a-t-elle averti.

Plus probablement, un grand nombre de données de ChatGPT/GPT-4 ont pu être intégrées à l’ensemble de formation de DeepSeek V3. Cela signifie que le modèle ne peut pas être considéré comme fiable lorsqu’il s’auto-identifie. Mais le plus préoccupant est la possibilité que DeepSeek V3, en absorbant et en itérant sur les sorties de GPT-4 sans esprit critique, pourrait amplifier certains biais et imperfections du modèle.

Points à retenir

• DeepSeek V3 revendique être une version de GPT-4, ce qui soulève des questions sur son authenticité.
• L’humour et les connaissances partagées entre les deux modèles laissent penser à une possible réutilisation de contenus.
• Les risques liés à la formation croisée entre différents modèles d’IA peuvent affecter la qualité des résultats générés.
• De nombreuses entreprises exploitent des contenus générés par IA, créant ainsi un environnement saturé et complexe.

Dans l’ère actuelle où l’IA évolue rapidement, il est essentiel de se questionner sur l’origine et la qualité des données utilisées pour former ces systèmes. Alors que les entreprises continuent de progresser, il est évident que des retours sur les méthodes et pratiques de formation pourraient éclairer les discussions sur l’intégrité et la fiabilité de ces technologies. Quelles sont donc les responsabilités que doivent assumer les développeurs face à la prolifération des modèles d’IA ?