En résumé : OpenAI continue de travailler sur ChatGPT-5, la prochaine génération de son modèle multimodal de langage, mais le projet rencontrerait des difficultés. En plus d’être en retard après avoir manqué son lancement prévu cette année, ChatGPT-5 coûterait une fortune à l’entreprise.
Déjà en mars, il avait été rapporté que ChatGPT-5, qui devrait proposer de nombreuses fonctionnalités avancées par rapport à l’actuel modèle GPT-4, était en cours d’entraînement chez OpenAI et devait être lancé prochainement.
Nous sommes à peine à plus d’une semaine de la fin de l’année, mais aucune nouvelle du modèle de prochaine génération n’est en vue. Le Wall Street Journal a éclairci la situation.
GPT-5, connu sous le nom de code Projet Orion, est en développement depuis 18 mois chez la société de Sam Altman. Microsoft, le plus grand investisseur d’OpenAI, s’attendait à une sortie à la mi-2024.
Selon des sources du WSJ, OpenAI a déjà réalisé au moins deux sessions d’entraînement destinées à perfectionner le modèle grâce à d’énormes quantités de données.
Ces sessions d’entraînement n’ont pas donné les résultats escomptés, d’après des personnes proches du projet. La première session aurait été plus lente que prévu, suggérant qu’une session d’entraînement à grande échelle prendrait beaucoup de temps, augmentant ainsi les coûts. Il a été conclu qu’il était nécessaire de disposer de données d’entraînement plus diverses et de meilleure qualité, car Internet public ne fournissait pas suffisamment d’éléments pour rendre GPT-5 visiblement “plus intelligent” que son prédécesseur.
Pour remédier à cela, OpenAI envisage d’embaucher des personnes chargées d’écrire du code original ou de résoudre des problèmes mathématiques pour que Orion puisse apprendre, créant ainsi des données d’entraînement à partir de zéro. Ce processus est lent : GPT-4 a été entraîné sur environ 13 trillions de tokens. Une équipe de mille personnes écrivant 5 000 mots par jour mettrait des mois à produire un milliard de tokens.
OpenAI a également commencé à développer des données synthétiques, créées par ses modèles d’IA actuels, pour entraîner Orion. Il y a eu des mises en garde concernant les types de contenus absurdes que peuvent générer ces boucles de rétroaction de l’IA, bien qu’OpenAI pense qu’il est possible de contourner ces problèmes en utilisant des données générées par ses modèles alternatifs.
Les turbulences internes de l’entreprise n’ont pas facilité la situation. Le PDG Altman a été évincé avant de revenir rapidement à la fin de 2023, et plus de deux douzaines de dirigeants clés ont quitté OpenAI cette année. Altman avait précédemment imputé le retard de GPT-5 au lancement de nouveaux modèles.
Les milliards de dollars dépensés dans le secteur de l’IA continuent d’augmenter, tandis que les retours sur investissement n’ont pas encore été à la hauteur. OpenAI sait qu’il doit justifier les dépenses liées à ChatGPT-5 en s’assurant que le modèle apporte des améliorations notables par rapport à ses prédécesseurs, un défi qui se complique avec la raréfaction des données d’entraînement disponibles sur Internet.
Points à retenir
- ChatGPT-5 est en développement depuis 18 mois, mais son lancement a été retardé.
- OpenAI recherche des moyens de créer des données d’entraînement frais pour optimiser le modèle.
- La pression pour que le modèle soit significativement meilleur continue de croître, alors même que les ressources disponibles se raréfient.
En conclusion, la situation actuelle pose des défis importants pour OpenAI dans la conception de ChatGPT-5. Non seulement l’entreprise doit composer avec des attentes croissantes, mais elle fait également face à des enjeux techniques et financiers considérables. Cela soulève des questions sur l’avenir de l’IA et sur la manière dont les entreprises peuvent innover tout en gérant des contraintes de ressources et de temps. Une réflexion plus large sur ces thèmes pourrait enrichir le débat autour des technologies émergentes.