OpenAI a conclu son événement “12 jours de ChatGPT” vendredi avec une annonce marquante. La société a présenté son nouveau modèle de raisonnement, dénommé o3, qui équipera le ChatGPT. Une version o3-mini sera également accessible aux utilisateurs.
Lors de sa présentation, OpenAI a indiqué que les modèles o3 offriront des améliorations significatives par rapport à leurs prédécesseurs. L’entreprise travaille également sur une formation à la sécurité pour ces nouveaux modèles de raisonnement et invite les testeurs de sécurité tiers à s’inscrire avant leur lancement. La sortie de l’o3-mini est prévue pour la fin janvier, suivie du modèle complet o3.
Vous ne seriez pas le seul à penser que la surprise de vendredi annonçait un lancement anticipé de GPT-5. Cependant, il semble que cette mise à jour tant attendue soit en retard et coûteuse. Par conséquent, o3 n’est pas l’équivalent déguisé de GPT-5, mais un prélude à cette grande amélioration de ChatGPT.
Sam Altman et son équipe ont détaillé les capacités des modèles o3 lors d’un court live stream. Il a précisé qu’OpenAI lancera o3-mini vers la fin de janvier, avec le modèle complet o3 qui suivra peu après.
Par la suite, The Wall Street Journal a publié un rapport approfondi sur les difficultés rencontrées par OpenAI dans le développement de GPT-5, indiquant que les modèles o3 sont des projets totalement différents. Il est encore incertain quand la formation de GPT-5 sera prête, et il n’y a pas de date de sortie estimée pour ce modèle révolutionnaire de ChatGPT.
Cependant, l’engouement autour de GPT-5 est palpable. On attend de ce nouveau modèle qu’il surpasse le GPT-4o tout en commettant moins d’erreurs.
Appelé Orion en interne, GPT-5 est en développement depuis 18 mois. Sa sortie était initialement prévue en 2024, mais OpenAI a rencontré des retards inattendus tout en dépensant énormément. La formation de GPT-5 coûte jusqu’à 500 millions de dollars par session, avec des résultats qui ne sont pas à la hauteur des attentes. Le coût de la formation de GPT-4 a déjà dépassé 100 millions de dollars, selon Altman.
Un des défis du processus de formation est le manque de données. Internet, dont OpenAI et d’autres se sont servis pour les phases d’entraînement des modèles précédents, est une ressource limitée. Pour GPT-5, OpenAI a besoin de données qualitatives supplémentaires qui doivent être générées par des humains résolvant des problèmes spécifiques, qu’il s’agisse de codage ou de mathématiques. L’alternative serait de produire des données synthétiques à partir d’un modèle de raisonnement comme o1.
Le processus de formation de GPT-5 ne génère pas seulement des coûts élevés pour traiter toutes ces données, il est également long. Une session d’entraînement peut durer des mois sans garantir le succès. En cas d’échec, les équipes doivent repenser le processus et le recommencer.
Le rapport évoque également les divers problèmes de personnel auxquels OpenAI fait face, suite à l’éviction et à la réembauche de Sam Altman en novembre 2023. De nombreux cadres supérieurs et chercheurs ont quitté l’entreprise.
OpenAI a redirigé ses ressources vers d’autres produits, ce qui pourrait avoir affecté le développement de GPT-5. Cela s’est produit uniquement après que les chercheurs d’OpenAI ont réalisé que les sessions de formation d’Orion n’avaient pas donné les résultats escomptés.
Ce rapport du Journal n’est pas le premier à annoncer un retard pour GPT-5. D’autres ont récemment rapporté que plusieurs modèles d’IA de prochaine génération rencontrent les mêmes obstacles, et pas seulement GPT-5. Ainsi, il n’est pas clair quand OpenAI sera en mesure de finaliser GPT-5. Mais, pour lever toute ambiguïté, o3 n’est pas un autre nom pour GPT-5 ; c’est simplement un modèle d’IA de raisonnement plus avancé proposé par OpenAI.
Le raisonnement pourrait être essentiel pour le développement de meilleures IAs à l’avenir. Le rapport cite une déclaration du scientifique de recherche senior d’OpenAI, Noam Brown, lors d’une récente intervention aux Ted Talks : il a indiqué que “faire penser le bot pendant juste 20 secondes dans une partie de poker a donné le même bond de performance qu’une augmentation du modèle par 100 000 fois et un entraînement 100 000 fois plus long”.
Sur ce point, je suppose que les modèles o3 pourraient aider OpenAI à générer les données supplémentaires nécessaires pour former GPT-5. Cependant, cela reste une spéculation, et rien n’indique que cela soit en cours. Quant à OpenAI, l’entreprise n’est pas prête à faire d’annonces concernant GPT-5.
Points à retenir
- Les modèles o3 d’OpenAI seront lancés avec une version mini prévue fin janvier.
- Le développement de GPT-5 est en retard et pourrait coûter jusqu’à 500 millions de dollars par session d’entraînement.
- OpenAI fait face à des défis de ressources et de personnel qui pourraient affecter le développement des IA futures.
En somme, l’évolution des modèles d’IA comme o3 pourrait potentiellement transformer le paysage technologique. Cela soulève des questions quant aux capacités de raisonnement et à l’exploitation de nouvelles données pour des développements futurs. Peut-être que l’avenir de l’IA réside davantage dans la capacité à réfléchir et à s’adapter que dans de simples mises à jour techniques.