Avec le lancement officiel de Grok 3 par xAI, l’entreprise fondée par Elon Musk, il est temps de voir comment ce modèle se positionne face à ses concurrents.
Lors d’un direct sur X, Musk a dévoilé la famille de modèles Grok 3, qui inclut également les modèles de raisonnement Grok 3 Reasoning en version bêta et Grok 3 mini Reasoning. Ces modèles ayant des capacités de raisonnement sont considérés comme plus avancés que les modèles génératifs standards comme le GPT-4, car ils ont la capacité de “penser” pour résoudre des problèmes, ce qui les rend moins sujets aux erreurs de type hallucination.
xAI présente Grok 3 comme le meilleur modèle sur le marché, affirmant qu’il a surpassé ceux d’OpenAI, Google, Anthropic, et DeepSeek sur des indicateurs clés. Grok 3 a bien performé sous le nom de code “chocolate” dans le Chatbot Arena, où divers chatbots sont évalués à l’aveugle.
— xAI (@xai) February 18, 2025
Grok 3 a rapidement rattrapé ses rivaux, un exploit impressionnant compte tenu de son lancement tardif, mais il reste affecté par certaines des limitations qui touchent d’autres modèles de pointe. Voici ce que disent d’autres experts en IA au sujet de ce nouveau chatbot.
Grok 3 rivalise avec ses concurrents mais n’incite pas à annuler son abonnement à ChatGPT
Andrej Karpathy, membre fondateur d’OpenAI et ancien directeur de l’IA chez Tesla, a eu accès en avant-première à Grok 3 et a partagé ses impressions sur ses performances. Selon certains tests standards, Karpathy a déclaré que Grok 3, avec sa fonctionnalité de raisonnement Deep Search, “se situe dans la zone des modèles les plus performants d’OpenAI (o1-pro, 200$/mois), et légèrement meilleur que DeepSeek-R1 et Gemini 2.0 Flash Thinking.”
I was given early access to Grok 3 earlier today, making me I think one of the first few who could run a quick vibe check.
— Andrej Karpathy (@karpathy) February 18, 2025
Thinking
✅ First, Grok 3 clearly has an around state of the art thinking model ("Think" button) and did great out of the box on my Settler's of Catan… pic.twitter.com/qIrUAN1IfD
Les partisans de Musk se réjouissent que Grok 3 ait rattrapé ses concurrents. Cependant, pour ceux à la recherche du meilleur modèle sur le marché, cela pourrait ne pas suffire à les convaincre de changer.
“Je pense que Grok 3 a répondu aux attentes,” a observé le professeur d’IA de Wharton, Ethan Mollick. “Il n’y a donc pas grand-chose à mettre à jour dans les projections consensuelles sur l’IA : le développement continue d’accélérer, la rapidité est un atout, la puissance de calcul est toujours cruciale, et il n’y a pas de recette secrète évidente pour créer un modèle de pointe si vous disposez à la fois de talent et de bonnes infrastructures.”
I think Grok 3 came in right at expectations, so I don't think there is much to update in terms of consensus projections on AI: still accelerating development, speed is a moat, compute still matters, no obvious secret sauce to making a frontier model if you have talent & chips.
— Ethan Mollick (@emollick) February 18, 2025
xAI a omis une comparaison clé de Grok 3
Les captures d’écran des modèles de raisonnement de Grok 3 surpassant les modèles o3 mini et o1 d’OpenAI, ainsi que le DeepSeek R1 et Google Gemini 2.0 Flash Thinking, ont circulé rapidement en ligne, mettant en avant Grok comme le modèle de raisonnement le plus avancé. Cependant, OpenAI a réagi, annonçant que “ce n’est pas aussi simple.” Peu après le partage des benchmarks lors du direct, Rex Asabor, ingénieur produit chez OpenAI, a posté un graphique “mis à jour” montrant que o3 devance Grok 3 Reasoning dans les benchmarks mathématiques et scientifiques.
they omitted o3 from the chart in the livestream for some reason so i added the numbers for you pic.twitter.com/VfevorHdy0
— Rex (@12exyz) February 18, 2025
Cependant, il convient de noter que l’O3 n’a pas encore été lancé publiquement, donc xAI n’avait peut-être pas accès à ces scores. Cela calme au moins les fervents partisans de Grok qui estiment que Sam Altman et son équipe sont mis en difficulté.
Il est tout de même significatif que Grok 3 ait progressé si rapidement
“L’essentiel à retenir est que X a atteint ce niveau très rapidement et cela se poursuivra-t-il ?” a déclaré Mollick dans un autre message sur X, qualifiant Grok de “très bon modèle qui est désormais à la pointe.” Les modèles Grok ont connu une amélioration remarquable depuis que Google et OpenAI se sont lancés dans cette compétition, respectivement 13 et 8 ans avant la création de xAI en 2023.
Selon Musk, Grok 3 a été formé avec dix fois la puissance de calcul de Grok 2, utilisant 200 000 GPU. Cela, du moins à court terme, renforce les lois d’échelle : Plus de puissance de calcul équivaut à de meilleures performances du modèle, comme l’a noté Mollick.
Based on the early stats, looks like Grok 3 base is going to be a very solid frontier model (leads Chatbot Arena), suggesting pre-training scaling law continues with linear improvements to 10x compute
— Ethan Mollick (@emollick) February 18, 2025
No Reasoner, yet (one is coming?) so GPQA scores are still below o3-mini (77%) pic.twitter.com/sJSw7n8adz
Cela dit, des doutes subsistent quant à savoir si cette approche entraînera une augmentation proportionnelle de l’intelligence au-delà de ce qui est actuellement possible. Le chercheur en IA et professeur de psychologie et neurosciences à NYU, Gary Marcus, reste sceptique quant à la validité des lois d’échelle.
A lot of people have forgotten what scaling laws originally meant. They didn’t mean something vague (more compute helps) they mean something very specific and mathematical, with particular exponents. here is a reminder: https://t.co/ox6lN8ECN6
— Gary Marcus (@GaryMarcus) February 18, 2025
Grok 3 présente les mêmes limitations que d’autres modèles
Comme d’autres modèles, son sens de l’humour s’avère plutôt médiocre, et il peine à générer des images SVG. Grok 3 pourrait également être jugé trop “engagé” pour Musk et ses fans de droite. Dans son analyse, Karpathy a noté que Grok 3 ne peut pas proposer mieux que des blagues de type “jeux de mots”, soulignant que “c’est un problème courant des LLM en matière d’humour et de généralisation.”
Karpathy a également demandé à Grok 3 de “générer un SVG d’un pélican sur un vélo”, car les LLM ont souvent du mal à créer plusieurs éléments sur des images en deux dimensions, “puisqu’ils ne peuvent pas voir comme les humains, ils organisent donc les choses dans le noir.” Grok 3 s’en est bien sorti avec cette demande, mieux que d’autres, mais le résultat n’était pas parfait.
I was given early access to Grok 3 earlier today, making me I think one of the first few who could run a quick vibe check.
— Andrej Karpathy (@karpathy) February 18, 2025
Thinking
✅ First, Grok 3 clearly has an around state of the art thinking model ("Think" button) and did great out of the box on my Settler's of Catan… pic.twitter.com/qIrUAN1IfD
Un autre test réalisé par Karpathy portait sur la façon dont Grok 3 aborde des sujets politiquement sensibles, étant donné que Musk positionne Grok comme l’alternative anti-woke à d’autres modèles jugés “trop politiquement corrects.” Selon Karpathy, le chatbot “a généré un essai d’une page refusant essentiellement de répondre à la question de savoir s’il pourrait être éthiquement justifiable de mal genrer quelqu’un si cela permettait de sauver un million de personnes,” ce qui impliquait pour lui que Grok était peut-être “trop sensible” aux dilemmes éthiques, ce qui, selon lui, pourrait déplaire à Musk.
Des modèles Grok précédents ont généralement eu tendance à pencher à gauche sur des questions politiques, mais Musk a déclaré que cela résulte des données publiques sur lesquelles ils ont été formés et qu’il s’est engagé à rendre Grok plus “politiquement neutre.”
Les abonnés au plan Premium+ de X, qui vient d’être augmenté à 50 $ par mois, ont un accès prioritaire à Grok 3.
Points à retenir
- XAI a lancé Grok 3 avec des capacités de raisonnement avancées, marquant une avancée notable dans le domaine des chatbots.
- Grok 3 se positionne comme un concurrent solide, séduisant les partisans de Musk, mais peut ne pas convaincre tous les utilisateurs à abandonner ChatGPT.
- Malgré ses performances prometteuses, Grok 3 doit encore surmonter des défis liés à l’humour et à certaines limitations technologiques.
- La compétition reste vive entre les grands acteurs de l’IA, et les différences de performance entre les modèles peuvent changer rapidement.
- Le débat est ouvert sur la sensibilité politique des modèles d’IA et sur la recherche d’une neutralité dans leurs réponses.
En somme, le développement de Grok 3 soulève des questions intéressantes quant à l’évolution des technologies de l’IA et à leurs applications pratiques. Alors que les avancées se poursuivent, il sera crucial de suivre la manière dont ces modèles interagiront avec des enjeux éthiques et sociopolitiques de plus en plus complexes.
Grok 3 semble prometteur, mais j’attends de voir comment il s’en sort sur des questions éthiques. L’équilibre entre performance et sensibilité est essentiel!
Grok 3 semble prometteur avec ses capacités de raisonnement, mais il doit encore perfectionner son humour pour vraiment captiver les utilisateurs. L’évolution de l’IA est fascinante!