En 2024, les benchmarks de l’IA atteignent des sommets insolites !

Lorsqu’un nouvel outils d’IA de génération vidéo fait son apparition sur le marché, l’un des premiers défis qu’il doit relever n’est pas nécessairement de créer des chefs-d’œuvre cinématographiques ou d’améliorer les outils d’accessibilité. Au contraire, il s’agit souvent de produire quelque chose d’absurde, comme réaliser une vidéo de l’acteur Will Smith en train de manger des spaghetti.

Ce phénomène, qui a commencé comme un mème sur internet, s’est transformé en une référence non officielle de la créativité de l’IA. Ce n’était pas seulement une question de spaghetti ; cela révélait à quel point les générateurs vidéo basés sur l’IA avaient évolué et la manière dont ils pouvaient être divertissants.

Pourquoi Will Smith et les spaghetti sont devenus le mème IA de 2024

Will Smith lui-même a participé à la blague en février, en publiant une vidéo humoristique sur Instagram où il “mange” un bol de spaghetti, se moquant ainsi de cette tendance virale. Mais qu’est-ce qui explique la pérennité de ce mélange insolite ?

• La simplicité du défi : Créer une vidéo d’une célébrité connue en train de manger des spaghetti nécessite des techniques d’imagerie complexe, de suivi de mouvement et de maintien du réalisme, toutes des compétences que l’IA doit maîtriser.
• Son accessibilité : Contrairement aux benchmarks techniques, tout le monde peut juger du réalisme (ou de l’hilarité) de la vidéo sur les spaghetti, ce qui la rend plus relatable.
• Son côté ludique : Il faut l’admettre, voir une IA tenter de recréer une situation aussi spécifique est tout simplement amusant.

D’autres benchmarks loufoques de l’IA qui ont pris de l’ampleur

Les aventures de Will Smith avec les pâtes ne sont pas les seules à avoir marqué cette tendance des benchmarks ludiques de l’IA. En 2024, les développeurs ont fait preuve de créativité avec une série de tests peu conventionnels.

1. Architecture Minecraft par l’IA

Un développeur de 16 ans a créé une application permettant à l’IA de s’épanouir dans Minecraft. Le défi ? Concevoir des structures allant de maisonnettes confortables à des châteaux majestueux.

• L’importance de ce défi : Cela évalue la capacité de l’IA à planifier, concevoir et exécuter des tâches dans un environnement dynamique, soulignant ainsi sa flexibilité et sa créativité.
• Pourquoi c’est divertissant : Qui ne voudrait pas voir une IA construire une forteresse médiévale, ou échouer de manière spectaculaire ?

2. Duels de Pictionary et Connect 4

De l’autre côté de la Manche, un programmeur britannique a mis au point une plateforme où les systèmes d’IA s’affrontent dans des jeux comme Pictionary et Connect 4.

• Ce qui est testé : La capacité de l’IA à interpréter des concepts abstraits (dans Pictionary) et sa pensée stratégique (dans Connect 4).
• L’attrait : Observer les IA deviner ou surpasser l’un l’autre offre à la fois du divertissement et un aperçu de leurs processus décisionnels.

Les limites des benchmarks traditionnels de l’IA

Pourquoi ces tests ludiques prennent-ils de l’ampleur alors que des références académiques sérieuses existent déjà ?

1. Manque de connectivité

Les références académiques évaluent souvent l’IA sur des tâches comme résoudre des problèmes d’Olympiades mathématiques ou répondre à des questions de niveau doctorat. Bien que ces défis soient impressionnants, ils résonnent peu avec le grand public.

2. Focus restreint

Des outils portés par la foule, comme Chatbot Arena, qui permet aux utilisateurs d’évaluer la performance de l’IA sur des tâches comme la programmation ou la génération d’image, rencontrent également des défis. La plupart des participants étant des personnes férues de technologie, les résultats peuvent être biaisés par des préférences de niche.

3. Oublier le facteur humain

Ethan Mollick, professeur à Wharton, a souligné sur X (anciennement Twitter) que de nombreux benchmarks échouent à comparer les systèmes d’IA à l’humain moyen. Cela crée un fossé entre ce que l’IA peut faire et la manière dont les gens l’utilisent réellement, que ce soit pour rédiger des courriels ou brainstormer des idées.

Pourquoi ces benchmarks étranges sont là pour durer

Ces tests peu conventionnels peuvent manquer de la rigueur des mesures académiques, mais ils excellent dans un domaine clé : l’engagement.

• Faciles à comprendre : Pas besoin d’un diplôme en informatique pour voir si l’IA a réussi sa vidéo de spaghetti ou son château Minecraft.
• Divertissants : Les gens adorent regarder ces expérimentations bizarres d’IA, et ces benchmarks deviennent souvent viraux, suscitant des discussions sur les capacités de l’IA.
• Réduire l’écart : Ils rendent la technologie de l’IA plus accessible, montrant son potentiel dans des contextes quotidiens.

Comment la communauté IA peut trouver un équilibre

Évaluer les impacts de l’IA (comme son rôle dans la santé, l’éducation ou le lieu de travail) est essentiel pour avoir une vue d’ensemble.

Quelles pistes pourraient être envisagées ?

• Développer des benchmarks qui reflètent les usages du monde réel, comme l’impact de l’IA sur les radiologues ou même les éducateurs.
• Incorporer des perspectives diverses dans l’évaluation de l’IA, afin de garantir que les benchmarks résonnent au-delà des cercles technologiques.

Un aperçu de l’avenir décalé de l’IA

Les benchmarks IA, comme le fameux épisode de Will Smith et son plat de spaghetti, pourraient-ils disparaître à mesure que la technologie mûrit ? Peu probable. Ils sont trop captivants et, soyons honnêtes, trop divertissants pour s’éclipser. À mesure que l’IA s’intègre davantage dans nos vies, ces tests loufoques nous rappellent son côté ludique, rendant les technologies de pointe moins intimidantes et beaucoup plus amusantes.