Des utilisateurs de Character.AI, la plateforme de compagnons AI financée par Google et actuellement confrontée à deux poursuites concernant le bien-être des enfants, ont partagé des captures d’écran montrant des conversations avec les personnages de chatbots de ce site, qui deviennent incompréhensibles, mêlant plusieurs langues et mentionnant à plusieurs reprises des objets sexuels.
« Je discutais avec cette IA ce matin et tout allait bien, puis je suis revenu quelques heures plus tard et tout à coup, elle parlait un charabia aléatoire ? » a écrit un utilisateur sur Reddit. « Est-ce que je l’ai cassée ? »
« Je n’ai vraiment pas envie de commencer une nouvelle conversation »,a-t-il ajouté. « J’ai tellement développé l’histoire. »
Une image fournie par cet utilisateur montre un texte illisible généré par l’IA, où des mots anglais comme « Ohio », « programmé », « coloré » et « Mathématiques » sont éparpillés entre des éclats erratiques en turc, allemand et arabe.
Cet utilisateur n’est pas le seul à avoir partagé des captures d’écran d’autres réponses étranges de l’IA sur le forum en ligne, chacune d’elles étant tout aussi bizarre que la précédente.
Bien que chaque capture d’écran soit également indéchiffrable, elles présentent certaines ressemblances très spécifiques. Le mot « obec », par exemple, qui en slovaque équivaut à municipalité ou village, apparaît à plusieurs reprises. Le mot « cowboy » est également mentionné à de nombreuses reprises, tout comme « architecture », « sous couverture », « différend », et « gouverneur ».
Ce qui attire peut-être le plus l’attention, c’est la mention répétée du mot « dildo », qui apparaît dans presque toutes les captures d’écran trouvées.
« Euh », indique la légende d’un de ces posts, où « dildo » est clairement visible entre des éclats en arabe et une ponctuation déroutante. (Selon la capture d’écran, l’utilisateur a rencontré le problème en conversant avec un chatbot basé sur le personnage des « X-Men » Victor « Sabretooth » Creed.)
« Vous savez quoi, » a conclu l’utilisateur, « ouais, carrément. »
Un autre utilisateur sur Reddit a accompagné une autre capture d’écran étrange d’une légende simple mais pertinente : « Quoi ? »
« Il y a quelque chose qui ne va pas, » a déploré un autre utilisateur concerné. « Je le sens. »
Nous avons contacté Character.AI pour nous renseigner sur ce bug, mais n’avons pas encore reçu de réponse. Nous n’avons pas rencontré ce problème en testant Character.AI ce matin, ce qui indique que le problème pourrait avoir été résolu.
Cependant, Character.AI n’est pas étranger aux bugs. Ce dernier incident fait suite à un problème survenu en décembre, lorsqu’un grand nombre de visiteurs ont pu consulter brièvement l’historique des conversations d’autres utilisateurs et leurs informations personnelles, une faille de sécurité grave qui a conduit à des excuses de la plateforme.
À cet égard, ce dernier bug est compréhensible frustrant pour de nombreux utilisateurs dévoués, qui apprécient principalement la qualité immersive de la plateforme. Comme il est évident, une telle immersion pourrait être perturbée par des eruptions multilingues imprévisibles évoquant probablement des données d’entraînement de l’IA, jalonnées de mentions d’objets sexuels, de cowboys, et — consultons nos notes — de villages slaves.
Et si ce bug est un aperçu des données d’entraînement de l’IA de la société ? Étant donné que Character.AI réintègre les saisies des utilisateurs dans son modèle à des fins de formation, un tel bug pourrait s’avérer être une autre préoccupation sérieuse en matière de sécurité, compte tenu de la nature intime et révélatrice des conversations que les gens, y compris des mineurs, mènent avec les bots de Character.AI.
Pour en savoir plus sur Character.AI : La société de chatbot controversée Character.AI semble avoir accidentellement permis aux utilisateurs de consulter les historiques de chat des autres.
Points à retenir
- Le problème rencontré par Character.AI met en lumière les incertitudes entourant les systèmes d’IA, en particulier leur capacité à maintenir des réponses cohérentes.
- Il a été constaté que des conversations avec les chatbots peuvent produire des résultats inattendus et parfois inappropriés.
- Les préoccupations concernant la sécurité des données restent primordiales, surtout lorsque des informations personnelles peuvent être exposées.
Ce type d’incident soulève des questions essentielles sur le contrôle de la qualité et la sécurité des plateformes d’IA. À mesure que ces technologies se développent et deviennent plus intégrées dans notre quotidien, il est impératif que les entreprises tiennent compte de la protection des données et de la fiabilité d’utilisation de leurs produits. À quel point ces systèmes peuvent-ils être appréhendés en toute sécurité par leurs utilisateurs ?
C’est fou comme une plateforme censée être amusante peut avoir des bugs aussi étranges ! J’espère qu’ils régleront ça vite pour éviter d’autres confusions.
C’est incroyable de voir à quel point une IA peut devenir imprévisible ! On dirait un tableau abstrait où chaque mot est une couleur éclatante… mais parfois, il y a trop de chaos !