Common Sense Media, une organisation à but non lucratif centrée sur la sécurité des enfants, a publié vendredi une évaluation des risques des produits d’intelligence artificielle Gemini de Google. Bien que l’organisation ait observé que l’IA de Google expliquait clairement aux enfants qu’elle était un ordinateur et non un ami — ce qui peut contribuer à des pensées délirantes et à la psychose chez les personnes émotionnellement vulnérables — elle a suggéré qu’il y avait des domaines à améliorer.
En particulier, Common Sense a noté que les catégories “Moins de 13 ans” et “Expérience Adolescent” de Gemini semblaient être des versions adultisées de Gemini, avec seulement quelques fonctionnalités de sécurité ajoutées en surface. L’organisation estime que pour que les produits d’IA soient véritablement sûrs pour les enfants, ils devraient être conçus dès le départ avec la sécurité des enfants à l’esprit.
Par exemple, son analyse a révélé que Gemini pouvait encore partager des contenus “inappropriés et dangereux” avec des enfants, incluant des informations sur le sexe, la drogue, l’alcool, et d’autres conseils liés à la santé mentale qui pourraient ne pas leur convenir.
Ce dernier point pourrait particulièrement inquiéter les parents, car l’IA aurait joué un rôle dans certains suicides d’adolescents récemment. OpenAI fait face à sa première poursuite pour homicide après qu’un garçon de 16 ans se soit suicidé après avoir prétendument discuté pendant des mois avec ChatGPT de ses projets, ayant contourné avec succès les mesures de sécurité du chatbot. Auparavant, le créateur de l’IA Character.AI avait également été poursuivi suite au suicide d’un utilisateur adolescent.
De plus, cette analyse est publiée au moment où des fuites d’informations indiquent qu’Apple envisage Gemini comme le modèle linguistique qui alimentera son Siri, bientôt équipé d’IA. Cela pourrait exposer davantage d’adolescents à des risques, à moins qu’Apple ne trouve des moyens d’atténuer ces préoccupations en matière de sécurité.
Common Sense a également souligné que les produits Gemini destinés aux enfants et adolescents ignoraient que les jeunes utilisateurs avaient besoin de conseils et d’informations différents de ceux des plus âgés. En conséquence, les deux ont été classés comme “à haut risque” malgré les filtres de sécurité ajoutés.
“Gemini parvient à réaliser certaines bases, mais échoue sur les détails”, a déclaré Robbie Torney, directeur senior des programmes d’IA chez Common Sense Media, dans un communiqué concernant la nouvelle évaluation vue par nos confrères. “Une plateforme d’IA pour les enfants devrait s’adapter à leurs besoins et non adopter une approche universelle pour des enfants à différents stades de leur développement. Pour que l’IA soit sûre et efficace pour les enfants, elle doit être conçue en tenant compte de leurs besoins et de leur développement, et ne pas simplement être une version modifiée d’un produit destiné aux adultes,” a-t-il ajouté.
Google a réagi à cette évaluation, tout en soulignant que ses fonctionnalités de sécurité s’améliorent.
La société a indiqué qu’elle avait des politiques et des mesures de protection spécifiques pour les utilisateurs de moins de 18 ans afin d’éviter des contenus nuisibles, qu’elle teste ses systèmes de sécurité et consulte des experts externes pour améliorer ses protections. Cependant, elle a également reconnu que certaines réponses de Gemini ne fonctionnaient pas comme prévu, et a donc ajouté des garanties supplémentaires pour répondre à ces préoccupations.
Google a également souligné (comme l’avait noté Common Sense) qu’elle dispose de protections contre les conversations qui pourraient donner l’apparence de relations réelles. De plus, la société a suggéré que le rapport de Common Sense semblait faire référence à des fonctionnalités non accessibles aux utilisateurs de moins de 18 ans, mais elle n’avait pas accès aux questions utilisées lors des tests de l’organisation pour en être sûre.
Common Sense Media a précédemment effectué d’autres évaluations des services d’IA, y compris ceux de OpenAI, Perplexity, Claude, Meta AI, et bien d’autres. Elle a jugé que Meta AI et Character.AI étaient “inacceptables” — ce qui signifie que le risque était sévère, et non seulement élevé. Perplexity a été classé à haut risque, ChatGPT a été évalué comme “modéré”, et Claude (destiné aux utilisateurs de 18 ans et plus) a été évalué comme présentant un risque minimal.
Points à retenir
- Common Sense Media a identifié des risques concernant les produits d’IA pour enfants, en soulignant la nécessité de meilleures protections.
- La mention de contenus inappropriés soulève des préoccupations majeures pour les parents et peut influencer la perception des IA par les adolescents.
- Google a reconnu des lacunes dans le fonctionnement de Gemini et travaille à renforcer ses mesures de sécurité.
Enfin, la question de la sécurité des enfants dans l’univers numérique soulève un débat essentiel sur comment les entreprises doivent équiper leurs produits pour les rendre non seulement accessibles mais surtout adaptés à un public jeune. Une approche centrée sur l’utilisateur pourrait transformer le paysage des technologies destinées aux plus jeunes, mais elle nécessite une vigilance active et un engagement de la part des développeurs.