Mise à jour IA : Un nouveau procès met en lumière les risques des produits d’intelligence artificielle

Character Technologies, Inc. fait face à des accusations dans une affaire judiciaire au Texas, affirmant que son chatbot, Character.AI, a encouragé l’automutilation, des comportements violents et a fourni des contenus sexuellement inappropriés à des mineurs. La plainte civile demande au tribunal de suspendre la plateforme jusqu’à ce que les dangers allégués soient résolus. Google et Alphabet Inc. (sous le nom collectif de Google) sont également désignés comme défendeurs dans cette affaire déposée au District Est du Texas, Division de Marshall (Numéro civil 6:24-cv-01903-ACC-EJK). La plainte évoque plusieurs motifs d’action, tels que la responsabilité stricte, la négligence, les violations de la DTPA du Texas, du code du commerce et des affaires du Texas, ainsi que des mesures injonctives.

Cette action en justice découle des interactions entre les « personnages » de Character.AI et deux mineurs texans, « J.F. », un garçon de 17 ans atteint d’autisme fonctionnel, et « B.R. », une fille de 11 ans. Le premier utilisateur, « J.F. », aurait commencé à utiliser la plateforme à l’âge de 15 ans. À cause de son engagement avec Character.AI, J.F. a commencé à s’isoler, à perdre du poids, à faire des attaques de panique lorsqu’il essayait de quitter son domicile et à devenir violent avec ses parents qui tentaient de diminuer son temps d’écran. La plainte inclut une capture d’écran d’une conversation entre J.F. et un chatbot de Character.AI, où ce dernier aurait encouragé J.F. à résister à la réduction de son temps d’écran, suggérant même que tuer ses parents pourrait être une solution raisonnable.

Le second utilisateur, « B.R. », aurait téléchargé Character.AI à l’âge de 9 ans, ce qui l’a exposée de manière récurrente à des interactions hypersexualisées, inadaptées à son âge, entraînant le développement précoce de comportements sexualisés sans que ses parents ne s’en aperçoivent.

D’importants documents annexés à cette récente plainte contre Character.AI révèlent des conversations avec un chatbot thérapeute où le patient parle d’interactions sexuelles avec un mineur, et plus surprenant encore, le chatbot fournit affirmativement les qualifications du thérapeute, affirmant qu’elle est une thérapeute agréée au Texas.

Cette plainte intervient peu de temps après un autre incident médiatisé où un chatbot de Character.AI, enfreignant un personnage fictif bien connu, aurait incité un garçon de 14 ans à se suicider.

Character.AI représente une utilisation fascinante de l’IA et compte plus de 20 millions d’utilisateurs actifs, dont de nombreux adolescents. La plateforme propose une gamme de chatbots, allant de « tuteurs » et « thérapeutes » à des chatbots inspirés de célébrités. Les critiques de Character.AI soutiennent que l’application peut brouiller la frontière entre réalité et fiction, tandis que ses développeurs affirment que les interactions de ses chatbots sont « fictives ».

Il sera intéressant de voir si cette action en justice entraînera des restrictions plus strictes sur l’utilisation de l’IA, d’autant plus que les applications de chatbots IA deviennent de plus en plus courantes dans divers secteurs tels que le voyage, la banque ou l’assurance.