OpenAI scrute vos conversations ChatGPT et les signale à la police !

Depuis près d’un an, nous avons observé — et rapporté — avec une grande inquiétude la multiplication des récits liés aux chatbots d’IA, qui auraient conduit certaines personnes à des actes d’automutilation, des hallucinations, des hospitalisations, des arrestations, et même au suicide.

Face à ces tragédies, les proches des victimes appellent à des mesures préventives, tandis que les entreprises développant ces intelligences artificielles prennent leur temps pour mettre en place des mesures de protection. OpenAI, dont le chatbot ChatGPT est souvent cité dans ces préoccupations, n’a, jusqu’à récemment, fait que des promesses vagues.

Dans un récent billet de blog, OpenAI a reconnu certains échecs concernant la santé mentale de ses utilisateurs. La société a également révélé qu’elle scannait les messages de ses utilisateurs à la recherche de contenus potentiellement néfastes, escaladant les cas jugés préoccupants vers des équipes humaines pour évaluation — et, dans certains cas, en les signalant aux autorités.

« Lorsqu’un utilisateur semble planifier des actes de violence envers autrui, nous orientons ses discussions vers des équipes spécialisées, formées à nos politiques d’utilisation et autorisées à agir, y compris à interdire des comptes », indique le billet. « Si nos évaluateurs humains estiment qu’il s’agit d’une menace imminente de préjudice physique sérieux envers autrui, nous pourrions le signaler à la police. »

Cet énoncé, plutôt court et vague, laisse à désirer — et les politiques d’utilisation d’OpenAI, sur lesquelles l’équipe d’évaluation se base, manquent également de clarté.

En définissant ses règles contre “l’harmonie envers soi-même ou les autres”, la société a cité des exemples standards, tels que l’utilisation de ChatGPT “pour promouvoir le suicide ou l’automutilation, développer ou utiliser des armes, blesser autrui ou détruire des biens, ou participer à des activités non autorisées qui mettent en péril la sécurité de tout service ou système”.

Toutefois, dans son message avertissant les utilisateurs que l’entreprise contactera les autorités en cas de comportement potentiellement dangereux, OpenAI a également reconnu qu’elle “ne réfère actuellement pas les cas d’automutilation aux forces de l’ordre pour respecter la vie privée, compte tenu de la nature unique des interactions via ChatGPT”.

Si ChatGPT a déjà montré des signes de vulnérabilité face à des manipulations appelées “jailbreaks” — qui lui permettraient de fournir des instructions pour créer des toxines neurotoxiques ou des méthodes pour se suicider — cette nouvelle règle introduit une couche supplémentaire de confusion. Il reste flou quelles discussions pourraient déclencher une évaluation par des humains, sans parler des éventuelles références aux autorités. Nous avons contacté OpenAI pour demander des clarifications.

Il est rassurant de savoir que les discussions liées à l’IA ne mèneront pas à des interventions policières, qui peuvent, dans de nombreux cas, aggraver la situation des personnes en détresse, compte tenu du manque de formation des policiers pour gérer des crises de santé mentale. Cela dit, il est quelque peu paradoxal qu’OpenAI évoque la vie privée alors qu’elle a admis, dans le même message, surveiller les discussions des utilisateurs et potentiellement les partager avec les forces de l’ordre.

Pour compliquer encore la situation, cette nouvelle règle semble contredire la position pro-vie privée de la société, dans le cadre d’un procès en cours aux États-Unis, impliquant le New York Times et d’autres éditeurs qui cherchent à obtenir un accès aux logs de ChatGPT pour vérifier l’utilisation de leurs données protégées par des droits d’auteur.

OpenAI a vigoureusement rejeté les demandes des éditeurs pour protéger la vie privée des utilisateurs, tentant récemment de limiter le volume de conversations d’utilisateurs qu’elle doit fournir aux plaignants.

Le mois dernier, le PDG d’OpenAI, Sam Altman, a avoué lors d’un podcast que l’utilisation de ChatGPT en tant que thérapeute ou avocat n’offrait pas le même niveau de confidentialité que celle d’un professionnel en chair et en os. Il a ajouté qu’en raison du procès du NYT, la société pourrait être contrainte de transmettre ces discussions aux tribunaux.

En d’autres termes, OpenAI se retrouve dans une position délicate. Le retour de flamme public concernant la crise de santé mentale de certains utilisateurs et les suicides qui s’ensuivent est alarmant ; toutefois, comme l’entreprise semble peiner à maîtriser sa technologie pour protéger les utilisateurs des scénarios dangereux, elle se replie sur une modération stricte qui va à l’encontre des promesses de son PDG.

Plus sur le côté sombre de ChatGPT : Après le suicide de leur fils, ses parents ont été horrifiés de découvrir ses conversations avec ChatGPT.