Selon les allégations d’un procès récemment rendu public à New York, TikTok aurait sciemment omis des protections algorithmique pour la sécurité de millions d’utilisateurs, attribuant à des milliers d’autres, y compris des enfants et des adolescents, des versions inopérantes d’un outil censé les aider à éviter du contenu potentiellement nuisible.
Ces expériences ont été menées à l’insu des utilisateurs, TikTok mesurant l’impact de ces fonctionnalités sur l’engagement, le temps passé sur la plateforme et les revenus publicitaires, d’après une plainte modifiée déposée par la procureure générale de New York, Letitia James, le 31 août, et révélée le 7 octobre.
La plainte évoque trois expériences réalisées en 2023, impliquant plus de 63 000 utilisateurs assignés à des groupes recevant des versions non fonctionnelles de la fonctionnalité Algo Refresh, présentée par l’entreprise comme un moyen de réinitialiser les recommandations de vidéos personnalisées.
Ces chiffres représentent des placements expérimentaux et non nécessairement des individus distincts. Une expérience distincte, menée début 2022, aurait privé environ 10 % des utilisateurs américains d’une protection algorithmique conçue pour interrompre l’exposition répétée à du contenu perturbant, touchant environ 15 millions de personnes.
Parmi eux, un adolescent de 16 ans de Long Island se serait suicidé après avoir été exposé à plusieurs reprises à des vidéos portant sur l’automutilation, la dépression et le suicide. Une enquête interne de TikTok a établi que son exposition à ce contenu nuisible était liée à la décision de l’entreprise de ne pas activer la protection sur son compte.
Ces allégations précisent les détails d’une action en protection des consommateurs que l’État de New York prévoit pour 2024, accusant TikTok de concevoir une plateforme addictive tout en trompant les familles sur sa sécurité.
Des contrôles de sécurité inefficaces
La plainte modifiée décrit ce que TikTok appelait en interne des expériences “fantômes” ou placebo, où des utilisateurs choisis au hasard essayant d’activer une fonctionnalité de sécurité recevaient un contrôle apparemment fonctionnel qui ne changeait pas recommendations de la plateforme comme prévu.
Introduite en mars 2023, la fonctionnalité Algo Refresh permettrait aux utilisateurs de réinitialiser les recommandations affichées dans leur fil “Pour vous”, particulièrement lorsqu’ils se retrouvaient piégés dans des flux récurrents de contenu indésirable ou potentiellement nuisible. Dans chaque expérience, les utilisateurs pensaient avoir actualisé leurs recommandations, alors que l’algorithme continuait à fonctionner sans réinitialisation.
Les résultats de ces expériences ont été mis en relation avec le temps passé sur TikTok et les revenus publicitaires, et certains employés internes ont exprimé des préoccupations quant à la nature potentiellement trompeuse de ces tests.
Des millions d’utilisateurs privés de protections algorithmique
Les allégations les plus graves concernent un système distinct, conçu pour empêcher les utilisateurs de rester piégés dans ce que TikTok appelle des “bulles de contenu négatif”, des séquences répétitives de vidéos soulignant la dépression, l’anxiété, la solitude, l’automutilation ou le suicide.
TikTok a élaboré une stratégie algorithmique fin 2021 pour interrompre ces schémas, mais a négligé de l’appliquer à l’ensemble des utilisateurs, privant environ 10 % des utilisateurs américains, afin de tester l’impact sur l’engagement.
La plainte cite le cas d’un adolescent, identifiant seulement ses initiales, qui faisait partie du groupe témoin et qui a tragiquement mis fin à ses jours peu après sa sélection. L’enquête interne a révélé qu’il avait été exposé à des recommandations sur des thèmes suicidaires et automutilantes, alors que la protection algorithmique aurait dû être activée.
New York se prépare à des réglementations sur l’âge
Alors que ces révélations émergent, New York met en place un cadre réglementaire destiné à limiter les contenus personnalisés pour les enfants de moins de 18 ans sans consentement parental. La loi récente, connue sous le nom de SAFE, vise à réguler les fonctionnalités encourageant l’engagement prolongé.
Avec les nouvelles règles qui entreront en vigueur en 2027, les plateformes doivent prouver que les utilisateurs sont adultes avant de pouvoir accéder à des contenus personnalisés sans consentement parental, tout en garantissant la protection des données.
Face à ces allégations, TikTok a nié en bloc les accusations et se défend en affirmant qu’il teste régulièrement ses produits pour évaluer leur efficacité, tout en contestant la caractérisation de son outil Algo Refresh.
Points à retenir
- TikTok est accusé d’avoir sciemment omis des protections de sécurité pour des millions d’utilisateurs.
- Les expériences menées sans consentement montrent des méthodes discutablement éthiques.
- Les effets de l’algorithme sur des utilisateurs vulnérables suscitent des préoccupations majeures.
- New York propose de nouvelles réglementations visant à protéger les jeunes utilisateurs.
La situation présente un double enjeu : la responsabilité des plateformes envers leurs utilisateurs semble, ici, mise à mal. Pour moi, il est essentiel de s’interroger sur la manière dont ces outils influencent notre bien-être, notamment celui des plus jeunes. Alors que la technologie continue d’évoluer, comment pouvons-nous garantir qu’elle serve réellement l’intérêt de chacun, sans créer de nouvelles vulnérabilités ?