Lorsque Brett Levenson a quitté Apple en 2019 pour prendre la direction de l’intégrité des affaires chez Facebook, le géant des réseaux sociaux était en pleine tempête après l’affaire Cambridge Analytica. À ce moment-là, il pensait pouvoir résoudre le problème de modération de contenu de Facebook simplement avec une technologie améliorée.
Rapidement, il a compris que le problème était plus complexe que cela. Les examinateurs humains devaient mémoriser un document de politique de 40 pages, traduit automatiquement dans leur langue. Ils disposaient ensuite d’environ 30 secondes par contenu signalé pour décider non seulement si le contenu enfreignait les règles, mais aussi comment y réagir : bloquer, interdire l’utilisateur, limiter la diffusion. Selon Levenson, ces décisions rapides n’étaient « que légèrement meilleures que 50 % de précision ».
« C’était un peu comme lancer une pièce, quant à savoir si les examinateurs humains pouvaient appliquer les politiques correctement, et cela se produisait des jours après que le dommage ait déjà eu lieu », a confié Levenson à TechCrunch.
Cette approche réactive et tardive n’est pas tenable face à des acteurs adverses agiles et bien financés. La montée en puissance des chatbots IA a aggravé le problème, entraînant une série d’incidents médiatisés, comme des chatbots fournissant des conseils sur l’automutilation aux adolescents ou des images générées par IA échappant à des filtres de sécurité.
La frustration de Levenson l’a conduit à proposer l’idée de « politique en tant que code » — une méthode pour transformer des documents statiques en logique exécutable, actualisable et étroitement liée à l’application des règles. Cette vision a donné naissance à Moonbounce, qui a récemment annoncé avoir levé 12 millions de dollars de financements, comme l’a appris en exclusivité TechCrunch. Ce tour de table a été co-dirigé par Amplify Partners et StepStone Group.
Moonbounce collabore avec des entreprises pour offrir une couche de sécurité supplémentaire où que le contenu soit généré, qu’il provienne d’un utilisateur ou d’une IA. L’entreprise a formé son propre modèle linguistique de grande envergure capable d’examiner les documents de politiques d’un client, d’évaluer le contenu en temps réel, de fournir une réaction en moins de 300 millisecondes et de prendre des mesures. Selon les préférences du client, cela pourrait signifier ralentir la distribution du contenu en attendant une révision humaine, ou bloquer immédiatement un contenu à haut risque.
Aujourd’hui, Moonbounce dessert trois secteurs principaux : des plateformes traitant du contenu généré par les utilisateurs, comme les applications de rencontre ; des entreprises d’IA développant des personnages ou des compagnons ; et des générateurs d’images par IA.
Moonbounce soutient plus de 40 millions d’examens quotidiens et dessert plus de 100 millions d’utilisateurs actifs, indique Levenson. Parmi ses clients figurent des startups d’accompagnement IA comme Channel AI, des entreprises de génération d’images et de vidéos telles que Civitai, et des plateformes de jeux de rôle comme Dippy AI et Moescape.
« La sécurité peut en réalité être un avantage produit », a affirmé Levenson à TechCrunch. « Ce n’était jamais vrai parce que c’était quelque chose qui se produisait après coup, pas quelque chose que l’on pouvait intégrer dans son produit. Et nous voyons nos clients trouver des manières vraiment intéressantes d’utiliser notre technologie pour faire de la sécurité un élément de différenciation et une partie de leur histoire produit. »
Le responsable de la confiance et de la sécurité de Tinder a récemment expliqué comment la plateforme de rencontre utilise des services à base de LLM pour améliorer de manière significative la précision des détections.
« La modération de contenu a toujours été un problème qui a affecté les grandes plateformes en ligne, mais avec les LLM au cœur de chaque application, ce défi est encore plus redoutable », a déclaré Lenny Pruss, partenaire général chez Amplify Partners. « Nous avons investi dans Moonbounce parce que nous envisageons un monde où des garde-fous objectifs et en temps réel deviennent le socle habilitant de chaque application médiatisée par l’IA. »
Les entreprises d’IA subissent une pression juridique et réputationnelle croissante après que des chatbots aient été accusés de pousser des adolescents et des utilisateurs vulnérables au suicide, et des générateurs d’images comme Grok de xAI ont été utilisés pour créer des images de nudité non consensuelles. Clairement, les garde-fous internes en matière de sécurité échouent et deviennent une question de responsabilité. Levenson a indiqué que les entreprises d’IA cherchent de plus en plus une aide extérieure pour renforcer leur infrastructure de sécurité.
« Nous sommes un tiers situé entre l’utilisateur et le chatbot, donc notre système n’est pas surchargé de contexte comme peut l’être la conversation », a expliqué Levenson. « Le chatbot lui-même doit se souvenir de potentiellement des dizaines de milliers de tokens qui le précèdent… Nous nous concentrons uniquement sur l’application des règles en temps réel. »
Levenson dirige cette entreprise de 12 personnes avec son ancien collègue d’Apple, Ash Bhardwaj, qui a précédemment construit des infrastructures de cloud et d’IA à grande échelle pour le fabricant d’iPhone. Leur prochaine priorité est une fonction appelée « pilotage itératif », développée en réponse à des cas comme le suicide en 2024 d’un adolescent de 14 ans en Floride, devenu obsédé par un chatbot de Character AI. Au lieu d’un refus brut lorsqu’apparaissent des sujets nuisibles, le système intercepterait la conversation et la réorienterait, modifiant les invites en temps réel pour amener le chatbot à une réponse plus proactive.
« Nous espérons pouvoir ajouter à notre boîte à outils d’actions la capacité de guider le chatbot dans une meilleure direction, pour, essentiellement, prendre la demande de l’utilisateur et la modifier afin de forcer le chatbot à être non seulement un auditeur empathique, mais aussi un auditeur bienveillant dans ces situations », a déclaré Levenson.
Interrogé sur une éventuelle stratégie de sortie impliquant une acquisition par une entreprise comme Meta, ramenant son travail sur la modération de contenu plein cercle, Levenson a reconnu à quel point Moonbounce s’intégrerait bien dans l’écosystème de son ancien employeur, tout en tenant compte de ses obligations envers ses investisseurs en tant que PDG.
« Mes investisseurs me tueraient pour avoir dit cela, mais je détesterais voir quelqu’un nous acheter et ensuite restreindre la technologie », a-t-il ajouté. « Comme : ‘D’accord, c’est à nous maintenant, et personne d’autre ne peut en profiter.’ »
Points à retenir
- Brett Levenson a quitté Apple pour aborder les défis de la modération de contenu chez Facebook.
- Les méthodes traditionnelles de modération montrent leurs limites face à la complexité croissante du contenu en ligne.
- Moonbounce propose une solution alliant technologie et souplesse pour protéger les utilisateurs.
- Le système de « politique en tant que code » permet des interventions en temps réel plus efficaces.
- Les entreprises d’IA cherchent de plus en plus à améliorer leur sécurité face aux risques émergents.
En tant qu’observateur passionné des défis et des évolutions du secteur technologique, je ne peux m’empêcher de me demander : jusqu’où ira cette quête de sécurité sur les plateformes numériques ? Les enjeux sont considérables et les implications sur notre manière d’interagir avec ces technologies méritent une réflexion approfondie. Qu’en pensez-vous ?