Un paysage du contenu en pleine évolution
De nombreux éditeurs, créateurs et propriétaires de sites web se retrouvent face à un choix binaire : laisser l’intelligence artificielle (IA) accéder librement à tout leur contenu ou bien cloisonner leur contenu dans un environnement fermé. Mais si une troisième voie existait ?
Chez Cloudflare, nous sommes partis d’un principe simple : offrir aux créateurs la maîtrise totale de l’accès à leur travail. Que ce soit pour bloquer tous les robots d’IA ou pour les autoriser à accès libre, c’est à eux de décider.
Après des centaines d’échanges avec des acteurs de la presse, des plateformes sociales et des éditeurs, un besoin commun est ressorti : permettre l’accès des IA, tout en étant rémunéré. Actuellement, cela nécessite des accords complexes avec des interlocuteurs bien identifiés, difficilement réalisables sans poids économique.
Et si je pouvais facturer un robot d’indexation ?
Inutile de choisir seulement entre “tout ouvrir” ou “tout bloquer”. Une troisième option : facturer l’accès. Plutôt que de subir un accès gratuit ou un blocage total, il est temps de monétiser le contenu à l’échelle d’internet.
C’est ainsi que Cloudflare redonne vie à un code HTTP presque oublié : le 402 « Paiement Requis ».
Le paiement à la demande d’exploration
“Pay per crawl” est le premier expérimentation privée dans ce domaine. Cette solution s’appuie sur l’infrastructure web existante, en utilisant les codes HTTP et les mécanismes d’authentification pour créer un cadre de paiement à l’accès.
À chaque fois qu’un robot d’IA demande un contenu, il doit soit justifier d’une intention de paiement via un en-tête spécifique (code 200), soit recevoir un 402 Payment Required avec un tarif. Cloudflare joue alors le rôle d’intermédiaire et gère la partie technique.
Contrôle des éditeurs et tarification
Les propriétaires de domaines conservent la main sur leur stratégie tarifaire, avec trois options possibles pour chaque robot :
- Autoriser : accès gratuit au contenu.
- Facturer : paiement obligatoire au tarif fixé.
- Bloquer : refus total d’accès, sans possibilité de payer.
Même si un robot n’a pas de compte Cloudflare pour être facturé, l’éditeur peut choisir de le “facturer” symboliquement, ce qui revient à un blocage technique mais en laissant la porte ouverte pour un futur accord.
Les éditeurs peuvent aussi exempter certains robots, notamment pour maintenir des partenariats spécifiques en dehors de cette plate-forme.
Cloudflare applique ces règles via un moteur dédié, qui s’ajoute aux protections déjà en place, comme les pare-feu applicatifs ou la gestion des bots.
En-têtes de paiement et mécanismes d’accès
Pour garantir que seuls les robots authentiques paient, Cloudflare utilise un système d’authentification basé sur des signatures cryptographiques. Voici comment un robot doit procéder :
- Générer une paire de clés cryptographiques (Ed25519) et rendre sa clé publique disponible.
- Enregistrer son répertoire de clés et ses informations auprès de Cloudflare.
- Signer chaque requête HTTP avec une signature numérique conforme.
Une fois inscrit, le robot envoie des en-têtes spécifiques pour prouver son identité :
GET /exemple.html
Signature-Agent: "
Signature-Input: sig2=("@authority" "signature-agent")
;created=1735689600
;keyid="clé-publique"
;alg="ed25519"
;expires=1735693200
;nonce="valeur"
;tag="web-bot-auth"
Signature: sig2=:signature-numérique:Selon la réponse du serveur, deux scénarios sont possibles :
Réactif (découverte préalable)
Le robot demande un contenu payant et reçoit un 402 avec un prix :
HTTP 402 Payment Required crawler-price: USD XX.XX
Le robot peut alors renvoyer une nouvelle requête en acceptant le prix :
GET /exemple.html crawler-exact-price: USD XX.XX
Proactif (intention en amont)
Le robot envoie d’emblée un plafond de paiement accepté :
GET /exemple.html crawler-max-price: USD XX.XX
Si le prix du contenu est inférieur ou égal à ce montant, un 200 OK est renvoyé avec confirmation du paiement :
HTTP 200 OK crawler-charged: USD XX.XX server: cloudflare
Si ce montant est insuffisant, un 402 est renvoyé avec le prix à payer. Chaque requête ne doit comporter qu’un seul type d’en-tête de prix, exact ou plafond.
Cloudflare enregistre ensuite les événements de facturation et s’assure du paiement avant la distribution aux éditeurs.
Du contenu pour les robots aujourd’hui, des agents demain
Cette initiative marque un tournant dans la gestion des contenus en ligne. En donnant aux créateurs un moyen programmatique et robuste de valoriser leurs œuvres, elle encourage la diversité et la richesse des contenus sur Internet.
Ce dispositif est encore au début de son exploration et il est possible d’imaginer bien d’autres usages : tarifs variables selon les contenus, licences granulaires pour différentes utilisations (entraînement, recherche, inférence)…
Dans un futur proche, on pourrait voir des agents intelligents négocier automatiquement des accès payants selon un budget donné, par exemple pour synthétiser des articles scientifiques, gérer des dossiers juridiques ou même trouver la meilleure table du quartier, tout cela sans intervention humaine directe.
Points à retenir
- Le choix pour les créateurs de contenu n’est plus simplement « tout bloquer » ou « tout ouvrir » aux IA, désormais ils peuvent exiger un paiement.
- Cloudflare introduit la notion « pay per crawl », un mécanisme de paiement à la requête qui s’appuie sur un code HTTP rarement utilisé, le 402.
- Les éditeurs gardent la main sur la politique d’accès : ils peuvent autoriser, facturer ou bloquer chaque robot.
- Un système d’authentification avancé garantit que seuls les robots légitimes paient, évitant ainsi les usurpations d’identité.
- Le modèle actuel reste assez simple (prix unique par domaine), mais beaucoup d’évolutions sont envisageables vers du pricing dynamique et des licences précises.
- On peut imaginer qu’à l’avenir, des agents dotés d’intelligence négocient automatiquement et instantanément les droits d’accès aux contenus dont ils ont besoin.
Alors, est-ce le début d’une ère où Internet deviendra un gigantesque marché réglé au prix fort pour chaque contenu consulté par l’IA ? Ou bien assisterons-nous au retour indispensable du modèle payant, quitte à compliquer un peu l’accès à l’information ? En tout cas, je me demande si ces fameux robots auront bientôt une carte bancaire à leur nom… et si bientôt, on devra négocier avec eux pour savoir ce qu’on peut leur faire lire. Suspense.