Cloudflare s’oppose aux robots aspirateurs de sites web par IA

Cette démarche pourrait endiguer la vague d'IA générative qui fouille légalement (et illégalement) le web à la recherche de contenu.

Protéger les sites web du scraping des bots d’IA : Lancement d’un outil gratuit par Cloudflare

Aujourd’hui, nous assistons à une escalade, avec une course effrénée à la modélisation toujours plus rapide. Cela entraîne parfois des comportements déviants, comme le contournement, voire la violation directe des règles entourant le blocage des robots. Perplexity AI a récemment été accusée de scraper des sites Web sans les permissions requises.

Une réponse efficace de la part de Cloudflare

Face à cette situation, Cloudflare, un important fournisseur de services cloud, a décidé de riposter. La société a mis au point un outil gratuit destiné à freiner les bots d’IA qui balaient le web pour alimenter leurs modélisations linguistiques géantes à partir du contenu des sites Web de ses clients.

La promesse de Cloudflare ? Proposer cet outil à l’ensemble de sa clientèle, y compris ceux qui ne souscrivent à aucun plan payant. De plus, Cloudflare a annoncé que cette « fonctionnalité sera mise à jour automatiquement au fil du temps, à mesure que nous identifions de nouvelles empreintes de bots que nous soupçonnons de balayer le Web à grande échelle pour former des modèles ».

Une décision soutenue par les clients

Cette initiative semble avoir le soutien de la majorité des clients de Cloudflare. Selon les données internes de l’entreprise, 85,2% des clients ont choisi de bloquer l’accès à leur site aux bots d’IA, même à ceux qui s’identifient correctement.

Un combat qui ne fait que commencer

Cependant, le combat est loin d’être gagné. Il s’avère en effet très difficile de bloquer de manière complète et continue les bots d’IA qui cherchent à accéder au contenu. « Nous craignons que certaines entreprises d’IA, déterminées à contourner les règles pour accéder au contenu, s’adaptent constamment pour échapper à la détection de bots », a déclaré Cloudflare dans un communiqué.

Malgré cela, l’entreprise demeure résolue à mener cette lutte. Son objectif est clair : permettre à Internet de rester un lieu où les créateurs de contenu peuvent prospérer et conserver un contrôle intégral et total sur l’utilisation de leur contenu pour la formation de modèles.