Cloudflare note que plus de la moitié du trafic des crawlers IA est constitué de re-récupérations de pages inchangées, suggérant une opportunité d'optimisation et de tarification.
Cloudflare redéfinit les règles du jeu pour les crawlers IA, exigeant désormais une permission pour accéder aux pages web. Ce changement, effectif dès le 15 septembre, pourrait transformer la manière dont les agents IA interagissent avec le contenu en ligne.
