AI-agent crawlers hebben voortaan toestemming nodig

Vanaf 15 september zullen AI-agent crawlers, de bots die in real-time pagina's ophalen voor gebruikers, standaard worden geblokkeerd op een deel van het internet. Deze wijziging werd op 1 juli aangekondigd door Cloudflare, en de meeste berichtgeving sindsdien heeft zich gericht op Google. Het is echter belangrijk voor ontwikkelaars en gebruikers om te begrijpen hoe ze toestemming kunnen krijgen voor het gebruik van deze crawlers.

Cloudflare heeft deze stap genomen om de privacy en veiligheid van gebruikers te waarborgen. Dit betekent dat ontwikkelaars nu expliciet toestemming moeten aanvragen om hun AI-agent crawlers te laten functioneren. Het proces voor het verkrijgen van deze toestemming wordt in detail uitgelegd, zodat gebruikers goed geïnformeerd zijn over de nieuwe regels.

Bron: AI News