Google heeft onlangs de documentatie van zijn Google-Extended webcrawler-user-agent bijgewerkt, waarbij wijzigingen in de productnaamgeving worden weerspiegeld en de impact op de zoekresultaten wordt verduidelijkt, wat een zorg kan zijn voor degenen die ervoor kiezen de crawler te blokkeren. De bijgewerkte documentatie biedt duidelijkere richtlijnen voor het controleren van de toegang tot inhoud voor gebruik in AI-modeltraining.
Google-Extended User Agent
Geïntroduceerd op 28 september 2023, Google-Extended biedt webuitgevers een user-agent die kan worden gebruikt om te bepalen hoe hun sites worden gecrawld. Uitgevers kunnen de Google-Extended user-agent toestaan of weigeren met behulp van het Robots Exclusion Protocol, waardoor ze zich kunnen afmelden voor het schrappen van hun inhoud en het opnemen in AI-trainingsdatasets.
Google beschrijft Google-Extended als een “op zichzelf staand producttoken”, maar dat is niet-standaardterminologie voor hoe uitgevers het concept van User Agents interpreteren.
De originele aankondiging beschreef de nieuwe user-agent:
“Vandaag kondigen we Google-Extended aan, een nieuwe controle die webuitgevers kunnen gebruiken om te beheren of hun sites de generatieve API’s van Bard en Vertex AI helpen verbeteren, inclusief toekomstige generaties modellen die deze producten aandrijven.
Door Google-Extended te gebruiken om de toegang tot inhoud op een site te controleren, kan een websitebeheerder kiezen of hij deze AI-modellen in de loop van de tijd nauwkeuriger en capabeler wil maken.”
Het blokkeren van Google-Extended gebeurt met de “Google-Extended” User Agent:
User-agent: Google-Extended Disallow: /
Google-wijzigingslog
Google houdt een changelog bij met belangrijke updates in de begeleiding en communicatie met webuitgevers en de zoekmarketinggemeenschap. De changelog van de ontwikkelaarspagina's van Google kondigde een wijziging aan in de Google-Extended-documentatie.
De herziening komt na de hernoeming van Bard naar Gemini Apps, waarbij wordt gespecificeerd dat de indexering van Google-Extended nu bijdraagt aan de generatieve API's van Gemini Apps en Vertex AI. De nieuwe formulering verzekert uitgevers ervan dat dit geen invloed heeft op Google Zoeken, waarmee potentiële zorgen over de mogelijke implicaties van het afmelden voor Google-Extended AI-gegevensverzameling worden weggenomen.
Wat veranderde?
Google changelog verduidelijkt dat Google-Extended crawlen exclusief is voor Gemini Apps en geen invloed heeft op Google Zoeken.
De Changelog adviseert:
“De beschrijving van de Google-Extended producttoken bijgewerkt
Wat: Met de naamswijziging van Bard in Gemini Apps hebben we duidelijk gemaakt dat Gemini Apps wordt beïnvloed door Google-Extended, en op basis van feedback van uitgevers hebben we gespecificeerd dat Google-Extended geen invloed heeft op Google Zoeken.”
De bijgewerkte richtlijnen gebruiken niet langer de merknaam Bard en schakelen deze over naar Gemini. En de volgende zin werd toegevoegd:
“Google-Extended heeft geen invloed op de opname of ranking van een site in Google Zoeken.”
Lees het bijgewerkte crawleroverzicht van Google:
Overzicht van Google-crawlers en fetchers (user-agents)
Uitgelichte afbeelding door Shutterstock/Ribkhan
- Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
- PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
- PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
- PlatoESG. carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
- Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
- Bron: https://www.searchenginejournal.com/google-clarifies-the-google-extended-crawler-documentation/507645/
