Google hat kürzlich die Dokumentation seines Google-Extended-Webcrawler-Benutzeragenten aktualisiert, um Änderungen in der Produktbenennung widerzuspiegeln und die Auswirkungen auf die Suche klarzustellen, die für diejenigen, die sich für die Blockierung des Crawlers entscheiden, ein Problem darstellen können. Die aktualisierte Dokumentation bietet klarere Anleitungen zur Steuerung des Inhaltszugriffs zur Verwendung im KI-Modelltraining.

Von Google erweiterter Benutzeragent

Eingeführt am 28. September 2023, Google-Extended bietet Web-Publishern einen Benutzeragenten, mit dem sie steuern können, wie ihre Websites gecrawlt werden. Herausgeber können den Google-Extended User Agent mithilfe des Robots Exclusion Protocol zulassen oder verbieten und so die Möglichkeit haben, das Scraping ihrer Inhalte und die Aufnahme in KI-Trainingsdatensätze abzulehnen.

Google beschreibt Google-Extended als „eigenständiges Produkt-Token“, aber das ist keine Standardterminologie dafür, wie Publisher das Konzept von User Agents verstehen.

Das ursprüngliche Ankündigung beschrieb den neuen Benutzeragenten:

„Heute kündigen wir Google-Extended an, eine neue Kontrolle, mit der Web-Publisher verwalten können, ob ihre Websites zur Verbesserung der generativen APIs von Bard und Vertex AI beitragen, einschließlich zukünftiger Generationen von Modellen, die diese Produkte unterstützen.

Durch die Verwendung von Google-Extended zur Steuerung des Zugriffs auf Inhalte auf einer Website kann ein Website-Administrator entscheiden, ob er dazu beitragen möchte, dass diese KI-Modelle mit der Zeit genauer und leistungsfähiger werden.“

Das Blockieren von Google-Extended erfolgt mit dem User Agent „Google-Extended“:

User-Agent: Google-Extended Disallow: /

Google Changelog

Google führt ein Änderungsprotokoll über wichtige Aktualisierungen der Anleitung und Kommunikation mit Web-Publishern und der Suchmaschinenmarketing-Community. Im Changelog der Google-Entwicklerseiten wurde eine Änderung der Google-Extended-Dokumentation angekündigt.

Die Überarbeitung erfolgt nach der Umbenennung von Bard in Gemini Apps und legt fest, dass die Indexierung von Google-Extended nun zu den generativen APIs von Gemini Apps und Vertex AI beiträgt. Der neue Wortlaut versichert den Verlagen, dass dies keine Auswirkungen auf die Google-Suche hat, und berücksichtigt potenzielle Bedenken hinsichtlich der möglichen Auswirkungen einer Ablehnung der erweiterten KI-Datenerfassung durch Google.

Was hat sich geändert?

Google Changelog stellt klar, dass Google-Extended Crawling ausschließlich Gemini Apps vorbehalten ist und keine Auswirkungen auf die Google-Suche hat.

Das Changelog empfiehlt:

„Die Beschreibung des Google-Extended-Produkt-Tokens wurde aktualisiert
Was: Mit der Namensänderung von Bard in Gemini Apps haben wir klargestellt, dass Gemini Apps von Google-Extended betroffen ist, und basierend auf dem Feedback des Herausgebers haben wir angegeben, dass Google-Extended keine Auswirkungen auf die Google-Suche hat.“

In der aktualisierten Anleitung wird der Markenname Bard nicht mehr verwendet, sondern auf Gemini umgestellt. Und folgender Satz wurde hinzugefügt:

„Google-Extended hat keinen Einfluss auf die Aufnahme oder das Ranking einer Website in der Google-Suche.“

Lesen Sie die aktualisierte Crawler-Übersicht von Google:

Übersicht über Google Crawler und Fetcher (User Agents)

Ausgewähltes Bild von Shutterstock/Ribkhan

• SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
• PlatoData.Network Vertikale generative KI. Motiviere dich selbst. Hier zugreifen.
• PlatoAiStream. Web3-Intelligenz. Wissen verstärkt. Hier zugreifen.
• PlatoESG. Kohlenstoff, CleanTech, Energie, Umwelt, Solar, Abfallwirtschaft. Hier zugreifen.
• PlatoHealth. Informationen zu Biotechnologie und klinischen Studien. Hier zugreifen.
• Quelle: https://www.searchenginejournal.com/google-clarifies-the-google-extended-crawler-documentation/507645/