De robots-metatag en de X-Robots-tag worden gebruikt om crawlers te instrueren hoe ze de pagina's van een website moeten indexeren. De eerste wordt aangegeven in de HTML-code van een webpagina en de laatste wordt opgenomen in de HTTP-header van een URL.

Het indexeringsproces bestaat uit verschillende stappen: 

1. De inhoud laden 
2. Analyse door robots van zoekmachines
3. Opname in de database 

De informatie die de index heeft gehaald, is wat in de SERP's wordt weergegeven. U kunt robots-metatags en de X-Robots-tags gebruiken om controle te hebben over welke inhoud in de SERP terechtkomt en hoe. 

Laten we nu tot de kern komen.

Wat is het verschil tussen de X-Robots-tag en de metarobots-tag?

Het is cruciaal om te bepalen hoe zoekmachines omgaan met webpagina's. Hiermee kunnen website-eigenaren beïnvloeden hoe hun inhoud wordt ontdekt, geïndexeerd en gepresenteerd in SERP's. Twee veelgebruikte besturingsmethoden zijn het implementeren van de X-Robots-tag en de metarobots-tag. Beide opties hebben hetzelfde doel, maar verschillen qua implementatie en functionaliteit. 

Laten we de kenmerken van elk onderzoeken en ze naast elkaar vergelijken.

Laten we de volgende voor- en nadelen van het gebruik van elke methode benadrukken: 

Robots-metatag-professionals: 

• Biedt een eenvoudige en gedetailleerde benadering op paginaniveau voor het beheer van indexeringsinstructies. 
• Kan eenvoudig worden toegevoegd aan individuele HTML-pagina's.
• Breder ondersteund door verschillende zoekmachines, zelfs lokale en minder populaire.

Robots metatag nadelen:

• Beperkt tot alleen HTML-pagina's, met uitzondering van andere bronnen.
• Ingewikkeld bulkbewerkingsproces. Mogelijk moet u ze handmatig op elke afzonderlijke HTML-pagina opnemen.

Voordelen van X-Robots-Tag:

• Kan worden toegepast op verschillende bronnen waarnaar wordt verwezen door het HTTP-antwoord.
• Geschikt voor scenario's waarin HTML-metatags niet van toepassing zijn, zoals het aanbieden van niet-HTML-bronnen.
• Maakt beheer van indexeringsinstructies mogelijk voor meerdere pagina's of volledige websitesecties. 

X-Robots-Tag nadelen:

• Vereist toegang op serverniveau en kennis van serverconfiguratie, wat een uitdaging kan zijn voor website-eigenaren die geen directe controle hebben over serverinstellingen of niet weten hoe ze deze moeten configureren.
• Wordt mogelijk niet door alle zoekmachines en webcrawlers ondersteund.

Welke methode u ook kiest, het is van cruciaal belang om zowel de metatags van robots als de X-Robots-tag correct te configureren om onbedoelde gevolgen te voorkomen. Verkeerde configuraties kunnen leiden tot tegenstrijdige richtlijnen en kunnen ervoor zorgen dat zoekmachines uw hele site of specifieke pagina's niet kunnen indexeren.

Wat is het verschil tussen het robots.txt-bestand en de metarobots-tag?

Robots.txt- en meta-robottags worden vaak met elkaar verward omdat ze op elkaar lijken, maar eigenlijk verschillende doelen dienen. 

De robots.txt-bestand is een tekstbestand dat zich in de hoofdmap van een website bevindt. Het fungeert als een reeks instructies voor webrobots en informeert hen over welke delen van de website ze mogen bezoeken en mogen doorzoeken.

Meta-robots-tags en X-Robots-Tag geven webcrawlers indexeringsinstructies over welke pagina's ze moeten indexeren en hoe. Ze kunnen ook bepalen welke delen van de pagina of website moeten worden geïndexeerd en hoe niet-HTML-bestanden moeten worden verwerkt.

Door deze methoden strategisch toe te passen, kunt u de toegankelijkheid van websites controleren en het gedrag van zoekmachines beïnvloeden.

Waarom je de meta-robots-tag en X-Robots-Tag zou moeten gebruiken

Laten we eens kijken hoe de robots-metatag en de X-Robots-Tag helpen bij zoekmachineoptimalisatie en wanneer u ze moet gebruiken.

1. Meer flexibele controle over pagina-indexering

Robots-metatags en de X-Robots-Tag geven u meer flexibiliteit bij het beheren van pagina-indexering. Met deze richtlijnen kunt u de indexering niet alleen voor volledige HTML-pagina's beheren, maar ook voor specifieke secties erin, evenals voor niet-HTML-bestanden zoals afbeeldingen of pdf's. U bent ook vrij om het applicatieniveau te kiezen, of dit nu op paginaniveau is met robots-metatags of op siteniveau met X-Robots-Tags.

2. Het link-sap houden

Koppelingen van crawlers blokkeren met behulp van de nofollow richtlijn kan helpen bij het onderhouden van de linkjuice van de pagina. Dit voorkomt dat het via externe of interne links naar andere bronnen gaat.

3. Optimaliseren van het kruipbudget

Hoe groter een site is, hoe belangrijker het is om crawlers naar de meest waardevolle pagina's te leiden. Als zoekmachines een website van binnen en van buiten crawlen, stopt het crawlbudget voordat bots de inhoud bereiken die nuttig is voor gebruikers en voor SEO. Dit voorkomt belangrijke pagina's geïndexeerd worden, of in ieder geval door op tijd geïndexeerd te worden.

4. Beheer van fragmenten

Naast het beheren van pagina-indexering, bieden meta-robottags de mogelijkheid om fragmenten te beheren die op de SERP worden weergegeven. U krijgt een reeks opties voor het verfijnen van de voorbeeldinhoud die voor uw pagina's wordt weergegeven, waardoor de algehele zichtbaarheid van uw website en aantrekkelijkheid in de zoekresultaten worden verbeterd. 

Hier zijn een paar voorbeelden van tags die fragmenten beheren:

• geen fragment instrueert zoekmachines om geen metabeschrijvingen voor de pagina weer te geven.
• max-fragment:[nummer] geeft aan hoe lang een fragment in tekens moet zijn.
• max-video-preview:[nummer] beschrijft hoe lang een videovoorbeeld in seconden moet zijn.
• max-image-preview:[instelling] definieert de grootte van het voorbeeld van de afbeelding (geen/standaard/groot).

U kunt verschillende richtlijnen combineren tot één, bijvoorbeeld:

Wanneer meta-robotrichtlijnen gebruiken

Het eerste (en meest voorkomende) geval van het gebruik van meta-robotrichtlijnen is het blokkeren van indexering van pagina's. Niet alle pagina's kunnen organische bezoekers aantrekken. Sommige kunnen zelfs de zoekzichtbaarheid van de site schaden als ze worden geïndexeerd. 

Onder alle webpagina's, mogen de volgende niet worden geïndexeerd:

• Dubbele pagina's
• Sorteeropties en filters
• Zoek- en pagineringspagina's
• Technische pagina's
• Servicemeldingen (over een aanmeldingsproces, voltooide bestelling, enz.)
• Bestemmingspagina's ontworpen om ideeën te testen
• Pagina's in ontwikkeling 
• Informatie die niet up-to-date is (toekomstige deals, aankondigingen, etc.)
• Verouderde pagina's die geen traffic opleveren
• Pagina's die u moet blokkeren voor bepaalde zoekcrawlers

U kunt ook verschillende robots-richtlijnen gebruiken wanneer u wilt besturen: 

• Gevolgde links
• Indexering van niet-HTML-inhoud 
• Indexering van een bepaald pagina-element
• Enz.

Richtlijnen voor metarobots en compatibiliteit met zoekmachines

De robots-metatags en X-Robots-Tag gebruiken dezelfde richtlijnen om zoekbots te instrueren. Laten we ze in detail bekijken.

Alle bovengenoemde richtlijnen kunnen worden gebruikt met zowel de robots-metatag als de X-Robots-Tag om Google-bots te helpen uw instructies te begrijpen.

Houd er rekening mee dat zoekmachines standaard automatisch de zichtbare inhoud van een site indexeren, dus het is niet nodig om dit aan te geven index en volgen richtlijnen daarvoor.

Tegenstrijdige richtlijnen

Indien gecombineerd, zal Google de beperkende instructie verkiezen boven de permissieve instructie. Bijvoorbeeld de meta name=”robots” content=”noindex, index”/> richtlijn betekent dat de robot zal kiezen geenindex, en dat de paginatekst niet wordt geïndexeerd.

De zoekmachine houdt rekening met het cumulatieve effect van de negatieve regels die erop van toepassing zijn als er meerdere crawlers zijn gespecificeerd samen met verschillende regels. Bijvoorbeeld:

Deze richtlijn houdt in dat de pagina's niet worden geïndexeerd en dat de links niet worden gevolgd wanneer ze door Googlebot worden gecrawld.

Gecombineerde regels voor indexering en weergave

U kunt zoveel metatags afzonderlijk gebruiken als u nodig heeft, of ze combineren in één tag die wordt gescheiden door komma's. Bijvoorbeeld:

• betekent dat de robot zal kiezen noindex en de paginatekst wordt niet geïndexeerd, maar volgt en crawlt de links.
• betekent dat alle instructies in overweging worden genomen. De tekst en links worden geïndexeerd, terwijl links die naar de kopie van een pagina leiden dat niet zijn.
• betekent dat het tekstfragment niet meer dan 20 tekens bevat en dat er een groot afbeeldingsvoorbeeld wordt gebruikt.

Als u richtlijnen moet instellen voor specifieke crawlers, is het maken van afzonderlijke tags een must. Maar de instructies binnen één tabblad kunnen nog steeds worden gecombineerd. Bijvoorbeeld:

De robots-metatag: syntaxis en gebruik

Zoals we eerder hebben gezegd, wordt de robots-metatag ingevoegd in de HTML-code van de pagina en bevat deze informatie voor zoekbots. Het is geplaatst in de gedeelte van het HTML-document en heeft twee verplichte attributen: naam en content. Vereenvoudigd ziet het er zo uit:

Het naamkenmerk 

In metanaam=”robots”, specificeert het naamkenmerk de naam van de bot waarvoor de instructies zijn ontworpen. Het werkt op dezelfde manier als de Gebruikersagent richtlijn in robots.txt, die de crawler van de zoekmachine identificeert.

De waarde "robots" wordt gebruikt om alle zoekmachines aan te spreken. Maar als u de instructies speciaal voor Google moet instellen, moet u schrijven metanaam=”googlebot”. Een andere Google-crawlers omvatten:

• googlebot-nieuws
• googlebot-afbeelding
• googlebot-video

Bing-crawlers omvatten:

• binbot
• adIdxbot
• bingvoorbeeld
• microsoftvoorbeeld.

Enkele andere zoekcrawlers zijn:

• Slurpen voor Yahoo!
• DuckDuckBot voor DuckDuckGo 
• Baiduspider voor Baidu

Het inhoudskenmerk

Dit attribuut bevat instructies voor het indexeren van zowel de inhoud van de pagina als de weergave ervan in de zoekresultaten. De richtlijnen die in de bovenstaande tabel worden uitgelegd, worden gebruikt in de content attribuut.

Merk op dat:

• Beide kenmerken zijn niet hoofdlettergevoelig.
• Als attribuutwaarden niet zijn opgenomen of niet correct zijn geschreven, negeert de zoekbot de blokkeerinstructie.

De robots-metatag gebruiken

• Methode 1: in een HTML-editor

Het beheren van pagina's is vergelijkbaar met het bewerken van tekstbestanden. U moet het HTML-document openen in een editor, robots toevoegen aan het gedeelte en sla op.

Pagina's worden opgeslagen in de hoofdcatalogus van de site, die toegankelijk is via uw persoonlijke account bij een hostingprovider of via FTP (File Transfer Protocol). Sla het brondocument op voordat u er wijzigingen in aanbrengt.

• Methode 2: een CMS gebruiken

CMS'en maken het gemakkelijker om een ​​pagina te blokkeren voor indexering. Veel plug-ins hebben deze functionaliteit, waaronder Yoast SEO voor WordPress, waarmee u indexering kunt blokkeren of het crawlen van links kunt voorkomen bij het bewerken van een pagina.

X-Robots-Tag: syntaxis en gebruik

De X-Robots-tag maakt deel uit van het HTTP-antwoord voor een bepaalde URL en wordt meestal toegevoegd aan het configuratiebestand. Het werkt op dezelfde manier als de robots-metatag en beïnvloedt hoe pagina's worden geïndexeerd. Maar er zijn enkele gevallen waarin het gebruik van de X-Robots-tag specifiek voor indexeringsinstructies wordt aanbevolen. 

Hier is een eenvoudig voorbeeld van de X-Robots-Tag:

X-Robots-Tag: noindex, nofollow

Wanneer u regels moet instellen voor een pagina- of bestandstype, ziet de X-Robots-Tag er als volgt uit:

Headerset X-Robots-Tag "noindex, nofollow"

De richtlijn zoekt naar bestanden op de website met behulp van reguliere expressies. Als je gebruikt Nginx in plaats van apache, wordt deze richtlijn vervangen door plaats:

locatie = bestandsnaam { add_header X-Robots-tag "noindex, nofollow"; }

Als de botnaam niet is opgegeven, worden er automatisch richtlijnen gebruikt voor alle crawlers. Als een afzonderlijke robot wordt geïdentificeerd, ziet de tag er als volgt uit:

Headerset X-Robots-Tag "googlebot: noindex, nofollow"

Wanneer u X-Robots-Tag moet gebruiken

• Deindexeren van niet-HTML-bestanden

Aangezien niet alle pagina's het HTML-formaat hebben en sectie, kan bepaalde inhoud niet worden geblokkeerd voor indexering met behulp van de robots-metatag. Dit is wanneer x-robots van pas komen. 

Wanneer u bijvoorbeeld .pdf-documenten moet blokkeren:

 Headerset X-Robots-Tag "noindex"

• Opslaan van het crawlbudget

De robots-metatag biedt crawlinstructies nadat de pagina is geladen, terwijl de x-robots-tag indexeringsinstructies geeft voordat de zoekbot de pagina bereikt. Door x-robots te gebruiken, zijn zoekmachines minder tijd kwijt aan het crawlen van de pagina's. Dit optimaliseert het crawlbudget, zodat zoekmachines meer tijd kunnen besteden aan het crawlen van belangrijke inhoud, waardoor de X-Robots-tag vooral gunstig is voor grootschalige websites.

• Instellen van crawlrichtlijnen voor de hele website

Door de X-Robots-tag in HTTP-antwoorden te gebruiken, kunt u richtlijnen opstellen die van toepassing zijn op de hele website, in plaats van op afzonderlijke pagina's.

• Lokale zoekmachines aanspreken

Hoewel de grootste zoekmachines de meeste beperkende richtlijnen begrijpen, weten kleine lokale zoekmachines mogelijk niet hoe ze indexeringsinstructies in de HTTP-header moeten lezen. Als uw website zich op een specifieke regio richt, is het belangrijk om vertrouwd te raken met lokale zoekmachines en hun kenmerken.

De primaire functie van de robots-metatag is om pagina's te verbergen voor de SERP's. Aan de andere kant zorgt de X-Robots-Tag ervoor dat er bredere instructies kunnen worden ingesteld voor de hele website, zodat zoekbots worden geïnformeerd voordat ze webpagina's crawlen en het crawlbudget wordt bespaard.

Hoe X-Robots-Tag toe te passen

Gebruik de configuratiebestanden in de hoofdmap van de website om de X-Robots-Tag-header toe te voegen. De instellingen verschillen afhankelijk van de webserver.

apache

Het wordt ook aanbevolen om de volgende serverdocumenten te bewerken: .htaccess en httpd.conf. Als u wilt voorkomen dat alle .png- en .gif-bestanden worden geïndexeerd op de Apache-webserver, voegt u het volgende toe:

 Headerset X-Robots-Tag "noindex"

Nginx

Het bewerken van het configuratiebestand conf is ook noodzakelijk. Voeg het volgende toe om te voorkomen dat alle .png- en .gif-bestanden worden geïndexeerd in de Nginx-webserver:

locatie ~* .(png|gif)$ { add_header X-Robots-Tag "noindex"; }

Belangrijk: Voordat u het configuratiebestand bewerkt, slaat u het bronbestand op om prestatieproblemen van de website te voorkomen in het geval er fouten optreden.

Voorbeelden van de robots-metatag en de X-Robots-Tag

noindex

Alle crawlers vertellen om geen tekst op een pagina te indexeren en de links niet te volgen:

X-Robots-Tag: noindex, nofollow

nofollow

Google vertellen de links op een pagina niet te volgen:

X-Robots-Tag: googlebot: nofollow

noarchief

Zoekmachines vertellen een pagina niet in de cache te plaatsen:

X-Robots-Tag: geen archief

Als u niet wilt dat Bing pagina's cachet, gebruikt u de nocache-richtlijn:

X-Robots-Tag: nocache

geen

Google vertellen de links in een HTML-document niet te indexeren en te volgen:

X-Robots-Tag: googlebot: geen

geen fragment

Zoekmachines vertellen om geen fragmenten voor een pagina weer te geven:

X-Robots-Tag: nosnippet

max-fragment

Het fragment beperken tot maximaal 35 symbolen:

X-Robots-Tag: max-fragment:35

max-afbeelding-preview

Zoekmachines vertellen om grote afbeeldingsversies in de zoekresultaten te tonen:

X-Robots-Tag: max-image-preview:groot

max-video-voorbeeld

Zoekmachines vertellen om video's weer te geven zonder lengtebeperkingen: 

X-Robots-Tag: max-video-preview:-1

niet vertalen

Zoekmachines vertellen een pagina niet te vertalen:

X-Robots-tag: notranslate

geen afbeeldingindex

Crawlers vertellen om de afbeeldingen op een pagina niet te indexeren:

X-Robots-Tag: noimageindex

niet beschikbaar_na

Crawlers vertellen om een ​​pagina niet te indexeren na een bepaalde datum (bijvoorbeeld 1 januari 2021):

X-Robots-Tag: niet beschikbaar_na: 2021-01-01

Robotrichtlijnen controleren in Google Search Console

U kunt de details van de pagina-indexering controleren met behulp van de URL-inspectietool van Google Search Console. Deze tool laat zien of een pagina is geblokkeerd voor indexering en geeft details over de specifieke redenen.

Om toegang te krijgen tot de URL-inspectietool, navigeert u naar de linkerzijbalk en klikt u op 'URL-inspectie'. Typ de URL die u wilt controleren in de zoekbalk. Onder het gedeelte 'Crawl' in de pagina-indexeringsdetails ziet u of de pagina al dan niet is geïndexeerd en waarom. In het geleverde screenshot is de pagina niet geïndexeerd vanwege de aanwezigheid van een noindex-richtlijn in de robots-metatags.

Als een pagina wordt geblokkeerd door de X-Robots-Tag, wordt dit aangegeven in het rapport, zoals in de onderstaande schermafbeelding.

Als u het volledige HTTP-antwoord wilt zien dat Googlebot van de aangevinkte pagina heeft ontvangen, heeft u twee opties:

• Om real-time data te krijgen, klik op Live-URL testen onder hetzelfde URL-inspectie. Zodra de test is voltooid, klikt u op de Gecrawlde pagina bekijken. U ziet de informatie over het HTTP-antwoord in de Meer info pagina.
• Om de laatste crawlgegevens te zien, klikt u op de HTTPS -> Verkennen -> HTTP-antwoord bekijken direct in de URL-inspectie.

Als uit een paginacontrole blijkt dat de robots-metatag niet werkt, controleer dan of de URL niet is geblokkeerd in het robots.txt-bestand. U kunt het controleren in de adresbalk of gebruiken De robots.txt-tester van Google.

Met SE Ranking kunt u ook controleren welke webpagina's in de index staan. Ga hiervoor naar de Indexstatuscontrole tools.

Het kost tijd voor zoekmachines om een ​​pagina te indexeren of deindexeren. Gebruik webmasterservices of browserplug-ins die metatags controleren (bijvoorbeeld SEO META in 1 CLICK voor Chrome) om ervoor te zorgen dat uw pagina niet wordt geïndexeerd.

Veelvoorkomende fouten bij het gebruik van robots en X-Robots-tags

Het gebruik van de robots en X-Robots-Tag kan lastig zijn, daarom is het gebruikelijk dat websites last hebben van gerelateerde fouten. Het uitvoeren van een technische SEO-audit kan helpen bij het identificeren en oplossen van deze problemen. Om je een beter idee te geven van wat je wanneer kunt verwachten het analyseren van uw website, hebben we een lijst samengesteld met de meest voorkomende problemen.

Conflict met robots.txt

Officiële X-Robots-Tag en robots-richtlijnen stellen dat een zoekbot nog steeds in staat moet zijn om de inhoud te crawlen die bedoeld is om verborgen te blijven voor de index. als jij weigeren een bepaalde pagina in het robots.txt-bestand, zijn de robots-richtlijnen ontoegankelijk voor de crawlers. 

Als een pagina de noindex attribuut maar is afgekeurd in het robots.txt-bestand kan het worden geïndexeerd en getoond in de zoekresultaten. Een voorbeeld hiervan is wanneer de crawler het vindt door een backlink van een andere bron te volgen. 

Gebruik de robots-metatag en x-robots om te beheren hoe uw pagina's worden weergegeven in zoekresultaten.

Een pagina toevoegen aan robots.txt in plaats van noindex te gebruiken

De praktijk van het gebruik van het robots.txt-bestand als alternatief voor de noindex-richtlijn komt voort uit de misvatting dat het voorkomt dat een pagina wordt geïndexeerd. Het is belangrijk op te merken dat het toevoegen van een pagina aan het robots.txt-bestand meestal resulteert in het niet toestaan ​​van crawlen, niet van indexeren. Dit betekent dat crawlers die pagina nog steeds kunnen indexeren (zoals bij de backlinks die we in de vorige sectie noemden). 

Dus als u niet wilt dat uw pagina wordt geïndexeerd, wordt het aanbevolen om dit toe te staan ​​in het robots.txt-bestand en een noindex-richtlijn te gebruiken. Aan de andere kant, als het uw doel is om te voorkomen dat zoekbots uw pagina bezoeken tijdens het crawlen van de website, sta dit dan niet toe in het robots.txt-bestand.

Robotrichtlijnen gebruiken in het robots.txt-bestand

Een andere veelgemaakte fout bij het gebruik van robots-metatags en X-Robots-Tags is het opnemen ervan in het robots.txt-bestand. Dit geldt specifiek voor de richtlijnen nofollow en noindex.

Google heeft nooit officieel bevestigd dat deze methode echt werkt. Bovendien ontdekte de zoekmachine door hun onderzoek dat het gebruik van deze richtlijnen in strijd kan zijn met andere regels, waardoor de aanwezigheid en positie van de site in de zoekresultaten mogelijk wordt geschaad. Dus sinds september 2019, Google heeft deze praktijk als ondoeltreffend beschouwd en accepteert geen robots-richtlijnen meer in het robots.txt-bestand.

Noindex niet op tijd verwijderen

Bij het werken met testpagina's is het gebruikelijk om een ​​noindex robots-richtlijn op te nemen om te voorkomen dat zoekmachines deze pagina's indexeren en weergeven in zoekresultaten. Hoewel deze benadering acceptabel is, is het van cruciaal belang om te onthouden dat u deze richtlijn moet verwijderen zodra de pagina live is. 

Als u dit niet doet, kan dit leiden tot een afname van het verkeer, aangezien zoekmachines de pagina niet in hun index opnemen. Dit wordt ook een groot probleem als je het niet op tijd merkt (bijvoorbeeld tijdens website migratie). Het probleem kan uitgroeien tot een nog groter probleem als het niet wordt aangepakt.

Backlinks bouwen naar een noindex-pagina 

Andere websites die naar een pagina linken, worden doorgaans gezien als een positief signaal door zoekmachines omdat het voor hen aangeeft dat de gelinkte pagina waardevol en relevant is. Deze backlinks dragen bij aan de algehele autoriteit en het rankingpotentieel van de pagina.

Als de gelinkte pagina echter een noindex richtlijn, zullen zoekmachines het noch opnemen in de index, noch tonen in de zoekresultaten, ongeacht hoeveel links u bouwt. In dit geval moet u beslissen of u deze pagina in de zoekresultaten wilt laten verschijnen en de noindex-richtlijn wilt verwijderen of in plaats daarvan links naar andere pagina's wilt bouwen.

Een URL uit de sitemap verwijderen voordat deze wordt gedeïndexeerd

Indien de noindex richtlijn aan een pagina wordt toegevoegd, is het een slechte gewoonte om deze pagina onmiddellijk uit het sitemapbestand te verwijderen. Dit komt omdat uw sitemap crawlers in staat stelt om snel alle pagina's te vinden, inclusief de pagina's die bedoeld zijn om uit de index te worden verwijderd. 

Een beter alternatief is om een ​​aparte sitemap.xml te maken met een lijst van alle pagina's die de noindex richtlijn. Verwijder vervolgens URL's uit het bestand terwijl ze worden gedeïndexeerd. Als u dit bestand uploadt naar Google Search Console, zullen robots het waarschijnlijk sneller crawlen.

Indexstatussen niet controleren na het aanbrengen van wijzigingen

Het kan gebeuren dat waardevolle inhoud, of zelfs de hele website, per ongeluk wordt geblokkeerd voor indexering. Om dit te voorkomen, controleert u de indexeringsstatus van uw pagina's nadat u er wijzigingen in hebt aangebracht.

Hoe zorg je ervoor dat belangrijke pagina's niet worden gedeïndexeerd? 

U kunt veranderingen in de code van uw site volgen met behulp van SE Ranking's Monitor paginawijzigingen. Met deze tool kunt u zowel HTML-code- als indexstatussen voor grote zoekmachines volgen.

Wat moet je doen als een pagina uit de zoekopdracht verdwijnt?

Wanneer een van uw belangrijke pagina's niet wordt weergegeven in de SERPS, controleer dan of er richtlijnen zijn die voorkomen dat deze wordt geïndexeerd of dat er een weigeren richtlijn in het robots.txt-bestand. Kijk ook of de URL is opgenomen in het sitemapbestand. U kunt Google Search Console ook gebruiken om zoekmachines te laten weten dat u uw pagina moet laten indexeren en hen te informeren over de bijgewerkte sitemap van uw domein. 

Samengevat

De robots-metatag en de X-Robots-tag worden beide gebruikt om te bepalen hoe pagina's worden geïndexeerd en weergegeven in zoekresultaten. Maar ze verschillen in de manier waarop ze zijn geïmplementeerd: de robots-metatag is opgenomen in de paginacode, terwijl de X-Robots-tag is gespecificeerd in het configuratiebestand. 

Hier zijn enkele andere belangrijke kenmerken van elk om te onthouden:

• Het robots.txt-bestand helpt bij het zoeken naar bots om pagina's correct te crawlen, terwijl de robots-metatag en X-Robots-Tag bepalen hoe inhoud wordt opgenomen in de index. Alle drie de componenten zijn essentieel voor technische optimalisatie.
• Zowel de robots-metatag als de X-Robots-tag worden gebruikt om pagina-indexering te blokkeren, maar de laatste geeft instructies aan robots voordat ze pagina's crawlen, waardoor het crawlbudget wordt gespaard. 
• Als robots.txt verhindert dat bots een pagina crawlen, werken de robots-metatag of x-robots-richtlijnen niet.
• Fouten bij het configureren van de robots-metatag en de X-Robots-tag kunnen leiden tot onjuiste indexeringsproblemen en prestatieproblemen van de website. Stel de richtlijnen zorgvuldig op of vertrouw de taak toe aan een ervaren webmaster.

Kelly Breland is een Digital Marketing Manager bij SE Ranking met ervaring in SEO, digitale en contentmarketing. Ze is een hardnekkig voorstander van het gebruik van contentmarketing om een ​​solide merk op te bouwen. In haar vrije tijd houdt ze zich bezig met tuinieren.

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• PlatoAiStream. Web3 gegevensintelligentie. Kennis versterkt. Toegang hier.
• De toekomst slaan met Adryenn Ashley. Toegang hier.
• Koop en verkoop aandelen in PRE-IPO-bedrijven met PREIPO®. Toegang hier.
• Bron: https://seranking.com/blog/guide-meta-tag-robots-x-robots-tag/