Zephyrnet-logo

De SEO-gids voor het vinden van alle webpagina's van een website

Datum:

Bedankt voor je aanmelding!

In de SEO-wereld regeert data oppermachtig. Toegang ertoe is cruciaal voor het nemen van weloverwogen beslissingen en het opstellen van een succesvolle strategie voor uw project. Om dit spel te winnen, moet u zich op twee dingen concentreren: up-to-date blijven met de markt en een grondige kennis van uw site hebben.

In dit artikel concentreren we ons op het leren kennen van uw site, aangezien de grootste kansen en mogelijke valkuilen soms op de meest onverwachte plaatsen op de loer liggen. Zonder een volledige lijst van de pagina's op uw website loopt u het risico waardevolle kansen voor verbetering mis te lopen, wat ook betekent dat u een voorsprong op uw concurrenten verliest. 

Laten we eens kijken naar enkele mogelijke redenen waarom u mogelijk alle pagina's van een website moet vinden, welke tools u hierbij kunnen helpen, en precies hoe.

Waarom moet ik elke afzonderlijke pagina vinden?

Zoekmachines introduceren voortdurend nieuwe algoritmen en passen handmatige straffen toe op pagina's en sites. Dus als je geen grondige kennis hebt van alle pagina's van je website, loop je op je tenen door een SEO-mijnenveld.

SEO mijnenveld

Om een ​​serieuze tegenslag te voorkomen, moet u alle pagina's van uw website goed in de gaten houden. Als u dit doet, kunt u niet alleen pagina's ontdekken waarvan u al op de hoogte was, maar kunt u ook vergeten pagina's vinden, pagina's waarvan u niet wist dat ze bestonden en die u anders niet zou kunnen bekijken.

Er zijn verschillende mogelijke scenario's waarin u moet weten hoe u alle webpagina's van een site kunt vinden, zoals:

  • Veranderende website-architectuur
  • Verhuizing naar een nieuw domein of de URL-structuur wijzigen
  • Verweesde pagina's vinden
  • Dubbele pagina's vinden
  • 404 pagina's vinden
  • Omleidingen maken
  • Een website maken hreflang-bestand
  • Controleren op canonieke en noindex-tags
  • Interne koppeling opzetten
  • Een XML-sitemap of robots.txt-bestand maken

Alle pagina's van een website vinden

Als het nu gaat om het vinden van alle webpagina's die bij een enkele website horen, zijn de volgende opties beschikbaar:

  • Gebruik de website-audit van SE Ranking om alle doorzoekbare webpagina's te vinden.
  • Gebruik Google Search Console om pagina's te ontdekken die alleen zichtbaar zijn voor Google. 
  • Gebruik Google Analytics om alle pagina's te detecteren die ooit zijn bezocht.
  • Gebruik Bing Webmaster-tools om pagina's op te vangen die alleen zichtbaar zijn voor Bing. 
  • Download de lijst met webpagina's met behulp van opdrachtregelopdrachten.
  • Extraheer website-URL's uit Sitemap.xml.
  • Bekijk alle pagina's van een website via WordPress en andere plugins.

Laten we eens kijken hoe we deze tools kunnen gebruiken om een ​​website op alle pagina's te scannen.

Doorzoekbare pagina's vinden via de website-audit van SE Ranking

Laten we beginnen met het verzamelen van alle URL's die zowel mensen als crawlers van zoekmachines kunnen bezoeken door de interne links van uw site te volgen. Het analyseren van dergelijke pagina's zou uw topprioriteit moeten zijn, aangezien ze de meeste aandacht krijgen.

Om dit te doen, hebben we eerst toegang nodig tot SE Ranking, een website toevoegen of selecteer een bestaande en open het tabblad Overzicht in de Website-auditrapport.

Toegang tot website-audit in SE-ranking

NoteDe Gratis proefperiode van 14-dag geeft u toegang tot alle beschikbare tools en functies van SE Ranking, inclusief Website Audit.

Laten we vervolgens de instellingen configureren om er zeker van te zijn dat we de crawler vertellen om door de juiste pagina's te gaan. Om toegang te krijgen tot Website Audit-instellingen, klikt u op de Kookgerei pictogram in de rechterbovenhoek:

Toegang tot Website Audit-instellingen

Onder instellingen, ga naar de Bron van pagina's voor website-audit tabblad en schakel het systeem in om te scannen Site pagina's, subdomeinen, XML sitemap om te verifiëren dat we alleen scannen wat duidelijk gespecificeerd is, en de subdomeinen van de site samen met al hun pagina's opnemen:

Toegang tot de bron van pagina's voor website-audit

Ga dan naar Regels voor het scannen van pagina'sen schakel de in Houd rekening met de robots.txt-richtlijnen optie om het systeem te vertellen de instructies in het robots.txt-bestand te volgen. Klik 'Wijzigingen toepassen' wanneer je klaar bent:

Toegangsregels voor het scannen van pagina's

Ga nu terug naar Overzicht tab en start de audit met de nieuwe instellingen toegepast door op 'Audit opnieuw starten':

Website-audit opnieuw starten

Zodra de audit is voltooid, gaat u naar Gecrawlde pagina's om de volledige lijst van alle doorzoekbare pagina's te bekijken:

Lijst met gecrawlde pagina's in websitecontrole

Samen met een lijst met alle gevonden URL's, ziet u alle essentiële SEO-statistieken van de site, waaronder:

  • Verwijzende pagina's: het aantal pagina's op uw website dat linkt naar de specifieke URL. 
  • Aantal fouten op elke pagina.
  • Aantal tekens in de URL van de pagina.
  • Type en versie van het URL-protocol.
  • Of de pagina in de sitemap staat.
  • Serverantwoordcode op de pagina.
  • Of de pagina wordt geblokkeerd door robots.txt.

De bovenstaande statistieken verschijnen als standaardkolommen op het tabblad Gecrawlde pagina's. U kunt het rapport echter aanpassen aan uw specifieke vereisten door andere parameters toe te voegen. Ga gewoon naar het gedeelte Kolommen boven de tabel aan de rechterkant en schakel naar wens elke metriek in of uit.

Kolommen van gecrawlde pagina's

Gecrawlde pagina's kunnen worden gesorteerd op de fouten, waarschuwingen en mededelingen die ze bevatten. Dit stelt u in staat om prioriteit geven aan pagina's bij het oplossen van problemen. U kunt ook rapporten vergelijken nadat u uw website minstens twee keer hebt gecontroleerd. Dit helpt u de veranderingen in uw gecrawlde pagina's in de loop van de tijd te observeren.

Gecrawlde pagina's vergelijken en sorteren

Het is ook mogelijk om filters te gebruiken om pagina's op basis van verschillende parameters te sorteren. Als u bijvoorbeeld alleen pagina's met 200 statuscodes wilt zien, zoals pagina's die correct werken, voegt u een filter toe zoals:

Nu is het tijd om de resultaten te exporteren. Ga naar Exporteren en kies ervoor om de gegevens op te slaan in .xls- of .csv-indeling.

Gegevens exporteren in Website Audit

Alle pagina's vinden via Google Search Console

Een andere tool die u kunt gebruiken om alle pagina's op een website te vinden, is Google Search Console. Houd er echter rekening mee dat GSC u alleen pagina's laat zien waartoe Google toegang heeft.

Begin met het openen van uw account en ga naar het tabblad Indexering. Kies het rapport Pagina's en selecteer 'Alle bekende pagina's' in plaats van 'Alle ingediende pagina's'.

Pagina's in GSC

Het groene vak met het label "Geïndexeerd" geeft u het aantal URL's dat door Google is geïndexeerd. Klik onder de grafiek op 'Bekijk gegevens over geïndexeerde pagina's'. Vanaf hier kunt u alle URL's vinden op een domein dat door Google is geïndexeerd, evenals de datum van hun laatste crawl. Je kunt ze exporteren in Google Spreadsheets of ze downloaden als .xls- of .csv-bestanden.

Geïndexeerde pagina's in GSC

Laten we nu teruggaan om de niet-geïndexeerde pagina's te controleren (pagina's die niet zijn geïndexeerd en niet in Google verschijnen). Maak je klaar om je handen uit de mouwen te steken en veel handmatig werk te doen.

Terwijl u naar beneden scrolt, ziet u een lijst met redenen waarom sommige pagina's op uw website niet zijn geïndexeerd.

Waarom Google pagina's niet indexeert

U kunt verschillende categorieën bekijken, zoals omleidingsfouten, pagina's die zijn uitgesloten door 'noindex'-tag, pagina's die zijn geblokkeerd door robots.txt, enzovoort.

Door op de foutcategorie te klikken, ziet u een lijst met de getroffen pagina's. Als u ze allemaal doorloopt, krijgt u ongefilterde toegang tot elke afzonderlijke pagina die Google op uw site heeft ontdekt.

Pagina's geblokkeerd voor indexering in GSC

Een ander nuttig rapport in GSC voor het vinden van alle webpagina's is het rapport Zoekresultaten. In dit rapport worden alle pagina's weergegeven die ten minste één vertoning in de zoekresultaten hebben ontvangen. Om toegang te krijgen, gaat u naar Zoekresultaten op het tabblad Prestaties, stelt u de grootst mogelijke periode in en kiest u Pagina's. Exporteer ten slotte uw rapport.

Pagina's die vertoningen genereren

U kunt ook gebruik maken van de Zoekanalyse voor Spreadsheets add-on om op aanvraag gegevens op te halen uit GSC en automatische back-ups te maken in Google Spreadsheets.

Alle pagina's met pageviews vinden via Google Analytics

U kunt ook alle webpagina's vinden door de gegevens in uw Google Analytics-account. Er is maar één voorwaarde: je website moet vanaf het begin gekoppeld zijn aan je Google Analytics-account, zodat deze achter de schermen data kan verzamelen.

De logica hier is eenvoudig: als iemand ooit een pagina van uw website heeft bezocht, beschikt Google Analytics over de gegevens om dit te bewijzen. En aangezien deze bezoeken door mensen worden gedaan, moeten we ervoor zorgen dat dergelijke pagina's een specifiek SEO- of marketingdoel dienen.

Begin met naar Rapporten → Betrokkenheid → Pagina's en schermen en klik op Paginapad en schermklasse.

Pagina's en schermen rapporteren in GA

U kunt ook op klikken 'Keer bekeken' om de pijl naar boven te laten wijzen en de pagina-URL's te sorteren van de minste naar de meeste paginaweergaven. Uiteindelijk zullen de minst bezochte pagina's bovenaan de lijst te zien zijn.

Deel of exporteer de gegevens vervolgens naar een .csv-bestand.

Alle webpagina's vinden met behulp van Bing Webmaster Tools

Google wordt beschouwd als een zoekgigant, maar Bing is tot nu toe nog steeds een van de meest populaire zoekmachines. Vanaf januari 2023 is de wereldwijde zoekmarkt 8.85%, goed maken het optimaliseren van uw website voor Bing een slimme strategie. 

U kunt ook gebruik maken van Bing Webmaster Tools om alle pagina's op een website te vinden die door Bing zijn geïndexeerd. Het proces is eenvoudig, maar voordat u begint, moet u ervoor zorgen dat u dat hebt gedaan uw website toegevoegd en geverifieerd.

Zodra uw site is ingesteld, gaat u naar Site Explorer in de linkernavigatiebalk en kiest u voor filteren op 'Alle URL's'. Het rapport toont alle pagina's die Bing op uw site ziet. Klik op de knop Downloaden om de gegevens te exporteren.

Pagina's in Bing

Alle pagina's op een website vinden met behulp van de opdrachtregel

Een meer technische benadering om de lijst met alle pagina's op een website te vinden, is om de opdrachtregel te gebruiken. Deze methode omvat interactie met een computer via tekstopdrachten. 

Om alle URL's van een website via de opdrachtregel te krijgen, moet u eerst Wget installeren. Met dit opdrachtregelprogramma kunt u bestanden van internet ophalen. Het installatieproces varieert afhankelijk van het besturingssysteem dat u gebruikt. MacOS vereist bijvoorbeeld dat u installeert het Huisbrouwsel pakketbeheerder voordat u opdrachtregelprogramma's zoals Wget installeert.

Om Wget te installeren, opent u een terminalvenster en typt u de volgende opdracht:

brew installeren wget

Download vervolgens uw website. Binnenkomen:

wget -r www.voorbeeldsite.com

Wget zal uw website recursief downloaden. Het begint met de hoofdpagina van de website en alle gekoppelde pagina's, afbeeldingen en andere bestanden. Van daaruit zal het de links op die pagina's volgen en de pagina's downloaden waarnaar ze linken, en zal dit proces voortzetten totdat het de volledige website heeft gedownload.

Zodra de website is gedownload, kunt u Wget vragen om de URL's op te sommen door te typen:

zoek www.examplesite.com

Alle webpagina's vinden via Sitemap.xml

XML sitemap is ook een geweldige manier om alle pagina's op een website te vinden, omdat het een lijst biedt van alle pagina's die de eigenaar door zoekmachines wil laten indexeren. Het werkt als een stappenplan en leidt bots van zoekmachines door de structuur van de site en het voor hen gemakkelijker maken om te begrijpen hoe alles is georganiseerd.

Volg deze stappen om de lijst op te halen:

  • Zoek uw sitemap.

De sitemap is meestal te vinden in de hoofdmap van de website of door "/sitemap.xml" te typen aan het einde van de URL van de website, zoals in http://sitename.com/sitemap.xml. Als de website meerdere sitemaps heeft, worden deze vermeld in het hoofdsitemapbestand, dat meestal sitemap-index.xml heet. Hier vindt u een lijst met sitemaps en kiest u de meest relevante om een ​​lijst met de pagina's van de website te krijgen.

  • Extraheer URL's uit uw sitemap in Google Spreadsheets. 

Hoewel dit een andere technisch zware methode is, bespaart het u veel tijd en moeite door alle URL's in slechts enkele seconden in Google Spreadsheets te importeren. U zult echter eerst wat voorbereidend werk moeten doen. Begin met het maken van een nieuw blad en ga vervolgens naar Extensies. Kies vervolgens voor 'Apps Script'.

Google Spreadsheets-extensies

Nu moet u de volgende aangepaste JavaScript-code kopiëren en in de scripteditor plakken om een ​​nieuwe functie te maken:

function sitemap(sitemapUrl,namespace) { probeer { var xml = UrlFetchApp.fetch(sitemapUrl).getContentText(); var-document = XmlService.parse(xml); var root = document.getRootElement() var sitemapNameSpace = XmlService.getNamespace(naamruimte); var urls = root.getChildren('url', sitemapNameSpace) var locs = [] for (var i=0;i
Scripteditor in Google Spreadsheets

Sla vanaf hier op en voer de test uit. De redacteur vraagt ​​om toegangsrechten. Als het script met succes is geïmplementeerd, verschijnen er geen foutmeldingen. In plaats daarvan ziet u dat de uitvoering is gestart en voltooid.

Nieuw script uitvoeren

Nu kunt u teruggaan naar uw Google-spreadsheet en de volgende formule invoeren:

=sitemap("Sitemap-URL","Naamruimte-URL")

Zodra u uw sitemap heeft gevonden, zou u de sitemap-URL bij de hand moeten hebben, van waaruit u de naamruimte-URL rechtstreeks kunt kopiëren. In de onderstaande schermafbeelding kunt u zien hoe dit werkt met de sitemap van SE Ranking:

  • De sitemap-URL staat in de adresbalk van de browser.
  • De naamruimte-URL bevindt zich in de eerste regel van de inhoud van de sitemap.
Sitemap en naamruimte-URL's

Kopieer deze adressen en plak ze als koppelingen in de formule. Dit is wat je uiteindelijk zou moeten krijgen:

=sitemap("https://seranking.com/sitemap.xml","http://www.google.com/schemas/sitemap/0.9")

Plak deze formule in uw Google-spreadsheet en druk op Enter om alle URL's uit uw sitemap te halen.

Site-URL's geëxtraheerd uit sitemap

Alle webpagina's vinden via WordPress-plug-ins

Als uw website op WordPress draait, zijn er plug-ins waarmee u alle pagina's kunt vinden. De twee meest gebruikte opties zijn:

Om deze plug-ins te gebruiken, downloadt en installeert u ze in uw map '/wp-content/plugins/'. Eenmaal geïnstalleerd, activeert u ze vanaf uw pagina met plug-ins in WordPress. Zodra u de activering heeft voltooid, kunt u alle URL's van uw website weergeven of exporteren.

Als u een gebruikt ander CMS, controleer of het voor dit doel ingebouwde plug-ins heeft of een aparte plug-in in de extensiemap. Joomla heeft er bijvoorbeeld veel plug-ins voor het genereren van sitemaps om u te helpen een lijst met webpagina's te krijgen. Evenzo heeft Drupal een sitemap-module dat kan van pas komen bij het verzamelen van de pagina's op uw site.

Hoe u alle pagina's van een website op Google kunt bekijken

We hebben verschillende tools besproken die u kunnen helpen alle pagina's op uw website te vinden, maar we hebben de eenvoudigste optie voor het laatst bewaard - en met een goede reden. Hoewel deze methode het gemakkelijkst is, moet u voorzichtig zijn bij het gebruik ervan. 

Google uw site, maar doe het goed. Dit betekent gebruiken Zoekoperators van Google, dit zijn speciale opdrachten die de zoekopdracht verfijnen op basis van ingestelde criteria.

Ga gewoon naar Google Zoeken en typ "site:websitenaam" als in “site:seranking.com”. U hoeft http:// of www niet toe te voegen, maar zorg ervoor dat er geen spaties tussen de operator en de zoekopdracht staan; anders zijn de resultaten onjuist.

Websitepagina's op Google

Toch moet u er rekening mee houden dat deze opdracht niet is gemaakt om alle geïndexeerde pagina's op uw site weer te geven Dat heeft John Mueller van Google bevestigd.

John Mueller
Zoek advocaat bij Google
Het korte antwoord is dat een site: zoekopdracht is niet bedoeld om volledig te zijn, noch gebruikt voor diagnostische doeleinden ... Deze zoekopdracht beperkt de resultaten tot een specifieke website. Het is niet bedoeld als een uitgebreide verzameling van alle pagina's van die website.
Klik om te delen

Een laatste tip is om Google Search Console te gebruiken, maar op een iets andere manier dan in eerdere secties is uitgelegd. Concentreer u op de vertoningen van de pagina (het aantal keren dat de pagina in de zoekresultaten is weergegeven), maar voor een korte periode; zoals zeven dagen, bijvoorbeeld.

Afsluitende gedachten

Het lokaliseren van alle pagina's van uw website is cruciaal voor het verbeteren van de SEO en dient als eerste stap naar verdere optimalisatieactiviteiten. Met deze gegevens kunt u pagina's identificeren die verbetering behoeven, verouderde inhoud bijwerken, alle websitelinks vinden en kapotte herstellen, en uw algemene interne linkstructuur optimaliseren.

Door de tools en methoden te gebruiken die in dit artikel worden beschreven, kunt u snel alle pagina's op uw website ontdekken en waardevolle inzichten krijgen in de prestaties. Neem dus even de tijd om een ​​paginalijst samen te stellen om op de hoogte te blijven van uw SEO- en marketinginspanningen. Neem aan van het SE Ranking-team: het kost niet veel tijd als u onze tools gebruikt.

spot_img

Laatste intelligentie

spot_img