Google past richtlijnen robots.txt aan. Wat betekent dit voor jouw website?

Vandaag heeft Google aangekondigd te stoppen met het ondersteunen van officieuze richtlijnen zoals nofollow, noindex en crawl-delay in robots.txt.

Dit gaf Google aan middels een Tweet:

Per 1 september 2019 zullen verschillende richtlijnen waaronder nofollow, noindex en crawl-delay niet meer worden ondersteund. Als SEO’er of webmaster is het belangrijk om na te gaan of jouw robots.txt bestand nog voldoet. Het kan zijn dat jij actie moet ondernemen om te zorgen dat er geen ongewenste pagina’s geïndexeerd worden.

Wat is robots.txt?

Robots.txt is een tekstbestand met instructies voor crawlers. Dit zijn bots die onder andere zoekmachines zoals Google gebruiken om de website te scannen/lezen en indexeren, oftewel opnemen in hun zoekresultaten. In het robots.txt bestand kan worden aangegeven welke gedeelten van een website gecrawld mogen worden. Op deze wijze kunnen ongewenste pagina’s worden uitgesloten zodat deze niet worden geïndexeerd in de zoekmachines.

Als er geen robots.txt bestand aanwezig is, of als er geen relevante richtlijnen zijn gedefinieerd, dan gaan zoekmachines ervan uit dat ze de hele website mogen crawlen.

Wat zijn de alternatieven voor robots.txt?

Er zijn verschillende alternatieven om te voorkomen dat er ongewenste pagina’s geïndexeerd zullen worden door Google.

Nofollow/noindex

Met de richtlijnen nofollow en noindex kan worden aangegeven of een pagina geïndexeerd dient te worden en of de links gevolgd dienen te worden.

nofollow: /map/
noindex: /map/

Google geeft zelf een aantal alternatieven aan als het gaat om de noindex, namelijk:

• Het gebruik van de noindex in de robots meta tags;
• Het gebruik van 404 en 410 HTTP status codes;
• Het gebruik van een wachtwoord op de pagina;
• Het gebruik van disallow in robots.txt;
• Het gebruik van de tool ‘URL’s verwijderen’.

Crawl-delay

Met crawl-delay kan de crawlsnelheid van de Googlebot worden ingesteld. Dit kan met het aantal verzoeken per seconde worden aangegeven.

crawl-delay: 10

Als alternatief op een regel in robots.txt kan de crawlsnelheid ook in de Search Console worden aangegeven.

Help!?

Ben je benieuwd of jouw website na 1 september nog goed wordt gecrawld. Met Google’s Robots.txt Testing Tool kom je erachter of jouw robots.txt nog voldoet aan de huidige richtlijnen. Voldoet deze nog niet en wil je graag geholpen worden, schroom dan niet ons te contacten.

‍