Het kan voorkomen dat je een pagina uit de index van Google wilt verwijderen. Voor het verwijderen van een pagina uit de index zijn er meerdere methoden mogelijk, waarbij er een aantal best-practices gelden. In dit artikel lees je de effectiefste manieren om een pagina uit de index te halen.
Er zijn een grote hoeveelheid redenen om een pagina uit de index van Google (of andere zoekmachines) te verwijderen. De meest voorkomende redenen zijn:
Er zijn verschillende methodes om een pagina uit de index te halen. Elke methode heeft voor- en nadelen, waarbij de meest effectieve methode het toevoegen van een noindex tag is.
Wanneer de content niet langer relevant is voor je bezoekers, is het verwijderen van de pagina de effectiefste oplossing. De meeste CMS’en tonen vervolgens een 404 of 410 error. Wanneer Google een 404 error tegenkomt, wordt de pagina meestal binnen een aantal weken uit de index gehaald.
Vaak wordt gedacht dat een 404 error schadelijk is, maar dat is niet het geval. Als er simpelweg geen relevante URL is om naar te redirecten, moet je een 404 error tonen. Stel je wel een redirect in? Dan ziet Google dat als een soft 404 error.
Het toevoegen van een noindex tag is de effectiefste manier om URL’s uit de index te halen en ze uit de index te houden. Zoekmachines respecteren noindex tags en verwerken de wijziging van een noindex tag meestal al binnen een aantal weken. De noindex tag moet in de meta robots tag in de <head> van je pagina geplaatst worden en laten aan zoekmachines weten dat de pagina letterlijk “niet indexeerbaar” moeten zijn.
Het robots.txt-bestand bevat richtlijnen voor crawlers, met daarbij ook instructies welke URL-paden van je website niet gecrawld mogen worden. Heb je complete paginagroepen die je uit de index wilt halen? Dan is het robots.txt-bestand een effectieve manier. Het nadeel van disallows in je robots.txt-bestand is dat zoekmachines ze negeren bij tegenstrijdige signalen. Daarom is dit niet de effectiefste en betrouwbaarste oplossing om URL’s uit de index te halen.
Het robots.txt-bestand is wel een goede manier om te voorkomen dat zoekmachines URL-paden crawlen en daarmee mogelijk ook indexeren. Het is dus vooral een manier om indexatie te voorkomen.
Wil je een URL of een groep met URL’s snel uit de index verwijderen? Dan is het mogelijk om de URL Removal tool in Google Search Console te gebruiken. Via deze tool verzoek je tot het tijdelijk verwijderen van één URL of een groep met URL’s:
Google haalt de URL’s vervolgens uit de index voor de duur van ongeveer 6 maanden. Wil je de URL daarna ook uit de index houden? Dan is het belangrijk om in de tussentijd een noindex tag toe te voegen. De URL Removal tool is een effectieve manier om binnen extreem korte tijd een URL uit de index te halen.
Een X-Robots-Tag HTTP header is hetzelfde als een meta robots noindex tag. Deze X-Robots-Tag HTTP header voeg je echter toe op serverniveau en kan gebruikt worden voor zowel HTML pagina’s als bestanden. Daarom is dit een effectieve manier om bijvoorbeeld een pdf-bestand uit de index van Google te halen. In de praktijk wordt de X-Robots-Tag HTTP header ook gebruikt wanneer het niet goed mogelijk is om meta robots tags aan te passen.
In de praktijk worden er geregeld conflicterende acties uitgevoerd bij het verwijderen van pagina’s uit de index. Houdt rekening met de volgende punten:
Met een passie voor SEO en een ongeëvenaarde drive om resultaten te behalen, is Jarik Oosting de drijvende kracht achter SmartRanking. Met meer dan 13 jaar ervaring in het veld heeft Jarik een schat aan kennis opgebouwd, variërend van technische SEO tot complexe migraties. Als oprichter van SmartRanking heeft hij een team van gelijkgestemde SEO specialisten samengebracht die bedrijven helpen hun online potentieel te realiseren.
Zijn academische achtergrond in Informatiewetenschappen aan de Rijksuniversiteit Groningen, met een specialisatie in Natural Language Processing, geeft hem een unieke kijk op de wereld van SEO. Voor Jarik gaat het niet alleen om vindbaarheid in zoekmachines, maar om het delen van kennis en het begeleiden van bedrijven naar duurzaam online succes.