Pagina verwijderen en niet redirecten Wanneer de content niet langer relevant is voor je bezoekers, is het verwijderen van de pagina de effectiefste oplossing. De meeste CMS’en tonen vervolgens een 404 of 410 error. Wanneer Google een 404 error tegenkomt, wordt de pagina meestal binnen een aantal weken uit de index gehaald. Vaak wordt gedacht dat een 404 error schadelijk is, maar dat is niet het geval. Als er simpelweg geen relevante URL is om naar te redirecten, moet je een 404 error tonen. Stel je wel een redirect in? Dan ziet Google dat als een soft 404 error.
Noindex tag toevoegen Het toevoegen van een noindex tag is de effectiefste manier om URL’s uit de index te halen en ze uit de index te houden. Zoekmachines respecteren noindex tags en verwerken de wijziging van een noindex tag meestal al binnen een aantal weken. De noindex tag moet in de meta robots tag in de <head> van je pagina geplaatst worden en laten aan zoekmachines weten dat de pagina letterlijk “niet indexeerbaar” moeten zijn.
Robots.txt disallow toevoegen Het robots.txt-bestand bevat richtlijnen voor crawlers, met daarbij ook instructies welke URL-paden van je website niet gecrawld mogen worden. Heb je complete paginagroepen die je uit de index wilt halen? Dan is het robots.txt-bestand een effectieve manier. Het nadeel van disallows in je robots.txt-bestand is dat zoekmachines ze negeren bij tegenstrijdige signalen. Daarom is dit niet de effectiefste en betrouwbaarste oplossing om URL’s uit de index te halen. Het robots.txt-bestand is wel een goede manier om te voorkomen dat zoekmachines URL-paden crawlen en daarmee mogelijk ook indexeren. Het is dus vooral een manier om indexatie te voorkomen.
URL Removal tool gebruiken Wil je een URL of een groep met URL’s snel uit de index verwijderen? Dan is het mogelijk om de URL Removal tool in Google Search Console te gebruiken. Via deze tool verzoek je tot het tijdelijk verwijderen van één URL of een groep met URL’s: Google haalt de URL’s vervolgens uit de index voor de duur van ongeveer 6 maanden. Wil je de URL daarna ook uit de index houden? Dan is het belangrijk om in de tussentijd een noindex tag toe te voegen. De URL Removal tool is een effectieve manier om binnen extreem korte tijd een URL uit de index te halen.
X-Robots-Tag HTTP header toevoegen Een X-Robots-Tag HTTP header is hetzelfde als een meta robots noindex tag. Deze X-Robots-Tag HTTP header voeg je echter toe op serverniveau en kan gebruikt worden voor zowel HTML pagina’s als bestanden. Daarom is dit een effectieve manier om bijvoorbeeld een pdf-bestand uit de index van Google te halen. In de praktijk wordt de X-Robots-Tag HTTP header ook gebruikt wanneer het niet goed mogelijk is om meta robots tags aan te passen.