Nachdem Google das Robots Exclusion Protocol etablierte, sollen nun noindex-Elemente aus allen robots.txt-Dateien entfernt werden.
Google ernannte das Robots Exclusion Protocol (REP) oder auch robots.txt zum 25. Geburtstag zum Internet-Standard. Das Protokoll ermöglicht Webmastern, also Webseiten-Betreibern, selbst zu entscheiden auf welche Inhalte und Seiten und vor allem in welchem Umfang Crawler zugreifen dürfen.
Nun folgt der nächste Schritt: Google fordert Webmaster via Mail zum Entfernen von noindex-Statements in robot.txt Dateien auf. Diese sind bis zum 1. September zu entfernen, ansonsten können auf den betroffenen Seiten Probleme auftreten.
Google listet Alternativen zu nodindex-Elementen
Noindex-Elemente funktionieren ab dem 1. September also nicht mehr als Regeln für robots.txt und müssen durch Alternativen ersetzt werden. Alternative Optionen listet Google selbst:
- Kein Index in Roboter-Meta-Tags: Die noindex-Direktive, die sowohl in den HTTP-Response-Headern als auch in HTML unterstützt wird, ist der effektivste Weg um URLs aus dem Index zu entfernen sofern Crawlen erlaubt ist.
- 404 und 410 HTTP-Statuscodes: Beide Statuscodes bedeuten, dass die Seite nicht existiert, das führt dazu, dass solche URLs aus dem Google-Index gelöscht werden, sobald sie durchsucht und verarbeitet werden.
- Passwortschutz: Sofern kein Markup verwendet wird um Abonnement- oder Paywalled-Content anzuzeigen, wird eine Seite hinter einem Login verborgen, um sie im Allgemeinen aus dem Google-Index zu entfernen.
- In der robots.txt verbieten: Suchmaschinen können nur Seiten indizieren, von denen sie wissen. Das Blockieren der Seite vom Crawlen bedeutet also normalerweise, dass ihr Inhalt nicht indiziert wird. Während die Suchmaschine auch eine URL auf der Grundlage von Links von anderen Seiten indizieren kann, ohne den Inhalt selbst zu sehen, macht sich Google zum Ziel diese Seiten in Zukunft weniger sichtbar zu machen.
- Suchkonsole URL-Tool entfernen: Das Tool ist eine schnelle und einfache Methode, um eine URL vorübergehend aus den Suchergebnissen von Google zu entfernen.
Quelle: onlinemarketing.de
