Google unterbindet noindex-Direktive für robots.txt-Dateien ab September

Google macht Ernst und erinnert Webmaster via Mail noindex Tags schnellstmöglich aus robots.txt-Dateien zu entfernen. Ab dem 1. September wird die Anweisung nicht mehr unterstützt.

Nachdem Google das Robots Exclusion Protocol etablierte, sollen nun noindex-Elemente aus allen robots.txt-Dateien entfernt werden.

Google ernannte das Robots Exclusion Protocol (REP) oder auch robots.txt zum 25. Geburtstag zum Internet-Standard. Das Protokoll ermöglicht Webmastern, also Webseiten-Betreibern, selbst zu entscheiden auf welche Inhalte und Seiten und vor allem in welchem Umfang Crawler zugreifen dürfen.

Nun folgt der nächste Schritt: Google fordert Webmaster via Mail zum Entfernen von noindex-Statements in robot.txt Dateien auf. Diese sind bis zum 1. September zu entfernen, ansonsten können auf den betroffenen Seiten Probleme auftreten.

Google listet Alternativen zu nodindex-Elementen

Noindex-Elemente funktionieren ab dem 1. September also nicht mehr als Regeln für robots.txt und müssen durch Alternativen ersetzt werden. Alternative Optionen listet Google selbst:

  • Kein Index in Roboter-Meta-Tags: Die noindex-Direktive, die sowohl in den HTTP-Response-Headern als auch in HTML unterstützt wird, ist der effektivste Weg um URLs aus dem Index zu entfernen sofern Crawlen erlaubt ist.
  • 404 und 410 HTTP-Statuscodes: Beide Statuscodes bedeuten, dass die Seite nicht existiert, das führt dazu, dass solche URLs aus dem Google-Index gelöscht werden, sobald sie durchsucht und verarbeitet werden.
  • Passwortschutz: Sofern kein Markup verwendet wird um Abonnement- oder Paywalled-Content anzuzeigen, wird eine Seite hinter einem Login verborgen, um sie im Allgemeinen aus dem Google-Index zu entfernen.
  • In der robots.txt verbieten: Suchmaschinen können nur Seiten indizieren, von denen sie wissen. Das Blockieren der Seite vom Crawlen bedeutet also normalerweise, dass ihr Inhalt nicht indiziert wird. Während die Suchmaschine auch eine URL auf der Grundlage von Links von anderen Seiten indizieren kann, ohne den Inhalt selbst zu sehen, macht sich Google zum Ziel diese Seiten in Zukunft weniger sichtbar zu machen.
  • Suchkonsole URL-Tool entfernen: Das Tool ist eine schnelle und einfache Methode, um eine URL vorübergehend aus den Suchergebnissen von Google zu entfernen.

Weitere Beiträge

Lightandtools.com Markenshop-für dein Outdoor-Abenteuer

Tipps bei fehlenden Conversions im Online-Shop

Shopware 6 macht Headless E-Commerce möglich

5 Networks von Frauen für Frauen

JTL-POS: Neue Kassensoftware startet als Beta Version

Relaunch Markenshop kellers-gin.de

Treffen Sie jetzt die richtige Entscheidung und Ihr planbarer Erfolg auf Amazon & Co. wird gemeinsam umgesetzt.
Ihr Experten-Team wartet auf Sie.