• Facebook
  • LinkedIn
  • Xing
  • Deutsch Deutsch Deutsch de
  • English English Englisch en
Telefon: +49 (0) 2911 3079-700
Optimondo GmbH
  • Startseite
  • Dienstleistungen & Services
    • Digitaler Vertrieb
    • SEO – Suchmaschinen-Optimierung
    • Amazon SEO & Produkt Optimierung
    • Markenshop erstellen und optimieren
    • Compliance Management Konzept – Risikominimierung ganz einfach
  • Hosting
  • News
  • Referenzen
  • Kontakt zu den FAIRMÖGLICHMACHERN
    • Standort Meschede
    • Standort Neheim
    • Standort Erfurt
    • Unser Team
  • Suche
  • Menü
News

Robots.txt als Internet-Standard

Quellcodepixabay

Google etabliert das Robots Exclusion Protocol

Das Robots Exclusion Protocol (REP) oder auch robots.txt feiert 25. Geburtstag und soll in diesem Zuge zum Internet-Standard werden. Das Protokoll ermöglich Webmastern, also Webseiten-Betreibern, selbst zu entscheiden auf welche Inhalte und Seiten und vor allem in welchem Umfang Crawler zugreifen dürfen.

Was bedeutet robots.txt?

Robots.txt ist eine Datei, die bestimmt auf welche Seite Webcrawler zuerst gelenkt werden. Diese Datei wird meist im Stammverzeichnis einer Webseite positioniert. Webcrawler sind dabei suchmaschineneigene Technologien, die selbstständig arbeiten und sogenannte „Pings“ suchen, um diese im eigenen Index zu verzeichnen und so bei Suchanfragen sinngemäß auszugeben – quasi selbstdenkende Algorithmen. Pins sind die Nachrichten, also Inhalte, die ein Webmaster – im besten Fall SEO spezifiziert – ausgeben möchte.

Ziel ist das Protokoll mit einer offiziellen Gültigkeit bei der Internet Engineering Task Force (IETF) zu besetzen und so als finalen Internet-Standard zu implementieren. Dies soll Webmastern den Umgang mit Pings und Crawler vereinfachen, da eine einheitliche Sprache verwendet wird, die weniger Fehlerbehaftung zulässt.

Dabei ist robots.txt nicht auf http begrenzt, sondern kann auch bei FTP oder CoAP eingesetzt werden. Jedoch ist die Dokumentgröße für den reibungslosen Crawl entscheidend: Eine definierte maximale Dokumentengröße, soll für verkürzte Verbindungen sorgen.

Undefinierte oder nicht gestützte Regeln können für Google in Zukunft nicht mehr genutzt werden.

Google möchte den eigenen robots.txt Parser als Open Source zur Verfügung stellen. Ein in der Open-Source-Version integriertes Test-Tool ermöglicht Entwicklern die direkte Prüfung des eingebetteten und zugeordneten Dokuments.

Warum ist das robots.txt sinnvoll?

Google nutzer- und entwicklerfreundlicher gestalten und vor allem die Mitgestaltung der meist genutzten Suchmaschine der Welt ermöglichen: Das ist das Ziel von Google. Das Robots Exclusion Protocol als Standard soll Google bestmögliche Crawling-Ergebnisse liefern und so das moderne Web kontrollierter gestalten.

 

Quellen: onlinemarketing.de | onlinemarketing.de | ryte.com | github.com

22. Juli 2019/von Sindy Siekiera
Schlagworte: google, SEO, Technik
Eintrag teilen
  • Teilen auf Twitter
  • Share on WhatsApp
  • Teilen auf Pinterest
  • Teilen auf LinkedIn
  • Per E-Mail teilen
https://optimondo.de/wp-content/uploads/2019/07/code-1486361_1920.jpg 1280 1920 Sindy Siekiera /wp-content/uploads/2019/01/optimondo_185x80.png Sindy Siekiera2019-07-22 12:41:322019-07-22 12:50:13Robots.txt als Internet-Standard
Das könnte Dich auch interessieren
Google Bildersuche SEOpixabay Google Bildersuche als Referrer – Traffic steigern durch Bilder SEO
pixabay Google unterbindet noindex-Direktive für robots.txt-Dateien ab September
Google Datenschutz DSGVOpixabay Google hat gegen die DSGVO verstoßen
pixabay Warum der Google-Index Webseiten „verloren“ hat
Optimondo GmbH 3 Steps bei stagnierenden Rankings
Der Google Keyword-Planer verfügt über neue Funktionenpixabay Neue Funktionen beim Google Keyword-Planer
  • Fehler im E-CommercepixabayDie 5 Todsünden des E-Commerce: So vermeidest Du Fehler bei Deinem Onlineshop17. Februar 2020 - 14:26
  • RezensionpixabayNeuer Support bei Google: Wie Du mit einer Rezension Dein Marketing verbessern kannst16. Februar 2020 - 13:21
  • VerpackungpixabayE-Commerce und nachhaltige Unternehmen: Geht das zusammen?27. Januar 2020 - 15:30
  • viele Internetnutzer haben mobile Endgeräte wie SmartphonespixabayStreaming, Social Media und E-Commerce: Wie viele Menschen nutzen eigentlich das Internet?19. Dezember 2019 - 16:53
  • Weltweit erfolgreich auf Amazon verkaufen25. November 2019 - 12:23
  • pixabayMit Lead Ads auf Facebook Kunden noch direkter ansprechen25. November 2019 - 9:46
  • pixabayWie viele Webseiten gibt es?24. November 2019 - 8:58
Link zu:Kontakt zu den FAIRMÖGLICHMACHERN

Hast Du noch Fragen? Dann ruf uns einfach an oder schreib uns jetzt!

Optimondo GmbH – Dein Partner für Optimierung Deiner Markenpräsenz – Aufbau Deines Markenshops – Suchmaschinenoptimierung (SEO) – Amazon Fulfillment – Vertrieb und Handel = Dein Komplettpaket wartet

Zum Kontaktformular

Oder einfach anrufen unter +49 (0) 2911 3079-700

Datenschutz | Impressum

© 2021 – Optimondo.de  | *Alle Preise zzgl. MwSt.

Die häufigsten Fehler im Content Marketing content marketingpixabay optimondo.de LinkedIn – Ist es den Hype wert?
Nach oben scrollen