Was heisst robots.txt?
Um Suchmaschinen klar mitzuteilen welche Verzeichnisse und Seiten indexiert werden sollen, benutzt man die funktionale Textdatei robots.txt. Die Textdatei robots.txt (muss in Kleinbuchstaben verwendet werden) wird im Stammverzeichnis des Web Projekts gespeichert. Durch Eingabe von www.eine-best-domain.ch/robots.txt im Browser können Sie leicht überprüfen, ob sie in einer bestimmten Domain vorhanden ist und was sie enthält. Wenn sie fehlt, wird eine 404-Fehlermeldung angezeigt. Falls verfügbar, kann die Suchmaschine den Crawler (auch als Robot oder Bot bezeichnet) speziell darüber informieren, welche Seiten und Verzeichnisse gelesen werden dürfen.
Sie können auch den Speicherort einer Sitemap.xml benennen. Auf diese Weise kann die vollständige Seitenstruktur der Website für Suchmaschinen einfach angegeben werden, sodass der Roboter alle erforderlichen Seiten crawlen und indexieren kann. Einfach ausgedrückt enthält die robot.txt präzise Kommandos für die Robots der Suchmaschinen, welchen Content sie in ihren Index übernehmen dürfen oder sollen, und welchen nicht. Unabhängig davon, ob es sich um bestimmte Dateien, Dateitypen oder Seitenstrukturen handelt, die beispielsweise für Google-Roboter ausgeschlossen oder blockiert werden, werden sie normalerweise in der entsprechenden Suche bei Google nicht angezeigt. Ein ähnlicher Ansatz kann auf Seitenebene durch HTML verwendet werden. Grundsätzlich wird bei der Erstellung einer Webseite durch eine loakle SEO Agentur die robots.txt Datei immer angelegt.
Die Indexierung kann mit entsprechenden Meta-Tags zugelassen oder blockiert werden. Dies ist jedoch insbesondere für größere Seiten umständlich, und die Erfahrung hat gezeigt, dass es leicht ist, Fehler zu machen, wenn sie manuell verwaltet werden (es ist nicht ungewöhnlich, dass Seiten versehentlich aus dem Index gelöscht werden).
Der Hauptvorteil der robots.txt-Datei besteht darin, dass sie das Blockieren von Inhalten in einer einzigen Datei zentral pflegen kann.
FOLLOW US