Robots.txt prüfen
Prüfe eine robots.txt auf Syntaxfehler und sieh, welche User-agent-Gruppen gelten, bevor ein verirrtes Disallow unbemerkt einen Bereich aus der Suche entfernt.
Browser-Tool
robots.txt
Füge robots.txt ein oder lade eine Datei hoch. Alles wird auf deinem Gerät geprüft; es wird keine Website aufgerufen.
Über Robots.txt prüfen
Eine einzige vertippte Zeile in der robots.txt kann einen ganzen Bereich einer Website aus der Suche entfernen, und nichts kündigt es an — der Traffic sinkt einfach. Die Datei vor der Veröffentlichung gegen die Regeln zu prüfen, ist deutlich günstiger, als den Einbruch hinterher zu untersuchen. Kostenlos und ohne Login. Die Regeln werden direkt auf dieser Seite ausgewertet, eine private Staging-Datei bleibt also privat.
So nutzt du Robots.txt prüfen
- Datei einfügenVollständig, mit Kommentaren und Leerzeilen, genau so, wie sie ausgeliefert wird.
- Ablesen, welche Gruppen geltenDirektiven gehören zur User-agent-Gruppe darüber, und eine versehentliche Leerzeile beendet eine Gruppe vorzeitig. Die Gruppierung zu sehen, reicht meist schon, um den Fehler zu entdecken.
- Korrigieren und erneut prüfenVor dem Deployment, nicht erst, wenn die Auswertung einen Rückgang zeigt.
Die Regel, die am meisten überrascht
Disallow steuert das Crawlen, nicht das Indexieren. Eine blockierte URL kann trotzdem in den Ergebnissen erscheinen, ohne Beschreibung, weil Google sie von anderswo verlinkt gesehen hat und sie nie abrufen durfte, um mehr herauszufinden. Schlimmer: Wenn du eine Seite blockierst, um sie zu verstecken, kann der Crawler das noindex darauf nicht mehr sehen, die Blockade verhindert also aktiv die Entfernung. Um etwas aus dem Index herauszuhalten, erlaube das Crawlen und verwende noindex.
Die spezifischste Übereinstimmung gewinnt
Passen mehrere Regeln auf eine URL, hat der längste passende Pfad Vorrang, nicht die zuerst geschriebene Regel — ein Allow kann also unabhängig von der Reihenfolge ein breiteres Disallow überstimmen. Deshalb kann sich eine Datei, die von oben nach unten gelesen richtig wirkt, trotzdem unerwartet verhalten.
Was das Tool nicht kann
- Gültige Syntax sagt nichts darüber, ob die Regeln das ausdrücken, was du gemeint hast. Eine vollkommen gültige Datei kann deinen wichtigsten Bereich blockieren.
- Crawler unterscheiden sich. Platzhalter und Allow werden weitgehend, aber nicht überall unterstützt, und Crawl-delay ignoriert Google vollständig.
Robots.txt prüfen: häufige Fragen
- Entfernt eine Blockade in der robots.txt eine Seite aus Google?
- Nein, und sie kann die Entfernung sogar verhindern. Eine blockierte URL kann weiterhin gelistet werden, und weil der Crawler sie nicht abrufen kann, sieht er nie ein noindex, das du ergänzt hast. Erlaube das Crawlen und verwende noindex, wenn etwas aus dem Index verschwinden soll.
- Brauche ich überhaupt eine robots.txt?
- Nicht zwingend — fehlt sie, darf alles gecrawlt werden, und das ist für eine kleine Website oft genau die richtige Regel. Sinnvoll ist sie, um auf deine Sitemap zu verweisen und Crawler aus Bereichen ohne öffentlichen Nutzen herauszuhalten.
- Kann ich testen, ob Googlebot eine bestimmte URL crawlen darf?
- Ja, gib unter URL testen eine URL oder einen Pfad ein und wähle Googlebot, Bingbot, GPTBot, ClaudeBot oder einen eigenen User-Agent, um Erlaubt oder Blockiert zu sehen, zusammen mit der Gruppe, die gegriffen hat. Der Abgleich folgt RFC 9309 und der Longest-Match-Regel von Google. Getestet werden die Regeln, die du eingefügt hast, nicht die Datei, die deine Website gerade ausliefert.
Fragen zu ToolsVerse selbst – Datenschutz, Kosten, was mit deinen Dateien passiert – beantworten die häufig gestellten Fragen.
Ähnliche Tools
Die Tools, die man zusammen mit Robots.txt prüfen am häufigsten braucht.
Du findest das passende Tool nicht?
Sag uns, was du suchst, und wir prüfen, ob wir es hinzufügen.