Kostenlos · ohne Anmeldung
robots.txt-Generator
Eine robots.txt mit Regeln, Sitemap und optionaler Sperre für KI-Crawler erzeugen.
User-agent: *
Disallow: /admin/
Disallow: /warenkorb/
Disallow: /suche
Sitemap: https://www.beispiel.de/sitemap.xml
Was die robots.txt regelt
Die robots.txt liegt im Stammverzeichnis Ihrer Domain und sagt Crawlern, welche Bereiche sie abrufen dürfen. Sie ist eine Bitte, keine Zugangssperre: seriöse Crawler halten sich daran, andere nicht. Vertrauliche Inhalte gehören hinter eine Anmeldung.
Aufbau
- User-agent nennt den Crawler,
*gilt für alle. - Disallow sperrt einen Pfad, Allow gibt einen Unterpfad wieder frei.
- Sitemap verweist auf Ihre XML-Sitemap.
KI-Crawler
Anbieter von KI-Assistenten betreiben eigene Crawler, etwa GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Google) oder PerplexityBot. Ob Sie diese zulassen, ist eine Abwägung: Gesperrte Inhalte können nicht als Quelle in KI-Antworten auftauchen. Mehr dazu im Artikel Was ist GEO?.
Vorsicht
Eine falsche Zeile wie Disallow: / sperrt die ganze Website. Prüfen Sie die fertige Datei mit dem Indexierbarkeits-Check.
Häufige Fragen
Wo muss die robots.txt liegen?+
Im Stammverzeichnis der Domain, also unter https://ihre-domain.de/robots.txt. Jede Subdomain braucht eine eigene.
Entfernt Disallow eine Seite aus Google?+
Nein. Um Seiten aus dem Index zu nehmen, verwenden Sie noindex und lassen die Seite crawlbar.
Sollte ich KI-Crawler sperren?+
Das hängt von Ihren Zielen ab. Wer in KI-Antworten als Quelle auftauchen möchte, lässt sie in der Regel zu.
Ihre Domain, Ihre Fragen, echte SEO-Daten.
Legen Sie ein Projekt an und stellen Sie Ihre erste Frage im Chat.
Mit ChatGeo starten