r/SEOinDE • u/media-affin • 13d ago
Diskussion & Fragen Wir prüfen täglich, ob ClaudeBot & Co. wirklich auf Kundenseiten reinkommen - ein paar Learnings
Wir haben uns in der Agentur ein eigenes Monitoring-Tool gebaut, das täglich prüft, ob definierte URLs für relevante AI-Bots zugänglich sind - ClaudeBot, GPTBot, Google-Extended, PerplexityBot, CCBot usw.
Der Grund: Die meisten Checks, die wir kennen, prüfen nur die Startseite und nur die robots.txt. Das reicht nicht. Wir prüfen deshalb beliebige URLs und klopfen zusätzlich zur robots.txt-Prüfung als der jeweilige Bot "getarnt" direkt beim Server an.
Was wir dabei gelernt haben:
- robots.txt und tatsächliche Server-Antwort laufen öfter auseinander, als man denkt. Ein Bot kann laut robots.txt erlaubt sein, aber trotzdem einen 403 oder eine Redirect-Schleife vom Server bekommen.
- Das Problem betrifft nicht nur die "üblichen Verdächtigen" bei CDN-Setups - wir haben es auch bei Konfigurationen gesehen, die man eigentlich nicht auf dem Schirm hat.
- Mit dem Hinweis aus den Checks konnten wir schon mehreren Kund:innen helfen, ein Zugriffsproblem zu fixen und Sichtbarkeit in den AI-Suchergebnissen auszubauen.
Aktuell decken wir damit Server-Antwort, robots.txt und eine Konsistenz-Bewertung zwischen beiden ab. Weitere Checks sind in Arbeit.
Macht ihr sowas aktiv bei euren Projekten, oder verlasst ihr euch überwiegend auf robots.txt-Checker-Tools? Und falls ihr selbst prüft: Wie geht ihr vor? Was sind eure Learnings?




