KI-Traffic-Tracker & robots.txt KI-Bot-Konfigurator
Steuern Sie präzise, welche KI-Crawler Ihre Website als Quelle zitieren dürfen, und machen Sie Besucher aus ChatGPT, Perplexity, Claude & Gemini sofort messbar.
1. Interaktiver robots.txt KI-Crawler-Konfigurator (Such-Bots vs. Scraper)
Wählen Sie Ihre Strategie: Lassen Sie kaufkräftige KI-Suchsysteme auf Ihre Seite – und sperren Sie reine Trainings- und Content-Scraper sauber aus.
robots.txt Datei:
2. KI-Referral-Traffic messen (Regex-Generator & Cookie-Verlust-Rechner)
So machen Sie Besucher und Kontaktanfragen aus ChatGPT, Perplexity, Claude, Gemini und Microsoft Copilot in Ihrem Analyse-System sichtbar:
(chatgpt\.com|search\.chatgpt\.com|perplexity\.ai|claude\.ai|gemini\.google\.com|copilot\.microsoft\.com|you\.com|chat\.mistral\.ai)
Simulator: Wie viel KI-Traffic verschluckt Ihr Cookie-Banner?
Berechnen Sie die Differenz zwischen den in GA4 sichtbaren KI-Sitzungen und den tatsächlichen Besuchern auf Ihrer Website:
Tipp: Mit einer 0-Cookie-Architektur erfassen Sie 100 % der Seitenaufrufe rechtskonform ohne Consent-Verlust.
Praxis-Hintergrund: Warum Such-Bots Gäste und Scraper Kostentreiber sind
Seit 2025/2026 greifen Dutzende spezialisierter KI-Crawler auf deutsche Mittelstands-Websites zu. Entscheidend ist die technische Unterscheidung: Such- und Zitations-Bots wie OAI-SearchBot oder PerplexityBot rufen gezielt einzelne Seiten ab, um konkrete Nutzerfragen mit klickbaren Quellenlinks zu beantworten – genau das ist das Ziel von Generative Engine Optimization (GEO). Reine Trainings- und Archiv-Scraper (CCBot, Bytespider) laden hingegen tausende Unterseiten herunter, belasten das Hosting und liefern keinerlei Besucher zurück.
Kombinieren Sie eine klar geregelte robots.txt immer mit einer gepflegten llms.txt sowie einer verifizierten Entitätsreferenz (Grounding Page), damit KI-Antwortsysteme Ihre Leistungen und Preise fehlerfrei wiedergeben.
Häufige Fragen zu KI-Crawlern & KI-Traffic-Messung
Warum darf man in der robots.txt nicht pauschal alle KI-Bots blockieren?
Wer in der robots.txt pauschal alle KI-User-Agents aussperrt, blockiert häufig auch echte KI-Suchcrawler wie OAI-SearchBot (ChatGPT Search), PerplexityBot oder Applebot. Das führt dazu, dass Ihre Unternehmenswebsite in KI-Antworten nicht mehr als klickbare Quelle verlinkt wird. Sinnvoll ist die saubere Trennung: Such- und Zitations-Bots erlauben, reine Massen-Trainings-Scraper wie CCBot oder Bytespider gezielt ausschließen.
Wie erkenne ich in Matomo oder Google Analytics 4 Besucher aus ChatGPT und Perplexity?
ChatGPT hängt ausgehenden Quellenlinks häufig den Parameter utm_source=chatgpt.com an, während Perplexity, Claude, Gemini und Microsoft Copilot meist über den HTTP-Referrer erkennbar sind. Mit einem eigenen Kanal-Regex bündeln Sie diese Quellen sauber in einem eigenen Segment 'KI-Suchsysteme', statt sie im allgemeinen Referral- oder Direct-Traffic zu verlieren.
Warum gehen trotz korrektem Tracking oft 40 bis 60 Prozent der KI-Besucher in der Statistik verloren?
Wenn auf Ihrer Website ein klassischer Cookie-Consent-Banner vorgeschaltet ist, lehnt im deutschen Mittelstand erfahrungsgemäß rund die Hälfte aller Erstbesucher das Tracking ab oder schließt das Banner gar nicht. Erst mit einer datensparsamen 0-Cookie-Messung (z. B. Matomo ohne Cookies oder Plausible) sehen Sie die tatsächliche Anzahl Ihrer KI- und Suchmaschinen-Anfragen.
Welche Rolle spielt die Datei llms.txt ergänzend zur robots.txt?
Während die robots.txt regelt, welche Verzeichnisse ein Crawler abrufen darf, dient /llms.txt (sowie /llms-full.txt) als strukturiertes Inhalts- und Faktenverzeichnis in reinem Markdown. Sprachmodelle finden dort ohne HTML-Ballast sofort Ihre offiziellen Leistungen, Preise, Standorte und Kernseiten.
Vertiefende Praxis-Leitfäden zu KI-Crawlern, GA4 & Local GEO
Alle Hintergründe, Vorlagen und Benchmarks zum Nachlesen: