Produkt
Prüfen Sie, wie Agenten Ihre Website crawlen
KI-Crawler lesen Ihre Website nicht so wie Google. Sehen Sie, welche Agenten Sie erreichen, was sie verarbeiten können und was sie unbemerkt blockiert.
Die technische Optimierung ist der Bereich, den wir dafür bauen, wie KI-Agenten — nicht nur Google — Ihre Website lesen. KI-Crawler folgen ihren eigenen Direktiven und führen Ihr JavaScript nicht immer aus, sodass Inhalte, die Sie sehen, sie womöglich nie erreichen.
Geplant ist, anhand Ihrer eigenen Server-Logs zu zeigen, welche KI-Crawler Sie wie oft erreichen; ob Ihre wichtigen Inhalte ohne JavaScript erhalten bleiben; und welche Regeln in robots.txt, llms.txt, der Firewall oder beim Rate-Limiting einen Agenten abweisen. Ein Audit der strukturierten Daten und Core Web Vitals für gecrawlte Seiten sind ebenfalls geplant.
Woran wir arbeiten
Crawl-Logs der Agenten
Welche KI-Crawler Ihre Website besuchen, wie oft und welche Seiten sie nie erreichen — aus Ihren eigenen Server-Logs.
Render- und Parsing-Checks
Ob die Inhalte, auf die es Ihnen ankommt, ohne JavaScript erhalten bleiben und ob Ihr Markup einem Agenten etwas Zitierfähiges liefert.
Blockaden und Direktiven
robots.txt, llms.txt, Firewall-Regeln und Rate-Limits, die einen Agenten abweisen, bevor er überhaupt etwas sieht.
Für diesen Bereich geplant
- Crawl-Abdeckung pro Agent
- Checks für serverseitig gerenderte Inhalte
- Validierung von robots.txt und llms.txt
- Erkennung von Bot-Blocking und Rate-Limits
- Audit von strukturierten Daten und Schema
- Core Web Vitals für gecrawlte Seiten