Technisches SEO aus Entwicklerhand: für Google und KI-Crawler

Technisches SEO ist der Teil der Suchmaschinenoptimierung, der sich nicht um Texte oder Erwähnungen auf anderen Websites kümmert, sondern um das Fundament. Kann ein Crawler Ihre Seiten abrufen? Erkennt er, welche Adresse die richtige ist? Lädt die Seite schnell, und steht der Inhalt ohne Umwege im Quelltext? Erst wenn diese Fragen geklärt sind, können gute Inhalte wirken. Um die Inhalte selbst kümmern wir uns unter SEO-Texte und Content, das Gesamtpaket beschreibt die Seite SEO-Optimierung.

Warum Technik auch für KI-Antworten zählt

Google schreibt in seiner Dokumentation zu den KI-Funktionen, dass für AI Overviews und den KI-Modus keine zusätzlichen Anforderungen gelten: Eine Seite muss indexiert und für Snippets geeignet sein. Saubere Technik ist damit auch die Eintrittskarte für Googles KI-Antworten. Mehr dazu im Ratgeber Google AI Overviews und AI Mode.

ChatGPT, Claude und Perplexity betreiben eigene Crawler. OpenAI schreibt in der Crawler-Dokumentation, dass Seiten, die den OAI-SearchBot aussperren, nicht in den Suchantworten von ChatGPT erscheinen. Wer diese Crawler versehentlich blockiert, etwa per Firewall-Regel, fehlt dort trotz guter Inhalte. Technik entscheidet nicht darüber, ob ein KI-Assistent Sie empfiehlt. Sie entscheidet aber darüber, ob er Ihre Inhalte überhaupt lesen kann.

Googlebot verarbeitet JavaScript in zwei Schritten: Er ruft zuerst das HTML ab und stellt die Seite später mit einem aktuellen Chromium-Browser vollständig dar. Trotzdem empfiehlt Google in den JavaScript-SEO-Grundlagen Server-Rendering oder Pre-Rendering, weil nicht alle Bots JavaScript ausführen können.

Wie groß diese Lücke ist, zeigt eine Analyse von Vercel und MERJ vom Dezember 2024: Die Crawler von OpenAI, Anthropic, Perplexity und Meta führten kein JavaScript aus. Sie luden Skriptdateien zwar herunter, konnten aber Inhalte, die erst im Browser entstehen, nicht lesen. Nur Googlebot (und damit Gemini über Googles Infrastruktur) und Applebot stellten Seiten vollständig dar. Außerdem landeten 34,82 % der Abrufe des ChatGPT-Crawlers und 34,16 % der Claude-Abrufe auf 404-Seiten, bei Googlebot waren es 8,22 %. Saubere Weiterleitungen alter Adressen sind deshalb doppelt wichtig. Das ist nur eine Messung, die Anbieter selbst dokumentieren ihr JavaScript-Verhalten nicht.

Was das für Ihre Website bedeutet

Alles, was erst per Skript nachgeladen wird, sehen viele KI-Crawler wahrscheinlich nicht: Inhalte einer reinen Single-Page-App, Leistungsbeschreibungen aus Baukasten-Widgets, per Skript eingeblendete Öffnungszeiten oder Preise. Ein einfacher Test: Öffnen Sie den Quelltext Ihrer Seite (im Browser meist mit Strg+U). Steht Ihr wichtigster Text dort nicht, sollten wir über Server-Rendering sprechen.

KI-Crawler bewusst zulassen

Die Anbieter trennen Suche und Training: OAI-SearchBot, Claude-SearchBot und PerplexityBot bauen die Suchindizes, GPTBot und ClaudeBot sammeln Trainingsdaten. Ob Sie Training erlauben, ist eine Geschäftsentscheidung, die wir mit Ihnen treffen. Wichtig ist auch die Firewall: OpenAI und Perplexity raten ausdrücklich, ihre veröffentlichten IP-Bereiche nicht zu blockieren. Details stehen im Ratgeber KI-Crawler und robots.txt. Eine llms.txt legen wir ebenfalls an. Das kostet wenig, ein belegter Ranking-Hebel ist sie aber nicht, und Google Search nutzt sie nach eigener Aussage nicht (llms.txt erklärt).

Relaunch und Migration

Typische Ursachen für Rankingverluste nach einem Relaunch sind geänderte Adressen ohne Weiterleitung, vergessene noindex-Angaben aus der Testumgebung und gestrichene Inhalte. Google beschreibt in seiner Anleitung zum Website-Umzug das Vorgehen: dauerhafte Weiterleitungen (301 oder 308), eine Zuordnung jeder alten zu einer neuen Adresse, neue Sitemaps einreichen und die Weiterleitungen möglichst lange, in der Regel mindestens ein Jahr, bestehen lassen. Google weist auch darauf hin, dass die Sichtbarkeit während eines Umzugs vorübergehend schwankt.

Wir erfassen deshalb vor dem Start alle bestehenden Adressen samt Rankings, erstellen den Weiterleitungsplan, prüfen die neue Seite auf der Testumgebung und kontrollieren in den ersten Wochen nach dem Start täglich Fehlerseiten und Indexierung. Ganz ohne Schwankung verläuft kaum ein Umzug. Mit diesem Vorgehen bleibt das Risiko aber kalkulierbar.

Logfile-Analyse

Nur die Server-Logs zeigen vollständig, welche Bots welche Seiten wie oft abrufen. Dort sehen Sie, ob GPTBot, OAI-SearchBot, ClaudeBot oder PerplexityBot Ihre Website überhaupt besuchen und ob sie dabei auf Fehler stoßen. Weil sich jeder als Googlebot ausgeben kann, prüfen wir die Echtheit so, wie Google es beschreibt: per Reverse-DNS-Abfrage oder Abgleich mit den veröffentlichten IP-Listen. Das Crawl-Budget ist laut Google erst bei sehr großen Websites ein Thema, etwa ab rund einer Million Seiten. Für die meisten Mittelständler ist die Logfile-Analyse deshalb ein Diagnosewerkzeug. Logdaten enthalten IP-Adressen. Wie wir sie erhalten, auswerten und löschen, klären wir vorab mit Ihnen.

Warum ein Entwickler den Unterschied macht

Technische Audits enden oft als lange Liste, die niemand umsetzt. Bei AR-KI prüft und baut dieselbe Person: Geschäftsführer Bleron Berisha ist Full-Stack-Entwickler mit Schwerpunkt KI und hat unter anderem unsere Steuer-KI entwickelt, die im SteuerEx-Benchmark der FAU Erlangen-Nürnberg 80,5 % erreicht (Leaderboard-Eintrag „Ar-KI-NovaV1“, Platz 4 von 43 eingereichten Systemen, Stand Oktober 2026). Unsere eigene Website liefert ihre Inhalte als fertiges HTML aus und gibt KI-Crawler in der robots.txt ausdrücklich frei.