Technisches SEO: Crawling, Indexierung und Core Web Vitals verstehen

Guter Content bringt nichts, wenn Google ihn nicht findet. Das klingt offensichtlich, wird aber in der Praxis erstaunlich oft ignoriert. Ich sehe das regelmäßig bei Projekten, die ich übernehme: hervorragende Texte, durchdachte Produktbeschreibungen, sorgfältig aufgebaute Kategorieseiten - und trotzdem kaum organischer Traffic, weil die technische Basis fehlt.

Technisches SEO ist kein einmaliges Projekt, das man abarbeitet und vergisst. Es ist die Infrastruktur, auf der alles andere aufbaut. Dieser Artikel erklärt die wichtigsten Konzepte, ohne in abstrakte Theorie abzugleiten: Was Crawling und Indexierung wirklich bedeuten, wie Core Web Vitals gemessen werden und welche Maßnahmen für eine typische WordPress- oder WooCommerce-Website tatsächlich den Unterschied machen.

Wie Google eine Website sieht - der Crawling-Prozess

Der Googlebot ist ein automatisiertes Programm, das das Web durchsucht, indem es Links folgt. Er besucht eine Seite, liest den Quelltext, folgt den darin enthaltenen Links und speichert das Gefundene. Dieser Vorgang heißt Crawling.

Dabei gibt es einige Einschränkungen, die viele Website-Betreiber unterschätzen. Googlebot liest seit 2026 offiziell maximal 2 MB pro HTML-Dokument. Was danach kommt, ignoriert er. Seiten, die technisch nicht erreichbar sind, zum Beispiel weil ein Passwortschutz aktiv ist, eine falsche robots.txt den Zugriff blockiert oder der Server mit Fehlercodes antwortet, werden schlicht nicht gecrawlt.

Für kleinere WordPress-Seiten mit einigen Hundert URLs ist das meist kein Problem. Bei größeren Online-Shops hingegen - ab etwa 5.000 URLs - wird das sogenannte Crawl-Budget relevant. Websites mit Serverantwortzeiten unter 200 ms erhalten laut aktuellen Auswertungen überdurchschnittliche Crawl-Budgets. Schnelle Server sind also nicht nur gut für Nutzer, sondern helfen auch Googlebot, häufiger und tiefer zu crawlen.

Wichtig ist außerdem die robots.txt-Datei. Diese Textdatei liegt im Wurzelverzeichnis Ihrer Domain (also unter ihredomain.de/robots.txt) und teilt Googlebot mit, welche Bereiche er crawlen darf. In WordPress sieht die Standard-Konfiguration so aus:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://ihredomain.de/sitemap.xml

Häufiger Fehler: Manche WordPress-Installationen haben in der Entwicklungsphase die Option "Suchmaschinen-Indexierung verbieten" aktiviert. Wer vergisst, das nach dem Launch auszuschalten, blockiert damit den gesamten Googlebot. Ich habe das in der Praxis schon bei frisch migrierten Shops gesehen, die sich wochenlang gewundert haben, warum ihre Rankings eingebrochen sind.

Indexierung: Nicht jede gecrawlte Seite kommt in den Index

Crawling und Indexierung sind zwei verschiedene Schritte. Googlebot kann eine Seite besuchen und trotzdem entscheiden, sie nicht in den Suchindex aufzunehmen. Laut Google werden nur etwa 60 % aller gecrawlten Seiten tatsächlich indexiert. Die restlichen 40 % fallen raus - wegen Duplikaten, dünnem Inhalt, fehlenden Signalen oder technischen Direktiven.

Die wichtigsten Gründe für Nicht-Indexierung:

• Ein noindex-Tag im HTML-Head oder im HTTP-Header teilt Google explizit mit, die Seite auszuschließen. Das ist manchmal gewollt (Login-Seiten, Danke-Seiten, interne Suchergebnisse), manchmal aber auch aus Versehen aktiv.
• Fehlende oder falsch gesetzte Canonical-Tags. Wenn mehrere URLs denselben Inhalt zeigen (etwa mit und ohne Trailing Slash, mit UTM-Parametern oder als HTTP und HTTPS), muss ein Canonical-Tag die bevorzugte Version kennzeichnen.
• Dünner oder doppelter Content. Produktseiten, die sich nur in einer Variante unterscheiden, oder Kategorienseiten mit wenig eigenem Text werden oft als minderwertig eingestuft.

Ein praktisches Diagnosetool ist die URL-Prüfung in der Google Search Console. Dort sehen Sie für jede einzelne URL, ob sie indexiert ist, wann Google sie zuletzt gecrawlt hat und ob technische Probleme vorliegen. Das sollte der erste Schritt sein, bevor man zu externen Tools greift.

XML-Sitemap: Die Landkarte für Googlebot

Die XML-Sitemap listet alle wichtigen URLs Ihrer Website und gibt Googlebot damit eine strukturierte Übersicht. Sie ersetzt nicht die interne Verlinkung, ergänzt sie aber - besonders bei neuen Seiten, die noch keine eingehenden Links haben.

In WordPress generieren Rank Math oder Yoast SEO automatisch eine XML-Sitemap. Wichtig ist, nur wirklich indexierbare Seiten aufzunehmen: keine noindex-Seiten, keine Archivseiten mit dünnem Inhalt, keine Login- oder Checkout-Seiten. Eine saubere Sitemap mit 500 relevanten URLs ist besser als eine aufgeblähte mit 5.000 Einträgen, von denen die Hälfte ohnehin nicht indexiert werden soll.

Core Web Vitals: Was Google unter guter Nutzererfahrung versteht

Seit 2021 sind Core Web Vitals offizieller Ranking-Faktor. Sie messen, wie schnell eine Seite lädt, wie stabil sie sich beim Laden verhält und wie schnell sie auf Nutzerinteraktionen reagiert. Google wertet dabei das 75. Perzentil: Drei von vier Besucher:innen müssen in den grün markierten Bereich fallen.

Die drei aktuellen Metriken:

LCP - Largest Contentful Paint misst, wann das größte sichtbare Element geladen ist. Bei den meisten Seiten ist das ein Hero-Bild oder eine große Überschrift. Schwellenwert für gut: unter 2,5 Sekunden.

INP - Interaction to Next Paint ersetzt seit März 2024 den früheren FID. INP misst die Reaktionszeit auf alle Nutzerinteraktionen über die gesamte Seitenlebensdauer, nicht nur den ersten Klick. Schwellenwert: unter 200 ms.

CLS - Cumulative Layout Shift misst, wie stark sich Seitenelemente während des Ladens verschieben. Ein hoher CLS entsteht oft durch Bilder ohne definierte Abmessungen oder durch Anzeigen, die spät nachladen und den Text verschieben. Schwellenwert: unter 0,1.

Core Web Vitals verbessern: Konkrete Maßnahmen für WordPress

Das Veröffentlichen dieser Metriken ist einfach, das Verbessern erfordert Arbeit. Bei WordPress- und WooCommerce-Projekten habe ich in den letzten Jahren folgende Maßnahmen am regelmäßigsten umgesetzt:

Für den LCP helfen: Bilder im WebP-Format ausliefern, das Hero-Bild per fetchpriority="high" priorisieren, einen schnellen Hoster oder CDN einsetzen. Shared Hosting mit langen Serverantwortzeiten ist einer der häufigsten LCP-Killer. Bei einem Kundenprojekt - einem deutschen Möbel-Online-Shop - haben wir allein durch den Wechsel auf LiteSpeed-Hosting und Aktivierung des serverseitigen Caches den LCP von 4,2 auf 1,9 Sekunden reduziert.

Für den INP gilt: Schwere JavaScript-Blöcke identifizieren und aufteilen, Event-Handler optimieren und unnötige Third-Party-Scripts (Chatbots, Marketing-Tools) so laden, dass sie die Hauptseite nicht verzögern.

Für den CLS: Allen Bildern und Videos im HTML explizite width- und height-Attribute geben, Ad-Container reservieren, Web Fonts so laden, dass kein Flash of Invisible Text entsteht.

HTTPS, strukturierte Daten und interne Verlinkung

Neben Crawling, Indexierung und Core Web Vitals gibt es drei weitere Bausteine des technischen SEO, die ich bei fast jedem Projekt anfasse.

HTTPS ist seit Jahren Pflicht. Google wertet ungesicherte HTTP-Seiten im Ranking ab und Chrome kennzeichnet sie als unsicher. Auf modernen Hostings ist ein kostenloses Let's-Encrypt-Zertifikat standardmäßig verfügbar. Wichtig ist, nicht nur das Zertifikat zu aktivieren, sondern auch alle HTTP-zu-HTTPS-Weiterleitungen korrekt zu konfigurieren und interne Links zu aktualisieren.

Strukturierte Daten nach Schema.org helfen Google, den Seiteninhalt besser zu verstehen. Für WooCommerce-Shops sind das vor allem das Product-Schema (mit Preis, Verfügbarkeit, Bewertungen) und BreadcrumbList. Für Dienstleister das LocalBusiness-Schema mit NAP-Daten (Name, Adresse, Telefon). Diese Daten erscheinen nicht nur im Index, sondern können auch Rich Snippets auslösen - also erweiterte Suchergebnisse mit Sternen, Preisen oder FAQs, die die Klickrate deutlich erhöhen.

Interne Verlinkung ist der unterschätzteste Hebel im technischen SEO. Jeder interne Link ist ein Signal an Google: Diese Seite ist wichtig genug, um verlinkt zu werden. Gut strukturierte interne Links helfen Googlebot, neue Seiten schneller zu entdecken, und verteilen die sogenannte Link Equity über die gesamte Domain. Für WooCommerce bedeutet das: Kategorienseiten sollten stark intern verlinkt sein, Produktseiten sollten auf verwandte Produkte und die Kategorie zeigen.

Technisches SEO für WooCommerce: Besonderheiten

Bei Online-Shops mit WooCommerce kommen spezifische Herausforderungen hinzu. Filterseiten mit URL-Parametern (Farbe, Größe, Preis) erzeugen schnell Hunderte oder Tausende doppelter URLs. Ohne klare Strategie - entweder Canonical auf die Hauptkategorie oder noindex für Filterseiten - verliert Google den Überblick und verschwendet Crawl-Budget auf Seiten, die nie ranken sollen.

Paginierungsseiten (?page=2, ?page=3) sollten indexierbar bleiben, aber intern sauber verlinkt sein. Veraltete Produktseiten für nicht mehr verfügbare Artikel sollten nicht einfach gelöscht werden - ein 301-Redirect auf die Kategorie oder ein ähnliches Produkt bewahrt die angesammelte Link Equity.

Wer bei diesen Themen konkrete Unterstützung für seinen deutschen Online-Shop sucht, findet einen Überblick meiner Leistungen unter SEO-Optimierung für WordPress und WooCommerce.

Einen verwandten Aspekt, der gerade bei deutschen Shops relevant ist - nämlich wie datenschutzkonformes Analytics-Setup mit GA4 und Core-Web-Vitals-Tracking zusammengehen - habe ich ausführlich im Beitrag zu Google Analytics 4 DSGVO-konform mit Consent Mode beschrieben. Wer außerdem plant, Google Fonts lokal einzubinden, findet dazu eine Schritt-für-Schritt-Anleitung im Artikel Google Fonts lokal einbinden und DSGVO-konform ausliefern.

Was zuerst angehen - eine Priorisierung

Technisches SEO kann überwältigen, weil es viele Einzelthemen umfasst. Nach 13 Jahren und über 120 Projekten würde ich die Reihenfolge so empfehlen:

Erster Schritt: Google Search Console einrichten und den Bericht "Seitenindexierung" lesen. Dort sieht man sofort, ob Google Seiten nicht findet oder technische Fehler meldet. Keine Interpretation, nur Fakten aus erster Hand.

Zweiter Schritt: Core Web Vitals im Bericht "Erfahrung" prüfen. Gibt es Seiten im roten Bereich? Dann PageSpeed Insights für diese spezifischen URLs aufrufen und die konkreten Verbesserungsvorschläge umsetzen.

Dritter Schritt: XML-Sitemap prüfen. Ist sie aktuell? Sind nur relevante Seiten drin? Ist sie in der Search Console eingetragen?

Vierter Schritt: robots.txt und noindex-Tags auditieren. Blockiert irgendetwas, was gecrawlt werden soll?

Alles andere - strukturierte Daten, Canonicals bei Filterseiten, Paginierung - kommt danach. Aber diese vier Schritte sollten bei jeder neuen Website, die ich übernehme, als Erstes erledigt sein. Sie sind kostenlos, schnell und häufig sind hier bereits die größten Probleme versteckt.

Häufige Fragen

Was ist technisches SEO und warum ist es so wichtig?

Technisches SEO bezeichnet alle Maßnahmen, die sicherstellen, dass Google eine Website korrekt crawlen, rendern und indexieren kann. Ohne diese Basis nützt der beste Content wenig, weil er schlicht nicht gefunden wird. Es geht um Seitenstruktur, Ladezeiten, sichere Verbindung und klare Signale an den Googlebot.

Was ist der Unterschied zwischen Crawling und Indexierung?

Beim Crawling besucht der Googlebot eine Seite und liest ihren Inhalt. Bei der Indexierung entscheidet Google, ob diese Seite in den Suchindex aufgenommen wird. Nicht jede gecrawlte Seite wird auch indexiert - Duplikate, dünner Inhalt oder ein noindex-Tag können eine Aufnahme verhindern.

Welche Core Web Vitals gibt es aktuell und was sind die Schwellenwerte?

Die drei aktuellen Core Web Vitals sind LCP (Largest Contentful Paint, gut: unter 2,5 Sekunden), INP (Interaction to Next Paint, gut: unter 200 ms) und CLS (Cumulative Layout Shift, gut: unter 0,1). INP hat seit März 2024 den alten FID ersetzt. Google wertet jeweils das 75. Perzentil aller Seitenbesuche.

Wie prüfe ich das technische SEO meiner WordPress-Website?

Der erste Anlaufpunkt ist immer die Google Search Console - dort sieht man Indexierungsprobleme, Core-Web-Vitals-Daten und Crawling-Fehler. Ergänzend helfen Tools wie DebugBear, Screaming Frog oder der PageSpeed Insights Bericht von Google. Für WordPress-spezifische Einstellungen wie robots.txt und Sitemaps eignet sich Rank Math oder Yoast SEO.

Was ist das Crawl-Budget und muss ich mir darüber Sorgen machen?

Das Crawl-Budget beschreibt, wie viele Seiten Googlebot pro Zeiteinheit bereit ist, auf Ihrer Website zu crawlen. Für kleinere WordPress-Websites mit unter 5.000 URLs ist das meist kein Problem. Relevant wird es bei großen Online-Shops mit vielen Filterkombinationen, Paginierungsseiten oder doppelten URLs - dort kann ein schlecht verwaltetes Crawl-Budget die Indexierung neuer Inhalte verzögern.

Verbessern Core Web Vitals das Ranking wirklich?

Core Web Vitals sind ein offizieller Ranking-Faktor, aber kein überwiegend dominanter. Google hat bestätigt, dass relevanter Content und Autorität weiterhin schwerer wiegen. Gut ist jedoch: Ein schlechtes CWV-Ergebnis kann in hart umkämpften Kategorien den Ausschlag zugunsten eines technisch saubereren Wettbewerbers geben. Und schlechte Ladezeiten schaden der Conversion ohnehin, unabhängig vom Ranking.