Wie funktioniert Google? Crawler, Index und Ranking einfach erklärt

Stellen Sie sich vor, eine neue Bibliothek öffnet und möchte alle Bücher der Welt katalogisieren. Dafür schickt sie Mitarbeiter los, die Buchhandlungen und Archive besuchen, Bücher einlesen und zurückbringen. Zuhause werden die Bücher sortiert, verschlagwortet und ins Regal gestellt. Wenn jemand nach einem Thema fragt, schaut der Bibliothekar ins Verzeichnis und holt die passendsten Exemplare. Genau so arbeitet Google - nur dass statt Büchern Webseiten katalogisiert werden, und statt eines Bibliothekars ein Algorithmus entscheidet.

Diese Mechanik läuft im Hintergrund ab, unsichtbar für den Benutzer. Für Betreiber einer Website oder eines Online-Shops ist es jedoch wichtig zu verstehen, wie dieser Prozess funktioniert - denn an jedem der drei Schritte kann etwas schieflaufen, das eine Seite unsichtbar macht. Dieser Artikel erklärt Crawling, Indexierung und Ranking so, dass Sie danach fundierte Entscheidungen für Ihre Website oder Ihren Online-Shop treffen können.

Schritt 1: Der Googlebot und das Crawling

Google schickt automatisierte Programme aus, die das gesamte öffentliche Web systematisch besuchen. Diese Programme nennt man Crawler oder Spider, Googles eigener heißt Googlebot. Seine Aufgabe ist einfach: Webseiten aufrufen, den Inhalt einlesen und Links auf der Seite verfolgen.

Der Googlebot startet von einer Liste bekannter URLs und arbeitet sich von dort aus vor. Er ruft eine Seite ab, liest den HTML-Quellcode aus, notiert alle Links auf dieser Seite und fügt die unbekannten davon zur Warteschlange hinzu. So hangelt er sich von Seite zu Seite durchs Web - wie jemand, der in der Bibliothek einem Literaturverzeichnis folgt und Buch für Buch weiterliest.

Neben dem direkten Verfolgen von Links gibt es noch eine zweite Methode: die XML-Sitemap. Eine Sitemap ist eine strukturierte Liste aller Seiten einer Website, die man Google explizit einreichen kann. Das hilft besonders dann, wenn manche Seiten schlecht intern verlinkt sind.

Wichtig zu wissen: Der Googlebot besucht eine Seite nicht unendlich oft. Google teilt jedem Crawl ein sogenanntes Crawl Budget zu - eine begrenzte Anzahl von Seitenaufrufen pro Zeitraum. Bei einer kleinen Unternehmenswebsite mit zwanzig Seiten ist das irrelevant. Bei einem WooCommerce-Shop mit dreitausend Produkten, hundert Filterkombinationen und mehreren Paginierungsseiten kann es sehr wohl relevant werden: Wenn der Googlebot sein Budget für technisch generierte Seiten verbraucht, hat er keine Kapazität mehr, die eigentlichen Produktseiten zu crawlen.

Bei einem Kunden mit einem mittelgroßen Modegeschäft in Deutschland haben wir genau dieses Problem behoben. Der Shop hatte durch Farbfilter und Größenfilter kombiniert über achttausend URL-Varianten produziert, von denen keine einzige echten eigenständigen Inhalt hatte. Nachdem wir diese URLs per robots.txt für den Googlebot gesperrt haben, stieg die Crawling-Frequenz der echten Produktseiten deutlich an.

Die robots.txt: Einlass gewähren oder verweigern

Die robots.txt ist eine einfache Textdatei, die im Wurzelverzeichnis jeder Website liegt. Sie enthält Anweisungen für Crawler, welche Bereiche sie besuchen dürfen und welche nicht. Der Googlebot hält sich daran - zumindest in Bezug auf das Crawling.

Typische Kandidaten für robots.txt-Sperren sind: Admin-Bereiche, interne Suchseiten, Warenkorb und Kasse bei Shops, Druckansichten und eben technisch generierte Filterkombinationen ohne eigenständigen Inhalt.

Schritt 2: Der Index - Googles Datenbank

Nachdem der Googlebot eine Seite gecrawlt hat, beginnt die eigentliche Arbeit: die Indexierung. Google analysiert den Inhalt der Seite - den Text, die Überschriften, die Bilder (soweit möglich), die interne Struktur - und entscheidet, ob und wie die Seite in den Index aufgenommen wird.

Der Google-Index ist eine riesige Datenbank, in der Milliarden von Seiten gespeichert sind. Wenn jemand etwas sucht, durchsucht Google nicht das Live-Web, sondern diesen Index. Das erklärt, warum Änderungen auf einer Website nicht sofort in den Suchergebnissen sichtbar sind: Erst muss der Googlebot die Seite erneut crawlen, dann muss der aktualisierte Inhalt indexiert werden.

Eine Seite gecrawlt zu haben ist noch keine Garantie für die Aufnahme in den Index. Google trifft eine Qualitätsentscheidung. Seiten ohne nennenswerten Inhalt, mit viel dupliziertem Text oder mit rein technischem Inhalt (Parameterseiten, leere Kategorieseiten ohne Produkte) werden häufig nicht aufgenommen.

Schritt 3: Das Ranking - warum Seite A vor Seite B erscheint

Wenn jemand etwas in Google eingibt, läuft in Millisekunden ein komplexer Prozess ab. Google durchsucht den Index nach allen Seiten, die für diese Anfrage potenziell relevant sind, und bringt sie in eine Reihenfolge. Diese Reihenfolge nennt man Ranking.

Für das Ranking nutzt Google nach eigenen Angaben Hunderte von Signalen. Vereinfacht lassen sich diese in drei Gruppen einteilen:

Für das Ranking ist der Begriff E-E-A-T relevant: Experience, Expertise, Authoritativeness, Trustworthiness - auf Deutsch Erfahrung, Fachkompetenz, Autorität, Vertrauenswürdigkeit. Google versucht zu bewerten, ob hinter einem Inhalt echte Expertise steckt. Das ist keine magische Formel, sondern eine Orientierungshilfe: Inhalte, die zeigen, dass jemand ein Thema wirklich kennt, performen besser als generische Texte ohne Substanz.

Suchintention: Das unterschätzte Grundprinzip

Einer der häufigsten Denkfehler beim Thema Ranking ist die Fokussierung auf Keywords allein. Keywords sind wichtig, aber entscheidend ist die Intention hinter einer Suchanfrage. Google unterscheidet grob zwischen informativen Anfragen ("wie funktioniert..."), transaktionalen Anfragen ("kaufen", "bestellen", "Angebot") und navigationalen Anfragen (Nutzer sucht nach einer bestimmten Marke oder Website).

Wer einen informativen Suchbegriff mit einer reinen Produktseite bedienen will, wird kaum Erfolg haben - und umgekehrt. Die Seite muss zur Intention passen. In der Praxis bedeutet das: Schauen Sie sich die ersten Ergebnisse für Ihren Zielbegriff an. Sind das Blogartikel, Ratgeberseiten oder Produktseiten? Das zeigt Ihnen, was Google für diesen Begriff als angemessene Antwort betrachtet. Mehr zu Keywords und ihrer Bedeutung finden Sie in einem eigenen Artikel.

Was das für Ihre Website bedeutet

Die drei Prozesse - Crawling, Indexierung, Ranking - sind sequenziell. Eine Seite, die nicht gecrawlt wird, kann nicht indexiert werden. Eine Seite, die nicht indexiert ist, kann nicht ranken. Wenn eine Seite nicht in Google auftaucht, ist die erste Frage: An welchem Schritt scheitert sie?

Die Google Search Console ist dabei das wichtigste Werkzeug. Sie zeigt, welche Seiten gecrawlt wurden, welche im Index sind, für welche Begriffe eine Seite erscheint und wie viele Klicks sie erzeugt. Wer noch keine Search Console eingerichtet hat, sollte das als erstes nachholen - es ist kostenlos und liefert Daten, die kein anderes Tool ersetzen kann.

Für die meisten kleinen und mittelständischen Websites gilt: Die technischen Grundlagen sind schnell in Ordnung zu bringen. Robots.txt prüfen, Search Console einrichten, Sitemap einreichen, interne Verlinkung sicherstellen. Danach ist der Inhalt das entscheidende Element. Gute, ausführliche, für echte Menschen geschriebene Inhalte performen langfristig besser als jeder kurzfristige Trick.

SEO als Konsequenz des Verständnisses

Suchmaschinenoptimierung - kurz SEO - ist nichts anderes als die systematische Arbeit daran, dass Google alle drei Schritte für Ihre Seiten reibungslos durchläuft. Technisch SEO sorgt dafür, dass Crawling und Indexierung funktionieren. On-Page-SEO verbessert Inhalt und Relevanz. Off-Page-SEO baut die externe Autorität auf.

Verstehen Sie SEO als dauerhafte Optimierung, nicht als einmaligen Schalter. Die grundlegende Funktionsweise von Google - Crawler, Index, Ranking - ändert sich im Kern nicht. Was sich ändert, ist die Gewichtung bestimmter Signale und die Qualitätsanforderungen. Wer die Grundmechanik kennt, kann mit diesen Veränderungen umgehen, ohne jedes Mal von vorn anfangen zu müssen.

Einen tieferen Einstieg in die Welt der Suchmaschinenoptimierung bietet der Artikel Was ist SEO?. Wer die nächsten Schritte für die eigene Website konkret planen möchte, kann sich gerne für eine kostenlose Erstberatung melden.