Indexierung (Crawling)

Die Indexierung ist der Schritt, in dem Google eine Seite analysiert und in seinen Suchindex aufnimmt, eine riesige Datenbank. Davor steht das Crawling: Ein Programm namens Googlebot ruft die Seite auf und lädt ihre Inhalte herunter. Nur Seiten, die im Index sind, können in den Suchergebnissen erscheinen.

Crawlen, indexieren, ranken

Google beschreibt seine Suche als Ablauf in drei Stufen, und nicht jede Seite schafft alle:

1. Crawling: Googlebot findet Adressen über Links, Sitemaps und bereits bekannte Seiten und lädt Texte, Bilder und Videos herunter. Dabei stellt Google die Seite ähnlich dar wie ein aktueller Chrome-Browser, damit auch Inhalte sichtbar werden, die erst per JavaScript geladen werden.
2. Indexierung: Google wertet die Inhalte aus, prüft, ob es sich um ein Duplikat einer anderen Seite handelt, und speichert die Informationen im Index.
3. Ausliefern der Ergebnisse: Bei einer Suche wählt Google aus dem Index die passendsten Seiten aus und reiht sie. Erst hier geht es ums Ranking.

Für Indexierung und Ranking verwendet Google die mobile Version deiner Seite, gecrawlt mit einem Smartphone-Googlebot. Das nennt man Mobile-First-Indexing. Was nur in der Desktop-Ansicht steht, kann also untergehen.

Google weist ausdrücklich darauf hin, dass es kein Geld für häufigeres Crawlen oder bessere Platzierungen annimmt. Und auch eine Website, die alle Vorgaben erfüllt, hat keine Zusage, dass jede Seite gecrawlt, indexiert oder angezeigt wird.

Seiten bewusst ausschließen mit noindex

Manche Seiten sollen gar nicht in die Suche, etwa die Danke-Seite nach dem Kontaktformular. Dafür gibt es die Anweisung noindex, als Meta-Tag im HTML-Kopf oder als HTTP-Header. Findet Googlebot sie, nimmt Google die Seite aus den Suchergebnissen, auch wenn andere Websites auf sie verlinken.

Wichtig: Damit noindex wirkt, darf die Seite nicht über die robots.txt gesperrt sein. Sonst kann Googlebot die Anweisung gar nicht lesen, und die Adresse kann trotzdem in der Suche auftauchen.

Beispiel: die Seite, die nicht auftaucht

Angenommen, ein Nagelstudio in Dornbirn stellt eine neue Seite für Gel-Modellage online. Auch nach zwei Wochen findet sie sich nicht bei Google. Die URL-Prüfung in der Google Search Console zeigt bei „Indexierung zulässig?“ ein Nein: Auf der Seite steht noch eine noindex-Anweisung aus der Entwurfsphase. Nach dem Entfernen beantragt das Studio über dieselbe Prüfung die Indexierung. Eine Zusage für die Aufnahme ist das nicht, und die Zahl solcher Anträge pro Tag ist begrenzt. Für viele Seiten auf einmal ist eine aktuelle XML-Sitemap der bessere Weg.

Häufige Gründe, warum Seiten fehlen

• Die Seite ist neu und nirgends intern verlinkt, Google hat sie schlicht noch nicht gefunden.
• Eine noindex-Anweisung oder robots.txt-Sperre aus der Staging-Umgebung ist nach dem Livegang aktiv geblieben.
• Google hält die Seite für ein Duplikat und zeigt eine andere Version an, mehr dazu unter Canonical-Tag.
• Status „Gecrawlt – zurzeit nicht indexiert“: Google kennt die Seite, nimmt sie aber vorerst nicht auf. Erneutes Einreichen ist laut Google nicht nötig, ein kritischer Blick auf den Inhalt oft schon.

Rund um einen Relaunch, wenn sich viele Adressen gleichzeitig ändern, ist die Indexierung besonders heikel. Worauf du dabei achten musst, steht im Artikel Website-Relaunch ohne Rankingverlust. Und wenn Seiten trotz allem nicht auftauchen, sucht BigSEO mit dir nach der Ursache.