Schritt 2: Prüfen Sie den Indexierungsstatus Ihrer Webseite

Das prüfen wir bei FirmCatalyst anhand von drei Möglichkeiten:

WordPress Einstellungen prüfen

Als Erstes prüfen wir, ob unsere WordPress-Installation überhaupt für Crawler zugänglich ist. Dazu loggen wir in uns in die Admin-Oberfläche unserer WordPress-Seite ein und rufen dort “Einstellungen” > “Lesen” auf. Stellen Sie sicher, dass unter “Sichtbarkeit für Suchmaschinen” der Punkt “Suchmaschinen davon abhalten, diese Website zu indexieren.” nicht ausgewählt ist.

Meta Robots Checker von SEO Review Tools

Rufen Sie den Meta Robots Checker von Review Tools auf.

Analysieren Sie in der Eingabemaske eine URL Ihrer Wahl. Das Tool zeigt Ihnen, ob auf der jeweiligen Seite das NoIndex oder Nofollow Tag hinterlegt ist, welches die Indexierung der URL verhindern würde.

Nutzen Sie den site:domain.de Begriff

Rufen Sie dazu die google.de Suche auf. In der Eingabemaske tippen Sie den Befehl: “site:ihre-website.de” ein. Nun sollten Sie eine Auflistung aller URLs Ihrer Webseite sehen, die in der Google-Suche indexiert sind.

Prüfen Sie Fehlermeldungen in der Search Console

Die Search Console ist Googles Knotenpunkt, um Webmaster über Abstrafungen, Fehler oder andere Hinweise zu informieren, welche Ihre Webseite betreffen könnten. In der neuen Version der Search Console (Ende 2019) wird Ihnen zusätzlich gezeigt, wie Google Ihre Website indexiert und wie schnell die Seiten Ihrer Webseite laden. 

Voraussetzung ist, dass Sie den Service mit Ihrer Webseite verknüpft haben. Das ist möglich, wenn Ihre Domain mittels Google Analytics oder Meta Tag verifiziert wurde.

Achten Sie darauf, dass die eingetragene Property genau der aufrufbaren Version Ihrer Webseite entspricht. Ist die primäre Version Ihrer Website also unter: https://Ihre-website.de aufrufbar, sollte die eingetragene Property in der Search Console nicht https://www.ihre-website.de heißen. In so einem Fall wären die Ergebnisse verfälscht und Sie würden nicht Zugriff auf alle Daten erhalten.

Tipp: Ist Ihre Webseite noch nicht für die Google Search Console verifiziert, dann folgen Sie dem entsprechenden Tutorial auf growthwizard.de/yoast-seo-einstellungen/. 

Beheben Sie 404 Fehler

404 Fehler sind so ziemlich das Schädlichste, mit dem Ihre Webseite zu kämpfen hat. Die Aufgabe jeder Suchmaschine ist es, dem Nutzer stets die bestmögliche Antwort auf seine Suchanfrage zu bieten. Daher sind Suchmaschinen stets bemüht, die eigenen Algorithmen so anzupassen, dass Sie in der Lage sind, das bestmögliche Ergebnis für den Benutzer ausfindig zu machen. 

Sollte der Fall eintreten, dass ein Nutzer auf ein Suchergebnis klickt und die Seite mit der jeweiligen Information nicht mehr auffindbar ist, ist das nicht nur schlecht für den Nutzer, sondern auch für Sie als Webseitenbetreiber und stellt zudem die Suchmaschine in ein schlechtes Licht. In einer solchen Situation gäbe es nur Verlierer. 

Aus Sicht der Suchmaschinenoptimierung (SEO) haben wir mit einem weiteren Problem zu kämpfen. Jede Webseite baut mit der Zeit Backlinks auf. Diese Backlinks sind für Suchmaschinen ein Indikator für Qualität & Vertrauen. Sie können sich das so vorstellen: Jede URL Ihrer Webseite enthält einen Wert, der die Qualität bewertet. Ist die aufgerufene URL nicht mehr verfügbar und wird nicht ordnungsgemäß weitergeleitet, dann verpufft das aufgebaute Vertrauen. 

Daher sollte es Ihre Aufgabe sein, solche 404-Fehler stets ordnungsgemäß zur richtigen Quelle weiterzuleiten. Dafür gibt es verschiedene Statuscodes, die den Suchmaschinen sagen, was mit dem jeweiligen Inhalt passiert ist.

• 301: Inhalt wurde dauerhaft weitergeleitet: Das sagt aus, dass der Inhalt nun permanent auf einer anderen URL vorzufinden ist.
• 307: Inhalt wurde temporär weitergeleitet: Das sagt aus, dass der Inhalt für einen temporären Zeitraum auf einer anderen URL vorzufinden ist. 
• 410: Inhalt wurde dauerhaft gelöscht: Das sagt aus, dass der Inhalt dauerhaft von der Webseite entfernt wurde.
• Es gibt viele weitere Statuscodes: Eine Auflistung dieser, finden Sie in der Ryte Wiki: https://de.ryte.com/wiki/HTTP_Status_Code

Matt Cutts (ehemaliger Google-Mitarbeiter) hat diese Problematik in einem Youtube-Video beschrieben. Dort geht er darauf ein, warum es so wichtig ist, auf korrekte Weiterleitungen zu achten und wie diese zu handhaben sind.

Tipp: Eine Auflistung der 404-Fehler Ihrer Webseite finden Sie in der Search Console unter “Index > Abdeckung > Ausgeschlossen > Nicht gefunden (404)”.

Um URLs in WordPress korrekt weiterzuleiten, können Sie Plugins verwenden:

• Redirection: de.wordpress.org/plugins/redirection/
• Yoast SEO Premium (79 €/ Jahr): yoast.com/wordpress/plugins/seo/

Prüfen Sie URLs auf das Noindex Tag

Ebenfalls in der Search Console (Index > Abdeckung > Ausgeschlossen > Durch “noindex”-Tag ausgeschlossen), finden Sie eine Auflistung aller URLs, die ein sogenanntes NoIndex Tag enthalten. Dieses Meta Tag sagt Suchmaschinen, dass die entsprechende URL nicht in den Suchergebnissen aufgenommen werden soll. 

Es schadet nicht, alle URLs in regelmäßigen Abständen darauf zu kontrollieren, ob die jeweilige Seite wirklich nicht indexiert werden soll. Gerade dann, wenn mehrere Menschen an einer Webseite arbeiten oder Plugins zur Verwendung kommen, kann das NoIndex Tag irrtümlicherweise eingebaut sein.

Prüfen Sie den Speicherort Ihrer Sitemap.xml 

Eine sitemap.xml ist eine Auflistung all Ihrer URLs, Bilder und Inhalte, mitsamt Zeitpunkt der letzten Modifikation. Insbesondere große Webseiten profitieren durch eine Sitemap, weil Suchmaschinen es damit einfacher haben, die Struktur Ihrer Webseite zu verstehen. Für Suchmaschinen ist eine Sitemap ein Wegweiser zu jedem Inhalt Ihrer Webseite.

Sie haben die Möglichkeit, die Sitemap Ihrer Webseite in der robots.txt sowie in der Search Console zu hinterlegen. Somit wissen Suchmaschinen ganz genau, wo sie die Sitemap auffinden können.

Mit Hilfe des Plugins “Yoast SEO” können Sie die robots.txt spielend einfach bearbeiten:

1. Rufen Sie dazu das WordPress Backend unter “ihredomain.de/wp-admin/” auf.
2. Navigieren Sie zu “SEO > Werkzeuge > Datei Editor”.
3. Erstellen Sie eine “robots.txt”.
4. Fügen Sie folgenden Eintrag hinzu: Sitemap: https://ihre.de/sitemap_index.xml.
5. Speichern Sie die robots.txt.

Möchten Sie die Sitemap.xml in der Search Console hinzufügen, dann befolgen Sie die unterstehenden Schritte:

1. Rufen Sie die Search Console unter search.google.com/search-console/about?hl=de auf.
2. Navigieren Sie zu: “Sitemaps > Neue Sitemap hinzufügen”.
3. Tragen Sie die URL Ihrer Sitemap (https://ihredomain.de/sitemap_index.xml) in das Eingabefeld ein und bestätigen Sie die Eingabe.

Hinweis: Sollten Sie Yoast SEO nicht zur Erstellung Ihrer Sitemap verwenden, finden Sie Ihre Sitemap möglicherweise unter: “ihredomain.de/sitemap.xml”. Dieser Pfad ist am häufigsten in Gebrauch.

Prüfen Sie den Zustand Ihrer robots.txt

Die robots.txt ist eine optionale Textdatei im FTP-Ordner Ihrer Webseite, welche in der Regel unter “ihredomain.de/robots.txt” erreichbar ist. Diese Datei ist nur für Crawler relevant und enthält Anweisungen welche URL-Pfade Ihrer Domain gelesen werden dürfen und welche Pfade vom Crawling ausgeschlossen sind.

Hinweis für erfahrene Webmaster: Das “NoIndex Tag” innerhalb der robots.txt wird seit 2019 nicht mehr unterstützt. Google verweist darauf, das Crawling mithilfe alternativer Anweisungen wie “Disallow: ihredomain.de/pfad/” zu blockieren. Zudem wird empfohlen, Meta-Tags wie “NoIndex, NoFollow, DoFollow” zu verwenden.

Jedes professionelle SEO-Tool für einen SEO-Audit sollte in der Lage sein, die robots.txt einer Website auf mögliche Fehler zu überprüfen. Besteht kein Zugriff auf professionelle SEO-Tools, können Sie auch den kostenlosen robots.txt Checker von Ryte verwenden.

Im besten Fall sollte Ihre robots.txt für WordPress so minimalistisch wie möglich aufgebaut sein. Anbei ein optimaler Aufbau einer robots.txt für WordPress.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://ihredomain.de/sitemap_index.xml

Fazit: Machen Sie es Crawlern einfach!

Auffindbarkeit gehört zum 1×1 der erfolgreichen Suchmaschinenoptimierung. Es gibt viele Tags und Probleme, die die Crawlbarkeit einer Webseite behindern können. Wir arbeiten immer wieder an Webseiten neuer Kunden, denen gar nicht bewusst war, dass bestimmte Seiten von der Indexierung ausgeschlossen sind.

Damit ist der zweite Schritt unseres SEO-Audits beendet. Im dritten Schritt unseres SEO-Audits prüfen wir die Ladezeit unserer Webseite.