Der Unterschied zwischen Sitemap und robots.txt-Dateien und wie sie in WordPress funktionieren

Wenn Sie an der SEO einer WordPress-Website arbeiten, gibt es zwei Säulen, die das ganze System zusammenhalten. Ohne sie oder wenn sie falsch konfiguriert sind, kann die gesamte On-Page-Optimierungsarbeit völlig nutzlos werden.

Die Rede ist von den Dateien sitemap.xml und robots.txt, die ich als die "beiden Cousins" bezeichnet werden, weil sie ähnliche und einander ergänzende Funktionen erfüllen. Beide spielen eine entscheidende Rolle bei der Verbesserung der Sichtbarkeit Ihrer Webseite und vor allem bei der korrekten Indizierung aller Seiten durch die Suchmaschinen.

Daher ist es wichtig, die Funktionsweise dieser beiden Dateien zu verstehen. Lassen Sie uns gemeinsam den Unterschied zwischen Sitemap und robots.txt herausfinden und erfahren, wie Sie diese effizient in WordPress einsetzen können.

Was ist eine Sitemap?

Was ist eine Sitemap? Eine Sitemap ist eine XML-Datei, die alle Seiten Ihrer Webseite auflistet, die indiziert werden sollen. Sie fungiert als "Landkarte", die Suchmaschinen hilft, durch Ihre Webseite zu navigieren. Die Sitemap liefert den Crawlern also wichtige Informationen, vor allem darüber, welche Seiten in den Suchergebnissen erscheinen sollen.

Diese Datei enthält auch viele andere Informationen, die für eine ordnungsgemässe Indexierung erforderlich sind, z. B. das Datum der letzten Änderung einer Seite, die Häufigkeit der Aktualisierung und die relative Bedeutung der verschiedenen Seiten. Wenn Sie Suchmaschinen eine Sitemap zur Verfügung stellen, helfen Sie ihnen also, die Struktur Ihrer Webseite besser zu verstehen und Ihre Inhalte richtig zu indexieren.

Lesen Sie in dem Artikel "Sitemap. Was ist sie, wozu dient sie und wie erstellt man sie?" mehr darüber, was eine Sitemap ist, wozu sie dient und wie man sie erstellt und an Suchmaschinen übermittelt.

Wie erstellt man eine Sitemap in WordPress?

In WordPress ist es möglich, eine Sitemap mit Hilfe von Plugins zu erstellen, die die gesamte Arbeit automatisch erledigen. Eines der beliebtesten Plugins, nicht nur für die Erstellung von Sitemaps, sondern auch für die Verwaltung der gesamten SEO einer WordPress Website, ist Rank Math.

Nach der Installation und Aktivierung des Plugins wird die Sitemap automatisch generiert. Sie finden sie in den Rank-Math-Einstellungen unter Rank Math > Sitemap-Einstellungen in Ihrem WordPress-Dashboard. Die Sitemap wird jedes Mal aktualisiert, wenn Sie Änderungen an Ihrer Webseite vornehmen, z.B. wenn Sie neue Artikel erstellen oder die URL einer Seite ändern.

Denken Sie daran, die Sitemap an die Suchmaschinen zu übermitteln, damit diese neue Inhalte leichter indexieren und auffinden können. Wenn Sie eine mehrsprachige Webseite haben, senden Sie die Sitemap auch an ausländische Suchmaschinen.

Was ist die robots.txt-Datei?

Die robots.txt-Datei ist eine Textdatei, die sich im Stammverzeichnis Ihrer Webseite befindet. Ihr Hauptzweck besteht darin, den Suchmaschinen-Crawlern mitzuteilen, welche Seiten oder Ordner auf Ihrer Webseite nicht indexiert werden sollen. Mit anderen Worten: Mit der robots.txt-Datei können Sie Suchmaschinen den Zugriff auf bestimmte Teile Ihrer Webseite verwehren. So können Sie beispielsweise einen Ordner mit PDF-Dateien, die Sie normalerweise an Abonnenten Ihres Newsletters senden, von der Indexierung ausschliessen, sodass er nicht von Suchmaschinen erfasst werden kann.

Die Datei robots.txt enthält also auch wichtige Indexierungsinformationen, aber während die Sitemap angibt, welche Seiten gecrawlt werden sollen, gibt die robots-Datei an, welche Seiten von den Crawlern nicht berücksichtigt werden sollen.

Wie erstellt man eine robots.txt-Datei in WordPress?

Für die Verwaltung der robots.txt-Datei in WordPress können Sie auch auf das Plugin Rank Math zurückgreifen (obwohl es viele andere gibt). Rank Math ermöglicht es Ihnen, eine "virtuelle" robots.txt-Datei zu erstellen, die im Abschnitt Rank Math > Allgemeine Einstellungen > robots.txt bearbeiten bearbeitet und angepasst werden kann.

In diesem Abschnitt können Sie angeben, welche Ordner oder Seiten Sie von der Indexierung ausschliessen möchten, sodass Sie mehr Kontrolle über das Verhalten der Suchmaschinen auf Ihrer Webseite haben.

Stellen Sie sicher, dass im Stammverzeichnis Ihrer Webseite nicht bereits eine robots.txt-Datei vorhanden ist, da sonst die Einstellungen der von Rank Math generierten virtuellen Datei nicht funktionieren werden.

In dieser Datei finden Sie bereits Standardanweisungen, die vom Plug-in erstellt wurden. Eine davon ist "disallow: wp-admin", die sehr wichtig ist, um das Scannen des Administrationsbereichs Ihrer WordPress-Site zu blockieren. Darüber hinaus wird die URL der Sitemap angegeben.

Es muss jedoch bedacht werden, dass es (wie so oft bei SEO) nicht möglich ist, mathematisch sicher zu sein, dass Seiten, die als "disallow" (Crawling verhindern) markiert sind, tatsächlich von Suchmaschinen ignoriert werden, oder dass solche, die als "allow" (Crawling erlauben) markiert sind, tatsächlich in den SERPs erscheinen. Dennoch ist dies ein sehr deutlicher Hinweis, der in der Regel beachtet wird.

Fazit

Wie Sie sehen, sind die Sitemap und die robots.txt-Datei zwei wichtige Instrumente zur Verbesserung der Indexierung und des Rankings Ihrer WordPress-Website in Suchmaschinen. Während die Sitemap den Suchmaschinen hilft, die Struktur Ihrer Webseite zu verstehen und wichtige Seiten zu identifizieren, können Sie mit der robots.txt-Datei den Zugriff der Suchmaschinen auf bestimmte Teile Ihrer Webseite steuern.

Nutzen Sie diese Tools mit einem guten SEO-Plugin wie Rank Math, und Sie werden die Online-Sichtbarkeit Ihrer Webseite verbessern können.