SEO-Kolumne:
robots.txt – kleine Datei mit großer Wirkung

Die robots.txt-Datei ist oft dafür verantwortlich, dass eine komplette Internetseite aus dem Google-Index verschwindet und im Ranking abrutscht. SEO-Kolumnist Timon Hartung zeigt euch, wie ihr diesen Worst Case vermeidet.

Text: Timon Hartung

14. Juli 2022

Timon Hartung schreibt für W&V die SEO-Kolumne.
Foto: W&V

Die robots.txt ist eine kleine Textdatei, die Anweisungen für Suchmaschinen bereithält. Diese Anweisungen bestimmen, in welche Verzeichnisse der Google Bot reinschauen darf und in welche nicht.

Was bedeutet es, wenn der Google Bot in ein Verzeichnis reinschauen darf?

Der Google Bot ist ein kleines Programm, welches allen Links im Internet folgt und die Inhalte hinter den Links sammelt und diese Inhalte dann an die Google Suchmaschine weitergibt (an den Google Indexer). Mit der robots.txt können wir dieses kleine Google Bot-Programm aus bestimmten Verzeichnissen ausschließen, sodass es die Inhalte hinter den Links nicht lesen darf.

Paid content

Jetzt mit
W&V Membership weiterlesen!

Zugriff auf alle Membership-Inhalte
3 Monate für nur 19,90 €
Danach 41,58 € pro Monat im Jahres-Membership
Jederzeit kündbar

Jetzt für 19,90 € testen

Weitere Angebote findest du hier

Du bist bereits registriert als W&V Member?

Verpasse nie wieder die wichtigsten SEO- und SEA-News und abonniere jetzt unseren Newsletter. Hier gehts zur Anmeldung.

Wie du die Conversion Rate für dein Business optimierst, erfährst du im wöchentlichen Newsletter Conversion Booster. Melde dich gleich an.

Wie funktioniert eigentlich Tiktok? Einen schnellen und umfassenden Überblick gibt dir die aktuelle Ausgabe des W&V Executive Briefing zum Thema Tiktok.

Was bedeutet es, wenn der Google Bot in ein Verzeichnis reinschauen darf?

Jetzt mit W&V Membership weiterlesen!

Du bist bereits registriert als W&V Member?

Aktuelle Artikel

Jetzt mit
W&V Membership weiterlesen!