Robots txt / Sitemap

Deutsch Diskussion Technische Fragen & Antworten

Topic summary

Hauptthema: Bearbeitung der robots.txt-Datei in Shopify vor einem Shop-Launch

Ausgangsfrage: Ein Nutzer möchte vor dem Go-Live am Montag bestimmte Seiten (z.B. Datenschutz) von der Indexierung ausschließen und die Sitemap in der robots.txt verlinken, hat aber keinen direkten Zugriff auf die Datei.

Lösung:

  • Shopify bietet bereits eine optimierte robots.txt-Datei für alle Shops
  • Anpassungen sind über die Theme-Vorlage robots.txt.liquid möglich
  • Folgende Änderungen können vorgenommen werden:
    • URLs zum Crawling erlauben/blockieren
    • Crawling-Delay-Regeln hinzufügen
    • Zusätzliche Sitemap-URLs einfügen
    • Bestimmte Crawler blockieren

Wichtige Hinweise:

  • Bearbeitung erfordert Code-Kenntnisse oder Zusammenarbeit mit Shopify-Experten
  • Änderungen sollten mit dem Google Robots.txt-Tester geprüft werden
  • Vor Anpassungen sollte eine Sicherungskopie erstellt werden
  • Drittanbieter-Lösungen (z.B. Cloudflare, Apps) sollten entfernt werden
  • Detaillierte Anleitungen sind auf der Shopify-Entwicklerseite verfügbar

Status: Frage wurde zufriedenstellend beantwortet

Summarized with AI on November 23. AI used: claude-sonnet-4-5-20250929.
1

Hi zusammen,

wir gehen am Montag mit unserem neuen Shop live.

Wichtige Frage:

Leider gibt es keinen direkten Zugriff auf die Robots.txt.

Wie kann ich Seiten zum indexieren ausschließen (z.B. Datenschutz usw.)

Ist es möglich, die Sitemap in der Robots.txt zu verlinken?

VG DPG

2

Hey @D-PG

Warum wollt ihr Seiten ausschließen wenn die Shopify Datei robots.txt diese Seiten bereits ausschließt? Alle Shopify-Shops verfügen über eine Datei robots.txt, die für die Suchmaschinenoptimierung (SEO) bereits optimiert ist.

Du kannst die Datei über die Theme-Vorlage robots.txt.liquid bearbeiten und die folgenden Änderungen vornehmen:

  • erlauben oder ablehnen, dass bestimmte URLs gecrawlt werden
  • Crawling-Delay-Regeln für bestimmte Crawler hinzufügen
  • zusätzliche Sitemap-URLs hinzufügen
  • bestimmte Crawler blockieren

Die robots.txt-Datei befindet sich im Stammverzeichnis des primären Domain-Namens deines Shopify-Shops. Beispiel: johns-apparel.com/robots.txt.

Wenn du die Datei robots.txt.liquid bearbeiten möchtest, solltest du mit einem Shopify-Experten zusammenarbeiten oder über Kenntnisse in der Code-Bearbeitung und SEO verfügen.

Du kannst Liquid verwenden, um Richtlinien zur Vorlage robots.txt.liquid hinzuzufügen oder daraus zu entfernen. Diese Methode behält die Möglichkeit für Shopify bei, die Datei in Zukunft automatisch zu aktualisieren, und wird empfohlen. Eine vollständige Anleitung zum Bearbeiten dieser Datei erhältst du auf der Shopify-Entwicklerseite Robots.txt.liquid anpassen.

Entferne alle früheren Anpassungen oder Zwischenlösungen, wie z. B. die Verwendung eines Drittanbieterservices wie Cloudflare, bevor du die Datei robots.txt.liquid bearbeitest.

Schritte:1. Klicke in deinem Shopify-Adminbereich auf Einstellungen > Apps und Vertriebskanäle.

  1. Klicke auf der Seite Apps und Vertriebskanäle auf Online store.

  2. Klicke auf Vertriebskanal öffnen.

  3. Klicke auf Themes.

  4. Klicke auf Aktionen und dann auf Code bearbeiten.

  5. Klicke auf Eine neue Vorlage hinzufügen und wähle dann Robots aus.

  6. Klicke auf Create template (Vorlage erstellen).

  7. Nimm die Änderungen vor, die du an der Standardvorlage durchführen möchtest. Weitere Informationen zu Liquid-Variablen und häufigen Anwendungsfällen findest du auf der Shopify-Entwicklerseite Robots.txt.liquid anpassen.

  8. Speichere Änderungen an der Datei “robots.txt.liquid” in deinem veröffentlichten Theme.

Änderungen werden sofort ausgeführt, aber Crawler reagieren nicht immer sofort. Du kannst Änderungen mit dem Google robots.txt-Tester testen.

Du kannst auch den Inhalt der Vorlage löschen und durch einfache Textregeln ersetzen. Es wird dringend empfohlen, diese Methode nicht zu verwenden, da Regeln veraltet sein können. Wenn du diese Methode wählst, kann Shopify nicht sicherstellen, dass Best Practices für SEO im Laufe der Zeit auf deine Datei “robots.txt” angewendet werden oder dass bei zukünftigen Aktualisierungen Änderungen an der Datei vorgenommen werden.

Hinweis

ThemeKit- oder Befehlszeilenänderungen verändern die Datei “robots.txt.liquid” nicht. Durch das Hochladen eines Themes im Abschnitt “Themes” im Shopify-Adminbereich wird “robots.txt.liquid” nicht importiert.

Anpassungen aus “robots.txt.liquid” löschen

Wenn du wieder die Standarddatei robots.txt verwenden möchtest, speichere eine Kopie der Anpassungen deiner Vorlage robots.txt.liquid, da du die Vorlage löschen musst. Dies kann nicht rückgängig gemacht werden.

Schritte:1. Klicke in deinem Shopify-Adminbereich auf Einstellungen > Apps und Vertriebskanäle.

  1. Klicke auf der Seite Apps und Vertriebskanäle auf Online store.

  2. Klicke auf Vertriebskanal öffnen.

  3. Klicke auf Themes.

  4. Klicke auf Aktionen und dann auf Code bearbeiten.

  5. Klicke auf Robots.liquid und dann auf Datei löschen.

  6. Wenn du “robots.txt.liquid” weiterhin löschen möchtest, klicke auf Datei löschen.

Du kannst die Datei robots.txt.liquid jederzeit in der Zukunft bearbeiten. Wenn du deine bisherigen Anpassungen gespeichert hast, kannst du deine Änderungen auch wiederholen, indem du deine gespeicherten früheren Anpassungen kopierst.

3

Hi Ben,

sehr ausführlich :flexed_biceps: . Vielen Dank, genau danach habe ich gesucht.

VG

2 Likes