Indexierung in Robots.txt

[Jenni7]

Hallo,

ich bin Shopify Anfänger.
Es gab für den Shop mal eine Übersetzungsapp (wurde aber wieder gelöscht). Die generierten URLs mit .com/en/sitemap sollen auf noidex gesetzt werden. Ich bin jetzt aber gerade überfragt, wie ich die den Robots.txt anpassen muss. In diesem Atemzug würde ich auch die Collection seiten rausnehmen.

Kann mir da jemand helfen?

Liebe Grüße

[Gabe]

Hey @Jenni7 

Danke für deine Frage und um einen schnelleren Support hier in der Community zu bekommen, so dass wir nicht allzu viele weitere Fragen stellen müssen, ist ein befristeter Vorschaulink zu einem Beispiel sehr hilfreich das schneller zu analysieren, oder ein oder zwei Screenshots.

An erster Stelle, haben dir unsere Anleitungen zum Thema Robots.txt und noindex helfen können hier? Und bzgl. der App, wenn sie etwas im Shop hinterlassen hat, dann kannst du die App Entwickler kontaktieren und die sollen dann einen 👁️ in dein Theme werfen, um zu 👀 wo der 🐛 sitzt und wie jegliche Überbleibsel der App entfernt werden können.

Dann ist so, dass um bestimmte URLs oder URL-Muster über die robots.txt Datei für Suchmaschinen zu sperren (d.h. auf noindex zu setzen), kannst du die Disallow-Direktive verwenden. Bedenke, dass du nicht direkt „noindex“ in der robots.txt setzen kannst – hierbei geht es mehr um „nicht durchsuchen“ (Disallow) als um „nicht indexieren“ (noindex).

Beispiel: URLs disallowen

Wenn du möchtest, dass Suchmaschinen keine Seiten mit .com/en/ und keine Collections durchsuchen, sieht die Anpassung deiner robots.txt vielleicht so aus:

User-agent: *
Disallow: /en/
Disallow: /collections/

Hierbei ist zu beachten:

• User-agent: * gibt an, dass die Regel für alle Suchmaschinenbots gilt.
• Disallow: /en/ verhindert, dass Suchmaschinenbots URLs durchsuchen, die /en/ enthalten.
• Disallow: /collections/ verhindert, dass Suchmaschinenbots URLs durchsuchen, die /collections/ enthalten.

Shopify und robots.txt Bearbeitung

Nun gibt es eine wichtige Besonderheit bei Shopify: Shopify erlaubt nur begrenzte Anpassungen der robots.txt Datei. Du kannst die robots.txt Datei in Shopify nicht direkt bearbeiten. Diese wird von Shopify generiert und basiert auf der Struktur deines Shops.

Wenn du Seiten auf Noindex setzen möchtest, musst du das innerhalb der HTML-Seite machen, indem du einen entsprechenden Meta-Tag im Head-Bereich der Seite setzt:

<meta name="robots" content="noindex">

Um das für bestimmte URLs zu tun, musst du entweder die Shopify Liquid-Dateien direkt bearbeiten (falls du mit Liquid und der Struktur von Shopify vertraut bist) oder eine App verwenden, die SEO-Funktionalitäten wie Meta Robots Tags setzen erlaubt.

Wenn bestimmte URLs immer noch indexiert werden, obwohl sie mit "Disallow" in der robots.txt stehen, ist das übrigens normal: "Disallow" verhindert das Crawling, nicht unbedingt das Indexieren. Eine Seite kann immer noch indexiert werden (ohne Content im Suchindex), wenn andere Seiten darauf verlinken und die URL bekannt wird.

Da diese Angelegenheiten etwas komplex sein können und einen Eingriff in die technische SEO darstellen, wäre es möglicherweise hilfreich, einen SEO-Experten wie storeinspector.io oder eine unserer Shopify Agenturen zu Rate zu ziehen, wenn du unsicher bist. Beachte stets, dass Änderungen an der SEO- und Robots-Konfiguration erhebliche Auswirkungen auf die Sichtbarkeit deines Shops in den Suchergebnissen haben können.

---
Hast du weitere Fragen zum Shop? Gebe einfach ein Suchbegriff oben in der Suchleiste der Community Landingpage ein, denn das Thema haben wir sehr wahrscheinlich schon besprochen. Halte bitte Ausschau in deiner E-Mail auf Notifications zu Antworten auf deine Fragen in der Community.

[Jenni7]

Hey Gabe,

vielen lieben Dank für die ausführliche Antwort. Ein bisschen hat es schon geholfen.
Ich bin mir nicht sicher, ob die App-Entwickler dafür zuständig sind, die generierten Seiten in EN Version zu entfernen?
Im Grunde geht es ja darum, diese alten Seiten zu entfernen.
Das verstehe ich: Wenn du Seiten auf Noindex setzen möchtest, musst du das innerhalb der HTML-Seite machen, indem du einen entsprechenden Meta-Tag im Head-Bereich der Seite setzt ABER: wo komme ich denn in die Bearbeitung der Seite bzw. wo finde ich denn die alte Seite? Vielleicht ist das das Grundproblem 🙂
Welche Art von Screenshot würde helfen, um mein Problem besser zu verstehen?

Liebe Grüße

[Gabe]

Hey @Jenni7 

Möchtest du die Seiten auf Google ausblenden oder im Shop? noindex wäre ja nur für Google. Wenn du aber Pages im Shop hast die du nicht haben möchtest und sie aus dem Shop und Theme entfernen möchtest, dann wäre das etwas anderes. Somit kann ich deinen Fragen nicht genau erkennen um welchen Sachverhalt es sich handelt.

Dann wenn es um Seiten aus dem Shop zu entfernen handelt, wäre bei so einem Fall ein befristeter Vorschaulink zu einem Beispiel sehr hilfreich das schneller zu analysieren.

Bezüglich deiner Frage zu alten, durch eine App generierten Seiten: Wenn die App Seiten in deinem Shop generiert hat, und diese nach dem Löschen der App weiterhin bestehen, kann es sein, dass du diese Seiten manuell im Adminbereich unter „Online-Store“ > „Pages“ oder „Online-Store“ > „Navigation“ entfernen oder bearbeiten musst. 

Wenn es URLs sind, die durch die App in speziellen Dateien oder Ordnern innerhalb deines Theme-Codes erstellt wurden, könnte es komplizierter werden und du müsstest möglicherweise mit dem App-Entwickler oder einem Shopify-Experten sprechen, um eine Lösung zu finden.

Wenn weitere Klärungen benötigt werden, oder du spezifische Fragen zum Bearbeiten von Code hast, stehe ich gerne hier zur Verfügung! 😉

[Jenni7]

Hey Gabe,

im Grunde möchte ich die Seiten löschen, komme aber nicht an diese ran. Oder ich bin zu doof. 🙂 also die deutschen Produkte sind natürlich da aber die englischen nicht. Daher dachte ich zumindest schonmal noindex für google.

Ich schaue nochmal und melde mich sonst gerne nochmal direkt bei dir!

Liebe Grüße Jenni

[Gabe]

Gerne geschehen! 😉