Bilder/Dateien von Google etc. Suche ausschließen

[walter333]

Hallo,

wie kann man das Verzeichnis der Bilder/Dateien von der Indexierung ausschließen?

Seiten die ich nicht benötige habe ich bereits ausgeschlossen, nur das Verzeichnis der Bilder/Dateien verweist ja nicht auf meine Domain (sonst könnte ich es in der robots datei einfach anführen) sondern direkt auf einen shopify Server https://cdn.shopify.com/s/files/1 usw... wie kann man dieses Verzeichnis trotzdem via robots Datei ausschließen, bzw. mit welchem Pfad/Verzeichnis meiner Domain kann ich den Speicherort der jetzt mit cdn.shopify.com/s/files usw anfängt ansprechen?

(Die Bilder die nicht indexiert werden sollen in einen eigenen Ordner geben und diesen ausschließen wie normalerweise geht ja bei der Shopify Struktur auch nicht da kein ftp ähnlicher Zugang. noindex x-robots wäre eine Möglichkeit im header falls der Server dies zulässt? generell alle Bilder über die robots auszuschließen ist bekannt)

Danke für Infos!

[Gabe]

Hey Walter! @walter333 

Der Sachverhalt ist hier nicht ganz klar ohne konkrete Beispiele aber es stimmt, dass Shopify mit CDN-Netzwerken arbeitet, wie das von Fastly und Cloudflare, und deshalb ist es m. E. nicht möglich, diese über eine robots.txt-Datei in deinem eigenen Domain-Root zu steuern. 

Ggf. gibt es aber andere Workarounds, die du versuchen kannst. Shopify bietet also keinen Zugriff auf die robots.txt-Datei für das CDN und es ist daher m. E. nicht möglich, die Indexierung der Bilder direkt über die robots.txt des CDN zu steuern. Du kannst aber die robots.txt Datei für deinen Shopify Store über die robots.txt.liquid Themenvorlage verwalten. Gehe zu Theme -> Code bearbeiten -> Eine neue Vorlage hinzufügen. Wähle robots aus und nimm deine Änderungen vor. Weitere Informationen findest du hier.

X-Robots-Tag im HTTP-Header: Dies wäre eine gute Lösung, wenn du Zugriff auf die Server-Header hättest. Der X-Robots-Tag kann verwendet werden, um spezifischen Inhalten (z.B. Bildern) Anweisungen für Suchmaschinenbots zu geben. Allerdings benötigst du dazu wiederum die Kontrolle über die Server-Antworten, was bei Shopify nicht der Fall ist.

META-ROBOTS-TAG: Während dies normalerweise für HTML-Seiten verwendet wird, kannst du theoretisch für jedes Bild eine eigene Seite erstellen und dort den META-ROBOTS-TAG verwenden, um die Indexierung zu verhindern. Dies wäre jedoch ziemlich umständlich und wahrscheinlich nicht praktikabel für eine große Anzahl von Bildern.

Alternative Hosting-Lösung: Wenn es für dich extrem wichtig ist, die Indexierung von Bildern zu steuern, könntest du in Erwägung ziehen, sie auf einem eigenen Server oder einem anderen CDN zu hosten, bei dem du die Kontrolle über die robots.txt oder die HTTP-Header hast. Einige Suchmaschinen bieten auch Webmaster-Tools an, mit denen du spezifische URLs entfernen kannst. Google bietet beispielsweise solche Tools an, obwohl es eher für Notfälle und temporäre Maßnahmen gedacht ist.

Auch wenn das CDN nicht deiner Kontrolle unterliegt, könntest du in deiner eigenen robots.txt klare Anweisungen für Bots geben, z. B.:

User-agent: *
Disallow: https://cdn.shopify.com/s/files/

Es gibt also keine Garantie, dass dies funktioniert, da Bots die robots.txt von deiner Domain lesen und nicht die von Shopify's CDN, aber es könnte einige Bots davon abhalten.

---
Hast du weitere Fragen zum Shop? Gebe einfach ein Suchbegriff oben in der Suchleiste der Community Landingpage ein, denn das Thema haben wir sehr wahrscheinlich schon besprochen. Halte bitte Ausschau in deiner E-Mail auf Notifications zu Antworten auf deine Fragen in der Community.

[walter333]

hallo Gabe,

danke für die Infos, das habe ich schon befürchtet, dass man hier nicht direkt gewisse Ordner ausschließen kann.

schöne grüße