Robots.txt wird nicht überschrieben

[tiershirts]

Servus,

durch den Shopify Support habe ich bereits erfahren, dass ich mit einer robots.txt liquid die Standard robots.txt von Shopify überschreiben kann. In der Google Search Console habe ich gesehen, dass standardmäßig Seiten geblockt werden, die gar nicht geblockt werden dürften (normale Kollektionsseiten).

Somit habe ich folgendes in der Liquid ergänzt:

Was dazu geführt hat, dass es nun aus aussieht:

Dennoch wird mir in der GSC angezeigt, dass z.B. die Seite "https://www.tier-shirts.com/collections/hunde-kollektion/Hund+Schlappohr" per robots.txt blockiert wird.

Jemand eine Idee was ich noch alles "allowen" muss?

Die vollständige Robots.txt ist hier:

https://www.tier-shirts.com/robots.txt

Viele Grüße und danke!!,

Christian 

[Ben310]

Hmmm, wenn man da eingreift dann kommen Probleme und potentielle Konflikte, wie in deinem aktualisierten robots.txt. Ich würde da nicht eingreifen...Shopify macht das eigentlich ganz ordentlich out-of-the-box.

Beispielsweise wird da jetzt sowohl Allow: als auch Disallow: für collections/* verwendet abgesehen von anderen Problemen. Kannst du mal in deiner GSC das mit Live-Test überprüfen? Und probiere mal folgendes:

# Wir verwenden Shopify als unsere E-Commerce-Plattform
{% for group in robots.default_groups %}
User-agent: {{ group.user_agent }}

# Erlaubte Seiten für SEO (Kollektionen, Blogs, Produktseiten)
Allow: /collections/
Allow: /collections/*
Allow: /collections/*?sort_by*
Allow: /collections/*?page=*
Allow: /blogs/
Allow: /blogs/*
Allow: /products/
Allow: /products/*

#  Blockierte Seiten (Admin, Checkout, Kundenbereiche)
Disallow: /admin
Disallow: /cart
Disallow: /orders
Disallow: /checkouts
Disallow: /account
Disallow: /search
Disallow: /recommendations/products
Disallow: /*preview_theme_id*
Disallow: /*preview_script_id*
Disallow: /policies/
Disallow: /*?*ls=*  # Verhindert Parameter, die zu doppelten Seiten führen

#  Sitemap für Google bereitstellen
Sitemap: https://www.tier-shirts.com/sitemap.xml
{% endfor %}

Alle normalen Kollektionen sind erlaubt, Produkte & Blogs sind crawlbar (wichtige SEO-Seiten), Checkout, und Admin & irrelevante Seiten werden blockiert. 

• Erzwinge auch ein erneutes Crawlen in deiner GSC.
• Falls es weiterhin nicht klappt, Shopify Support kontaktieren, um Frontend Caching zu clearen und Search Documents zu importieren.

[tiershirts]

Servus Ben,

danke für deine Antwort.

Der Live Test für die spezielle Seite sagt mir, dass die Seite nicht gecrawled werden kann, weil die robots.txt es blockiert. Erst so bin ich auf den Trichter gekommen überhaupt dort was zu ändern.

Shopify blockiert standardmäßig alle collections in der robots.txt - wieso?

Die Allows die siehst, habe ich eingetragen, weil mir gesagt wurde, dass ich die vorhandenen Befehle überschreiben soll.