Spezifische URLs vor Indexing schützen

[Patrick_nP]

Hallo Shopify-Community,

ich stehe vor einem Problem, dass sich nicht erschließt.

Ich habe eine robots.txt.liquid angelegt und diese funktioniert auch für Links, die "/wpm" enthalten. Komischerweise funktioniert die robots-Datei nicht für URLs, in denen das Wort "filter" vorkommt. Ich will diese URLs aber von einer Indexierung schützen.

Hier meine robots.txt.liquid:

# we use Shopify as our ecommerce platform
{%- comment -%}
  # Caution! Please read https://help.shopify.com/en/manual/promoting-marketing/seo/editing-robots-txt before proceeding to make changes to this file.
{%- endcomment -%}
{% for group in robots.default_groups %}
  {{- group.user_agent -}}

  {% for rule in group.rules %}
    {{- rule -}}
  {% endfor %}

  {%- if group.user_agent.value == '*' -%}
    {{ 'Disallow: */wpm@' }}
    {{ 'Disallow: *filter*' }}
  {%- endif -%}

  {%- if group.sitemap != blank -%}
    {{ group.sitemap }}
  {%- endif -%}
{% endfor %}

 Es geht darum, URLs auszuschließen die z.B. so aussehen: 

https://schweihofer.de/collections/stihl-ak-system?filter.v.availability=1

 Habt ihr eine Idee, wieso der Eintrag zwar in der robots.txt auftaucht aber offensichtlich nicht greift?

Viele Grüße

Patrick

[Patrick_nP · Accepted solution]

Ok, lol - es hat sich von alleine gelöst. Es war wohl der Cache!

[Gabe]

Hey @Patrick_nP 

Super, dass sich das gelöst hat. Aber hier für alle unsere Leser, die sich auch für diese Sache interessieren, etwas mehr Kontext zum Problem, dass du beschrieben hast:

Die robots.txt-Datei gibt Anweisungen an Suchmaschinen-Crawler darüber, welche Seiten einer Website sie besuchen oder ignorieren sollen. Es ist wichtig zu beachten, dass die Einhaltung dieser Anweisungen letztlich auf dem Ermessen des Crawler liegt; die meisten großen Suchmaschinen halten sich jedoch daran.

Die Zeile, die die Filter-URLs disallowen soll, lautet in deiner robots.txt.liquid wie folgt:

{{ 'Disallow: *filter*' }}

Diese Syntax ist korrekt, um URLs, die das Wort "filter" enthalten, zu blockieren.

• Dein Cache, wie du sagst: Es ist möglich, dass die Suchmaschine noch eine ältere Version deiner robots.txt verwendet. Das Aktualisieren oder Leeren des Caches kann hilfreich sein. Allerdings haben Suchmaschinen ihren eigenen Zeitrahmen, in dem sie die robots.txt-Dateien erneut abrufen. Es könnte also einfach etwas Zeit dauern, bis sie die aktualisierte Datei bemerken.

• Suchmaschinen-Cache: Selbst wenn eine robots.txt eine URL blockiert, kann es sein, dass die Seite in den Suchergebnissen angezeigt wird (obwohl sie nicht gecrawlt wird), insbesondere, wenn andere Websites auf sie verlinken. Der Inhalt der Seite wird jedoch nicht in den Suchergebnissen angezeigt. Wenn du möchtest, dass die Seite komplett aus dem Index der Suchmaschine entfernt wird, könntest du zusätzlich ein noindex Meta-Tag in den Kopf dieser Seiten einfügen.

• Prüfung der Implementierung: Nutze Tools wie die Google Search Console, um deine robots.txt-Datei zu testen. Dies kann helfen, festzustellen, ob es irgendwelche Probleme mit der Datei gibt oder ob Google sie korrekt erkennt.

• Beobachtung: Wenn du sicher bist, dass die robots.txt korrekt implementiert ist und kein Cache-Problem vorliegt, gib den Suchmaschinen etwas Zeit. Es kann sein, dass die URLs noch einige Zeit in den Suchergebnissen sichtbar sind, bis die Suchmaschinen die Änderungen an der robots.txt-Datei bemerken und entsprechend reagieren.

Falls du weitere Problem begegnest, kann ich gerne einen SEO-Spezialisten empfehlen! 😉