Robots.txtの編集と、noindexの設置について

日本語 ディスカッション 技術的なQ＆A
1

お世話になります。

Shopifyのサイトについて、Google Search Consoleより「robots.txt によりブロックされましたが、インデックスに登録しました」という警告がメールで届き、確認するとaccount/loginのページで不具合が起きているようで、Googleのクローラーはaccount/loginをブロックしてるものの、他のページでaccount/loginへのリンクが存在し、そこからアクセス可能なため「ブロックはしているがインデックスもされている」という状況になっているようでした。account/loginページは検索結果に表示させたいページではないので、ブロックしておきたいと思っています。

調べてみたところ「まずrobots.txt上の該当ページのブロックを解除」した上で「noindexを設置して該当ページを記述する」という操作が必要であることはわかったのですが、上記の操作は素人でも可能な範囲の簡単な編集でしょうか？robots.txtの編集はサイトに大きな影響を与えるという内容をネットで見かけ、自力でやっていいものか迷い、質問させていただいた次第です。

もし、すぐに対応可能な内容であれば、その方法についてご教示いただけますと幸いです。

以上、回答お待ちしております。何卒宜しくお願い致します。

1 Like
2

簡単ではないかもしれませんが、

編集方法を記載してみます。

https://help.shopify.com/ja/manual/promoting-marketing/seo/editing-robots-txt#robots-txt-liquid

上記ページに記載された手順で、まず、robots.txtを編集できる状態にします。

しかし、上記ページはちょっと内容が古いように思うので、簡単にまとめなおします。

  1. 管理画面から**[オンラインストア]** をクリックします。

  2. 「現在のテーマ」の[アクション] をクリックしてから、[コードを編集する] をクリックします。

  3. 「テンプレート」にて、[新しいテンプレートを追加する] をクリックして、 [robots.txt] を選択します。

  4. [完了] をクリックします。

ここまで、行うと、下記の内容を持つ、robots.txt.liquid が 「テンプレート」の中に作成されます。

これをカスタマイズしていきます。

# we use Shopify as our ecommerce platform
{%- comment -%}
# Caution! Please read https://help.shopify.com/en/manual/promoting-marketing/seo/editing-robots-txt before proceeding to make changes to this file.
{% endcomment %}
{% for group in robots.default_groups %}
  {{- group.user_agent -}}

  {% for rule in group.rules %}
    {{- rule -}}
  {% endfor %}

  {%- if group.sitemap != blank -%}
    {{ group.sitemap }}
  {%- endif -%}
{% endfor %}

上記のコードを、下記のコードに変更します。

/account 全体のdisallowを無くしてしまう乱暴なやり方ですが、できるだけ簡単にやろうと思うと、こうなります。(動作確認はしておりません。)

# we use Shopify as our ecommerce platform
{%- comment -%}
# Caution! Please read https://help.shopify.com/en/manual/promoting-marketing/seo/editing-robots-txt before proceeding to make changes to this file.
{% endcomment %}
{% for group in robots.default_groups %}
  {{- group.user_agent -}}

  {% for rule in group.rules %}
    {%- unless rule.value contains '/account' -%}
      {{- rule -}}
    {%- endunless -%}
  {% endfor %}

  {%- if group.sitemap != blank -%}
    {{ group.sitemap }}
  {%- endif -%}
{% endfor %}

上記で、/account全体のdisallowは出力されなくなります。

しかし、、、

この後、account/loginにだけ、noindexを追加する手間も考えると、

対応するだけの価値があるかは少し疑問です。

storesのヘルプになりますが、

https://faq.stores.jp/hc/ja/articles/4402759108365–robots-txt-%E3%81%AB%E3%82%88%E3%82%8A%E3%83%96%E3%83%AD%E3%83%83%E3%82%AF%E3%81%95%E3%82%8C%E3%81%BE%E3%81%97%E3%81%9F%E3%81%8C-%E3%82%A4%E3%83%B3%E3%83%87%E3%83%83%E3%82%AF%E3%82%B9%E3%81%AB%E7%99%BB%E9%8C%B2%E3%81%97%E3%81%BE%E3%81%97%E3%81%9F-%E3%81%A8%E8%AD%A6%E5%91%8A%E3%81%8C%E5%87%BA%E3%81%BE%E3%81%99

と記載があるくらいですし、

https://support.google.com/webmasters/thread/7904664/%E3%80%90robots-txt-%E3%81%AB%E3%82%88%E3%82%8A%E3%83%96%E3%83%AD%E3%83%83%E3%82%AF%E3%81%95%E3%82%8C%E3%81%BE%E3%81%97%E3%81%9F%E3%81%8C%E3%80%81%E3%82%A4%E3%83%B3%E3%83%87%E3%83%83%E3%82%AF%E3%82%B9%E3%81%AB%E7%99%BB%E9%8C%B2%E3%81%97%E3%81%BE%E3%81%97%E3%81%9F%E3%80%91%E3%81%AE%E5%AF%BE%E5%87%A6%E6%B3%95%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6?hl=ja

こちらのページでも、

難しい話はともかくとして解決策はですね、無視してください。

そのままでも悪い影響はありません。
面倒な方法を使えば対処できなくはなさそうですが、そこまでする必要はないと思います。
とおっしゃっている方がいます。

もちろん、解決した方がベターではあると思いますが、
絶対に対応しなければならない類のお話でもないことはご留意いただいても良いかもしれません。

ご参考まで。
(キュー田辺)

3 Likes
3

キュー田辺様、ご返信をいただきありがとうございます。

工数を考えた時にそこまで重要度の高い話ではないとのことで、

社内でも検討し、今回は一旦対処はせずに置いておく運びとなりました。

対応方法についての詳細もいただきましてありがとうございます。

もし今後robots.txtになにか修正を加える必要がある際は、参考にさせていただこうと思います。

この度はありがとうございました。

今後とも宜しくお願い致します。

2 Likes