Home - News ( United States | United Kingdom | Italy | Germany ) - Football scores

Showing content from https://developer.mozilla.org/ja/docs/Web/HTML/Reference/Elements/meta/name/robots below:

<meta name="robots"> - HTML | MDN

robots は <meta> 要素の name 属性の値で（多くの場合「ロボットタグ」と呼ばれます）、ウェブクローラーがページに対して行うクロールおよびインデックス作成の動作を定義します。 指定した場合、 <meta> 要素の content 属性に、1 つ以上のルールをカンマで区切ったリストとして、クローラーに対する指示を定義します。

例えば、ページを検索結果のインデックスから除外することをクローラーに指示するには、noindex 値を使用することができます。

<meta name="robots" content="noindex" />

メモ: 協力的なロボットだけがこのルールに従います。 クローラーは、ヘッダーやメタ要素を読み込むために、リソースにアクセスする必要があります（X-Robots-Tag: robots.txt との相互作用を参照してください）。 クローラーによる帯域幅の消費を防止したい場合は、リソースのクロールを完全にブロックする制限的な robots.txt ファイルの方が、インデックス作成ルールよりも効果的です。

<meta name="robots"> 要素には、次の追加属性を指定することができます。

content

content 属性は定義する必要があります。この属性の値は、協力的な検索エンジンロボットのインデックス作成およびクロール動作を設定します。 カンマで区切られたリストとして、次のキーワードを 1 つ以上受け入れます。

index

ロボットがページをインデックスに登録することを許可します。これは既定の動作です。 主要なクローラーすべてで使用されます。

noindex

ロボットにページをインデックスに登録しないようにリクエストします。 主要なクローラーすべてで使用されます。

follow

ロボットがページ上のリンクをたどることを許可します。これは既定の動作です。 主要なクローラーすべてで使用されます。

nofollow

ロボットに対して、ページ上のリンクをたどらないようリクエストします。 主要なクローラーすべてで使用されます。

all

index, follow と同等です。 使用されるもの: Google.

none

noindex, nofollow と同等です。 使用されるもの: Google.

noarchive

検索エンジンにこのページの内容をキャッシュしないよう要求します。 使用されるもの: Google, Yahoo, Bing.

nosnippet

検索エンジンの結果でこのページの説明の表示を抑制します。 使用されるもの: Google, Bing.

noimageindex

このページをインデックスされた画像の参照ページとして表示しないよう要求します。 使用されるもの: Google.

nocache

noarchive と同等です。 使用されるもの: Bing.

robots メタ値を設定するにあたって、いくつかの重要な注意事項があります。

• これらのルールに従うのは、協力的なロボットのみです。電子メールアドレスの収集者などの悪意のある行為者がディレクティブを無視することを防ぐことはできません。
• <meta> タグで定義されている場合でも、ロボットはこれらのルールを読み込むためにページにアクセスする必要があります。帯域幅を節約するには、代わりに robots.txt ファイル を使用することを検討してください。
• <meta name="robots"> タグと robots.txt は異なる役割を果たします。robots.txt はクロールを制御し、robots メタタグはインデックス作成やそれ以外の動作に影響を与えます。
• robots.txt によってブロックされたページは、それ以外のソースからリンクされている場合、インデックスに登録される場合があります。
• noindex ディレクティブは、ロボットがページを再訪問した後にのみ効果があります。そのため、 robots.txt がこれを妨げないようにしてください。
• 値によっては互いに排他的なものがあります。例えば index と noindex、 follow と nofollow などです。競合する値が使用された場合、動作は未定義になります。
• Google、Yahoo、Bing など一部のクローラーロボットでは、 HTTP ヘッダーの X-Robots-Tag で提供された同じ値に対応しているものがあります。これにより、 PDF や画像などの HTML 以外の文書でもこれらの規則を使用することができます。

次の例では、nofollow を使用して、クローラーがページ上のリンクをフォローしないように要求し、noindex を使用して、そのページをインデックスから除外するように要求しています。

<meta name="robots" content="nofollow, noindex" />

これはどの標準仕様にも属しませんが、検索ボット、ウェブクローラー、および類似のユーザーエージェントと通信するための事実上の標準手段です。

この機能はクローラーが監視することを意図しているため、「ブラウザー」の互換性は適用されません。

RetroSearch is an open source project built by @garambo | Open a GitHub Issue

Search and Browse the WWW like it's 1997 | Search results from DuckDuckGo

HTML: 3.2 | Encoding: UTF-8 | Version: 0.7.4