$hide=page-404-mobile

Bloggerのrobots.txt デフォルト設定の内容について


robots.txtは、検索エンジンや広告クローラー等、各種ロボット(ボット、スパイダー)のサイトアクセスについての制御指示を指定するファイルです。robots.txtは、テキスト形式ファイルでサイトのルートに設置します。

robots.txtの設置は必須ではありませんが、クローラーのサイトへのアクセス制御を行いたい場合に役立つ機能です。
[post_ads]

Bloggerの robots.txt デフォルト設定について

Bloggerでは、デフォルトで適切なrobots.txtの設定が行われています。何か特に理由がない限り、基本的には設定を変更する必要はありません。しかし、デフォルトでどの様な設定がされているのかは、知っておくと参考になることもあると思います。

robots.txt の設定内容の見方

robots.txtは、サイトのルートに設置されています。ブラウザーのアドレスバーに、"www.example.com/robots.txt"'の様に、サイトのトップドメインURLに/robots.txtを加えてアクセスすると、ファイル内のテキストファイルが表示されます。

Google Search Console のrobots.txt テスターを使って設定内容を確認することもできます。

Search Consoleのメニューから、「クロール」をクリックし、表示されるサブメニュー項目の中からrobots.txt テスターを選択すると、robots.txt のファイル内のテキストファイルが表示されます。
備考:
ブラウザーで見ても、Search Consoleで見ても、robots.txtの設定内容は同じです。

Bloggerの robots.txt デフォルト設定内容

以下はデフォルトのBloggerのrobots.txtの設定内容です。
User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /
備考:
Bloggerの設定によっては、内容が若干、異なる(追加記述がある)場合があります。
例:サイトマップのアドレスが追加されている。
Sitemap: https://example.blogspot.com/sitemap.xml

例2:以下の記述が追加されている。この記述は、Googleの検索エンジン(クローラー)向けの記述ですが、上の記述と同じため、実質的には変わりありません。
User-Agent: googlebot
Disallow: /search
Allow: /

デフォルト設定について

User-agent: Mediapartners-Google
Disallow: 


Mediapartners-Googleは、AdSenseのクローラー です。Disallow:の右に何も指定しない場合、制限なく全てのURLにアクセスできる設定です。
備考:
AdSenseのクローラーは、基本的にサイト上を制限なくアクセスできるようにしておくべきなので、適切な設定です。最初からあえてAdSenseのクローラーにはアクセス許可を与えているところもBloggerの特徴です。AdSenseを利用するユーザーにとっては、助かることです。
User-agent: *
Disallow: /search
Allow: /
備考:
全てのロボットは、/searchディレクトリを除いて、全てのURLにアクセスできます。Disallowで指定するディレクトリは、訪問禁止を意味します。

/search以下のアクセスを禁止しているのは、検索結果のページをインデックスさせないためです。検索の結果はクエリで異なります。検索結果ページをクローラが訪問して、インデックスしてしまうことを防ぐために設定してあります。

Allow:/ は全てのURLにアクセス許可することを示します。例外を、その上のDisallowで設定します。

上記設定は、基本をしっかりと踏まえた適切なrobots.txtの設定です。Googleの検索エンジンのアルゴリズムは、非常に高度でインテリジェントです。例外(検索結果ページ)を除いて、基本的に全てのURLにアクセス許可することをお勧め致します。特に理由がない限り、robots.txtの設定を変更する必要はありません。

本サイトのrobots.txt の設定

以下は本サイトのrobots.txt の内容です。デフォルトの設定のままです。
User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://blogger101.blogging-life.com/sitemap.xml
robots.txt 内にXMLサイトマップのURLを記載して、検索エンジンに伝えることができます。この設定は、Bloggerの方で自動的に行なっています。

Search Consoleにプロパティを登録し、サイトマップを送信していれば、robots.txt内にサイトマップのURL記載は必要ありません。例えば、本サイトの場合は、固定ページのXMLサイトマップをSearch Consoleで送信していますが、robots.txtには記載していません。(する必要はありません。)

Bloggerの場合は、特に何もせずデフォルトの状態でも、基本的なSEOの設定は適切に行われるのが特徴です。robots.txtもデフォルトの状態で十分です。

コメント

関連記事とスポンサーリンク

名前

AdSense,4,Blogger SEO,10,Blogger 活用法,17,Bloggerの基本機能と使い方,7,Bloggerの基本設定,7,MagOne,3,SNS,4,お勧め記事,13,お知らせ,1,
ltr
item
Blogger101@ブロギングライフ : Bloggerのrobots.txt デフォルト設定の内容について
Bloggerのrobots.txt デフォルト設定の内容について
Bloggerでは、デフォルトで適切なrobots.txtの設定が行われています。何か特に理由がない限り、基本的には設定を変更する必要はありません。しかし、デフォルトでどの様な設定がされているのかは、知っておくと参考になることもあると思います。
https://2.bp.blogspot.com/-ybBAt01FXhU/WouW0wQ5ygI/AAAAAAAACMI/u2I3aIty5RYdLZIsf4T6kG4Fnry-GHJagCK4BGAYYCw/s640/Blogger%2Brobots%2Btext%2Bdefault%2Bsetting%2Bexplaination.png
https://2.bp.blogspot.com/-ybBAt01FXhU/WouW0wQ5ygI/AAAAAAAACMI/u2I3aIty5RYdLZIsf4T6kG4Fnry-GHJagCK4BGAYYCw/s72-c/Blogger%2Brobots%2Btext%2Bdefault%2Bsetting%2Bexplaination.png
Blogger101@ブロギングライフ
https://blogger101.blogging-life.com/2018/02/blogger-robots-txt-default-setting.html
https://blogger101.blogging-life.com/
https://blogger101.blogging-life.com/
https://blogger101.blogging-life.com/2018/02/blogger-robots-txt-default-setting.html
true
6719002676499593843
UTF-8
Loaded All Posts Not found any posts 全てを見る さらに読む Reply Cancel reply Delete By Home PAGES POSTS View All 関連記事 ラベル アーカイブ SEARCH ALL POSTS お探しのページが見つかりませんでした。 Back Home Sunday Monday Tuesday Wednesday Thursday Friday Saturday Sun Mon Tue Wed Thu Fri Sat January February March April May June July August September October November December Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec just now 1 minute ago $$1$$ minutes ago 1 hour ago $$1$$ hours ago Yesterday $$1$$ days ago $$1$$ weeks ago more than 5 weeks ago Followers Follow THIS PREMIUM CONTENT IS LOCKED STEP 1: Share. STEP 2: Click the link you shared to unlock コードを全てコピー コードを全ての選択 全てのコードをクリップボードにコピーしました Can not copy the codes / texts, please press [CTRL]+[C] (or CMD+C with Mac) to copy