robots.txtは、検索エンジンや広告クローラー等、各種ロボット（ボット、スパイダー）のサイトアクセスについての制御指示を指定するファイルです。robots.txtは、テキスト形式ファイルでサイトのルートに設置します。
robots.txtの設置は必須ではありませんが、クローラーのサイトへのアクセス制御を行いたい場合に役立つ機能です。
[post_ads]
Bloggerの robots.txt デフォルト設定について
Bloggerでは、デフォルトで適切なrobots.txtの設定が行われています。何か特に理由がない限り、基本的には設定を変更する必要はありません。しかし、デフォルトでどの様な設定がされているのかは、知っておくと参考になることもあると思います。robots.txt の設定内容の見方
robots.txtは、サイトのルートに設置されています。ブラウザーのアドレスバーに、"www.example.com/robots.txt"'の様に、サイトのトップドメインURLに/robots.txtを加えてアクセスすると、ファイル内のテキストファイルが表示されます。
Google Search Console のrobots.txt テスターを使って設定内容を確認することもできます。
Search Consoleのメニューから、「クロール」をクリックし、表示されるサブメニュー項目の中からrobots.txt テスターを選択すると、robots.txt のファイル内のテキストファイルが表示されます。
備考：
ブラウザーで見ても、Search Consoleで見ても、robots.txtの設定内容は同じです。
Bloggerの robots.txt デフォルト設定内容
以下はデフォルトのBloggerのrobots.txtの設定内容です。
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Disallow:
User-agent: *
Disallow: /search
Allow: /
備考：
Bloggerの設定によっては、内容が若干、異なる（追加記述がある）場合があります。
例：サイトマップのアドレスが追加されている。
Sitemap: https://example.blogspot.com/sitemap.xml
例2：以下の記述が追加されている。この記述は、Googleの検索エンジン（クローラー）向けの記述ですが、上の記述と同じため、実質的には変わりありません。
User-Agent: googlebot
Disallow: /search
Allow: /
Bloggerの設定によっては、内容が若干、異なる（追加記述がある）場合があります。
例：サイトマップのアドレスが追加されている。
Sitemap: https://example.blogspot.com/sitemap.xml
例2：以下の記述が追加されている。この記述は、Googleの検索エンジン（クローラー）向けの記述ですが、上の記述と同じため、実質的には変わりありません。
User-Agent: googlebot
Disallow: /search
Allow: /
デフォルト設定について
User-agent: Mediapartners-Google
Disallow:
Mediapartners-Googleは、AdSenseのクローラー です。Disallow:の右に何も指定しない場合、制限なく全てのURLにアクセスできる設定です。
Disallow: /search
Allow: /
Disallow:
Mediapartners-Googleは、AdSenseのクローラー です。Disallow:の右に何も指定しない場合、制限なく全てのURLにアクセスできる設定です。
備考：
AdSenseのクローラーは、基本的にサイト上を制限なくアクセスできるようにしておくべきなので、適切な設定です。最初からあえてAdSenseのクローラーにはアクセス許可を与えているところもBloggerの特徴です。AdSenseを利用するユーザーにとっては、助かることです。
User-agent: *AdSenseのクローラーは、基本的にサイト上を制限なくアクセスできるようにしておくべきなので、適切な設定です。最初からあえてAdSenseのクローラーにはアクセス許可を与えているところもBloggerの特徴です。AdSenseを利用するユーザーにとっては、助かることです。
Disallow: /search
Allow: /
備考：
全てのロボットは、/searchディレクトリを除いて、全てのURLにアクセスできます。Disallowで指定するディレクトリは、訪問禁止を意味します。
/search以下のアクセスを禁止しているのは、検索結果のページをインデックスさせないためです。検索の結果はクエリで異なります。検索結果ページをクローラが訪問して、インデックスしてしまうことを防ぐために設定してあります。
Allow:/ は全てのURLにアクセス許可することを示します。例外を、その上のDisallowで設定します。
全てのロボットは、/searchディレクトリを除いて、全てのURLにアクセスできます。Disallowで指定するディレクトリは、訪問禁止を意味します。
/search以下のアクセスを禁止しているのは、検索結果のページをインデックスさせないためです。検索の結果はクエリで異なります。検索結果ページをクローラが訪問して、インデックスしてしまうことを防ぐために設定してあります。
Allow:/ は全てのURLにアクセス許可することを示します。例外を、その上のDisallowで設定します。
上記設定は、基本をしっかりと踏まえた適切なrobots.txtの設定です。Googleの検索エンジンのアルゴリズムは、非常に高度でインテリジェントです。例外（検索結果ページ）を除いて、基本的に全てのURLにアクセス許可することをお勧め致します。特に理由がない限り、robots.txtの設定を変更する必要はありません。
本サイトのrobots.txt の設定
以下は本サイトのrobots.txt の内容です。デフォルトの設定のままです。
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://blogger101.blogging-life.com/sitemap.xml
robots.txt 内にXMLサイトマップのURLを記載して、検索エンジンに伝えることができます。この設定は、Bloggerの方で自動的に行なっています。Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://blogger101.blogging-life.com/sitemap.xml
Search Consoleにプロパティを登録し、サイトマップを送信していれば、robots.txt内にサイトマップのURL記載は必要ありません。例えば、本サイトの場合は、固定ページのXMLサイトマップをSearch Consoleで送信していますが、robots.txtには記載していません。（する必要はありません。）
Bloggerの場合は、特に何もせずデフォルトの状態でも、基本的なSEOの設定は適切に行われるのが特徴です。robots.txtもデフォルトの状態で十分です。
こんにちは。初めまして、最近Bloggerを使い始めて、ブロギングライフ様の記事を参考に、OGP設定とTwitterカード設定をしたのですが、Twitter側にロボットと判断されてツイートが出来ない状態で、この記事にやってきましたが、私のテンプレートには、この記事のようなRobots.txt用の記述が、metaタグでindex、followと記載されていました。それを消去してこの記事のような記載方法に変えようと思うのですが、どこにこの項目を表記すればいいのか、判りません。テーマのHTML編集画面にmetaタグのrobots表記を削除して貼り付けたのですが、ブログを表示すると、サイトの一番上にコピペした文字列がそのまま見えるようになってしまいます。metaタグで指示しないといけないのかしら？それとも、この記事の記載方法を何かのタグで頭と終わりを閉じ込めないといけないのか判りません。もしくは、これは、ダッシュボードの設定画面の検索設定の独自のrobots.txtってところを有効にして、そこに書くんですか？教えてください。( ﾉД`)ｼｸｼｸ…
ReplyDeleteはじめまして。
ReplyDelete「Twitter側にロボットと判断されてツイートが出来ない状態」とおっしゃるのは、具体的にどの様な状況なのでしょうか？
メタタグのindexやfollowのマークアップでは、meta name="robots" content="noindex" のように記載したりするので、robots.txtと関連性があるように思われる可能性がありますが、メタタグとrobots.txtは、機能が全く異なります。
robots.txtの内容は、ページのソースコードをブラウザーで表示しても表示されません。 ブラウザーのアドレス入力欄にwww.example.com/robots.txt とタイプしてアクセスすると内容が表示されます。
まこめぐ姫さんのブログのrobots.txtを見てみましたが、デフォルトの状態となっていました。デフォルトの設定で問題ありません。
robots.txtの設定は問題ないです。
ありがとうございます。ダッシュボードの独自のrobots.txtの所に貼り付けたら、上手くいきました。確認していただきありがとうございました。
Deleteそれと、Twitterの件ですが、投稿公開時に自動的にツイートされておらず、自分で、Twitterに対して、自身でツイートするところで、タイトル+記事ＵＲＬでツイートしようとすると、はじかれて、自分のブログ表示のツイートボタンからでも今までは、ツイート出来てない状態でした。robots.txt設定をしたので、上手くいくかと思っていたら、送信できておりませんでした。やはり、ソーシャルドッグとか介さないとツイート出来ない物でしょうか？metaタグ消したのが悪かったのでしょうか？
お返事ありがとうございます。
DeleteTwitterとの連携や（設定を含む）Twitterカードの表示とrobots.txtは関係がありません。
「Twitterの件ですが、投稿公開時に自動的にツイートされておらず」とのことですが、何か自動的にツイートするようなアプリやサービスをご利用されているのでしょうか？
Twitterカードは、ツイートに記事のURLを添付したり、共有ボタンを押して投稿すると設定した付加情報（画像やスニペット）が表示される機能です。投稿すると自動でツイートされる機能とは全く関連性がありません。
ブロギングライフ様へ
ReplyDelete先日、Twitterカードの投稿が出来ないとお伝えしましたが、Twitterのヘルプから、投稿できない場合という記事を目にして、投稿記事にTwitterカードのメタタグを貼り付けて、ブラウザを更新させてから、Bitlyに記事のＵＲＬを登録して短縮形のＵＲＬを生成してもらって、それをBitlyからシェア機能を使うときちんとツイート出来ました。しかしまた問題が、タイムラインの画像をクリックして元のページに行けるか試したのですが、私のブログが危険なサイトだと認識されていて、リンク先に行くのは待ちなさいみたいな表示が出たので、Twitterのヘルプセンターに今お問い合わせ中です。
更新情報のご連絡、ありがとうございます。
Delete無事にカードのURLを添付（Bitlyを使うのはURLを添付することです）して、シェアできたとのこと、良かったですね。
「タイムラインの画像をクリックして元のページに行けるか試したのですが、私のブログが危険なサイトだと認識されていて、リンク先に行くのは待ちなさいみたいな表示が出たので、Twitterのヘルプセンターに今お問い合わせ中です。」
これはTwitterの設定だと思います。Twitterのアカウントの設定の「プライバシーとセキュリティ」の中のセキュリティにある「センシティブな内容を含む可能性のある画像/動画を表示する」と「ツイートする画像/動画をセンシティブな内容を含むものとして設定する」のボックスにチェックが入っているかご確認されることをお勧め致します。
それから投稿するとツイートを自動投稿するような機能は、どうしても使いたい！何か問題があっても楽なので自動でツイートさせるようにしたいとお考えになるのでなければ、お使いにならないことをお勧め致します。
Twitterの設定画面で画像投稿の設定変更ですね、確かにその項目にはチェック入れていませんでした。
Delete入れて良いものなのかどうか迷ったのが実情でした。怪しい投稿をする人と思われないかっと危惧しておりました。了解しました。その設定してみます。
じゃあ、この画像設定さえすれば、Bitlyで記事のURLを短縮しなくても、ブログ記事欄下にセットしている共有ボタンを押して、例えば「ブログ更新したよ」と付け加えて記事のURLを付けてツイートすれば、ツイート出来るって事ですかね？やってみますね。
ありがとう。
追記します。
Deleteツイートに添付したURLからTwitterカードの画像と情報は問題なく表示されていても、画像やタイトルなどをクリックした時に、危険なサイトだと認識されて警告が表示される場合は、システムからみてハッキングされている可能性もあります。
以下のGoogleのページをご覧になることをお勧め致します。
https://developers.google.com/web/fundamentals/security/hacked/how_do_I_know_if_site_hacked
少し補足説明をします。Twitterのアカウントの設定の「プライバシーとセキュリティ」の中のセキュリティにある「センシティブな内容を含む可能性のある画像/動画を表示する」のボックスにチェックを入れると、センシティブな画像などが添付されているツイートでも画像はそのまま表示されるようになります。
Delete「ツイートする画像/動画をセンシティブな内容を含むものとして設定する」にチェックを入れると、そのアカウントでツイートする画像や動画はセンシティブなものが含まれますのでご注意くださいというようなことを事前に伝えるような意味を持ちます。
センシティブな画像は表示させたくない場合は、前者にチェックはいれません。そして、アカウントでツイートする画像や動画はセンシティブでない場合は、後者にチェックを入れません。
デフォルトではどちらもチェックは入っていないです。
まこめぐ姫さんのブログのページのURLをTwitterカードのテストをしてみました。問題なくTwitterカードは認識されてプレビューで表示されています。プレビューで表示される画像をクリックしても、リンク先のページが警告などはなく表示されました。
ReplyDeletehttp://2.bp.blogspot.com/-s3-Itfy69sg/XSDESsFpEvI/AAAAAAAAEGc/Hp49Sy0VyzsIKkSvRo36lzyVljH5baB6QCK4BGAYYCw/s1600/Screen%2BShot%2B2019-07-06%2Bat%2B10.44.49%2BAM.png
サーチコンソールでは、セキュリティ問題なしと出ます。
ReplyDeleteああ、Twitterの画像の件は、チェック外したままにしています。
確かに、カードバリデータでは、クリックするときちんと、自分のページが出ます。
と言う事は、私が経由したBitlyとの間で何かあるのかと思うしか無いですね。
Twitterのページから画像をクリックしたら、相変わらず危険なサイトかもしれません表示が出ます。
Twitterのヘルプに確認してと伝えておいたのですが、判りましたと返事は貰ったんですがね。
その後音沙汰なしです。
ネット検索していたら、ツイートするのに、使うブラウザによって、ツイートする時にタイトルと記事のURLを貼れるブラウザと貼れないブラウザがあると見ました。Microsoft Edgeだと貼れてそのままツイート出来ると書いていた人も居ましたが、ブロギングライフ様はどういう経路でツイート行っていますか？
私はChromeで使えなかったので、今日はEdgeで試してみようと思っていたのですが。
私が割り振られたGoogleのDNSアカウントのＡコードを逆引きしたら、4つとも他の人のアドレスが返ってきます。元から貰っていたget-con-tike @ blogspot.com では、正引きでは権限なしで、出てきたＩＰアドレスを逆引きしたら、またそれは、別の人のアドレスが返ってきます。
GoogleのURLの設定がおかしいんでしょうか？このまま放置しても大丈夫でしょうか？
DNSレコードの登録時、おかしかったら、ドメイン取ったエックスドメインでも何か異常表示出たりしないですかね？すんなりと登録出来たんですが？エックスドメインにも問い合わせていますが、お返事まだ有りません。
今の独自ドメインのアドレスで正引きすると、きちんと、自分のＵＲＬが返って来て、逆引きしたら、NTT西日本の名前が返ってきました。
Bitly経由でツイートするのはやめておきます。
Bitlyは単にURLを短縮するサービスなので、Bitly自体は問題ないと思います。しかし、Bitlyを使わずに直接URLをツイートに添付した場合には問題が発生しないのであれば、Twitterアカウントと連携しているアプリの中に悪質なものが含まれていて、そのアプリとBitlyが何らかの形で関連している可能性は考えられます。
DeleteTwitterカードは、Metaタグでページの情報を提供する機能です。使用するブラウザーがTwitterカードやOpenGraphに対応していないものもあるかもしれませんが、著名なブラウザー（Chrome, Edge, Internet Explorer, Firefox, Safari,など）であれば、基本的に全て問題なく表示されます。
「投稿時に自動ツイート投稿する」機能やサービスなどを使っている場合には、それらが何らかの影響を与えている可能性は少なくないです。
また、Twitterアカウントで連携しているアプリによる影響も考えられます。
DNSの設定などは、特に何かおかしなことをしていない限り、問題となることはありません。DNSのルックアップをどのようにして行っているのか不明ですが、ウェブ上のルックアップのアプリは正常に機能しないこともあります。また、AレコードはGoogleのサーバーのIPアドレスが設定されているはずです。（設定するかはオプションになります）
DNSの設定が適切にできていない場合は、通常はサイトが表示されません。また、DNSの設定は特別なことをするようなことはないシンプルなものです。推測になりますが、単にその逆引きで表示される（プロバイダーやその他のIPアドレスが返されている）結果が適切ではないと推測致します。
「ブロギングライフ様はどういう経路でツイート行っていますか？」
経路とおっしゃるのがどの様な意味か不明ですが、ツイートを行う際にURLを入力し（貼り付けて）投稿しているだけです。一般的な使い方です。ツイートは、パソコンのブラウザーやiOSのアプリなどを使用しますが、基本的に操作は同じです。
「Bitly経由でツイートするのはやめておきます。」
Bitly経由でツイートするとは具体的にどの様なことなのでしょうか？BitlyはURLを短縮する機能です。Bitlyで短縮されたURLをツイートに貼り付けて投稿することをおっしゃっているのでしょうか？
TwitterにBitly経由で上げたものは、念のため削除しておきました。
ReplyDelete変なサイトに飛ばされる人が居たら困るので。
なんか、ネット見ていたら、短縮URLにしこまれるスパムも有るとの事なので、怖かったので、Bitlyも退会しました。
Bitlyで短縮されたURLが、全く別のサイトのURLである場合は、Bitly自体の問題ではなく、Bitlyを使用してURLを短縮する際に使用しているTwitterアカウントと連携しているアプリ、またはブラウザーの拡張機能が問題な可能性が高いです。
DeleteBitlyを使わなければ、問題が起きないのであれば、悪質なアプリが、Bitlyを利用している可能性が高いです。Bitlyを使わなければ、間接的に問題は解決しますが、悪質なアプリ、または拡張機能などがインストールされた状態となっていると仮定した場合には、直接的な問題は解決せずにそのままになっている可能性があります。
うーーん、私の場合、Edgeでもタイトル+記事のURL貼り付けで、ロボットもしくはスパムと判断してみたいな表記になってツイートが出来なくて、ソーシャルドッグを経由してもタイトル+URLでエラーで投稿できません。 Twitterアカウントに登録しているアドレスが違うからでしょうか？Twitterアカウントを専用のものを別に用意した方が良いのかとか思ったり。一度Facebookページに記事をシェアしたものをTwitterアカウントとFacebookページを連携させておいて、FacebookページからTwitterにツイート出来るようにするとかの方法を取るのが良いのかとか思っていましたが、拡張機能とかがおかしなことをしそうになったら、パソコン内はウィルスバスターが見張っているのでどうなんだろうと思うのですが、一度、chromeを削除して再ダウンロードし直してみますね。
ReplyDeleteソーシャルドッグというものがどの様な機能か不明ですが、基本的に自動的にBloggerの投稿をTwitterやFacebookでも投稿するような機能は避けるほうが賢明です。
DeleteTwitterとFacebookを連携するような機能は、以前はありましたが、2018年1月に変更されたFacebookのプラットフォームポリシーの変更により、Twitterから自動的にFacebookへの投稿はできなくなりました。逆はできるかもしれませんが、しない方が良いと思います。
基本的にSNSの投稿を自動的に行うようなことは、スパムと紙一重なので、色々な意味でセキュリティ上もリスクや懸念があります。自動的に投稿させるような設定をしているのであれば、ブラウザーやウィルスチェックのソフトなどで引っかかっても不思議はありません。
https://help.twitter.com/en/managing-your-account/link-twitter-to-facebook
ブロギングライフ様の場合、普通に記事のタイトル+記事URL貼り付けできちんとツイート出来ますか？
ReplyDelete短縮URL使っていますか？ 私は今、Twitterは一つのアカウントで複数のブログの更新情報を上げているのですが、今までは無料のブログとTwitterが連携出来ていたので、記事公開と同時にTwitter投稿が問題なく出来ていた経験から、Bloggerになって面倒だなと感じてなりません。ブログの共有ボタンを押してもスパムかロボットと指摘されてツイート出来ないのです。 やはり、Twitterに同じ名前のブログURLを登録した別アカウントを作った方が良いのでしょうか？そうしたら、大丈夫と思いますか？
Bitlyは時折、使っています。Twitterのプロフィールでも文字数に制限があるので使っている所はあります。無料のブログとTwitterが連携できるところもあるでしょうが、それはブログサービスの方で機能を提供しているものだと思います。Bloggerにはありません。Bloggerだけではなく、基本的にWordPressを含めて通常は連携機能は備えていません。記事の投稿すると自動的にTwitterで投稿されることに慣れていらっしゃって、その機能が重要だと思われるのであれば、標準で連携できるブログサービスをご利用されることをお勧め致します。Bloggerで自動で投稿できるような外部のサービスを利用することはお勧めいたしません。Blogger以外のCMSでも、外部のサービスを利用して自動投稿することは、お勧めいたしません。その様な行為は、技術的に見た場合には、スパム投稿やスパムメールを自動で撒き散らす行為とやっていることは一緒です。（そのような印象は持っていらっしゃらないと思いますが、技術的にはスパムと同じ様なことをやっていることになります。）
DeleteツイートにURLを貼り付けるだけです。気に入ったサイトの記事を紹介するのと手間は同じです。
その手間が惜しいのであれば、連携機能を標準で提供しているブログサービスをご利用されるのが有力な選択肢になると思います。
TwitterやFacebook等、SNSの投稿（記事に連携させるものだけでなく他の投稿を含みます）を行う時に自分でタイプして投稿せず、ボットで自動で投稿させるのが、TwitterやFacebookからみた場合には、同様にスパムとみなされる可能性があります。
「やはり、Twitterに同じ名前のブログURLを登録した別アカウントを作った方が良いのでしょうか？そうしたら、大丈夫と思いますか？」
アカウント名は連携とは関係ありません。
ブロギングライフ様へ
ReplyDeleteTwitterの公式サイトヘルプページから、TwitterDeckの案内があって、そちらで、ツイートする時にリンクを短縮でツイート無事に出来ました。何度もご連絡して申し訳ありませんでした。今度は画像の横に未評価の？マーク付いたままですが、クリックするときちんとページに飛べました。後は、トレンドマイクロとかに聞いてみます。ありがとうございました。m(__)m
更新情報のご連絡、ありがとうございます。
Delete無事にツイートできたとの事、良かったですね！
次回、同様の問題が起きた場合は、Twitterアカウントに連携しているアプリなどを一旦、解除して動作を確認するのも対処策の一つだと思います。
参考になりました。_(._.)_
ReplyDelete