このすみ技術メモ

とあるWebエンジニアが、技術や趣味について書くブログです。

2019-02-02から1日間の記事一覧

rebuildfm のQuoraで学ぶrobots.txt入門 - 検索ボットやクローラーのアクセスを制御しよう

rebuildfmの@kosamariさん回で、Quoraのrobots.txtについての話題がありました。 rebuild.fm そんなにすごいのかと気になったので、調べてみることにしました。実際のQuoraのrobots.txtがこちらです。 https://www.quora.com/robots.txt User-agent: Googleb…