OWASP テスティングガイド

Connecting to www.google.com|74.125.19.103|:80… Connected.
HTTP request sent, awaiting response… 200 OK
Length: unspecified [text/plain]
[ ] 3,425 --.—K/s
23:59:26 (13.67MB/s) – ‘robots.txt’ saved [3425]
Google ウェブボシソ ツーラを 使 用 した robots.txt の 解 析
Google は robots.txt の 解 析 機 能 を Google ウェブボシソツーラの 一 部邪 として 提 供 しており、テシト[4]および 手 順 は 以 下 の 通
りです。
1. 保 有 している Google アォウヱトで Google ウェブボシソ ツーラの 使 用 に 署 名 をします。
2. ゾッサャペード 上 で 任 意 のコイトの URL をキヨッキします。
3. ツーラをキヨッキすれば、robots.txt の 解 析 が 行 わわれます。
ギレアボチクステステとその 事 例
上 記 で 紹 介 したブョッキペッキシテシトと 同 様 になります。
参 照
ベワロイトヘーパ
• [1] “The Web Robots Pages” – http://www.robotstxt.org/
• [2] “How do I block or allow Googlebot?” –
http://www.google.com/support/webmasters/bin/answer.py?answer=40364&query=googlebot&topic=&type=
• [3] “(ISC)2 Blog: The Attack of the Spiders from the Clouds” – http://blog.isc2.org/isc2_blog/2008/07/the-attack-of-t.html
• [4] “How do I check that my robots.txt file is working as expected?” –
http://www.google.com/support/webmasters/bin/answer.py?answer=35237
4.2.2 検 索 エンヱジンヱを 用 いた 情 報 収 集 、およびび 調 査 (OWASP-IG-002)
概 要
このスキサュヱでは、Google イヱデッキシの 検 索 方 法 、および Google カメッサャからの 連連 携 された web ケヱテヱツの 削 除 方
法 について 説 明 します。
概 要 の 説 明
GoogleBot は、キルーヨヱギが 完媍 了 次 第 、 適遚 切 な 結 果 を 返 すためにソギおよび 関 連連 する 属 性 (たとえばのような'に 基
づいたヘーザを 表 します。 [1]
60