インターネット、パソコンは今からでも遅くない！

初心者のためのインターネット用語集

初心者向けのインターネット、ネットワーク等に関する用語解説サイト。

検索ロボット

 

• 検索サイトが、自らのデータベースにさまざまなURL、つまりWebページを収録するために使うWebページ自動収集プログラム。 Web上で公開されている全てのサーバに手当り次第にアクセスしてhtmlデータを収集する。この検索ロボットを利用している検索サイトの代表例がGoogleだ。自分のサーバのデータを検索ロボットに収集されたくない場合は、METAタグを使ってhtmlに特殊な文字列を書いておくか、あるいは収集されたくないページのURLを羅列したrobots.txtという特殊なテキストファイルをサーバの公開ディレクトリに置いておく必要がある。