クローラー 【crawler】

【読み：くろーらー】

クローラーとは、GoogleやYahoo!などの、検索エンジンがWeb上のHTMLや画像、PDFファイルなどのデータを周期的に収集し、データベース化するためのプログラムのこと。
このクローラーによって収集されたデータがインデックスされることで、検索エンジンデータベースが作成され、検索一覧を表示している。