検索エンジンでは、まず「クローラー」と呼ばれるロボットプログラムが、インターネット上に無数に存在するウェブページを、それらのページに張られているリンクをたどりながら巡回を行い、データを収集していきます。
そしてインデクサーと呼ばれるプログラムが、クローラーが収集したウェブページのデータからＵＲＬやウェブページの内容の特徴となるキーワードなどの抽出を行って、キーワードで検索できるインデックス（データベースの一種）を作成します。
検索エンジンはこのようにして形成されたデータベースをもとに、実際に検索ユーザーが何らかのキーワードを入力して検索結果をリクエストしたときに、検索サーバーが検索結果を表示するという仕組みになっています。
こういった検索エンジンのデータベースのことを「インデックス」と呼びます。
インデックスが「索引」という意味を持つ言葉であることからもわかるように、検索エンジンは、このよ
うにあらかじめ収集した無数のウェブページを、そのキーワードがどのページに記載されているかわかりやすくデータベースで整理していきます。
このような仕組みにより、何十億以上も存在するページを検索しているにもかかわらず、瞬時に検索結果を表示させることが可能なのです。
なお、自分のページが検索エンジンで検索できるようになることを、「インデックスされる」や「インデックスに追加される」、逆に、自分のページが検索できなくなってしまうことを、「インデックスから削除される」といった言い方をします。
自分のホームページの中でどのくらいのページ数がインデックスされているかどうかは、ホームページアドレス（ＵＲＬ）の前に、「site:」をつけて検索すると、検索結果画面におおよそではありますが、インデックスされているページ数が表示されます。
検索エンジンは、定期的にクローラが新しいホームページのデータを収集しているので、通常は何もしなくても、一定の期間が経過すれば新しいホームページもインデックスされます。
しかし、新しくホームページを作成して、いち早くインデックスさせたい場合は、検索エンジンにサイトの登録を行うことで、自分のホームページをインデックスさせる働きかけができます。
