وقتی جستجویی در موتور جستجو انجام و نتایج جستجو ارائه می شود ، کاربران در واقع نتیجه کار قسمت های مختلف موتور جستجو را می بینند . موتور جستجو قبلا پایگاه داده اش را آماده کرده است و اینطور نیست که درست در همان لحظه جستجو، تمام وب را بگردد . بسیاری از خود می پرسند که چگونه امکان دارد گوگل در کمتر از یک ثانیه تمام وب را بگردد و میلیون ها صفحه را در نتایج خود ارائه دهد ؟