Page's web crawler began exploring the web in March 1996, with Page's own Stanford home page serving as the only starting point. بدأ زاحف الويب في الصفحة استكشاف الويب في آذار (مارس) 1996 حيث كانت صفحة ستانفورد الرئيسية في الصفحة بمثابة نقطة البداية الوحيدة.
As the crawler visits these URLs, it identifies all the hyperlinks in the page and adds them to the list of URLs to visit, called the crawl frontier. عندما يزور الزاحف هذه العناوين، فإنه يحدد كافة الارتباطات التشعبية في الصفحة ويضيفها إلى قائمة العناوين المطلوب زيارتها، وتدعى حدود الزحف.
The large volume implies the crawler can only download a limited number of the Web pages within a given time, so it needs to prioritize its downloads. بسبب الحجم الكبير يمكن للزاحف تحميل جزء صغير فقط من صفحات الشبكة في غضون فترة زمنية معينة، لذلك يحتاج إلى إعطاء الأولوية في التنزيلات.
A possible predictor is the anchor text of links; this was the approach taken by Pinkerton in a crawler developed in the early days of the Web. إن المتكهن يمكن أن يكون هو النص الرابط للروابط، تلك كانت الدراسة التي قام بها بينكرتون في الزاحف الذي وضع في الأيام الأولى من الويب.
Heritrix can also be configured to store files in a directory format similar to the Wget crawler that uses the URL to name the directory and filename of each resource. يمكن أيضا أن يتم تكوين هيراتراكس لتخزين الملفات في شكل دليل مشابهة لزاحف وجت المستخدم عنوان إلى اسم الدليل واسم كل مورد.
The performance of a focused crawler depends on the richness of links in the specific topic being searched, and focused crawling usually relies on a general web search engine for providing starting points. إن أداء الزاحف المركز يعتمد في أغلب الأحيان على ثراء الروابط في الموض وع المحدد قيد البحث ويعتمد عادة البحث المركز على محرك بحث ويب عام لتوفير نقاط انطلاق.
As a crawler always downloads just a fraction of the Web pages, it is highly desirable for the downloaded fraction to contain the most relevant pages and not just a random sample of the Web. بما ان تنزيلات الزاحف دائما مجرد جزء صغير من صفحات الشبكة، فمن المرغوب فيه جدا أن الجزء المحمل يحتوي على معظم الصفحات ذات الاهمية، وليس مجرد عينة عشوائية من الشبكة.
One of the conclusions was that if the crawler wants to download pages with high Pagerank early during the crawling process, then the partial Pagerank strategy is the better, followed by breadth-first and backlink-count. كان واحدا من الاستنتاجات ان الزاحف إذا اراد تحميل الصفحات ذات الرتبة العالية في وقت مبكر خلال عملية الزحف فإن سياسة رتبة الصفحة الجزئي هي الأفضل، وتليها استراتيجية الاتساع أولا، ثم عدد الصلات العائدة.