As the crawler visits these URLs, it identifies all the hyperlinks in the page and adds them to the list of URLs to visit, called the crawl frontier. عندما يزور الزاحف هذه العناوين، فإنه يحدد كافة الارتباطات التشعبية في الصفحة ويضيفها إلى قائمة العناوين المطلوب زيارتها، وتدعى حدود الزحف.
They found that a breadth-first crawl captures pages with high Pagerank early in the crawl (but they did not compare this strategy against other strategies). ووجدوا أن الزحف بسياسة الاتساع أولا يلتقط الصفحات ذات رتبة الصفحة العالية في وقت مبكر من الزحف (لكنهم لم يقارنوا هذه الاستراتيجية ضد استراتيجيات أخرى).
Liz, I don't if you saw the crawl on the tv guide channel, but I've agreed to star in a sexy, supernatural thriller in the vein of Twilight and True Blood. (ليز) لا اعلم إن كنتِ قد شاهدت الشريط الإخباري ؟ لقد أمضيت على دور بطولي، رعب خارق للطبيعة ومثير. خليط من "تويلايت" و "ترو بلاد"
The explanation given by the authors for this result is that "the most important pages have many links to them from numerous hosts, and those links will be found early, regardless of on which host or page the crawl originates." التفسير الذي قدمه الباحثون لهذه النتيجة هو أن "أهم صفحات يصلها العديد من الروابط من مضيفين متعددين، وسيتم العثور على تلك الروابط في وقت مبكر، بغض النظر عن المضيف أو الصفحة التي ينشاء منها الزحف".