Correct me if I'm wrong, but to make Night Crawlers a little bit better you should use blankets, right? صححني إن كنت على خطأ، لكن لجعل الزواحف الليليةِ أفضل قليلاً... أنت يجب أن تستعمل البطانيات، صح؟
Web archivists typically employ web crawlers for automated capture due to the massive size and amount of information on the Web. يستخدم أمناء أرشيف الويب عادة برامج زاحف الشبكة لإجراء عمليات الإستخلاص والإلتقاط الآلي، نظرا لحجم المعلومات الهائل وكميتها على الشبكة.
For example, the results page behind a web form can lie in the Deep Web if crawlers cannot follow a link to the results page. على سبيل المثال، فإن صفحة النتائج وراء نموذج ويب تكمن في الوبب العميق، لأن الزواحف لا يمكنها تتبع الرابط إلى تلك الصفحة.
The number of possible URLs crawled being generated by server-side software has also made it difficult for web crawlers to avoid retrieving duplicate content. و عدد العناوين القابلة للزحف والتي تتولد من جانب البرمجيات الخادمة للمواقع على الشبكة جعلت من الصعب تجنب استرجاع محتويات مكرره أثناء الزحف على شبكة الإنترنت.