خزنده وب که بیشتر ما آن را با عنوان
Web
crawler می شناسیم به برنامه کامپیوتری اطلاق می شود که World
Wide Web(وب
جهان گستر) را به صورت مرتب و سلسله مراتبی بازدید کرده و اطلاعات آن را مورد
پردازش قرار می دهد. از خزنده های وب با عناوین دیگری مانند :عنکبوتهای وب، فهرست
سازان خودکار، رباتهای نرمافزاری خودکارو... نیز یاد می شود.
ربات ها، عنکبوت ها و یا خزنده ها، در واقع
یک قطعه نرم افزار هستند که جهت خزیدن از یک صفحه به صفحه دیگر برنامه ریزی شده
اند و خزیدن آن ها بر اساس لینک هایی است که در این صفحات قرار دارد. همان طور که
خزنده راه خود را در میان صفحات وب در سراسر اینترنت باز می کند، در همین حال
محتویات (مثل متن و یا لینک) را نیز از وب سایت ها جمع آوری می کند.