جست‌وجوگرها چگونه به‌وجود آمدند؟

شايد كاربران ندانند كه در گذشته برنامه‌هايي هم‌چون Archie، ورونيكا (Veronica) و جاگهد (Jughead) فهرست‌ كل فايل‌هاي قرار گرفته برروي وبگاه‌هاي FTP را جمع‌آوري مي‌كرد و پايگاه داده‌ قابل جست‌وجويي از نام فايل‌ها را ايجاد مي‌كردند.

شايد كاربران ندانند كه در گذشته برنامه‌هايي هم‌چون Archie، ورونيكا (Veronica) و جاگهد (Jughead) فهرست‌ كل فايل‌هاي قرار گرفته برروي وبگاه‌هاي FTP را جمع‌آوري مي‌كرد و پايگاه داده‌ قابل جست‌وجويي از نام فايل‌ها را ايجاد مي‌كردند.

تا قبل از وجود جست‌وجوگرها، به دليل گستره‌ي كوچك و محدود اينترنت فهرست كاملي از تمام سرويس‌دهنده‌هاي وب وجود داشت. استفاده از اين فهرست براي آگاهي از سرفصل‌ها و اطلاعات قابل دسترس در آن‌ها براي كاربران كفايت مي‌كرد، اما پس از شروع دوران شكوفايي اينترنت و ارائه‌كنندگان خدمات و افزايش غيرقابل تصور ميزان محتوا و وبگاه‌هاي ارائه‌شده در اين عرصه، ديگر فهرست‌هاي فوق‌الذكر پاسخ‌گوي نيازهاي كاربران نبوده و وجود ابزاري جديد در اين ميان كاملا احساس مي‌شد تا اطلاعات را به روز و جديد نگه‌داري كند.

يكي از ابتدايي‌ترين ابزارهاي جست‌وجوي اينترنت Archie نام داشت كه از نام «archive» با حذف حرف «v» آن گرفته شده است. بر اساس آنچه كه در كتاب تجارت الكترونيك از طريق بهينه‌سازي موتورهاي جست‌وجو آمده است كه اين ابزار در سال 1990 توسط آلن امتيج (Alan Emtage)، دانشجوي دانشگاه مك گيل در مونترال ابداع شد. اين برنامه‌ فهرست‌هاي كل فايل‌هاي قرار گرفته برروي وبگاه‌هاي FTP را جمع‌آوري كرده و پايگاه داده‌اي قابل جست‌وجويي از نام فايل‌ها ايجاد مي‌كرد، يعني جست‌وجوي Archie شامل محتويات وبگاه‌ از جمله متن و اسناد موجود اين مجموعه‌ها نبوده و آن‌ها را نمايه نمي‌كرد.

با ظهور گوفر (Gopher) در سال 1991 توسط مارك مك كاهيل در دانشگاه مينه سوتا دو برنامه‌ي جست‌وجو‌ي جديد به نام‌هاي، ورونيكا (Veronica) و جاگهد (Jughead) پا به عرصه‌ي حيات گذاشتند. اين برنامه‌ها همانند Archie نام فايل‌ها و عناوين ذخيره شده در سامانه‌هاي نمايه گوفر را جست‌وجو مي‌كردند.
ورونيكا كه نام آن از سرواژه‌هاي عبارت انگليسي (Very Easy Rodent _ Oriented Net _wide Index to Computerized Archives) ساخته شده است. جست‌وجوي كليدي واژه‌اي براي اغلب عناوين منوها در تمام فهرست‌هاي گوفر را فراهم آورده بود و جاگهد كه نام آن از سرواژه‌هاي عبارت انگليسي Jonzy Universal Gopher Hierarchy Excavation And Display ساخته شده است، ابزاري براي كسب اطلاعات منو از سرويس‌دهنده‌هاي خاص گوفر بود.

اولين جست‌وجوگر وب با استفاده از ربات‌هاي نرم‌افزاري وندكس (wandex) نام داشت، ماتيوگري يكي از دانشجويان دانشگاه MIT اولين ربات جست‌وجوگر اينترنتي را با نام World Wide Web Wanderer براي شمارش سرويس‌دهنده‌هاي وب به منظور محاسبه‌ي رشد گستردگي وب طراحي كرد. گري به زودي با ارتقاء ربات خود آن را براي جمع‌آوري اطلاعات واقعي وبگاه در جست‌وجوگر وندكس به كار گرفت.

در سال 1993 مارتين كاستر در پاسخ به موتور جست‌وجوي وندكس، الي وب (ALIWEB: Archie Like Indexing of the Web) را طراحي كرد كه در آن به جاي به كارگيري ربات‌ها از شيوه‌ي ديگري يعني نمايه‌سازي وبگاه توسط مديران و طراحان آن استفاده مي‌شد، به اين ترتيب افراد مي‌توانستند خود به توصيف محتواي وبگاه خود بپردازند.
به دليل فقدان آگاهي غالب كاربران از چگونگي تنظيم و ارسال اطلاعات مربوط به وبگاه‌ خود استفاده از اين شيوه‌ محدوديت‌هايي را داشت، اما تا حدي جبران مشكلات ربات‌هاي نرم‌افزاري را مي‌كرد، زيرا ربات‌ها حجم زيادي از پهناي شبكه را اشغال مي‌كردند و اين مساله گاهي باعث از كار افتادن سامانه‌ها مي‌شد.

از اين پس با رشد ناگهاني اينترنت و افزايش غيرقابل باور حجم وبگاه‌ها، از سوي ديگر اثبات سودآوري شبكه، اهميت جست‌وجوگرها بيش از پيش آشكار شده و با شكل‌گيري فن‌آوري‌هاي جديد ربات‌هاي خزنده‌ي قوي‌تر و سامانه‌هاي جست‌وجوي پيشرفته‌تر، وبگاه‌هاي جست‌وجو رقابت با يكديگر را به طورجدي در پيش گرفتند و از آنجايي كه تنها راه رويارويي با حجم فزاينده‌ي اطلاعات در محيط وب، ابزارهاي جست‌وجو محسوب مي‌شدند گسترش و پيشرفت آن‌ها اهميت خاصي يافت به طوري كه اين فن‌آوري با عمري كم‌تر از دو دهه‌، يكي از پركارترين ابزارهاي مورد استفاده‌ي كاربران وب است.