Nima uchun u Crawler deb ataladi?

Kirish

Nima uchun ba'zi texnologik qurilmalar yoki jihozlarga aniq nomlar yoki atamalar berilgani haqida hech o'ylab ko'rganmisiz? Masalan, nima uchun Google qidiruv tizimi Google yoki WhatsApp xabar almashish platformasi WhatsApp deb nomlanadi? Xuddi shunday, nima uchun veb-brauzerlar brauzerlar deb ataladi? Ushbu maqolada biz savolga javob beramiz - "Nima uchun u crawler deb ataladi?" batafsil.

Crawler nima?

"Krawler" atamasining tarixiga sho'ng'ishdan oldin, keling, avvalo bu nimani anglatishini tushunib olaylik. O'rgimchak yoki bot sifatida ham tanilgan brauzer, veb-sahifalardan ma'lumot to'plash uchun qidiruv tizimlari tomonidan qo'llaniladigan avtomatlashtirilgan dasturdir. Keyin to'plangan ma'lumotlar tahlil qilinadi va foydalanuvchilar uchun tezroq va samaraliroq qidiruv tizimini yaratish uchun indekslanadi.

Qidiruv mexanizmi brauzerlari yoki o'rgimchaklar veb-sahifalar tarkibini tahlil qiladilar va indekslanadigan yangi tarkibni topish uchun sahifada mavjud giperhavolalarga amal qiladilar. Ushbu uzluksiz skanerlash va indeksatsiya jarayoni qidiruv tizimining natijalar sahifalari (SERPs) har doim yangilanishini va foydalanuvchi so'rovlari uchun eng mos natijalarni namoyish etishini ta'minlaydi.

"Crawler" atamasining kelib chiqishi

“Krawler” atamasining birinchi qoʻllanilishini-1990-yillarning oʻrtalarida kuzatish mumkin. O'sha paytda ba'zi qidiruv tizimlari veb-sahifalarni aylanib chiqish va ularni indekslash uchun "o'rgimchaklar" deb nomlangan avtomatlashtirilgan dasturlardan foydalangan. Biroq, World Wide Web-da tez o'sib borayotgan tarkibni kuzatib borish uchun yanada samarali va kuchli dastur talab qilindi.

1994 yilda Vashington universitetining kompyuter fanlari bo'yicha talabasi Brayan Pinkerton WebCrawler nomli dasturni ishlab chiqdi. Bu faqat metadata yoki kalit so'zlar o'rniga veb-sahifaning butun mazmunini indekslaydigan dunyodagi birinchi to'liq matnli veb-qidiruv tizimi edi. Dastur veb-sahifalar bo'ylab giperhavolalar orqali aylanib yurganligi sababli o'rinli ravishda "skaner" deb nomlandi.

WebCrawler tezda mashhurlikka erishdi va Lycos, AltaVista va Yahoo! Vaqt o'tishi bilan "crawler" veb-sahifalar bo'ylab o'rganuvchi veb-robotlarga nisbatan ishlatiladigan standart atama bo'ldi.

Crawler turlari

Veb-brauzerlarni uch toifaga bo'lish mumkin - umumiy maqsadli, ixtisoslashtirilgan va real vaqtda. Keling, ularning har birini batafsil ko'rib chiqaylik.

- Umumiy maqsadli brauzerlar: Bu qidiruv tizimlari tomonidan ishlatiladigan eng keng tarqalgan veb-brauzerlar turi. Ular foydalanuvchilarga tegishli qidiruv natijalarini taqdim etish uchun veb-saytlarni ko'rib chiqadi va kontentni indekslaydi. Umumiy maqsadli brauzerlarga misollar orasida Googlebot, Bingbot va Yandexbot kiradi.

- Ixtisoslashgan brauzerlar: Bu brauzerlar veb-saytlardan aniq ma'lumotlarni to'plash uchun mo'ljallangan va birinchi navbatda tadqiqot va ma'lumotlarni qidirishda qo'llaniladi. Masalan, ixtisoslashtirilgan brauzerdan onlayn chakana sotuvchilar tomonidan sotiladigan mahsulotlar narxlari to'g'risidagi ma'lumotlarni to'plash yoki vaqt o'tishi bilan veb-saytlarda kiritilgan o'zgarishlarni kuzatish uchun foydalanish mumkin.

- Haqiqiy vaqtda brauzerlar: Bu brauzerlar doimiy ravishda veb-saytlarni yangilanishlar va tarkibdagi o'zgarishlarni kuzatib boradi va real vaqtda o'zgarishlarni indekslaydi. Ular asosan yangiliklar va media sanoatida o'quvchilarga dolzarb yangiliklarni taqdim etish uchun ishlatiladi.

Xulosa

Xulosa qilib aytadigan bo'lsak, "skaner" atamasi 1994 yilda Brayan Pinkerton tomonidan ishlab chiqilgan WebCrawler dasturidan kelib chiqqan. Bu atama dasturning veb-sahifalarni kezish va qidiruv tizimi indeksini yaratish uchun ma'lumot to'plash qobiliyatiga ishora qiladi. Vaqt o'tishi bilan u veb-brauzerlarning barcha turlariga murojaat qilish uchun ishlatiladigan standart atama bo'ldi. Bugungi kunda minglab o'rgimchaklar yoki o'rgimchaklar Internetda aylanib yurib, kontentni indekslashtirmoqda va butun dunyo bo'ylab qidiruv tizimi foydalanuvchilariga natijalarni taqdim etmoqda.