موتور جستجو چیست و چگونه کار می‌کند؟

تا چند دهه پیش برای مطالعه و دریافت اطلاعات بیشتر در رابطه با یک موضوع خاص باید به کتاب‌‌ها و کتابخانه‌ها رجوع می‌کردیم. اما به مرور زمان با گسترش استفاده از اینترنت و آغاز کار موتورهای جستجو، گشتن در لابلای کتاب‌ها جای خودشان را به موتورهای جستجو دادند؛ چه اتفاقی افتاد؟ پیدا کردن اطلاعات چندین برابر آسان‌تر شد. امروز، فاصله ما با پیداکردن هرچیزی که بهش فکر می‌کنیم، فقط یک کلیکه. به لطف حضور موتورهای جستجو!

به اولین محتوا از مجموعه محتواهای سریالی آموزش سئو در ویرا خوش آمدید. در قدم اول باید بدونیم موتورهای جستجو چه هستند و چطور کار می‌کنند.

تایید شده توسط متخصصین بخش برنامه نویسی ویرا

موتور جستجو چیست؟

احتمالا شما هم با شنیدن اسم موتور جستجو (search engine) به یاد گوگل و یاهو بیوفتید، که کاملا درسته ولی باید بدونید جدا از این که در سطح وب، موتورهای جستجوی دیگری نیز وجود دارد، موتور جستجو الزاما فقط در وب جستجو نمی‌کند. شما برای جستجو داخل هارد لپ‌تاپتون، حافظه موبایلتون، پیدا کردن هشتگ خاص در اینستاگرام و یافتن ویدیو مورد نظرتون در یوتیوب هم از موتور جستجو استفاده می‌کنید. اما به طور کلی وقتی از موتور جستجو نام می‌بریم بیشتر منظورمان موتور جستجو وب هست.

تا اینجا متوجه شدیم چه مواردی موتور جستجو هستند، اگر بخواهیم موتور جستجو را در یک جمله تعریف کنیم، احتمالا جمله زیر مناسب‌ترین جمله باشد.

موتور جستجو مجموعه‌ای از نرم افزار و سخت افزارهایی است که اطلاعات مورد نیاز شما را در میان حجم زیادی از داده‌ها جستجو می‌کند و نتیجه مورد نظر را به شکل‌های مختلف متنی، تصویری، صوتی و … نمایش می‌دهد.

تاریخچه موتورهای جستجو

آغار کار موتورهای جستجو به سال 1990 برمی‌گردد. در حقیقت اولین موتور جستجو که به اسم آرچی (Archie) توسعه پیدا کرد که یک پروژه دانشگاهی بوده است.

در فاصله سال‌های 1990 تا 2000 چندین موتورجستو از جمله W3 Catalog، اکسایت (Exite)، یاهو (Yahoo)، وب کراولر (Web crawler)، لایکاس (Lycos)، اینفوسیک (Infoseek) و آلتاویستا (AltaVista) به وجود آمدند؛ شما هم حس می‌کنید یک اسم مهم از قلم افتاده است؟☺️ نگران نباشید به آن‌هم می‌رسیم.

بالاخره در سال 2000 موتور جستجوی گوگل که در سال 1997 ایجاد شده بود، معروف شد و به سرعت گوی سبقت رو از رقیبانی که چندین سال زودتر فعالیت خودشون رو شروع کرده بودند، ربود.

به نظر شما دلیل محبوبیت گوگل چه بود؟ ما زمانی بیشترین رضایت را از هر نوع جستجویی داریم که مرتبط‌ترین نتیجه را در کم‌ترین زمان به ما نشان بدهد. این دقیقا کاری بود که گوگل انجام می‌داد، گوگل از الگوریتم‌های مختلف استفاده می‌کرد و به صفحات سایت‌ها یک امتیاز می‌داد که با نام pagerank شناخته می‌شد و به همین ترتیب هروقت جستجویی انجام می‌شد نتایج بر اساس امتیاز مرتب می‌شدند؛ نتیجه چه بود؟ سایت‌هایی که امتیاز بیشتری داشتند در صدر نتایج جستجو بودند و کاربر به بهترین نتیجه‌ای که در وب بود دست پیدا می‌کرد. استفاده از این الگوریتم‌ها باعث شد گوگل از یک شرکت ساده به یکی از غول‌های تکنولوژی تبدیل شود. (اگر نمی‌دانید الگوریتم‌های گوگل چی هستند نگران نباشید. در یک درس به معرفی 28 الگوریتم گوگل در سئو به طور کامل پرداخته‌ایم!)

معرفی serp موتورهای جستجو

صفحه نتایج موتور جستجو (search engine results page) که به صورت مخفف serp نامیده می‌شود پاسخ گوگل به جستجوی کاربر است. در واقع زمانی‌که شما عبارتی را در گوگل سرچ می‌کنید، serp همان چیزی است که شما مشاهده می‌کنید. امروزه گوگل ویژگی‌های زیادی را در سرپ خود نمایش می‌دهد.

اهمیت موتورهای جستجو چیست؟

امروزه دنیای وب سرشار از دیتاهای متنوع شامل مقالات، تصاویر و ویدئو می‌باشد، برای یک موضوع خاص مثلا “آموزش قورمه سبزی” بیش از 865000 نتیجه در موتور جستجو گوگل وجود دارد. باورنکردنی است. نه؟!

اما ما معمولا حداکثر به 10 نتیجه اول رجوع می‌کنیم و سایر صفحات شانسی برای دیده شدن نخواهند داشت، برای همین است که امروزه قرار گرفتن وب سایت‌ها در صفحه نتایج جستجو (serp) اهمیت زیادی دارد. چرا که از این طریق کسب و کارهای زیادی می‌توانند شانس دیده شدن محصولات و خدماتشان توسط کاربران را داشته باشند.

قرار گرفتن در صفحه نتایج جستجو توسط بهینه سازی سایت انجام می‌شود. به این فرایند اس.ای.او (SEO) یا به شکل عامیانه سئو گفته می‌شود.

نحوه کار موتورهای جستجو

موتورهای جستجو برای پاسخگویی به موارد سرچ شده از پایگاه‌داده اطلاعاتی بزرگ خود استفاده می‌کنند. و بعد از تجزیه و تحلیل محتوای موجود در وب، این اطلاعات را دسته بندی می‌کنند.

این اطلاعات توسط ربات‌های موتور جستجو جمع آوری می‌شود و سپس طبق الگوریتم‌های موتور جستجو رتبه‌بندی صفحات انجام می‌گیرد.

به‌صورت کلی موتورهای جستجو بر اساس فرایندی که طی می‌کنند به 2 دسته تقسیم می‌شوند.

1 . فرایند خزیدن

2 . دایرکتوری

موتور جستجو بر اساس خزیدن

نحوه کار برخی از موتورهای جستجو براساس خزیدن در سایت‌ها انجام می‌شود. به‌این‌صورت که ربات‌های عنکبوتی موتور جستجو در سایت‌ها خزش می‌کنند و بر اساس الگوریتم‌های خود، صفحات وب‌سایت‌ها را امتیازدهی کرده و به ترتیب رتبه بندی می‌کند. سپس نتیجه را براساس کلمه کلیدی سرچ شده توسط کاربر به نمایش می‌گذارد. به عنوان مثال، گوگل موتور جستجویی است که از این فرایند برای رتبه بندی استفاده می‌کند.

موتور جستجو بر اساس دایرکتوری

دایرکتوری یکی از انواع موتور جستجو است شامل سلسه بانک‌های اطلاعاتی که به سایت مرجع لینک شده است. این اطلاعات توسط خود افراد ساخته شده‌اند و با قوانین مربوط به خود دایرکتوری طبقه بندی می‌شوند. همانطور که احتمالا می‌دانید یاهو پدر دایرکتوری دنیا بود.

اجزای اصلی موتورهای جستجو

همانطور که ذکر شد، وظیفه‌ی هر موتور جستجو ارائه‌ی بهترین محتوا به کاربر باتوجه به جستجوی انجام شده است. در حقیقت موتورهای جستجو برای سازماندهی هرچه بهتر محتوای اینترنت طراحی شده‌اند. به همین دلیل همه‌ی موتورهای جستجو از چند فرایند اصلی برای انجام این مورد استفاده می‌کنند:

فرایند یك موتور جستجوگر عبارت است از:

1. crawling (کرال کردن)
2. indexing (ایندکس کردن)
3. ranking (رتبه بندی کردن)

1 .  کرال کردن (crawling / خزیدن )

موتورهای جستجو مثل گوگل از ربات های کراولر که به اسم های خزنده و اسپایدر هم معروف هستند استفاده می‌کنند. این ربات‌ها به صفحات سایت‌های مختلف میخزند و اطلاعات موجود در آن صفحات را به طور کامل و دقیق بررسی می‌کنند و مورد ارزیابی قرار می‌دهند. وظیفه اصلی آن‌ها این است تا متوجه شوند هر صفحه در رابطه با چه موضوعی است و از طریق لینک‌های موجود در صفجه به صفحات دیگر هدایت شده و آن‌ها را نیز کراول کند.

یک نکته مهم: اولین قدم برای اینکه سایت شما شانس نمایش در SERP را داشته باشد، دسترسی کامل ربات‌ها به سایت می‌باشد. اگر سایت شما توسط خزنده‌ها پیدا نشود یا دسترسی آن‌ها به سایت مسدود باشد، هیچ شانسی برای نمایش در SERP وجود ندارد.

2 . ایندکسینگ (Indexing / بایگانی کردن)

تمام اطلاعاتی که توسط ربات کراولر یا اسپایدر جمع‌آوری شده بود، به ربات ایندکسر منتقل می‌شود. ایندکسر بخش طبقه بندی اطلاعات کسب شده توسط ربات‌های کراولر را به عهده دارد؛ در واقع به زبان دیگر ایندکس کردن فرایند ذخیره سازی محتواهای کراول شده در دیتابیس موتورهای جستجو است.

3. رنکینگ (Ranking / رتبه بندی)

به هنگام جستجوی کاربر، موتورهای جستجو به سراغ دیتابیس خود رفته تا از بین صفحاتی که در مرحله قبل ایندکس کرده بودند، نتایج مرتبط را به کاربر نشان دهند. اما این نتایج با چه رتبه بندی به کاربر نمایش داده می‌شود؟ چرا یک صفحه رتبه 1 و یک صفحه دیگر رتبه 22 را دارد؟ آیا تصادفی است؟ قطعا نه! اینجا مجددا به بحث الگوریتم‌ها برمی‌گردیم. هر موتور جستجو از یک سری الگورتیم برای رتبه بندی صفحات استفاده می‌کند. و به همان میزان که یک صفحه از فاکتورهای رتبه بندی الگوریتم‌ها پیروی کند، شانس بیشتری برای کسب رتبه بهتر در نتایج جستجو را دارد. برخی از فاکتورهای ساده رتبه بندی شامل: سرعت صفحه، ریسپانسیو بودن، محتوای باکیفیت و مناسب و… می‌باشد.

معرفی انواع موتورهای جستجو خارجی

امروزه اکثر افراد برای خرید محصولات، دریافت خدمات و اطلاعات اولین قدم‌شان جستجو در اینترنت است. به این صورت که کلمه کلیدی هدفشان را داخل موتور جستجو وارد می‌کنند و بهترین نتایج به ترتیب از رتبه 1 تا آخرین وبسایت برای آن‌ها لیست می‌شود. بیشتر افراد از موتور جستجوی گوگل استفاده می‌کنند. اما تا به حال از خود پرسیده‌اید که آیا موتورهای جستجوگر دیگری هم وجود دارند؟ آیا ویژگی‌های آن‌ها نیز مانند گوگل است؟ آیا روش بهینه سازی و سئو سایت در هر کدام از این موتورهای جستجو متفاوت است؟ در ادامه به معرفی معروف‌ترین موتورهای جستجو خارجی می‌پردازیم.

موتور جستجوگر گوگل (Google search engine)

گوگل یکی از محبوب‌ترین، مهم‌ترین و مورد اعتمادترین موتور جستجوهای جهان است. امروزه حدود 90 درصد از جستجوهای اینترنتی در همه دستگاه‌ها اعم از موبایل، تبلت و دسکتاپ از طریق گوگل انجام می‌شود. الگوریتم‌های پیچیده‌ی گوگل باعث شده است تا دقیق‌ترین و مرتبط‌ترین نتایج را به کاربران خود نشان دهد. (همان فاکتوری که گوگل معمولی رو به گوگل منحصر به فرد امروزی تبدیل کرد). الگوریتم‌های گوگل هرلحظه در حال بهبود و آپدیت شدن هستند، رسالت گوگل این است که با کمترین زمان به بهترین نتیجه از سرچ خود برسید.

موتور جستجوگر بینگ (Bing search engine)

تعداد زیادی از کاربران بینگ را بهترین موتور جستجو بعد از گوگل می‌دانند. موتور جستجوی بینگ توسط شرکت مایکروسافت ارائه شده است و استفاده از این موتور جستجو به مرور در حال افزایش است. ضمن اینکه این موتور جستجو به طور پیشفرض در دسکتاپ‌های ویندوزی وجود دارد. بینگ اظهار داشته است که قصد دارد در برخی موارد گوگل را به چالش بکشد اما هنوز نتوانسته از نظر سرعت و دقت به گوگل برسد. جالب است بدانید که موتور جستجوی بینگ از برخی جهات، نسبت به گوگل عملکرد بهتری دارد. برخی از این مزایا و برتری‌ها عبارت‌اند از:

• جستجوی ویدئویی بی‌نقص و دقیق‌تر
• دارای رابط کاربری گرافیکی بهتر برای جستجوی تصاویر
• جمع آوری امتیاز از طریق انجام جستجوهای مختلف
• استفاده از امتیازهای جمع شده در فروشگاه‌های مایکروسافت و ویندوز
• قابلیت استفاده در تمامی دستگاه‌ها
• قابلیت جستجو تصاویر، ویدئو و نقشه‌ها
• جستجوی انواع محصولات، خدمات و مقالات

موتور جستجوگر یاهو (Yahoo search engine)

سومین موتور جستجو خارجی از نظر میزان استفاده یاهو است که سهم 1.5 درصدی را از این بازار دارد. همچنین یاهو یکی از محبوب‌ترین ارائه دهندگان سرویس ایمیل و خدماتی چون اخبار مختلف ورزشی و آب و هوا است. لازم به ذکر است که یاهو در گذشته سهم بیشتری از بازار موتورهای جستجو داشت، آن هم به دلیل ارائه سرویس ایمیل بود که در آن می‌توانستید با دوستان و افراد غریبه چت کنید؛ اما با ظهور سرویس‌های ایمیلی دیگر مانند جیمیلو  پیام‌رسان‌ها تلفن‌های همراه، این موتور جستجو به‌تدریج سهم خود را در بازار از دست داد.

موتور جستجوگر بایدو (Baidu search engine)

بایدو بزرگ‌ترین موتور جستجوی کشور چین است. این موتور جستجو بر بازار چین متمرکز است و برای کسب و کارهای سایر کشورها بازدهی خوبی ندارد. بنابراین می‌توان گفت بهترین روش برای حضور در بازار چین استفاده از این موتور جستجو است. از مزایای این موتور جستجو می‌توان به ویژگی‌های پیشرفته آن مثل ریچ اسنیپت، طراحی ساده و سرعت بالای جستجو آن اشاره کرد.

موتور جستجوگر یاندکس (Yandex search engine)

یاندکس توسط 50 درصد کاربران اینترنت روسیه مورد استفاده قرار می‌گیرد و جزو موتور جستجوهای محبوب این کشور به شمار می‌رود. همچنین کشورهای ترکیه، بلاروس، قزاقزستان و اوکراین نیز از این موتور جستجو استفاده می‌کنند. استفاده از موتور جستجوی یاندکس بسیار ساده و راحت است و دارای مرورگر اختصاصی می‌باشد.

موتور جستجوگر بریو (Brave search engine)

بریو یکی از بهترین موتورهای جستجو است که نسخه بتای آن می‌تواند جایگزین گوگل باشد. همچنین می‌توانید با مراجعه به سایت brave.com مرورگر آن را نیز دانلود کنید و از سرعت این مرورگر در زمان وبگردی شگفت زده شوید. باید ذکر کرد که سرعت مرورگر بریو به طور متوسط 5 برابر مرورگر کروم است. از مزایای موتور جستجوگر بریو می‌توان به مواردی چون جلوگیری از نشان دادن تبلیغات در محتوا و مسدود کردن بدافزارها اشاره کرد.

موتور جستجوگر داک داک گو (DuckDuckGo search engine)

موتور جستجوی داک داک گو اطلاعات شخصی کاربران خود را جمع آوری و ذخیره سازی نمی‌کند. در این موتور جستجو هیچ یک از اطلاعات شما مانند پیشینه جستجو و اطلاعات کاربری ذخیره‌سازی نمی‌شود و می‌توانید با حفظ حریم خصوصی در محیطی کاملا امن به جستجو بپردازید.

موتور جستجوگر اسک (Ask search engine)

موتور جستجوی ask در ابتدای شروع کار به عنوان ماشین پاسخگو، در سال 1996 در آمریکا شروع به کار کرد. از مزایای این موتور جستجو می‌توان به دیتابیس و الگوریتم‌های خاص خودش اشاره کرد و از اطلاعات سایر موتورهای جستجو کمک نمی‌گیرد. در واقع این موتور جستجو اطلاعات خود را از طریق پرسش و پاسخ سایت‌ها، لغتنامه‌ها و دانشنامه‌ها بدست می‌آورد.

موتورهای جستجو ایرانی

امروزه موتورهای جستجو نقش پررنگی در کسب و کارها و زندگی روزمره افراد دارند. در سال‌های اخیر عبارت اینترنت ملی زیاد به گوش‌مان خورده است! از این رو متخصصان ایرانی به راه اندازی چند موتور جستجوی ایرانی پرداخته‌اند. این موتورهای جستجو در مرحله آزمایش، بروزرسانی و ارتقا هستند و نسبت به موتورجستجوهایی مانند گوگل، نقص‌های زیادی دارند.