موتور جستجو چیست ؟

موتور جستجو یا پیمایشگر به طور عمومی به برنامه ای گفته می شود که کلمات کلیدی را در یک سند یا بانک اطلاعاتی جستجو می کند. در اینترنت به برنامه ای گفته می شود که کلمات کلیدی موجود در فایل ها و سندهای وب جهانی ، گروه های خبری، منوهای گوفر و آرشیوهای FTP را جستجو می کند و به کاربران در جستجوی اطلاعات مورد نظر در میان انبوه اطلاعات موجود در شبکه کمک می کند. مانند سایتهایExcite,Google,Yahoo,MSN
در موتور جستجو شما یکواژه ی کلیدی را وارد کرده و برنامه ی جستجو در بانک اطلاعاتی خود به جستجو پرداخته و سایت های مرتبط با موضوع شما را نمایش خواهند داد. البته امروزه بیشتر موتورهای جستجو دارای اطلاعات طبقه بندی شده مانند دایرکتوری ها می باشند و همچنین اکثر دایرکتوری ها قابلیت جستجو مانند موتورهای جستجو را دارند.

انواع موتورهای جستجو :

موتورهای جستجو به دو دسته کلی تقسیم می‌شوند. موتورهای جستجوی پیمایشی و فهرست‌های تکمیل‌دستی. هر کدام از آن‌ها برای تکمیل فهرست خود از روش‌های متفاوتی استفاده می‌کنند البته لازم به ذکر است که گونه ای جدید از موتورهای جستجوگر تحت عنوان "ابر جستجوگر" (Meta Search Engines) نیز وجود دارد که در ادامه به توضیح هر یک از این موارد خواهیم پرداخت :

-- موتورهای جستجوی پیمایشی:

موتورهای جستجوی پیمایشی (Crawler-Based Search Engines) مانند گوگل فهرست خود را بصورت خودکار تشکیل می‌دهند. آنها وب را پیمایش کرده، اطلاعاتی را ذخیره می‌کنند، سپس کاربران از میان این اطلاعات ذخیره شده، آنچه را که می‌خواهند جستجو می‌کنند. اگر شما در صفحه وب خود تغییراتی را اعمال نمایید، موتورهای جستجوی پیمایشی آنها را به طور خودکار می‌یابند و سپس این تغییرات در فهرست‌ها اعمال خواهد شد. عنوان، متن و دیگر عناصر صفحه، همگی در این فهرست قرار خواهند گرفت.

-- فهرست تکمیل دستی:

فهرست‌های تکمیل‌دستی یا (Human-Powered Directories) مانند فهرست بازی (Open Directory) مانند Dmoz وابسته به کاربرانی است که آن را تکمیل می‌کنند. شما صفحه مورد نظر را به همراه توضیحی کوتاه در فهرست ثبت می‌کنید یا این کار توسط ویراستارهایی که برای آن فهرست در نظر گرفته شده، انجام می‌شود. عمل جستجو در این حالت تنها بر روی توضیحات ثبت شده صورت می‌گیرد و در صورت تغییر روی صفحه وب، روی فهرست تغییری به وجود نخواهد آورد. چیزهایی که برای بهبود یک فهرست‌بندی در یک موتور جستجو مفید هستند، تأثیری بر بهبود فهرست‌بندی یک دایرکتوری ندارند. تنها استثناء این است که یک سایت خوب با پایگاه داده‌ای با محتوای خوب شانس بیشتری به نسبت یک سایت با پایگاه داده ضعیف دارد. البته در مورد جستجوگرهای مشهور از جمله گوگل و یاهو، یک مولفه دیگر هم برای بهبود فهرستبندی وجود دارد که کمک مالی است، یعنی وب‌گاههایی که مایل به بهبود مکان وب‌گاه خود در فهرست بندی هستند، می‌توانند با پرداخت پول به این جستجوگرها به هدف خویش برسند.

-- موتورهای جستجوی ترکیبی با نتایج مختلط:

به موتورهایی اطلاق می‌شود که هر دو حالت را در کنار هم نمایش می‌دهند. غالباً، یک موتور جستجوی ترکیبی در صورت نمایش نتیجه جستجو از هر یک از دسته‌های فوق، نتایج حاصل از دسته دیگر را هم مورد توجه قرار می‌دهد. مثلاً موتور جستجوی ام.اس.ان (MSN) بیشتر نتایج حاصل از فهرست‌های تکمیل‌دستی را نشان می‌دهد اما در کنار آن نیم نگاهی هم به نتایج حاصل از جستجوی پیمایشی دارد.

-- ابر جستجوگرها:

این گونه جدید از موتورهای جستجوگر که قدمت چندانی نیز ندارند از ترکیب کردن نتایج حاصل از چندید موتورجستجوگر استفاده میکند.بدین معنی که این موتور عبارت مورد نظر شما را در چندین موتورجستجوگر ‍ِ جستجو میکند و نتایج آنها را با هم ترکیب کرده و یک نتیجه کلی به شما ارایه می‌دهد.به‌عنوان مثال موتورجستجوگر داگ پایل [1] از نتایج حاصل از موتورهای Google - Yahoo - MSN و ASK استفاده کرده و نتیجه حاصل را به شما می‌دهد.

بررسی یک موتور جستجوی پیمایشی:

موتورهای جستجوی پیمایشی شامل سه عنصر اصلی هستند. اولی در اصطلاح عنکبوت (Spider) است که پیمایش‌گر (Crawler) هم نامیده می‌شود. پیمایش‌گر همین که به یک صفحه می‌رسد، آن را می‌خواند و سپس پیوند‌های آن به صفحات دیگر را دنبال می‌نماید. این چیزی‌ست که برای یک سایت پیمایش‌شده (Crawled) اتفاق افتاده است. پیمایش‌گر با یک روال منظم، مثلاً یک یا دو بار در ماه به سایت مراجعه می‌کند تا تغییرات موجود در آن را بیابد. هر چیزی که پیمایش‌گر بیابد به عنصر دوم یک موتور جستجو یعنی فهرست انتقال پیدا می‌کند. فهرست اغلب به کاتالوگی بزرگ اطلاق می‌شود که شامل لیستی از آنچه است که پیمایش‌گر یافته است. مانند کتاب عظیمی که فهرستی را از آنچه پیمایش‌گرها از صفحات وب یافته‌اند، شامل شده است. هرگاه سایتی دچار تغییر شود، این فهرست نیز به روز خواهد شد. از زمانی که تغییری در صفحه‌ای از سایت ایجاد شده تا هنگامی که آن تغییر در فهرست موتور جستجو ثبت شود مدت زمانی طول خواهد کشید. پس ممکن است که یک سایت پیمایش‌شده باشد اما فهرست‌شده نباشد. تا زمانی که این فهرست‌بندی برای آن تغییر ثبت نشده باشد، نمی‌توان انتظار داشت که در نتایج جستجو آن تغییر را ببینیم. نرم‌افزار موتور جستجو، سومین عنصر یک موتور جستجو است و به برنامه‌ای اطلاق می‌شود که به صورت هوشمندانه‌ای داده‌های موجود در فهرست را دسته‌بندی کرده و آنها را بر اساس اهمیت طبقه‌بندی می‌کند تا نتیجه جستجو با کلمه‌های درخواست شده هر چه بیشتر منطبق و مربوط باشد.


موتورجستجو، یک برنامه کامپوتری تحت وب است که به کاربر اجازه می دهد ، به دنبال اطلاعات مربوط به یک کلید واژه در اینترنت بگردد. به عبارت دیگر صفحات وب مرتبط با آن عبارت که در اینترنت موجود است را به کاربر معرفی می کند.

موتور های جستجو امکانات ویژه ای برای جستجوی عکس، فیلم، فایل های صوتی و اخبار دارند که به کاربر کمک شایانی برای سازمان یافته تر عمل کردن می دهد.

در حال حاضر تعداد زيادي سايت جستجوگر مانند، AltaVista, Mammaa, Yahoo, Google داريم که هر کدام از اينها توسط برنامه هاي گردشگر بنام spider, web crawler, robot مرتب در وب بدنبال صفحات جديد و يا تغييريافته ميگردند و به محض پيدا کردن آنها، اطلاعات مورد نظر را در پايگاه داده ايDatabase خود، ليست ميکنند تا در موقع لزوم و بهنگام جستجو در اختيار کاربران قرار دهند. زمانيکه شما بدنبال يک کلمه کليديkeyword در آن سايتها مي گرديد، اطلاعات پايگاه داده اي آنها را جستجو ميکنيد و سپس نزديکترين مطالب به کلمه کليدي را براي شما نمايان ميکنند که هر چه آن کلمه دقيق تر باشد، شما به مطلب مورد نظر زودتر و راحت تر دسترسي پيدا مي کنيد

موتور جستجو چگونه کار می کند؟
وقتی جستجویی در یک موتور جستجوگر انجام و نتایج جستجو ارایه می شود، كاربران در واقع نتیجه كار بخش های متفاوت موتور جستجوگر را می بینند. موتور جستجوگر قبلا" پایگاه داده اش را آماده كرده است و این گونه نیست كه درست در همان لحظه جستجو، تمام وب را بگردد. بسیاری از خود می پرسند كه چگونه ممکن است گوگل در كمتر از یك ثانیه تمام سایت های وب را بگردد و میلیون ها صفحه را در نتایج جستجوی خود ارایه كند؟
گوگل و هیچ موتور جستجوگر دیگری توانایی انجام این كار را ندارند. همه آنها در زمان پاسخ گویی به جستجوهای كاربران، تنها در پایگاه داده ای كه در اختیار دارند به جستجو می پردازند و نه در وب! موتور جستجوگر به كمك بخش های متفاوت خود، اطلاعات مورد نیاز را قبلا" جمع آوری، تجزیه و تحلیل می كند، آنرا در پایگاه داده اش ذخیره می نماید و به هنگام جستجوی کاربر تنها در همین پایگاه داده می گردد. بخش های مجزای یك موتور جستجوگر عبارتند از:
* Spider یا عنکبوت
* Crawler یا خزنده
* Indexer یا بایگانی کننده
* Database یا پایگاه داده
* Ranker یا سیستم رتبه بندی

الف- Spider (عنکبوت)
اسپایدر یا روبوت (Robot)، نرم افزاری است كه كار جمع آوری اطلاعات مورد نیاز یك موتور جستجوگر را بر عهده دارد. اسپایدر به صفحات مختلف سر می زند، محتوای آنها را می خواند، لینکها را دنبال می کند، اطلاعات مورد نیاز را جمع آوری می كند و آنرا در اختیار سایر بخش های موتور جستجوگر قرار می دهد. كار یك اسپایدر، بسیار شبیه كار كاربران وب است. همانطور كه كاربران، صفحات مختلف را بازدید می كنند، اسپایدر هم درست این كار را انجام می دهد با این تفاوت كه اسپایدر كدهای HTML صفحات را می بیند اما كاربران نتیجه حاصل از كنار هم قرار گرفتن این كدها را. index.htmlاما یک اسپایدر آنرا چگونه می بیند؟
برای این كه شما هم بتوانید دنیای وب را از دیدگاه یك اسپایدر ببینید، كافی است كه كدهای HTML صفحات را مشاهده کنید.

مشاهده كدهای HTML یک صفحه وب
آیا این دنیای متنی برای شما جذاب است؟
اسپایدر، به هنگام مشاهده صفحات، بر روی سرورها رد پا برجای می گذارد. شما اگر اجازه دسترسی به آمار دید و بازدیدهای صورت گرفته از یک سایت و اتفاقات انجام شده در آن را داشته باشید، می توانید مشخص كنید كه اسپایدر كدام یک از موتورهای جستجوگر صفحات سایت را مورد بازدید قرار داده است. یکی از فعالیتهای اصلی که در SEM انجام می شود تحلیل آمار همین دید و بازدیدها است.
اسپایدرها كاربردهای دیگری نیز دارند، به عنوان مثال عده ای از آنها به سایت های مختلف مراجعه می كنند و فقط به بررسی فعال بودن لینك های آنها می پردازند و یا به دنبال آدرس ایمیل (Email) می گردند.

ب- Crawler (خزنده)
كراولر، نرم افزاری است كه به عنوان یك فرمانده برای اسپایدر عمل می كند. آن مشخص می كند که اسپایدر كدام صفحات را مورد بازدید قرار دهد. در واقع کراولر تصمیم می گیرد كه كدام یك از لینك های صفحه ای كه اسپایدر در حال حاضر در آن قرار دارد، دنبال شود. ممكن است همه آنها را دنبال كند، بعضی ها را دنبال كند و یا هیچ كدام را دنبال نكند.
کراولر، ممكن است قبلا" برنامه ریزی شده باشد که آدرس های خاصی را طبق برنامه، در اختیار اسپایدر قرار دهد تا از آنها دیدن کند. دنبال كردن لینك های یک صفحه به این بستگی دارد كه موتور جستجوگر چه حجمی از اطلاعات یک سایت را می تواند (می خواهد) در پایگاه داده اش ذخیره كند. همچنین ممكن است اجازه دسترسی به بعضی از صفحات به موتورهای جستجوگر داده نشده باشد.
شما به عنوان دارنده سایت، همان طور كه دوست دارید موتورهای جستجوگر اطلاعات سایت شما را با خود ببرند، می توانید آنها را از بعضی صفحات سایت تان دور كنید و اجازه دسترسی به محتوای آن صفحات را به آنها ندهید. موتور جستجو اگر مودب باشد قبل از ورود به هر سایتی ابتدا قوانین دسترسی به محتوای سایت را (در صورت وجود) در فایلی خاص بررسی می کند و از حقوق دسترسی خود اطلاع می یابد. تنظیم میزان دسترسی موتورهای جستجوگر به محتوای یک سایت توسط پروتكل Robots انجام می شود. به عمل کراولر ، خزش (Crawling) می گویند.

ج- Indexer (بایگانی كننده)
تمام اطلاعات جمع آوری شده توسط اسپایدر در اختیار ایندکسر قرار می گیرد. در این بخش اطلاعات ارسالی مورد تجزیه و تحلیل قرار می گیرند و به بخش های متفاوتی تقسیم می شوند. تجزیه و تحلیل بدین معنی است كه مشخص می شود اطلاعات از كدام صفحه ارسال شده است، چه حجمی دارد، كلمات موجود در آن كدامند، کلمات چندبار تكرار شده اند، كلمات در كجای صفحه قرار دارند و ... .
در حقیقت ایندکسر، صفحه را به پارامترهای آن خرد می کند و تمام این پارامترها را به یک مقیاس عددی تبدیل می کند تا سیستم رتبه بندی بتواند پارامترهای صفحات مختلف را با هم مقایسه کند. در زمان تجزیه و تحلیل اطلاعات، ایندکسر برای كاهش حجم داده ها از بعضی كلمات كه بسیار رایج هستند صرفنظر می کند. كلماتی نظیر a ، an ، the ، www ، is و ... . از این گونه كلمات هستند.

د - DataBase (پایگاه داده)
تمام داده های تجزیه و تحلیل شده در ایندکسر، به پایگاه داده ارسال می گردد. در این بخش داده ها گروه بندی، كدگذاری و ذخیره می شود. همچنین داده ها قبل از آنكه ذخیره شوند، طبق تکنیکهای خاصی فشرده می شوند تا حجم كمی از پایگاه داده را اشغال كنند. یك موتور جستجوگر باید پایگاده داده عظیمی داشته باشد و به طور مداوم حجم محتوای آنرا گسترش دهد و البته اطلاعات قدیمی را هم به روز رسانی نماید. بزرگی و به روز بودن پایگاه داده یك موتور جستجوگر برای آن امتیاز محسوب می گردد. یكی از تفاوتهای اصلی موتورهای جستجوگر در حجم پایگاه داده آنها و همچنین روش ذخیره سازی داده ها در پایگاه داده است.

و- Ranker (سیستم رتبه بندی)
بعد از آنكه تمام مراحل قبل انجام شد، موتور جستجوگر آماده پاسخ گویی به سوالات كاربران است. كاربران چند كلمه را در جعبه جستجوی (Search Box) آن وارد می كنند و سپس با فشردن Enter منتظر پــاسخ می مانند. برای پاسخگویی به درخواست کاربر، ابتدا تمام صفحات موجود در پایگاه داده كه به موضوع جستجو شده، مرتبط هستند، مشخص می شوند. پس از آن سیستم رتبه بندی وارد عمل شده، آنها را از بیشترین ارتباط تا كمترین ارتباط مرتب می كند و به عنوان نتایج جستجو به كاربر نمایش می دهد.
حتی اگر موتور جستجوگر بهترین و كامل ترین پایگاه داده را داشته باشد اما نتواند پاسخ های مرتبطی را ارایه كند، یك موتور جستجوگر ضعیف خواهد بود. در حقیقت سیستم رتبه بندی قلب تپنده یك موتور جستجوگر است و تفاوت اصلی موتورهای جستجوگر در این بخش قرار دارد. سیستم رتبه بندی برای پاسخ گویی به سوالات كاربران، پارامترهای بسیاری را در نظر می گیرد تا بتواند بهترین پاسخ ها را در اختیار آنها قرار دارد.
حرفه ای های دنیای SEM به طور خلاصه از آن به Algo ( الگوریتم) یاد می كنند. الگوریتم، مجموعه ای از دستورالعمل ها است كه موتور جستجوگر با اعمال آنها بر پارامترهای صفحات موجود در پایگاه داده اش، تصمیم می گیرد که صفحات مرتبط را چگونه در نتایج جستجو مرتب كند. در حال حاضر قدرتمندترین سیستم رتبه بندی را گوگل در اختیار دارد.
می توان با ادغام کردن اسپایدر با کراولر و همچنین ایندکسر با پایگاه داده، موتور جستجوگر را شامل سه بخش زیر دانست که این گونه تقسیم بندی هم درست می باشد:
* کراولر
* بایگانی
* سیستم رتبه بندی
تذکر- برای سهولت در بیان مطالب بعدی هر گاه صحبت از بایگانی کردن (شدن) به میان می آید، مقصود این است که صفحه تجزیه و تحلیل شده و به پایگاه داده موتور جستجوگر وارد می شود.
برای آنكه تصور درستی از نحوه كار یك موتور جستجوگر داشته باشید داستان نامتعارف زیر را با هم بررسی می كنیم. داستان ما یک شکارچی دارد. او تصمیم به شكار می گیرد:

- کار کراولر:
او قصد دارد برای شكار به منطقه حفاظت شده ابیورد، واقع در شهرستان درگز (شمالی ترین شهر خراسان بزرگ) برود.

- پروتكل Robots :
ابتدا تمام محدودیت های موجود برای شكار در این منطقه را بررسی می كند:
* آیا در این منطقه می توان به شکار پرداخت؟
* کدام حیوانات را می توان شکار کرد؟
* حداکثر تعداد شکار چه میزانی است؟
* و ... .
فرض می کنیم او مجوز شكار یک اوریال (نوعی آهو) را از شكاربانی منطقه دریافت می كند.

- کار اسپایدر
او اوریالی رعنا را شكار می كند و سپس آنرا با خود به منزل می برد.

- کار ایندکسر
شكار را تكه تكه كرده، گوشت، استخوان، دل و قلوه، كله پاچه و ... آنرا بسته بندی می كند و بخش های زاید شکار را دور می ریزد.

- کار پایگاه داده
بسته های حاصل را درون فریزر قرار داده، ذخیره می کند.

- کار سیستم رتبه بندی
مهمانان سراغ او می آیند و همسرش بسته به ذائقه مهمانان برای آنها غذا طبخ می كند. ممكن است عده ای كله پاچه، عده ای آبگوشت، عده ای ... دوست داشته باشند. پخت غذا طبق سلیقه مهمانان کار سختی است. ممكن است همه آنها آبگوشت بخواهند اما آنها مسلما" بامزه ترین آبگوشت را می خواهند!

نکته ها:
* شکارچی می توانست برای شکار کبک یا اوریال و یا هر دو به آن منطقه برود همانطور که موتور جستجوگر می تواند از سرور سایت شما انواع فایل (عکس، فایل متنی، فایل اجرایی و ...) درخواست کند.
* شکارچی می تواند شب به شکار برود یا روز. موتور جستجوگر هم ممکن است شب به سایت شما مراجعه کند یا روز. بنابراین همواره مطمئن باشید که سایت شما آپ است و موتور جستجوگر می تواند در آن به شکار فایلها بپردازد.
* غذای خوشمزه را می توانید با نتایج جستجوی دقیق و مرتبط مقایسه کنید. اگر شکارچی بهترین شکار را با خود به منزل ببرد اما غذایی خوشمزه و مطابق سلیقه مهمانان طبخ نگردد، تمام زحمات هدر رفته است.
* یاد آوری می کنم که به شکار اوریالی رعنا آن هم در منطقه حفاظت شده ابیورد (پارک ملی تندوره) اصلا فکر نکنید. اما توصیه می شود که حتما از طبیعت بکر آن دیدن فرمایید (بدون اسلحه!).

مفاهیم و اصطلاحات دنیای جستجو و موتورهای جستجوگر

Directory
فهرست. نوعی از موتورهای جستجوگر که پایگاه داده آن توسط ویراستاران تکمیل می گردد. در آنها سایتها در گروههایی موضوعی دسته بندی می شوند.

Keyword
بــه واژه ها ی مهم (کلیدی) هر صفحه گفته می شود. اما غالبا" منظور کلماتی است که دوست داریم با آنها رتبه های مناسبی کسب کنیم.

Keyword Density
چگالی کلمه، منظور تعداد دفعات تکرار واژه های کلیدی در مقایسه با سایر کلمات متن است.

Keyword Staffing
تکرار یک کلمه به دفعات و پشت سر هم به منظور بالا بردن چگالی کلمه. این کار تقلب محسوب می شود.

Tinny Text
نوشتن متن با اندازه های بسیار کوچک و ریز به گونه ای که کلمات بسیاری بدین ترتیب در یک خط قرار داده می شود و به سختی نیز در صفحه قابل رویت هستند. نوشتن مطالب به این صورت، تقلب محسوب است.

Invisible Text
متن نامرئی. منظور استفاده از متن های همرنگ با پس زمینه صفحه است. متن هایی که از دید کاربران مخفی می ماند. به عنوان مثال اگر پس زمینه یک صفحه سیاه است، متن صفحه نیز با رنگ سیاه نوشته می شود تا دیده نشود . این نوع متن ها از مصادیق تقلب می باشند.

Spam
تقلب، به تمام تلاش هایی گفته می شود که به کمک آن سعی می شود از راه های غیر معمول، رتبه های بالایی کسب شود. یا در اختیار گذاردن اطلاعاتی که موتورهای جستجوگر آنرا دوست ندارند (اطلاعات ناخواسته) مانند تکرار یک کلمه به دفعات و پشت سر هم، استفاده از متن های هم رنگ زمینه و ...

ALT tag
محتوای این شناسه، متنی است که یک عکس را توضیح می دهد.

Deep Crawl
به معنای این است که موتور جستجوگر، می تواندصفحات زیادی از یک سایت را در پایگاه داده اش قرار دهد. موتور جستجوگر هرچه پایگاه داده اش بزرگتر باشد، صفحات بیشتری از یک سایت را می تواند در پایگاه داده اش قرار دهد. همه موتورهای جستجوگر دارای این ویژگی نمی باشند.

Robots.txt
با این فایل متنی و ساده، میزان دسترسی موتور جستجوگر به محتوای یک "سایت" را می توان کنترل کرد.

META robots tag
به کمک این شناسه میزان دسترسی موتور جستجوگر به محتوای یک "صفحه" را می توان کنترل کرد.

Link
پیوند. در واقع پلی بین دو صفحه است. به کمک آن می توان از یک صفحه به صفحه دیگر رفت.

Link Popularity
مقصود این است که چه تعداد از سایت های دیگر به سایتی مشخص لینک کرده اند یا اینکه از چند سایت دیگر می توان به کمک پیوندها به سایتی مشخص رفت.

Link Reputation
اشاره به این دارد که سایر سایتها درباره سایتی که بدان لینک داده اند، چه می گویند. عموما در این موارد عنوان، متن لینک و کلمات اطراف لینک در سایت مقصد، بررسی می شوند.

Learn Frequency
بعضی از موتورهای جستجوگر می توانند تشخیص دهند که محتوای صفحات پس از چه مدتی تغییر می کند (به روز می گردد) و بعد از آن مدت به آن صفحات مراجعه می کنند.

URL-Uniform Resource Locator
به آدرس منحصر به فرد هر منبع موجود در اینترنت گفته می شود. این منبع می تواند یک صفحه وب، یک فایل متنی و... باشد

Stop Word
به کلماتی گفته می شود که در کل اینترنت از آنها بسیار استفاده شده است. کلماتی نظیرthe, a, an, web www, home page, و ...

Meta tags
به کمک این شناسه ها، اطلاعاتی از صفحه در اختیار بینندگان (موتور جستجوگر، مرورگرها و ...) قرار داده می شود.

META Keywords
به کمک آن، کلمات کلیدی صفحه در اختیار موتورهای جستجوگر قرار داده می شود.

META Description
به کمک آن، توضیحی مختصر از صفحه در اختیار موتورهای جستجوگر قرار داده می شود.

Stemming
به معنای این است که موتور جستجوگر می تواند صورت های مختلف یک کلمه را جستجو کند. به عنوان مثال با جستجوی swim موتور جستجوگر به دنبال swimmer ، swimming نیز می گردد. همه موتورهای جستجوگر دارای این ویژگی نمی باشند.

Rank
رتبه یک صفحه در نتایج جستجو است زمانی که جستجویی مرتبط با محتوای آن صفحه انجام می شود.

Spamdexing
مختصر شده spam indexing است. منظور طراحی و معرفی صفحاتی به موتورهای جستجوگر است که کیفیت نتایج جستجو را پایین می آورند. موتورهای جستجوگر تمایل دارند که کاربران بارها و بارها به آنها مراجعه کنند و کیفیت بالای نتایج می تواند این روند را تضمین کند. لذا آنها هرکدام به نوعی سعی در تشخیص صفحاتی دارند که کیفیت نتایج جستجو را پایین می آورد. برخی از این موارد عبارتند از: ساختن صفحاتی که همگی دارای محتوای یکسانی اند، تکرار یک کلمه بیش از حد و ...

Comment
توضیحاتی است که طراحان سایت در لا به لای کدهای HTML می گنجانند تا برای فهمیدن وظیفه بخش های متفاوت کدهای HTML در مراجعات آتی نیازی به صرف وقت بسیار نداشته باشند.

اهمیت تجاری موتورهای جستجوگر

فعالان عرصه تجارت الکترونیک، آوردن بیننده به سایت را برای موفقیت در دنیای وب و تجارت آنلاین ضروری می دانند. فرقی نمی‌کند که سایت چه می‌فروشد و چه خدماتی ارایه می دهد: اگر سایتی به دنبال فروش کالا یا خدمات و کسب درآمد یا محبوبیت است، باید بیننده داشته باشد. تعداد بینندگان یک سایت، برگ برنده آن برای کسب موفقیت در دنیای وب می‌باشد. سایتی که بیننده ندارد، بدون شک مرگی آنلاین را تجربه می‌کند و چه بسیارند سایتهایی که هر روزه از چرخه زندگی در وب خارج می شوند!

مدیران و طراحان خبره وب به خوبی می دانند که فقط طراحی یک وب سایت تضمینی برای آمدن بیننده به آن نیست بلکه باید بینندگان را به طریقی به سایت جذب کرد. بینندگان تنها به دنبال رفع نیازهای اطلاعاتی خود می باشند و وظیفه ندارند به هر قیمتی که شده سایت شما را بیابند.

برای دعوت بینندگان به وب سایتتان چه تدابیری اندیشیده اید؟ چگونه دیگران بدانند که شما سایت پر محتوا و جذابی دارید؟ خود شما چگونه سایتهای دیگر را می یابید؟ بدون هیچ تردیدی باید گفت که ما در اغلب موارد به کمک موتورهای جستجوگر به آنچه که می خواهیم، دست می یابیم. اگر ما اینکار را انجام می دهیم، دیگران نیز دقیقا همین کار را می کنند: جستجوی چند عبارت در یکی از موتورهای جستجوگر و مراجعه به یکی از وب سایتها. ببینیم آمارها چه می گویند:

82 درصد کاربران اینترنت، موتورهای جستجوگر را ابزار اصلی خود برای یافتن وب سایتها عنوان کرده اند.
57 درصد از کاربران اینترنت هر روز جستجو می کنند و 46 درصد این جستجوها برای کالا یا خدمات است.
85 درصد ترافیک هدفمند را، موتورهای جستجوگر باعث می شوند.

همان گونه که آمارها نشان می‌دهند موتورهای جستجوگر ابزارهای مناسبی برای کمک به خریدران هستند که به کمک آنها، کالا یا خدمات مورد نیاز خود را پیدا می کنند. البته واقعیت این است که تنها رده‌های بالای نتایج جستجو مورد توجه کاربران قرار می گیرند و آنها بیشتر به سایت‌های لیست شده در این رتبه‌ها مراجعه می کنند.

بسیاری از کاربران دریافته اند که در اغلب موارد 10 رتبه اول نتایج جستجو می تواند خواسته آنها را برآورده کند و هنوز هم علاقه دارند که تنها 10 سایت اول در نتایج جستجو را مرور کنند. اما آمارها چه می گویند:

70 درصد از کاربران، به هنگام جستجو حتما یکی از سه سایت ابتدای نتایج جستجو را کلیک می کنند.
تنها 7 درصد از آنها سایتهای قرار گرفته در رتبه های بیستم به بعد را کلیک می کنند.

85 درصد از آنها اگر جوابی برای جستجوی خود در بیست نتیجه اول نتایج جستجو نیابند، موتور جستجوگر مورد استفاده خود را عوض می کنند.

33 درصد کاربران وب فکر می کنند سایتی که در ابتدای نتایج جستجو قرار دارد، در موضوع جستجو شده سرآمدتر از رقبای خود است و در آن موضوع پیشرو می باشد.

با دقت در این آمارها، اهمیت کسب رتبه‌های بالا در موتورهای جستجوگر روشن تر می‌شود. نکته مهم دیگر این که بینندگانی که موتورهای جستجوگر روانه سایت‌ها می‌کنند، به احتمال زیاد مخاطبان اصلی سایت مورد نظر می‌باشند و این در حالی است که هزینه چندانی نیز صرف آوردن آنان به سایت نشده است.

آمارهای ارایه شده از رفتار کاربران وب پیام بسیار واضحی دارد: سایت هایی ‌که در رتبه‌های بالا قرار نمی‌گیرند، بخش مهمی از کاربران مخاطب خود را از دست می دهند.

یک سایت ممکن است هزاران بیننده داشته باشد اما از این تعداد بینندگان گروه مخاطب آن است که موفقیت سایت را رقم می زند. زیرا در اغلب موارد این بینندگان مخاطب سایت هستند که از سایت چیزی بیشتر از اطلاعات رایگان ارایه شده می خواهند.

امروزه تجارت الکترونیک خود را با مسئله رتبه بندی در موتورهای جستجوگر هماهنگ کرده است زیرا رتبه های بالاتر مستقیما به فروش بیشتر، تعبیر می شوند. طبق آمارهای ارایه شده در ابتدای سال 2003 میلادی نزدیک به 93 درصد بینندگان سایت های فعال در زمینه ارایه هدایای کریسمس را موتورهای جستجوگر فراهم کرده اند که در این بین گوگل با 27 درصد در صدر ایستاده است و پس از آن یاهو با 25 درصد در رده دوم قرار گرفته است.

شم بازاریابی حکم می کند که همواره در جایی حضور داشته باشیم که مشتری ما آنجاست. اگر ما آنجا نباشیم، رقیب ما آنجا خواهد بود. به عبارت دیگر کسی که قرار است از ما خرید کند، از رقیب ما خرید می کند و بنابراین رقیب ما هر روز چاق تر و چاق تر می شود و ما نحیف و نحیف تر.

بازاریابی با موتورهای جستجوگر (Search Engine Marketing) نیز دو هدف عمده زیر را دنبال می کند:

1- حضور در جاهایی که خریداران ما آنجا هستند.
2-  بالاتر بودن از رقبا (کسب وضعیت بهتر نسبت به رقبا)

اینگونه از بازاریابی شامل فعالیتهای مختلفی می باشد که از مهمترین فعالیت های آن، بهینه سازی سایت (Search Engine Optimization) می باشد. در حقیقت موتورهای جستجوگر از مهمترین بینندگان هر سایتی هستند. اگر سایت شما تنها برای مرورگرها، بهینه سازی شده است، کمی تامل کنید، سایت شما باید برای موتورهای جستجوگر هم بهینه سازی گردد. به عنوان مثال مرورگرها می توانند صفحات را با وجود بعضی از خطاها در کدهای آنها، به کاربران نمایش دهند اما موتورهای جستجوگر تا این حد مهربان نیستند. خوشبختانه توجه به موتورهای جستجوگر در طراحی سایت، آنرا برای کاربران سایت هم قابل استفاده تر می کند.

بهینه سازی سایت به معنای به کارگیری ترفندهای پیچیده نیست بلکه در اغلب موارد به کارگیری و اعمال تغییرات کوچک و ساده در سایت است که معمولا تاثیر فوق العاده ای در بالا بردن ضریب نفوذ سایت شما در موتورهای جستجوگر دارند.

ضریب نفوذ مناسب به معنای حضور در موتورهای جستجوگر مهم و عمده، بایگانی شدن هر چه بیشتر صفحات سایت در پایگاه داده آنها و قرار گرفتن در صفحه های اول تا پنجم نتایج جستجوی آنهاست. متخصصین بسیاری در تلاش‌ هستند تا الگوریتم و پارامترهای مورد توجه موتورهای جستجوگر را شناسایی کنند تا بتوانند به کمک آنها به رتبه‌های بالاتری دست یابند و شانس خود را در کسب درآمد بیشتر، افزایش دهند. البته به موازات آنها، موتورهای جستجوگر نیز روز به‌ روز الگوریتم های خود را هوشمندتر کرده و بر اقدامات امنیتی برای حفاظت از الگوریتم‌هایشان می‌افزایند.

چیزی که امروزه این متخصصان با تاکید بر آنها قصد بهبودی رتبه های سایت های خود را دارند، تنها تجربه است و نه یافته های علمی ثابت شده از اسرار بسیار موتورهای جستجوگر.