متاتگ robots دستورات یا به عبارتی قطعه کدهای HTML ای هستند که در صفحات سایت قرار می گیرند و به موتورهای جستجو می گویند که یک صفحه خاص را چطور بخوانند و یا فهرست کنند و … این کدها در بخش Head صفحات قرار می گیرند که یک نمونه از آن به عنوان مثال می توانید ملاحضه کنید:
<meta name="robots" content="noindex" />
اهمیت متاتگ robots در سئو سایت
معمولا متاتگ ربات برای جلوگیری از نمایش صفحات در نتایج جستجو استفاده می شود، هرچند کاربردهای دیگری نیز دارد که در ادامه توضیح خواهیم داد؛ و شاید از خودتان بپرسید چرا و چه صفحاتی در سایت ممکن است باشد که بخواهیم در گوگل ایندکس نشوند؟! برخی از این صفحات عبارتد از:
- صفحات نمایش یک پیام پایانی برای کاربران (مثلا صفحه تشکر از بابت خرید یا تکمیل یک فرم یا اعلام خطای بعد از یک عملیاتی که کاربر قرار است در سایت انجام دهد)
- صفحات فرود در تبلیغات کلیکی (PPC) که جزء صفحات هدف شما نمی باشند و نمی خواهید در نتایج رتبه بگیرند.
- صفحات جستجو داخلی سایت
- صفحات محتواهایی که تکراری هستند و بنابر دلایلی شما مجبور هستید در سایت خود داشته باشید.
دستورهای متاتگ robots
noindex:
این تگ برای ربات های جستجو گر این معنا را دارد که صفحات مربوطه را نباید فهرست بندی (ایندکس کردن) کنند و نباید در نتایج جستجو خود نمایش دهند. البته در این حالت ربات های جستجو همچنان اجازه دیدن و خزیدن در صفحات و بررسی یا همان crawl کردن سایت شما را دارند و حتی رتبه بندی صفحه مربوطه را هم لحاظ می کنند فقط با توجه به این دستور صفحات را فهرست بندی نمی کنند. و ربات های موتورهای جستجو حتی این را درنظر میگیرند که مجدد به این صفحات برگردند و وضعیت این دستور (ایندکس کردن یا نکردن) را مجددا بررسی کنند.
follow:
اضافه شدن این تگ در کد بالا درحقیقت به ربات های موتورهای جستجو می گوید در صفحه ای مربوطه می تواند همه لینک های موجود در آن صفحه را دنبال کند و آن ها
دستورات متاتگ robots که در سطح صفحه استفاده می شوند با نقشه سایت و فایل robots.txt و دستوراتی که در این دو فایل استفاده می شود بی ارتباط نبوده و باید به این موضوع و ترکیب آن ها اشراف کامل داشه باشید.را مورد بررسی قرار دهد. (و البته که به صفحات بعدی که هدایت می شود مطابق دستورات و برچسب های آن صفحه رفتار می کند.)
nofollow
این تگ به موتورهای جستجو دستور می دهد که اولا لینک های که در این صفحه وجود دارد را دنبال نکند (به آن ها نخزد و ان ها را نخواند) و همچنین هیچ اعتباری را از این صفحه به صفحات لینک شده منتقل نکند.
