تست و ذخیره کردن فایل robots.txt

14

برای ایجاد و ذخیره کردن فایل robots.txt باید قوانین زیر را رعایت کنید تا ربات گوگل و هم سایر ربات‌ها بتوانند آن را به‌خوبی شناسایی و پیدا کنند و هم بتوانند دستورات آن را بخوانند. با سلام وبمستر همراه باشید تا شما را با نحوه ذخیره کردن فایل robots.txt آشنا کنیم.

  • فایل robotx.txt باید به‌صورت یک فایل متنی با پسوند txt ذخیره شود.
  • این فایل باید در بالاترین شاخه سایت قرار بگیرد. (روت اصلی سایت)
  • اسم فایل دقیقاً باید robots.txt باشد.

ذخیره کردن فایل robots.txt

مثال: اگر آدرس سایت example.com باشد فایل robots.txt باید در شاخه اصلی سایت ذخیره شود تا ربات‌ها بتوانند آن را شناسایی و بررسی کنند، یعنی در آدرس زیر:

 http://www.example.com/robots.txt

اما اگر فایل robots.txt در آدرس نمونه زیر قرار بگیرد هیچ‌یک از ربات‌ها نمی‌توانند آن را شناسایی کنند:

http://www.example.com/not_root/robots.txt 

ابزار تست فایل robots.txt به شما نشان خواهد داد که آیا فایل robots.txt دسترسی ربات‌های گوگل به برخی لینک‌های سایت را مسدود کرده است یا خیر! به‌عنوان‌مثال اگر می‌خواهید دسترسی به لینک تصویری را مسدود کنید تا در نتایج جستجو گوگل نمایش داده نشود، می‌توانید از این ابزار استفاده کنید و تست کنید که آیا ربات جستجو تصاویر گوگل (Googlebot-Image) به لینک آن تصویر دسترسی دارد یا خیر!

می‌توان لینکی از سایت را در ابزار robots.txt tester وارد کرد تا این ابزار دقیقاً مانند ربات گوگل عمل کرده و فایل robots.txt سایت را بررسی کند و تائیدیه مسدود بودن یا نبودن لینک موردنظر برای دسترسی ربات‌های گوگل را مشخص کند.

تست فایل robots.txt

وارد حساب کنسول جستجو خود شوید و از بخش Crawl گزینه robots.txt tester را انتخاب کنید. چنانچه سایت شما فایل robots.txt را داشته باشد در ویرایشگر وسط صفحه می‌توانید کدهای مربوط به این فایل را که گوگل از آن استخراج کرده است را ملاحظه کنید، بخش‌های مختلف موجود در ابزار robots.txt tester در تصویر نمونه صفحه بعد شماره‌گذاری شده‌اند که در ادامه به توضیح هر یک خواهیم پرداخت:تست و ذخیره کردن فایل robots.txt

  1. گزارشی از آخرین تاریخ و زمانی که ربات گوگل فایل txt سایت را بررسی کرده است.
  2. توسط این گزینه شما می‌توانید درخواست فراخوانی مستقیم و لحظه‌ای کدها و دستورات موجود در فایل txt سایت خود را به گوگل بدهید.
  3. تعداد خطاها و هشدارهای مربوط به فایل txt سایت
  4. ارسال درخواست بررسی سریع فایل جدید txt به گوگل (قابل‌استفاده برای زمانی که تغییراتی در فایل robots.txt می‌دهید)
  5. ابزار تست فایل txt سایت را می‌توانید ملاحظه کنید.

برای بررسی و تست عملکرد فایل robots.txt می‌توان طبق روال زیر عمل کرد:

تست و ذخیره کردن فایل robots.txt

  1. در فیلد متنی که در پایین صفحه گزارش‌های این بخش قرار دارد لینکی از سایت خود را کپی کنید.
  2. توسط لیست کشویی نوع ربات گوگل که می‌خواهید شبیه‌سازی تست بر اساس آن ربات انجام شود را انتخاب کنید.
  3. روی دکمه test کلیک کنید تا تست لینک درخواستی انجام شود. پس از ارسال درخواست تست یکی از دو حالت زیر نمایش داده خواهد شد:
  • ALLOWED

نمایش این وضعیت بدین معناست که ربات گوگل اجازه دسترسی و خواندن لینک درج‌شده را دارد.

  • BLOCKED

نمایش این وضعیت بدین معناست که دسترسی ربات گوگل به لینک درج‌شده مسدود است و اجازه دسترسی و خواندن آن را ندارد و در ویرایشگر میان صفحه، خط مربوط به دستوری که باعث مسدود شدن این دسترسی شده است را مشخص می‌کند.

می‌توان توسط ویرایشگر ارائه‌شده در همین صفحه کدهای دستوری مربوط به فایل robots.txt را ویرایش کرده و مجدد تست‌های موردنیاز را انجام داد.

 

ارسال یک پاسخ

آدرس ایمیل شما منتشر نخواهد شد.