Robots.txt: مدیریت دسترسی ربات ها به بخش های مختلف سایت

درصورتی‌که بخواهید دسترسی ربات‌های موتورهای جستجو را به بخش‌هایی از سایت محدود کنید، می‌توانید با تعریف دستورهای معینی در یک فایل به نام robots.txt این کار را انجام دهید.

ربات‌های موتورهای جستجو قبل از بررسی سایت، ابتدا بررسی می‌کنند که فایل robots.txt در شاخه اصلی سایت موردنظر وجود دارد یا خیر

https://www.Example.com/robots.txt

درصورتی‌که چنین فایلی وجود داشته باشد ابتدا دستورات آن را چک می‌کنند و اگر دستورات موجود در این فایل شامل محدودیت‌های برای دسترسی ربات‌ها برای مطالب، پوشه‌ها و یا هر قسمتی از سایت باشد به آن احترام گذشته و آن‌ها را بررسی نمی‌کنند.

robots txt

زمانی که ربات گوگل سایت ها را بررسی می کند ممکن است در برخورد با فایل robots.txt با خطاهای مواجه شد، اول اینکه تمامی خطاهای که ربات گوگل همگام بررسی سایت ها با آن ها مواجه می شود در بخش crawl error در گوگل وبمستربخش crawl error در گوگل وبمستر به شما گزارش داده می شود و در گزارشات همین بخش نیز می توانید در قسمت Site Errors مشکلات و خطاهای اصلی سایت در ۹۰ روزه گذشته را ملاحضه کنید که قسمتی از آن مربوط به خطاهای مربوط به فایل robots.txt می باشد.

ارسال یک پاسخ

آدرس ایمیل شما منتشر نخواهد شد.