در گزارش های Crawl Stats در کنسول جستجو اطلاعاتی در خصوص فعالیت‌هایی که ربات گوگل در طی ۹۰ روز گذشته در سایت داشته است ارائه می‌گردد. این آمار و اطلاعات شامل همه انواع محتواهای موجود در سایت ازجمله عکس‌ها، فایل‌های PDF، فلش، جاوا اسکریپت و CSS ها می‌باشد که گوگل همگی را از سایت خوانده و دانلود کرده است. با یک مقاله آموزشی مفید دیگر از سلام وبمستر همراه باشید.
گزارش‌ها ارائه‌شده در بخش Crawl Stats
گزارش‌های ارائه‌شده در این بخش شامل سه قسمت است:
تعداد صفحاتی از سایت که ربات گوگل به‌صورت روزانه آن‌ها را بررسی کرده است.
حجم دانلود شده توسط ربات گوگل از صفحات سایت به‌صورت روزانه
مدت‌زمانی که گوگل صرف بررسی و دانلود صفحات سایت به‌صورت روزانه کرده است.
در این گزارش‌ها و اعداد و ارقام اعلام شده، نمی‌توان گفت چه عدد و رقمی برای تعداد و میزان بررسی انجام شده توسط ربات گوگل خوب یا بد است. چیزی که مهم است این است که هم‌زمان که سایتی رشد پیدا می‌کند بایستی به‌طور نسبی نمودار و آمار و ارقام ارائه‌شده در این بخش نیز افزایش یابد و اگر افزایش یا افت شدیدی در نمودار و اعداد مشاهده شد باید با دقت علت آن بررسی شود.
[/vc_message]افت شدید نرخ بررسی سایت توسط ربات گوگل
به‌طورکلی در قسمت گزارش های Crawl Stats، نرخ بررسی سایت توسط ربات گوگل در طی یک یا دو هفته بایستی نسبتاً پایدار باشد و درصورتی‌که یک افت شدید ناگهانی مشاهده شد علت آن می‌تواند یکی از عوامل زیر باشد:
ممکن است یک دستور جدید با دامنه محدودیتی وسیع در فایل txt اضافه شد باشد و درنتیجه دسترسی و مجوز ربات گوگل برای بررسی بخش اعظمی از سایت مسدود شده باشد. این عامل یکی از دلایل افت نرخ بررسی سایت در گزارش های Crawl Stats می باشد.
فایل txt را بررسی کنید و مطمئن شوید که دسترسی به منابع و فایل‌هایی که واقعاً نیاز است مسدود شده است. همچنین دقت کنید که ربات گوگل برای اینکه محتواهای موجود در سایت را کامل و بهرت متوجه شود نیاز دارد که به فایل‌های CSS و جاوا اسکریپت و برخی منابع دیگر که در سایت استفاده شده‌اند دسترسی داشته باشد، بنابراین بررسی کنید که دسترسی به این فایل‌ها نیز در فایل robots.txt مسدود نشده باشد.
یکی از دلایل دیگر مشاهده این اتفاق در گزارش های Crawl Stats این اتفاق می‌تواند وجود Html های ناقص در صفحات سایت باشد یا محتواهایی که اصلاً پشتیبانی نمی‌شوند. اگر ربات گوگل نتواند محتوای صفحه‌ای از سایت را تجزیه‌وتحلیل کند علت آن می‌تواند استفاده از انواع فایل‌های رسانه‌ای در آن صفحات باشد که قابل‌خواندن و پشتیبانی توسط ربات گوگل نمی‌باشند یا اینکه آن صفحه فقط شامل تصاویر است و درنتیجه ربات گوگل نتوانسته آن‌ها را بررسی کند. از ابزار Fetch as Google استفاده کنید تا متوجه شوید که ربات گوگل چگونه صفحات سایت شمارا می‌بیند.
اگر سایتی به درخواست‌های مشاهده‌ای که توسط اشخاص مختلف به آن می‌رسد به‌کندی پاسخ دهد، ربات گوگل برای آنکه فشار و بارگذاری بیش از اندازه‌ای بر روی سرور آن سایت نگذارد درخواست‌های بررسی خود از آن سایت را کنسل می‌کند. گزارش‌های ارائه‌شده در نمودار سوم از Crawl Stats را بررسی کنید ببینید آیا سایت به‌کندی به درخواست‌ها پاسخ می‌دهد یا خیر.
درصورتی‌که نرخ خطاهایی اتصال به سرور سایت بالا برود، ربات گوگل درخواست‌های بررسی خود از سایت را کنسل می‌کند تا بار و فشار زیادی بر روی سرور وارد نکند. خطاهای مربوط به اتصال به سرور را از گزارش‌های ارائه‌شده در بخش crawl error بررسی کنید و ببینید آیا این خطاها افزایش یافته‌اند یا خیر.
بخش تنظیمات سایت در حساب کنسول جستجو را بررسی کنید و مطمئن شوید که حداکثر میزان درصد بررسی سایت توسط ربات گوگل را کاهش نداده باشید.
اگر محتواهای سایت تغییرات بسیار کمی داشته باشند و یا کیفیت آن‌ها بسیار پایین باشد ممکن است آن سایت به‌صورت مکرر و منظم توسط گوگل بررسی نشود و اگر واقع‌بینانه و صادقانه به این سایت نگاه کنیم خواهیم پذیرفت که بازدیدکنندگان اصلاً با چنین سایتی ارتباط برقرار نخواهند کرد. در خصوص این نمونه سایت‌ها باید تجدیدنظر اساسی کنید و به این فکر کنید که چگونه می‌توانید سایت را به‌طورکلی بهبود ببخشید.
افزایش شدید و ناگهانی نرخ بررسی سایت توسط ربات گوگل
درصورتی‌که حجم بسیار بالایی از اطلاعات را یکجا وارد سایت کرده باشید و یا یک سری اطلاعات واقعاً مفید و کاربردی در سایت خود داشته باشید، ممکن است سایت شما بیشتر ازآنچه که توقع و انتظار آن را دارید توسط ربات گوگل بررسی شود.
چنانچه درخواست‌های بررسی که از سمت ربات گوگل به سرور سایت شما می‌آید به‌قدری زیاد باشد که باعث کندی سرور شود، با رعایت نکات زیر می‌توانید از نرخ بررسی ربات گوگل را کنترل کنید و از فشار و بار زیاد بر روی سرور سایت جلوگیری کنید:
قبل از هر چیز با بررسی گزارش‌های ارائه‌شده در بخش crawl state مطمئن شوید که تمام درخواست‌هایی که به سمت سرور سایت می‌آید از سمت ربات گوگل است و نه از سمت جایی دیگر. همچنین لاگ های مربوط به رفتار کاربران را توسط سیستم خود بررسی کنید و مطمئن شوید کلیه درخواست‌هایی که سمت سرور سایت می‌آید از سمت گوگل هستند یا درخواست‌های اسپمی می‌باشند که خود را جای درخواست‌های گوگل جا می‌زنند.
درصورتی‌که تصمیم دارید خیلی سریع و فوری درخواست‌های بررسی ربات گوگل از سایت را مسدود کنید کد وضعیت ۵۰۳ را در جواب درخواست‌ها برگردانید. که این کار براحتی در بخش گزارش های Crawl Stats قابل انجام است.
فایل txt سایت را دقیق تنظیم کنید تا دسترسی به صفحاتی که بررسی آن‌ها هیچ نیازی نمی‌باشد برای ربات گوگل مسدود شود.
به‌عنوان یک راهکار کوتاه‌مدت حداکثر میزان نرخ بررسی سایت توسط ربات گوگل را تنظیم کنید، گوگل ترجیح نمی‌دهید از این روش در طولانی‌مدت استفاده شود چراکه از این طریق نمی‌توان دقیقاً برای گوگل مشخص کرد که چه منابع و صفحاتی از سایت بررسی شوند و کدام‌یک نیازی به بررسی ندارند.
اگر در سایت خود صفحاتی دارید که شامل بی‌نهایت نتیجه و اطلاعات است، دسترسی به آن صفحات را برای ربات موتور جستجو توسط txt یا برچسب nofollow مسدود کنید. مثلاً نمایش یک تقویم در سایت که برای روزها و ماه‌ها و حتی سالیان بعد و قبل لینک و صفحه تولید می‌کند، یا صفحه‌ای که توسط یک جستجو در سایت حاصل می‌شود و بی‌نهایت مطلب و نتیجه را نمایش می‌دهد.
اگر در سایت صفحاتی وجود داشته که حذف و یا تغییر پیدا کرده‌اند، مطمئن شوید که برای درخواست‌هایی که برای بررسی آن‌ها ارسال می‌شود کدهای دستوری صحیح و مناسبی برگردانده می‌شود، مثلاً خطای ۴۰۴ یا ۴۱۰ برای لینک‌های که دیگر وجود ندارند یا غیر معتبر می‌باشند، ریدایرکت ۳۰۱ برای لینک‌هایی که تغییر نام داده‌شده‌اند و یا با سایر لینک‌ها جایگزین شده‌اند (یا ریدایرکت ۳۰۲ اگر این جایگزینی همیشگی نیست) یا ۵۰۳ برای قطع کردن و بروز رسانی‌های موقتی سایت و درنهایت در گزارش های Crawl Stats مطمئن شوید که سرور سایت برای مواردی که نمی‌تواند آن‌ها را مدیریت کند خطای ۵۰۰ را برگرداند.
کد ۵۰۳ به معنای غیرقابل دسترس بودن سرور به دلیل ترافیک زیاد یا انجام به‌روزرسانی در سایت می‌باشد.
