Crawl Errors: خطاهای مربوط به بررسی سایت توسط ربات گوگل

هنگامی که ربات گوگل سایتی را بررسی می‌کند ممکن است با خطاهایی مواجه شود و همین خطاها ممکن است مانع نمایش سایت در نتایج جستجو شوند.
در بخش Crawl error  از ابزار گوگل وبمستر گزارش‌هایی از فعالیت ربات گوگل هنگام گردش در سایت و خطاهایی که با آن مواجه شده است ارائه می‌گردد مثلا لینک‌های از وب سایت را ارائه می‌دهد که ربات گوگل نتوانسته صفحات مربوطه را بررسی کند و یا با یکی از خطاهای http مانند خطای ۴۰۴ (صفحه موردنظر یافت نشد) مواجه شده است.

گزارش‌ها ارائه‌شده در بخش Crawl Errors

گزارش های ارائه شده در این قسمت از کنسول جستجو شامل ۲ بخش است:

گزارش‌های ارائه‌شده در بخش Site Errors

خطاهای Site errors در گوگل وبمستر

این بخش از گزارش ها، مشکلات و خطاهای اصلی مربوط به کل سایت را در ۹۰ روزه گذشته نمایش می‌دهد. خطاها و موارد مهمی که مانع از دسترسی ربات گوگل به کل محتوای سایت می‌شوند.

چنانچه سایتی به‌درستی و بدون عیب و نقص فعال و در حال کارکردن باشد در گزارش‌های بخش Crawl Errors هیچ آلارم و پیغام خطایی مشاهده نخواهد شد. گوگل جدایی از نوع سایت و بزرگی و کوچکی آن، سعی می‌کند هر تعداد از خطاهای سایت که با آن برخورد می‌کند را از طریق ارسال پیام به مدیریت آن سایت اطلاع‌رسانی کند.

وقتی صفحه Crawl Errors را ملاحظه می‌کنید، در بخش بالایی صفحه که مربوط به خطاهای کلی سایت است (Site errors) برای سه نوع خطای Server connectivity , DNS و robots.txt fetch یک گزارش خلاصه نمایش داده می‌شود. اگر در ۹۰ روز گذشته سایت شما در هر یک از این سه نوع وضعیت عملکردی نسبتاً صحیح و بدون عیب داشته باشد در گزارش‌های کنسول جستجو خود بایستی تصویری مانند شکل زیر را ملاحظه کنید:

گزارش‌های Site Errors در بخش Crawl Errors

اگر در کنار هر یک از این سه وضعیت یک تیک سبز رنگ باشد نشان از صحت عملکرد هر یک و دسترسی ربات گوگل به سایت است و در صورت وجود هر علامت دیگری به‌جز این تیک سبزرنگ، با کلیک بر روی وضعیت مربوطه می‌توان جزئیات بررسی گوگل از سایت را در ۹۰ روز گذشته به‌صورت نموداری مشاهده کرد.

اگر در سایتی در ۹۰ روز گذشته هیچ نوع خطایی توسط ربات گوگل مشاهده نشود و درنتیجه هیچ گزارش خطایی نیز برای نمایش وجود نداشته باشد وضعیتی مانند تصویر زیر را خواهید داشت و این فوق‌العاده است که بتوانید از گوگل این وضعیت و پیغام Nice را دریافت کنید.

بهترین حالت برای گزارش‌های Site Errors در بخش Crawl Errorsاگر برای هر یک از سه وضعیت ذکرشده، درصد خطای ۱۰۰% نشان داده شود، نشان از این است که آن سایت آنلاین نبوده یا تنظیمات آن در برخی موارد به مشکل اساسی برخورد کرده است و پیشنهاد می‌شود سایت را بررسی کنید که سطح دسترسی‌های و مجوزهای لازم برای بخش‌هایی از سایت تغییر نکرده باشد همچنین اگر اسکریپت یا ماژول جدید بر روی سایت خود استفاده کرده‌اید بررسی کنید آیا به‌درستی عمل می‌کنند یا خیر.

درصورتی‌که هیچ مورد خاصی را در سایت خود یافت نکردید، نرخ خطای اعلام‌شده ممکن است فقط یک مورد گذرا و موقتی باشد و شاید هم به خاطر یک سری عوامل خارج از سایت و کنترل شما این موضوع اتفاق افتاده باشد، به‌عنوان‌مثال لینک دهی سایر افراد به صفحاتی از سایت که اصلاً وجود ندارند و این موارد واقعاً مشکلاتی نیستند که نگرانش باشید. درصورتی‌که گوگل تعداد خطای بالایی را در سایت شما مشاهده کند اطلاع‌رسانی‌های لازم را جهت بررسی و رفع موارد مشاهده‌شده انجام خواهد داد.

اگر سایت شما درصد خطای کمتر از ۱۰۰% را برای هریک از این دسته‌بندی‌ها داشته باشد، هم می‌تواند نشان از یک حالت گذرا و موقتی باشد و هم می‌تواند نشانه بارگذاری بیش از اندازه بر روی سرور سایت و یا انجام تنظیمات اشتباه باشد. حتی اگر درصد خطاهای این بخش‌ها روی‌هم‌رفته خیلی کم هم باشد همچنان گوگل ممکن است اطلاع‌رسانی و هشدارهای لازم را بدهد. با این وجود اگر تنظیمات سایت به‌خوبی انجام‌شده باشد معمولاً هیچ خطایی را در هر یک از این سه دسته مشاهده نخواهد شد.

خطاهای URL errors در گوگل وبمستر

این بخش از گزارش‌ها لیست خطاهایی را نشان می‌دهد که گوگل هنگام بررسی برخی از صفحات خاص سایت با آن‌ها مواجه شده است. این خطاها نیز بر اساس مکانیسم‌های مختلفی که ربات گوگل برای بررسی صفحات سایت استفاده می‌کند در دو بخش مجزا ارائه می‌شوند، یک بخش خطاهایی که فقط مربوط به حالت نمایش صفحات در کامپیوترهای شخصی و رومیزی است و دیگری خطاهایی که فقط برای حالت نمایش در گوشی‌های موبایل اتفاق افتاده‌اند.

در صفحه Crawl Errors بخشی از گزارش‌ها تحت عنوان URL Errors ارائه می‌گردد و خطاهایی را نشان می‌دهد که گوگل هنگام بررسی برخی از صفحات خاص سایت با آن‌ها مواجه شده است. این گزارش‌ها در دسته‌بندی‌های مختلفی تقسیم و ارائه می‌شوند و در هر دسته تا ۱۰۰۰ لینک و صفحه‌ای که دارای خطا خاص مربوط به آن دسته‌بندی است گزارش می‌شود. بسیاری از خطاهایی این بخش درجه اهمیت پایینی دارند و نیازی به توجه و بررسی نداشته، اما بااین‌وجود بهتر است این خطاها را بررسی و رفع کنید چراکه ممکن است بر کاربران و یا ربات گوگل تأثیر منفی بگذارد، البته خطاهای مهم‌تر که بیشتر تکرار شده‌اند و بر روی تعداد بیشتری از صفحات سایت اثرگذار بوده‌اند در صدر نمایش داده می‌شود تا بتوانید سریع‌تر آن‌ها را رفع کرد.

در خصوص گزارش‌ها و خطاهای ارائه‌شده در این بخش به نکات زیر توجه کنید:

  1. رفع خطای ۴۰۴ برای لینک‌های مهم سایت توسط دستور ریدایرکت ۳۰۱

لینک‌های مهمی از سایت که به‌اشتباه توسط سایر سایت‌ها لینک شده باشند یا لینک‌های که قبلاً در سایت وجود داشته و در نقشه سایت نیز لینک آن‌ها ذکرشده اما اکنون از سایت حذف‌شده‌اند یا صفحات مهمی که لینک آن‌ها تغییر کرده است یا لینک‌های مهمی از سایت که در آدرس‌دهی به آن‌ها اشتباه تایپی وجود دارد، همگی پس‌ازاینکه توسط گوگل شناسایی شدند، توسط کد وضعیت ۴۰۴ (صفحات موردنظر پیدا نشد) گزارش می‌شوند. با وجود اینکه داشتن خطای ۴۰۴ یک خطای عادی باشد و در کارایی سایت شما در نتایج جستجو هیچ ضرری وارد نمی‌کند اما بااین‌حال به‌سادگی می‌توان با هدایت کردن این لینک‌های یافت نشده به صفحات صحیح و برگرداندن کد وضعیت ۳۰۱ برای ربات گوگل به‌راحتی این لینک‌ها و صفحات را در دسترس بازدیدکنندگان و موتورهای جستجو قرار دهید.

  1. بروز رسانی فایل نقشه سایت

لینک‌های قدیمی و بلااستفاده را از نقشه سایت خود پاک کنید و درصورتی‌که می‌خواهید از یک نقشه سایت جدید به‌جای نقشه سایت قدیمی (فعلی) خود استفاده کنید، حتماً نقشه سایت قبلی را حذف کنید. همچنین نیازی به ریدایرکت نقشه قدیمی سایت به نقشه جدید نیز نمی‌باشد.

  1. ریدایرکت ها را به‌صورت بسیار کوتاه و مختصر انجام دهید

درصورتی‌که در سایت خود لینک هایی دارد که به‌صورت متوالی به لینک‌های دیگری هدایت می‌شوند (مثلاً: pageD < pageC < pageB < pageA) سعی کنید تا جایی که امکان دارد این هدایت کردن‌های متوالی را خلاصه و کوتاه کنید.

مشاهده جزئیات مربوط به لینک‌های دارای خطا

در جدول پایین صفحه از گزارش‌های این بخش، با کلیک بر روی لینک مربوط به هر یک از خطاهای لیست شده می‌توان جزئیات کامل مربوط به آن خطا را مشاهده کرد.

جزئیات مربوط به لینک‌های دارای خطا که در بخش URL Errors گزارش می‌شونددر این پنجره که به‌صورت پاپ آپ باز می‌شود: عنوان خطا، لینک دارای خطا، زمانی که ربات گوگل آن را بررسی کرده است، توضیحات مربوطه و در آخر نیز لینک مستقیم به ابزار Fetch as Google جهت عیب‌یابی آن لینک ارائه می‌گردد. همچنین در یک تب مجزا تحت عنوان “Linked from” برای برخی از لینک‌ها دارای خطا، لیست صفحاتی ارائه می‌شود که در آن‌ها به‌نوعی به این لینک دارای خطا لینک دهی شده است.

پس از مشاهده جزئیات خطا و یا رفع آن می‌توان توسط گزینه “Marks as fixed” چه برای یک لینک خطا به‌صورت تکی یا با انتخاب همه خطاها به‌صورت یکجا، آن (ها) را از لیست گزارش‌های این بخش از گوگل وبمستر پاک کرد. البته اگر خطای مربوطه رفع نشده باشد اگرچه از لیست حذف می‌شود اما در بررسی‌های مجدد گوگل چنانچه دوباره آن خطا مشاهده شود مجدداً در لیست این بخش گزارش خواهد شد.

ارسال یک پاسخ

آدرس ایمیل شما منتشر نخواهد شد.