همانطور که در مقاله Crawl Errors (خطاهای مربوط به بررسی سایت توسط ربات گوگل) اشاره کردیم هنگامی که ربات گوگل سایتی را بررسی می‌کند ممکن است با خطاهایی مواجه شود و همین خطاها ممکن است مانع نمایش سایت در نتایج جستجو شوند. گزارش‌های بخش Crawl Errors لینک‌های از وب‌سایت را ارائه می‌دهد که ربات گوگل نتوانسته صفحات مربوطه را بررسی کندکه شامل Site errors و URL errors می شوند. در این مقاله می پردازیم به بررسی انواع خطاهای Site Errors که در بخش crawl error در گوگل وبمستر ممکن است به وبمستران نمایش داده شود
خطاهای مربوط به DNS سایت
خطای DNS بدان معناست که ربات گوگل نمی‌تواند با سرور سایت ارتباط برقرار کند و علت آن می‌تواند هم قطع بودن سرور سایت باشد و هم در مسیریابی سرور سایت مشکلی به وجود آمده باشد. اکثر هشدار یا خطاهای مربوط به DNS بر روی عملکرد ربات گوگل جهت دسترسی به سایت تأثیری نمی‌گذارند، اما این هشدار و خطاها می‌توانند نشانه‌ای از تأخیر بسیار بالا در دسترسی به سایت باشند که بر روی کاربران سایت تأثیر بالایی خواهند داشت.
جهت رفع خطاهای DNS ابتدا مطمئن شوید که گوگل می‌تواند سایت شمارا بررسی کند، به کمک ابزار Fetch as Google درخواست بررسی یکی از صفحات اصلی سایت خود مانند صفحه اصلی سایت را به گوگل بدهید، اگر محتوای صفحه بدون هیچ مشکلی برگردانده و به شما نمایش داده شود می‌توانید اطمینان حاصل کنید که گوگل قادر به دسترسی و ارتباط با سایت مربوطه می‌باشد. همچنین درصورتی‌که خطاهای DNS را به‌طور مداوم می‌بینید، از پشتیبانی هاست و سرور خود این وضعیت را پیگیری کنید.
انواع خطاهای DNS
-
DNS Timeout
این خطا نشان از این دارد که گوگل نتوانسته به سایت دسترسی پیدا کند زیرا سرور DNS نتوانسته میزبان هاست را تشخیص دهید.
بایستی به کمک ابزار Fetch as Google بررسی کنید که آیا ربات گوگل می‌تواند به سایت دسترسی داشته باشد یا خیر، اگر محتوای صفحه اصلی سایت بدون هیچ خطا و مشکلی برگردانده شود می‌توان فرض را بر آن گذاشت که در حالت کلی گوگل به‌درستی به سایت موردنظر دسترسی دارد.
همچنین از طریق ثبت‌کننده دامنه و سروری که خدمات میزبانی سایت شمارا ارائه می‌کند بررسی کنید که DNS های مربوط به سایت به‌درستی تنظیم شده‌اند و سرور و فضای میزبانی سایت نیز به اینترنت متصل باشد.
-
DNS Lookup
برای این خطا نیز گوگل نتوانسته به سایت دسترسی پیدا کند زیرا سرور DNS نتوانسته میزبان هاست را تشخیص دهید و بایستی همان اقدامات و بررسی‌های مربوط به خطای DNS Timeout را انجام دهید.
خطاهای مربوط به سرور سایت Server connectivity
زمانی که این نمونه خطا را برای لینک‌های سایت خود می‌بینید بدین معناست که ربات گوگل نتوانسته به لینک‌های سایت دسترسی داشته باشد یا به علت اینکه مدت‌زمان درخواست به پایان رسیده و هیچ جوابی از سمت سرور ارسال نشده است یا ترافیک و بار زیادی بر روی سایت بوده است و درنتیجه گوگل مجبور به رها کردن درخواست خود شده است.
رفع خطاهای مربوط به اتصال به سرور
جهت رفع خطاهای ناشی از اتصال به سرور سایت موارد زیر را موردبررسی قرار دهید:
- زمان بارگذاری بیش‌ازحد مربوط به درخواست‌های صفحات داینامیک را کاهش دهید.
زمانی که سایتی برای چندین لینک مختلف محتوای یکسانی را برمی‌گرداند به‌عنوان اینکه محتوا را به‌صورت دینامیک برمی‌گرداند در نظر گرفته می‌شود، به‌عنوان‌مثال محتوایی که توسط دو لینک زیر برگردانده می‌شوند کاملاً یکسان خواهند بود
www.example.com/shoes.php?color=red&size=7 www.example.com/shoes.php?size=7&color=red
نتایج این صفحات که به‌صورت دینامیک در سایت ایجاد می‌شوند معمولاً بیش‌ازحد زمان برده که در پاسخ درخواست‌های داده‌شده برگردانده شوند و یا اینکه سرور به خاطر فشار و بار زیاد ممکن است به ربات گوگل درخواست بررسی بسیار کندتر سایت را بدهد. به‌طورکلی پیشنهاد می‌شود پارامترهای استفاده شده در لینک‌ها را تا حد ممکن کوتاه در نظر بگیرد و تا جایی ممکن از آن‌ها کمتر استفاده کنید.
- مطمئن شوید سرور سایت قطع نباشد، بار بیش از اندازه روی آن نباشد و همچنین تنظیمات آن به‌درستی انجام‌شده باشد.
اگر مشکلات اتصال به سرور، زمان‌بندی ارسال پاسخ از سمت سرور و… همچنان باقی است از سمت شرکت میزبانی وب خود موضوع را پیگیری کنید و برای مدیریت ترافیک سایت نیز منابع مربوط به هاست و سرور سایت خود افزایش دهید.
- بررسی کنید که سهواً دسترسی گوگل به سایت را مسدود نکرده باشید.
ممکن است که شما ناخواسته دسترسی گوگل به سایت را به‌صورت سیستمی محدود کرده باشید مانند مشکل در پیکربندی DNS، تنظیمات نادرست فایروال سرور، تنظیمات مربوط به حفاظت Dos و یا برخی تنظیماتی که در سیستم‌های مدیریت محتوا وجود دارد. یکی از مهم‌ترین بخش‌هایی که در هر سرور ارائه‌دهنده خدمات میزبانی وب ارائه می‌گردد سیستم‌های حفاظتی و امنیتی می‌باشد و یکی از مهم‌ترین تنظیمات این سیستم‌ها مسدودسازی خودکار درخواست‌های بسیار زیادی است که از سمت یک IP به سمت سرور و سایت می‌آیند و ازآنجایی‌که تعداد درخواست‌هایی که توسط ربات گوگل برای بررسی یک سایت ارسال می‌شود نسب به تعداد درخواست‌های یک کاربر عادی بسیار بیشتر است، همین موضوع باعث می‌شود که این سیستم‌های امنیتی دسترسی‌های مربوط به ربات گوگل را مسدود کنند و اجاره بررسی سایت را به آن ندهند. برای رفع مواردی از این قبیل ابتدا باید بررسی کنید که کدام بخش از سایت و یا تنظیمات باعث این مسدودسازی شده است و سپس آن را رفع کنید. البته فایروال‌های فعال بر روی سرور ممکن است تحت کنترل و مدیریت شما نباشند و باید درخواست خود را از طریق سروری که خدمات هاست و میزبانی سایت شمارا فراهم می‌کند پیگیری کنید.
- عملیات بررسی و فهرست بندی اطلاعات سایت (crawling and indexing) توسط موتورهای جستجو را به‌دقت کنترل کنید.
برخی از مدیران وب‌سایت‌ها ممکن است مستقیماً و به‌صورت آگاهانه دسترسی ربات گوگل به سایت خود را مسدود کرده باشند (مثلاً به کمک یک فایروال که در قسمت قبلی توضیح داده شد) در این موارد معمولاً هدف مسدود کردن دسترسی کامل ربات گوگل نیست و فقط به‌منظور اینکه نحوه بررسی و فهرست کردن اطلاعات سایت توسط ربات گوگل کنترل شود این کار انجام می‌شود. اگر شما نیز چنین خواسته‌ای دارید می‌توانید برای کنترل بررسی محتوای سایت توسط ربات گوگل از قوانین و پروتکل‌های که برای محدود کردن ربات گوگل وجود دارد مانند فایل robots.txt استفاده کنید یا اگر می‌خواهید دسترسی خیلی از ربات‌های ناشناخته را کنترل و مسدود کنید می‌توانید از دستور user-agent در فایل robots.txt استفاده کنید و فقط به ربات گوگل اجازه دسترسی و بررسی سایت را بدهید.
همچنین اگر می‌خواهید نرخ بررسی سایت توسط ربات گوگل را تغییر دهید از بخش تنظیمات حساب کنسول جستجو خود توسط گزینه Crawl Rate می‌توانید این کار را انجام دهید.
انواع خطاهای مربوط به اتصال به سرور
- Timeout
زمانی که درخواستی به سرور سایت ارسال می‌شود اگر سرور در مدت‌زمان مشخصی که برای آن تعریف شده است جوابی را در پاسخ به درخواست ارسال‌شده نفرستد این پیغام خطا (اتمام مهلت زمان پاسخ‌دهی و عدم دریافت هیچ پاسخی) داده می‌شود.
با مشاهده این خطا ابتدا توسط ابزار Fetch as Google بررسی کنید که آیا ربات گوگل به سایت دسترسی دارد و می‌تواند آن را بررسی کند یا خیر، اگر Fetch as Google صفحه اصلی سایت را بدون هیچ مشکلی برگرداند، می‌توانید فرض را بر این بگذارید که گوگل به‌درستی به سایت شما دسترسی دارد.
اگر این خطا و مشکل همچنان ادامه‌دار بود این احتمال وجود دارد که بار و فشار زیادی به بروی سرور سایت است و یا تنظیمات مربوط به سرور سایت به‌درستی انجام‌نشده باشد که بایستی از طریق شخص یا شرکتی که سرور و فضای میزبانی سایت را در اختیار شما گذاشته است مشکل را پیگیری کنید.
- Truncated headers
یا اصطلاحاً خطای عناوین کوتاه، زمانی رخ می‌دهد که گوگل به سرور سایت متصل شده است اما قبل از اینکه کل عنوان‌های سایت را به‌صورت کامل دریافت کند ارتباط قطع‌شده است. این خطا ممکن است لحظه‌ای و صرفاً به خاطر قطعی موقت سرور بوده باشد و می‌توانید پس از مدتی مجدداً این خطا را در حساب کنسول جستجو خود بررسی کنید.
در مورد این خطا نیز می‌توانید توسط ابزار Fetch as Google درخواست بررسی صفحه اصلی سایت خود را بدهید و درصورتی‌که کل محتوا صفحه نخست سایت بدون هیچ مشکلی به‌درستی بازگردانده شد می‌توان فرض را بر این گذاشت که گوگل به‌درستی به سایت شما دسترسی دارد.
چنانچه این خطا همچنان ادامه‌دار بود بایستی از طریق شخص یا شرکتی که سرور و فضای میزبانی سایت را در اختیار شما گذاشته است مشکل را پیگیری کنید.
- Connection reset
مفهوم این خطا این است که سرور سایت با موفقیت درخواست بررسی گوگل را پردازش کرده است اما چون اتصال به سرور در زمان بازگشت اطلاعات قطع و وصل شده، هیچ محتوای برگردانده نشده است. این خطا نیز ممکن است موقتی بوده باشد و پیشنهاد می‌شود پس از مدتی مجدداً آن را بررسی کنید.
برای این خطا نیز ابتدا توسط ابزار Fetch as Google بررسی کنید که آیا ربات گوگل به سایت دسترسی دارد و می‌تواند آن را بررسی کند یا خیر، اگر Fetch as Google صفحه اصلی سایت را بدون هیچ مشکلی برگرداند، می‌توانید فرض را بر این بگذارید که گوگل به‌درستی به سایت شما دسترسی دارد.
اگر این خطا و مشکل همچنان ادامه‌دار بود این احتمال وجود دارد که بار و فشار زیادی به بروی سرور سایت است و یا تنظیمات مربوط به سرور سایت به‌درستی انجام‌نشده باشد که بایستی از طریق شخص یا شرکتی که سرور و فضای میزبانی سایت را در اختیار شما گذاشته است مشکل را پیگیری کنید.
- Truncated response
قبل از اینکه گوگل برای درخواست بررسی که به سرور سایت فرستاده است جواب کاملی دریافت کند، سرور سایت اتصال را قطع کرده است و درنتیجه کل محتوای مربوطه به‌صورت ناقص دریافت شده است و شما این خطا را مشاهده خواهید کرد.
برای این خطا نیز ابتدا توسط ابزار Fetch as Google بررسی کنید که آیا ربات گوگل به سایت دسترسی دارد و می‌تواند آن را بررسی کند یا خیر، اگر Fetch as Google صفحه اصلی سایت را بدون هیچ مشکلی برگرداند، می‌توانید فرض را بر این بگذارید که گوگل به‌درستی به سایت شما دسترسی دارد.
اگر این خطا و مشکل همچنان ادامه‌دار بود این احتمال وجود دارد که بار و فشار زیادی به بروی سرور سایت است و یا تنظیمات مربوط به سرور سایت به‌درستی انجام‌نشده باشد که بایستی از طریق شخص یا شرکتی که سرور و فضای میزبانی سایت را در اختیار شما گذاشته است مشکل را پیگیری کنید.
- Connection refused
رد شدن ارتباط: گوگل نتوانسته به سایت دسترسی پیدا کند چون سرور سایت درخواست اتصال ربات گوگل را کلاً رد کرده است. علت می‌تواند مسدود بودن دسترسی ربات گوگل توسط خود تنظیمات سرور باشد یا در تنظیمات فایروال سرور اشکال به وجود آمده و دسترسی ربات گوگل مسدود شده است.
برای این خطا نیز ابتدا توسط ابزار Fetch as Google بررسی کنید که آیا ربات گوگل به سایت دسترسی دارد و می‌تواند آن را بررسی کند یا خیر، اگر Fetch as Google صفحه اصلی سایت را بدون هیچ مشکلی برگرداند، می‌توانید فرض را بر این بگذارید که گوگل به‌درستی به سایت شما دسترسی دارد.
اگر این خطا و مشکل همچنان ادامه‌دار بود این احتمال وجود دارد که بار و فشار زیادی به بروی سرور سایت است و یا تنظیمات مربوط به سرور سایت به‌درستی انجام‌نشده باشد که بایستی از طریق شخص یا شرکتی که سرور و فضای میزبانی سایت را در اختیار شما گذاشته است مشکل را پیگیری کنید.
- Connect failed
این خطا نشان از آن است که به خاطر قطعی و یا عدم دسترس بودن شبکه گوگل اصلاً نتوانسته به سرور سایت متصل شود.
این احتمال وجود دارد که بار و فشار زیادی به بروی سرور سایت است و یا تنظیمات مربوط به سرور سایت به‌درستی انجام‌نشده باشد. اگر این خطا و مشکل همچنان ادامه‌دار بود از طریق شخص یا شرکتی که سرور و فضای میزبانی سایت را در اختیار شما گذاشته است مشکل را پیگیری کنید.
همچنین توسط ابزار Fetch as Google بررسی کنید که آیا ربات گوگل به سایت دسترسی دارد و می‌تواند آن را بررسی کند یا خیر، اگر Fetch as Google صفحه اصلی سایت را بدون هیچ مشکلی برگرداند، می‌توانید فرض را بر این بگذارید که گوگل به‌درستی به سایت شما دسترسی دارد.
- Connect timeout
گوگل نتوانسته به سرور سایت متصل شود.
توسط ابزار Fetch as Google بررسی کنید که آیا ربات گوگل به سایت دسترسی دارد و می‌تواند آن را بررسی کند یا خیر، اگر Fetch as Google صفحه اصلی سایت را بدون هیچ مشکلی برگرداند، می‌توانید فرض را بر این بگذارید که گوگل به‌درستی به سایت شما دسترسی دارد.
بررسی کنید که سرور سایت به اینترنت متصل باشد، همچنین این احتمال وجود دارد که بار و فشار زیادی به بروی سرور سایت است و یا تنظیمات مربوط به سرور سایت به‌درستی انجام‌نشده باشد. اگر این خطا و مشکل همچنان ادامه‌دار بود از طریق شخص یا شرکتی که سرور و فضای میزبانی سایت را در اختیار شما گذاشته است مشکل را پیگیری کنید.
- No response
زمانی این خطا نمایش داده می‌شود که گوگل به سرور سایت متصل شده اما قبل از اینکه سرور هیچ داده‌ای ارسال کند، اتصال قطع‌شده است.
توسط ابزار Fetch as Google بررسی کنید که آیا ربات گوگل به سایت دسترسی دارد و می‌تواند آن را بررسی کند یا خیر، اگر Fetch as Google صفحه اصلی سایت را بدون هیچ مشکلی برگرداند، می‌توانید فرض را بر این بگذارید که گوگل به‌درستی به سایت شما دسترسی دارد.
این احتمال وجود دارد که بار و فشار زیادی به بروی سرور سایت است و یا تنظیمات مربوط به سرور سایت به‌درستی انجام‌نشده باشد. اگر این خطا و مشکل همچنان ادامه‌دار بود از طریق شخص یا شرکتی که سرور و فضای میزبانی سایت را در اختیار شما گذاشته است مشکل را پیگیری کنید.
خطاهای مربوط به فایل robots.txt
این بخش مربوط به خطای دسترسی به فایل robots.txt سایت توسط ربات گوگل می‌باشد. قبل از اینکه ربات گوگل بخواهد سایتی را بررسی کند ابتدا این فایل را می‌خواند تا بداند کدام‌یک از صفحات سایت را نباید بررسی کند.
اگر این فایل وجود داشته باشد اما غیرقابل‌دسترس باشد (یا به عبارتی زمانی که ربات گوگل درخواست فایل robotx.txt را به سرور می‌دهد، کد وضعیت ۲۰۰ که به معنای موفقیت بودن درخواست است را دریافت نکند یا حتی کد وضعیت ۴۰۴ که به مفهوم عدم وجود چنین فایلی است را نیز از سرور دریافت نکند) ربات گوگل بررسی سایت را تا زمانی که مجدد به سایت برگردد و بتواند این فایل را بخواند به عقب می‌اندازد چون تا زمانی که این فایل وجود داشته باشد و گوگل نتواند آن را بخواند، نمی‌داند کدام‌یک از صفحات و لینک‌ها را نباید بررسی کند و ممکن است لینک‌ها و صفحاتی در این فایل تعریف شده باشند که اجازه دسترسی و بررسی آن‌ها برای ربات گوگل مسدود شده باشد.
رفع خطاهای مربوط به فایل robots.txt
جهت بررسی و رفع خطاهای مربوط به فایل robots.txt موارد زیر را بررسی کنید:
- همیشه نیازی به استفاده از فایل txt نیست.
فایل robots.txt اگرچه فقط برای ربات گوگل نبوده و برای همه ربات‌های موتورهای جستجو قابل‌فهم است و به دستورات آن برای خواندن یا نخواندن صفحات سایت احترام می‌گذارند، اما هیچ الزامی برای استفاده از این فایل برای سایت‌ها نیز وجود ندارد.
اگر در سایت محتویاتی وجود داشته باشد که مدیریت سایت نخواهد موتورهای جستجو آن‌ها را بررسی و داده‌های مربوطه را فهرست بندی و ذخیره کنند، وجود فایل robots.txt برای سایت لازم می‌باشد و اگر می‌خواهید که ربات موتور جستجو کل سایت را بخواند اصلاً نیازی به این فایل نیست، حتی نیازی نیست که یک فایل خالی با این اسم برای سایت خود داشته باشید.
وقتی کلاً فایل robots.txt برای سایتی وجود نداشته باشد، سرور خطای ۴۰۴ را به درخواست ربات گوگل ارسال می‌کند و ربات گوگل متوجه می‌شود اصلاً چنین فایلی وجود ندارد و درنتیجه بدون هیچ محدودیتی کل سایت را فراخوانی و بررسی خواهد کرد.
- مطمئن شوید که فایل txt توسط گوگل قابل‌دسترس است.
ممکن است سروری که سایت بر روی آن قرار دارد زمانی که ربات گوگل درخواست دسترسی به فایل robots.txt را ارسال می‌کند خطایی با کد وضعیت ۵xx را در پاسخ بفرستد که به مفهوم این است که نتوانسته درخواست را پاسخ دهد یا فایل غیرقابل‌دسترس می‌باشد.
باید از سمت سروری که سایت بر روی آن قرار دارد بررسی شود که مستقیماً توسط خود سرور یا تنظیمات فایروال سرور، دسترسی‌های ربات گوگل بسته نشده باشد.
