خطاهای عمومی بخش URL Errors در گوگل وبمستر

خطاهایی که فقط مربوط به برخی از صفحات و لینک‌های سایت بوده و در بخش URL errors از گوگل وبمستر ارائه می‌شوند (زیر مجموعه خطاهای بخش crawl error ) را می‌توان در سه گروه مختلف دسته‌بندی کرد:

1. خطاهای متداول و عمومی
2. خطاهایی که فقط مربوط به نمایش سایت در گوشی‌های هوشمند می‌شوند
3. خطاهای مربوط به مطالب خبری سایت

با توجه به هر سایتی و انواع خطاهای مختلفی که ربات گوگل شناسایی و ارائه می‌کند، صفحه گزارش‌ها در بخش URL errors در سایت‌های مختلف، نسبت به یکدیگر متفاوت می‌باشند. به‌عنوان‌مثال به گزارش‌های نمونه ارائه‌شده در تصویر زیر دقت کنید:

خطاهای گزارش‌شده در بخش URL Errors فقط در دو گروه Desktop (گزارش خطاهایی که در نسخه‌های کامپیوتری و لپ‌تاپ‌ها توسط ربات اصلی گوگل Googlebot دیده شده است) و  Smartphone (گزارش خطاهایی که در نسخه تلفن‌های همراه و تبلت‌ها توسط ربات گوگل برای گوشی‌های هوشمند Googlebot-Mobile دیده شده است) شناسایی و ارائه‌شده است و برای گروه خطاهای مربوط Desktop نیز فقط سه نوع خطای Server error (خطاهای مربوط به سرور سایت که دسترسی گوگل مسدود شده است یا پاسخی از سمت سرور به درخواست‌های گوگل ارسال نشده است) و Not found (گزارشی از لینک‌های سایت که گوگل در سطح وب پیداکرده است اما به هیچ صفحه‌ای از صفحات سایت اشاره نمی‌کنند. (لینک‌هایی با خطای 404)) و Other (لینک‌هایی از سایت که گوگل به خاطر دلایل نامشخصی نتوانسته آن‌ها را بررسی کند) شناسایی و گزارش‌شده است.

در ادامه کلیه خطاهای مربوط به لینک‌های سایت که در بخش URL errors گزارش می‌شوند را آورده‌ایم:

خطاهای متداول مربوط به لینک‌ها و صفحات سایت

• Server error

درصورتی‌که رباط گوگل نتواند به سرور سایت متصل شود و درنتیجه نتواند به لینک‌های سایت دسترسی داشته باشد این نوع خطا گزارش داده می‌شود. علت این خطا می‌تواند مشغول بودن سرور یا بیش از اندازه طولانی شدن زمان پاسخ‌دهی سرور به درخواست گوگل بوده و… باشد که درنتیجه گوگل مجبور به رها کردن درخواست داده‌شده است.

این نوع خطا همان خطاهای مربوط به اتصال به سرور بوده که در بخش قبل کامل توضیح داده‌شده است.

• Soft 404

معمولاً زمانی که بازدیدکننده‌ای درخواست مشاهده صفحه‌ای از سایت که وجود ندارد را می‌دهد. سرور خطای وضعیت 404 را می‌دهد (صفحه موردنظر یافت نشد) این خطای سمت سرور صریحتا به بازدیدکنندگان و ربات‌های موتورهای جستجو اعلام می‌کند که چنین صفحه‌ای وجود ندارد. درنتیجه محتوای آن صفحه (حتی اگر وجود هم داشته باشد) نمی‌تواند توسط موتورهای جستجو بررسی یا فهرست بندی (crawl or index) شود.

حال خطای Soft 404 زمانی رخ می‌دهد که سرور سایت برای لینکی که اصلاً در سایت وجود ندارد یک صفحه واقعی را برمی‌گرداند. این زمانی اتفاق می‌افتد که سرور لینک‌های معیوب یا لینک‌های که وجود ندارند را به‌عنوان لینک‌های سالم به‌حساب می‌آورد و کاربرانی که درخواست مشاهده این لینک‌ها را داده‌اند به صفحه اصلی سایت یا یک صفحه 404 سفارشی که از قبل طراحی و پیاده‌سازی شده هدایت می‌کند.

حال چرا این کار از دید گوگل مشکل‌ساز بوده و آن را به‌عنوان یک خطا گزارش می‌کند؟ چون ممکن است موتورهای جستجو زمان زیادی از وقت خود را صرف بررسی و فهرست بندی لینک‌های بکنند که اصلاً وجود ندارند یا تکراری می‌باشند و این می‌تواند بر روی بررسی سایت توسط ربات گوگل تأثیر منفی بگذارد و اجازه ندهد کل سایت توسط گوگل پوشش داده شود، زیرا زمانی که ربات گوگل وقت خود را برای یک سری لینک غیرواقعی که اصلاً وجود ندارد می‌گذارد، نمی‌تواند خیلی سریع لینک‌ها اصلی و منحصربه‌فرد سایت را پوشش دهد و آن‌ها را بررسی و داده‌های مربوطه را فهرست بندی و ذخیره کند.

بنابراین اگر صفحاتی از سایت حذف‌شده‌اند یا آدرس آن‌ها تغییر کرده است، پیشنهاد می‌شود برای درخواست‌هایی که برای مشاهده این صفحات ارسال می‌شود سرور سایت را به‌گونه‌ای تنظیم کنید که کد خطای 404 (صفحه موردنظر پیدا نشد) یا کد خطای 410 (صفحه موردنظر از بین رفته است) را برگرداند.

همچنین برای اینکه بتوان یک تجربه و حس خوب را برای اشخاصی به ارمغان آورد که درخواست بازدید این نوع صفحات را دارند، می‌توان یک صفحه طراحی‌شده و سفارشی برای صفحه 404 آماده کرد و زمانی که کد وضعیت 404 ارسال می‌شود شخص نیز به این صفحه سفارشی هدایت شود. به‌عنوان‌مثال می‌توان در این صفحه سفارشی لینک‌های محبوب و یا پربازدید سایت را قرار داد.

• 404

این خطا زمانی نمایش داده می‌شود که ربات گوگل درخواست بررسی لینکی از سایت را به سرور فرستاده است که اصلاً چنین لینکی در سایت وجود ندارد.

ربات گوگل هنگام بررسی صفحات موجود در وب ممکن است به لینکی از سایت شما برسد که آن لینک اشتباه تایپ‌شده باشد یا از سایت حذف‌شده است یا آدرس صفحه مربوطه تغییر پیداکرده باشد و یا به خاطر تنظیمات اشتباهی که در سیستم‌های مدیریت محتوا انجام‌شده است لینک‌ها دچار مشکل شده‌اند و … درنتیجه سرور خطا و کد 404 که به معنای صفحه درخواستی یافت نشد را در پاسخ برمی‌گرداند.

بیشتر خطاهای 404 هیچ تأثیری در رتبه‌بندی سایت شما در گوگل ندارد و با خیال راحت می‌تواند به‌طور کل آن‌ها را نادیده بگیرید.

در ادامه نکاتی ذکرشده است که می‌تواند به بررسی و رفع خطاهای 404 کمک کند:

1. بررسی کنید کدام یک از لینک‌های دارای خطا 404 ارزش بررسی و رفع دارند.

بسیاری از خطاهای 404 ارزش بررسی و رفع ندارند، بر اساس اولویت این خطاها را مرتب کنید و آن خطاهایی که واقعاً نیاز است را بررسی و رفع کنید و سایر خطاها را نیز نادیده بگیرید چراکه خطاهای 404 بر روی رتبه سایت و همچنین روال بررسی و ذخیره اطلاعات سایت تأثیری ندارند.

2. بررسی کنید لینک‌های اشتباه از چه صفحه و سایتی لینک شده‌اند.

بر روی لینک مشکل‌دار کلیک کنید و در پنجره بازشده به تب “Linked from” بروید، در این قسمت لینک سایتی که لینک دارای خطا در آن قرار دارد را می‌توانید ببینید. رفع خطا بستگی به این دارد که آن سایت متعلق به خودتان است یا برای دیگران است.

• اگر لینک مشکل‌دار داخل سایت خودتان است:

لینک‌های اشتباه که هیچ صفحه‌ای برای آن‌ها وجود ندارد و در بخشی از سایت خودتان قرار دارند را تصحیح یا حذف کنید.

1. اگر محتوای مربوط به آن لینک به لینک دیگری منتقل شده است، لینک قدیمی که اکنون پیغام خطا 404 برای آن دارید را به لینک جدید ریدایرکت کنید.

2. اگر مطلب و یا صفحه‌ای برای همیشه از سایت حذف‌شده باشد و قصد جایگزینی مطلب یا صفحه جدیدی برای آن نیز نداشته باشید اجازه دهید لینک قدیمی خطای 404 یا 410 را برگرداند. در حال حاضر گوگل خطای 410 (که به معنای از بین رفتن است) را همان 404 (صفحه یافت نشد) تلقی می‌کند.

برگرداندن کد دستوری غیر از 404 یا 410 برای صفحه‌ای که وجود ندارد یا هدایت کاربران به یک صفحه دیگر مانند صفحه اصلی سایت به‌جای اینکه 404 برگردانده شود، می‌تواند مشکل‌ساز شود. این صفحات و خطاها همان‌طور که در قسمت قبلی اشاره شد soft404 نامیده می‌شوند که هم باعث سردرگمی کاربران و هم موتورهای جستجو می‌شود.

3. اگر لینکی برای شما کاملاً ناشناخته است و خطای 404 برای آن می‌بینید و هرگز چنین لینکی در سایت شما وجود نداشته باشد، ممکن است توسط ربات گوگل هنگامی‌که خواسته لینک‌ها موجود در فایل‌های جاوا اسکریپت یا فلش و… را دنبال کند، تولیدشده باشند. به‌عنوان‌مثال ممکن است شما برای دنبال کردن گزارش‌های مربوط به دانلود یک فایل در گوگل آنالیتیک از نمونه کد زیر در سایت استفاده کرده باشید:

<a href="helloworld.pdf"
onClick="_gaq.push(['_trackPageview','/download-helloworld']);"
Hello World PDF </a>

وقتی‌که ربات گوگل این کد را در سایت می‌بیند، ممکن است سعی کنید لینک زیر را که یک صفحه واقعی نیست بررسی کند:

http://www.example.com/download-helloworld

و درنتیجه یک خطای 404 در بخش crawl errors از کنسول جستجو برای این لینک گزارش می‌شود. اگرچه این خطاها در روال بررسی و رتبه‌بندی سایت تأثیری ندارد اما با این وجود گوگل همیشه در تلاش است که عملکرد خود را بهبود ببخشید و از نمایش این نوع خطاها جلوگیری کند.

• اگر لینک مشکل‌دار در سایر سایت‌ها است:

برای رفع خطای لینک‌های مشکل‌داری که در سایر سایت‌ها وجود دارند از ریدایرکت 301 استفاده کنید.

به‌عنوان‌مثال اگر در سایت خود لینکی مانند: www.example.com/redshoes را داشته باشید و این لینک توسط شخصی با یک اشتباه تایپی ناخواسته به شکل: www.example.com/redshuz  در سایتی قرار داده‌شده باشد، در این حالت می‌توانید توسط تنظیمات سرور و فضای میزبانی مربوط به سایت خود یک ریدایرکت 301 برای لینک اشتباه تنظیم کنید و آن را به لینک صحیح هدایت نمایید.

همچنین می‌توانید با مدیریت آن سایت تماس بگیرید و بخواهید که لینک شمارا تصحیح کند یا حذف کند.

3. از سایر خطاها چشم‌پوشی کنید

از بسیاری از لینک‌هایی که خطای 404 برای آن‌ها اعلام می‌شود و نمی‌توانید آن‌ها را پیگیری و رفع کنید، چشم‌پوشی کنید، نیازی نیست که برای آن لینک‌ها حتماً محتوایی در سایت خود ایجاد کنید یا تمامی این لینک‌ها را صفحه اصلی سایت هدایت کنید یا توسط دستورات فایل robotx.txt دسترسی به این لینک‌ها را برای ربات گوگل مسدود کنید. همه این کارها فقط باعث می‌شود گوگل سخت‌تر بتواند ساختار سایت شمارا درک کند و درنتیجه نتواند به‌طور صحیحی سایت را پردازش کند. (انجام این قبیل کارها همان‌طور که در بخش‌های قبلی اشاره شد همگی باعث ایجاد خطاهای soft404 می‌شوند)

وجود خطاهای 404 برای یک وب‌سایت طبیعی است و به احتمال زیاد شما هرگز قادر نخواهید بود هر لینکی که به سایت می‌آید را کنترل کنید و یا تمامی خطاهای 404 که در کنسول جستجو گوگل نمایش داده می‌شود را برطرف کنید، فقط کافی است موارد که دارای اهمیت بالاتری هستند را در صورت امکان رفع کنید و کار خود را ادامه دهید.

• Access denied

به‌طورکلی، گوگل کلیه مطالب موجود در سطح وب را از طریق لینک‌هایی که بین صفحات وجود دارد شناسایی و بررسی می‌کند و برای اینکه ربات گوگل بتواند یک صفحه را بررسی کند باید به آن دسترسی داشته باشد، اگر خطای Access Denied را برای هر لینکی از سایت ملاحظه کردید بدین معنا است که امکان دسترسی به لینک موردنظر برای ربات گوگل امکان‌پذیر نبوده و دلیل آن‌هم می‌توانید یکی از موارد زیر باشد:

1. ربات گوگل نتوانسته به محتوایی موجود در آن لینک دسترسی داشته باشد، چراکه مشاهده آن مطلب نیاز به کلمه عبور دارد و فقط کاربران هستند که با ثبت‌نام یا داشتن نام کاربری و کلمه عبور می‌توانند مطلب مربوطه را ببینند.
2. ممکن است توسط فایل txt دسترسی ربات گوگل به کل سایت یا لینک‌های خاصی از سایت و یا شاخه‌ای از سایت مسدود شده باشد.
3. ممکن است سرور سایت برای کاربران خاصی تنظیم شده باشد و به‌عنوان مثل توسط یک پروکسی کاربرانی که اجازه دسترسی دارند ابتدا احراز هویت شوند و شاید در تنظیمات خود سرور به‌صورت مستقیم کلاً دسترسی ربات گوگل مسدود شده باشد که این مورد را باید از شرکت یا شخصی که سرور و فضای میزبانی وب‌سایت شمارا فراهم کرده است پیگیری و درخواست رفع آن را بکنید.

رفع خطای Access denied

فایل robots.txt سایت خود را بررسی کنید که آیا همان‌طوری که انتظار دارید برنامه ریزی شده و کار می‌کند یا اینکه دسترسی گوگل به سایت توسط دستورات آن بسته شده است. به کمک ابزار تست فایل robots.txt می‌توان دقیقاً متوجه شد که ربات گوگل محتویات این فایل را چگونه می‌خواند و تفسیر می‌کند.

همچنین زمانی که به دنبال عیب‌یابی مشکلات موجود در محتوای سایت هستید یا به دنبال کشف مشکلات در نتایج جستجو هستید استفاده از ابزار Fetch as Google بسیار مفید می‌باشد چراکه دقیقاً متوجه شد که سایت به چه نحوی برای ربات گوگل نمایش داده می‌شود.

• Not followed

این نوع خطا لینک‌های از سایت را به همراه برخی دلایل مربوطه گزارش می‌کند که گوگل نمی‌تواند آن‌ها را به‌طور کامل دنبال کند.

دو مورد از دلایلی که باعث می‌شوند ربات گوگل نتواند برخی از لینک‌های داخل سایت را دنبال کند در ادامه ذکرشده است:

1. فایل‌های فلش، جاوا اسکریپت و …

استفاده برخی از قابلیت‌ها در سایت‌ها مانند کدهای جاوا اسکریپت، کوکی‌ها، فایل‌های فلش، فریم‌ها، session IDs و DHTML ها می‌توانند باعث ایجاد مشکل برای ربات موتورهای جستجو جهت بررسی سایت‌ها شوند. موارد ذکرشده در زیر را برای سایت خود بررسی کنید:

• توسط یکی از انواع مرورگرهای متنی مانند Lynx سایت خود را بررسی کنید. بسیاری از موتورهای جستجو همانند آن چیزی که شما توسط این مرورگرهای متنی مشاهده می‌کنید سایت شمارا می‌بینند، بنابراین هنگام مشاهده سایت توسط این مرورگرهای متنی اگر یکی از این ویژگی‌ها (کدهای جاوا اسکریپت، فایل‌های فلش و …) باعث شوند که نتوانید محتوای سایت را ببینید، ربات‌های موتورهای جستجو نیز برای خزیدن، دیدن و بررسی سایت شما نیز مشکل خواهند داشت.
• توسط ابزار Fetch as Google ببینید سایت دقیقاً چگونه برای گوگل نمایش داده می‌شود.

• اگر برخی از صفحات در سایت شما به‌صورت دینامیک تولید می‌شوند (به‌عنوان‌مثال صفحات و لینک‌های یک سایت فروشگاهی که توسط تنظیمات مختلفی که هر یک از بازدیدکنندگان برای جستجو خود تنظیم می‌کنند، ایجاد می‌شوند) این را به خاطر داشته باشید که خیلی از موتورهای جستجو قادر به بررسی این صفحات دینامیک نیستند. به‌طورکلی توصیه می‌شود از پارامترهای کوتاه و آن‌هم به تعداد کم در لینک‌های سایت استفاده شود.

درصورتی‌که به پارامترهای تولیدشده در لینک‌های وب‌سایت خود تسلط کامل دارید، می‌توانید توسط ابزار URL Parameters نحوه و روال کار لینک‌های سایت را برای گوگل تعریف کنید و کمک کنید تا گوگل بتواند ساختار و چگونگی لینک سازی‌های سایت شمارا بهتر درک کند. (در استفاده از این ابزار بایستی بااحتیاط و با دقت عمل کنید)

2. هدایت کردن از یک لینک به لینکی یکدیگر (Redirects)

• اگر می‌خواهید بازدیدکنندگان صفحه‌ای از سایت را برای همیشه به صفحه دیگر هدایت کنید، این کار را توسط ریدایرکت redirect 301 انجام دهید و مطمئن شوید که هنگام این هدایت از یک لینک به لینک دیگر حتماً کد وضعیت 301 به‌درستی برای ربات موتورهای جستجو برگردانده می‌شود.
• تا جایی که امکان دارد از لینک‌های کامل به‌جای لینک‌های نسبی استفاده کنید. مثلاً برای لینک دادن‌های داخلی سایت به‌جای لینک دهی به آدرس نسبی/mypage.html مستقیماً به آدرس example.com/mypage.html لینک دهید.
• سعی کنید هر صفحه‌ای از سایت با یک لینک استاتیک متنی به‌صورت مستقیم قابل‌دسترس باشد و برای اینکه بتوان از یک صفحه به صفحه دیگر رسید تعداد هدایت کردن‌های صفحات به یکدیگر را به حداقل ممکن برساند.
• هر تغییر مسیر و هدایتی که در سایت خود تنظیم می‌کنید را به‌دقت بررسی کنید و ببینید که صفحات به‌درستی و به همان نحوی که انتظار دارید به یکدیگر ریدایرکت شوند، در حلقه تکرار نیفتاده باشند و یا به یک لینک اشتباه هدایت نشده باشند.
• نیازی نیست که لینک‌های ریدایرکت شده در نقشه سایت آورده شوند.
• تا جایی که ممکن است لینک‌های خود را کوتاه نگه دارید و مطمئن شوید اطلاعات اضافی (مانند session IDs) به لینک‌هایی که ریدایرکت می‌کنید به‌صورت خودکار اضافه نشود.
• اطمینان حاصل کنید که سایت شما بدون نیاز به session ID ها به ربات‌های موتورهای جستجو اجازه بررسی صفحات سایت را می‌دهد.

• DNS error

اگر این خطا را برای لینک‌های سایت خود مشاهده کردید بدین معنا است که ربات گوگل نتوانسته با سرور DNS های سایت ارتباط برقرار کند و یا سمت سرور سایت هیچ ارتباط و اتصالی برای سایت تنظیم نشده است.