آشنایی با ابزار Fetch as Google

گوگل با ارائه ابزار Fetch as Google مدیران وب‌سایت‌ها را قادر می‌سازد که متوجه شوند آیا ربات گوگل به صفحات سایت دسترسی دارد و می‌تواند آن‌ها را بررسی کند یا خیر و … این ابزار در حقیقت یک شبیه‌ساز است که رفتار و عملکرد ربات گوگل را در بررسی صفحات وب‌سایتتان برای شما شبیه‌سازی می‌کند. در این مقاله آموزشی که توسط تیم سئوی سلام وبمستر اصفهان مفصلا به توضیح ابزار Fetch as Google می پرازیم.

آشنایی با ابزار Fetch as Google و کاربردهای آن

کلمه Fetch در لغت به معنای “واکشی” یا “رفتن و آوردن” می‌باشد و Fetch as Google به این مفهوم است که شما به‌صورت دستی، درخواست خواندن و بررسی صفحات دلخواهی از سایت را به ربات گوگل می‌دهید و ربات گوگل این عمل فراخوانی و بررسی را در همان لحظه برای صفحه موردنظر شما انجام خواهد داد.

برخی از کاربردهای ابزار Fetch as Google

به کمک ابزار Fetch as Google  می‌توان متوجه شد که آیا ربات گوگل به صفحات سایت دسترسی دارد و می‌تواند آن‌ها را بررسی کند یا خیر؟

به کمک ابزار Fetch as Google می‌توانید متوجه شوید که گوگل صفحات سایت شمارا چگونه می‌بیند.

  ابزار Fetch as Google به شما نشان خواهد داد که گوگل چگونه اطلاعات یک صفحه را پردازش می‌کند و آن را برای فهرست بندی و ذخیره کردن در گوگل آماده می‌کند.

توسط ابزار Fetch as Google  که گوگل در اختیار مدیران سایت‌ها می‌گذارد، می‌توانند متوجه شوند که آیا منابع موجود در یک صفحه (مانند تصاویر یا اسکریپت‌های مختلف) برای دسترسی ربات گوگل مسدود شده‌اند یا خیر؟

ابزار Fetch as Google مراحل بررسی و پردازشی که ربات گوگل در حالت عادی در سطح وب انجام می‌دهد را شبیه‌سازی می‌کند و این پروسه برای اشکال‌زدایی خطاهای بررسی ربات گوگل در سایت، به شما کمک خواهد کرد.

نحوه استفاده از ابزار Fetch as Google

وارد حساب کنسول جستجو خود شوید و پس از انتخاب سایت موردنظر، از منوی سمت چپ گزینه Crawl و سپس گزینه Fetch as Google را انتخاب کنید و مراحل زیر را دنبال کنید:

  1. در محل مشخص‌شده لینکی از سایت را که می‌خواهید ربات گوگل فراخوانی کند را وارد کنید.

آشنایی با ابزار Fetch as Google

بایستی لینک موردنظر را به‌صورت نسبی بنویسید و نیازی به نوشتن خود دامنه اصلی نیست و درصورتی‌که می‌خواهید عملیات فراخوانی برای صفحه اصلی سایت انجام شود کافی است که باکس متنی مربوطه را خالی بگذارید. به‌عنوان‌مثال اگر آدرس سایت http://example.com باشد و درخواست فراخوانی و بررسی برای آدرس stores/indiana/1234.html داده شود در حقیقت لینک زیر فراخوانی و بررسی می‌شود:

http://example.com/stores/indiana/1234.html

 

برخی محدودیت‌های در فراخوانی صفحات سایت توسط ابزار Fetch as Google

پروسه فراخوانی و بررسی لینک‌ها فقط محدود به سایتی می‌شود که اولاً در حساب کنسول جستجو اضافه و تائید شده باشد و ثانیاً پس از ورود به‌حساب کنسول جستجو از میان آدرس‌های مختلف اضافه‌شده آن را انتخاب کرده باشید، به‌عنوان‌مثال اگر آدرس http://example.com را انتخاب کرده باشید، لینک‌های مربوط به https://example.com  یا http://m.example.com را نمی‌توانید توسط این بخش فراخوانی و بررسی کنید.

یکی دیگر از محدودیت های ابزار Fetch as Google این است که ابزار Fetch as Google  فراخوانی اطلاعاتی چون کوکی‌ها یا اطلاعات ذخیره‌شده از صفحات لاگین و از این قبیل را برای ارسال نخواهد کرد.

این درخواست فراخوانی، لینک‌های که به سایر صفحات هدایت می‌شوند را دنبال نخواهد کرد. درصورتی‌که درخواست بررسی لینکی را دارید که آن لینک به صفحه‌ای دیگر هدایت می‌شود، در ادامه در بخش “وضعیت درخواست‌های ارسال‌شده” در قسمت Redirect توضیح داده‌شده است که چطور این کار را به‌صورت دستی انجام دهید.

  1. پس از نوشتن لینک موردنظر باید یکی از انواع ربات‌های گوگل که می‌خواهید صفحه موردنظر توسط آن برای شما فراخوانی و بررسی شود را انتخاب کنید.

با توجه به نوع صفحات و اینکه بررسی صفحه موردنظر از دید کدام‌یک از ربات‌های گوگل برای شما اهمیت دارد، انتخابی که در این بخش انجام می‌شود نوع رباتی از گوگل که این عمل فراخوانی و بررسی را انجام می‌دهد را مشخص می‌کند و این انتخاب در نحوه بررسی پردازش اطلاعات آن صفحه تأثیرگذار است.

گوگل از ربات‌های متنوعی استفاده می‌کند، این ربات‌ها متناسب با بررسی انواع محتواها (مانند مطالب، تصاویر، فیلم‌ها و …) و صفحات دارای انواع مختلفی هستند، همچنین از دید دستگاه‌های مختلفی که توسط اشخاص مورداستفاده قرار می‌گیرند نیز این ربات‌ها متفاوت می‌باشند. ربات اصلی گوگل Googlebot نام دارد.

همان‌طور که در تصویر زیر ملاحظه می‌کنید چهار نوع ربات گوگل ارائه‌شده که می‌توانید یکی را انتخاب کنید و صفحات موردنظر خود را از دید هر یک از این ربات‌های ببینید و بررسی کنید:

آشنایی با ابزار Fetch as Google

Desktop

برای وب‌سایت‌ها از خزنده گوگل بوت استفاده می‌شود.

برای اخبار از همان خزنده گوگل بوت استفاده می‌شود (منظور ربات گوگل نیوز نیست)

برای تصاویر از خزنده ربات گوگل برای تصاویر استفاده می‌شود.

برای فایل‌های ویدئویی از خزنده ربات گوگل برای ویدئوها استفاده می‌شود.

برای صفحاتی از سایت که در آن‌ها از کدهای سیستم تبلیغاتی گوگل استفاده شده است از خزنده ربات گوگل برای تبلیغاتی کلیکی گوگل استفاده می‌شود.

برای بررسی کیفیت صفحاتی از سایت که به‌عنوان صفحات فرود برای تبلیغات داده‌شده در گوگل

استفاده می‌شوند از خزنده ربات گوگل برای تبلیغات داده‌شده به گوگل استفاده می‌شود.

 

Mobile: Smartphone

از خزنده مخصوص گوگل برای گوشی‌های هوشمند استفاده می‌شود.

Mobile: XHTML/WML

از خزنده مخصوص موبایل: SAMSUNG XHTML/WML برای گوشی‌های موبایل نیمه‌هوشمند استفاده می‌شود. برخی موبایل‌های نیمه پیشرفته که توسط Mobile: cHTML پوشش داده می‌شوند توسط این ربات پشتیبانی نمی‌شوند (با انتخاب این نوع ربات فقط می‌توان صفحه موردنظر را فراخوانی کرد و قابلیت فراخوانی و پردازش صفحه پشتیبانی نمی‌شود.)

Mobile: cHTML

از خزنده مخصوص موبایل: DoCoMo برای زیرمجموعه‌ای از گوشی‌های موبایل نیمه‌هوشمند ژاپنی استفاده می‌شود. (با انتخاب این نوع ربات فقط می‌توان صفحه موردنظر را فراخوانی کرد و قابلیت فراخوانی و پردازش صفحه پشتیبانی نمی‌شود.)

  1. انتخاب یکی از دو گزینه Fetch یا Fetch and renderآشنایی با ابزار Fetch as Google

Fetch

توسط این گزینه در ابزار Fetch as Google صرفاً درخواست فراخوانی یک لینک از سایت توسط ربات گوگل به سرور سایت ارسال می‌شود و نتیجه درخواست طی جوابی از سمت سرور برای ربات گوگل ارسال می‌شود. این درخواست فراخوانی شامل اطلاعات و منابع اضافی داخل صفحه نمی‌شود. (مثلاً تصاویر یا اسکریپت‌های موجود در صفحه)

عمل Fetch یک عملیات نسبتاً سریع است که می‌توان از آن برای بررسی و اشکال‌زدایی قطعی سرور و یا مسائل امنیتی سایت استفاده کرد. با این فراخوانی می‌توان متوجه شد درخواست‌های که برای مشاهده صفحات سایت داده می‌شود خیلی سریع انجام می‌شود یا با مشکل برخورد می‌کند.

 

Fetch and render

با انتخاب این گزینه از ابزار Fetch as Google صفحه موردنظر توسط ربات گوگل فراخوانی (Fetch) شده، پاسخ سرور به درخواست ارسالی نمایش داده می‌شود (Status) و هم‌زمان بر اساس نوع پلتفرم انتخابی (نسخه کامپیوتری یا موبایلی) صفحه موردنظر پردازش (Render) می‌شود. این عملیات تمامی اطلاعات و منابع موجود در صفحه مانند تصاویر و اسکریپت‌های فعال در آن را هم فراخوانی، هم پردازش و اجرا می‌کند.

به کمک این گزینه هم می‌توان متوجه شد که اشخاص دقیقاً آن صفحه را چگونه در کامپیوتر یا موبایل خود می‌بینند و هم اینکه گوگل چگونه آن صفحه را می‌بیند و آیا تفاوتی در نمایش صفحه موردنظر برای این دو (بازدیدکنندگان و ربات گوگل) وجود دارد یا خیر؟!

  1. پس از درخواست بررسی هر صفحه‌ای از سایت، گزارش مربوطه در جدول پایین صفحه اضافه خواهد شد. در این جدول تاریخچه کاملی از کلیه فراخوانی‌هایی که برای بررسی صفحات سایت داده‌شده است نمایش داده می‌شود.

 

  1. Path: لینک صفحه‌ای که درخواست فراخوانی آن داده‌شده است
  2. Google type: نوع ربات گوگل که توسط آن درخواست فراخوانی صفحه داده‌شده است.
  3. Render requested: در نتایج این ستون مشخص می‌شود که صفحه موردنظر فقط فراخوانی شده یا پردازش اطلاعات صفحه نیز انجام‌شده است.
  4. Status: وضعیت درخواست و پاسخی که ربات گوگل از سرور سایت دریافت کرده است. وضعیت اولیه در حالت “pending” است و وقتی درخواست کامل اجرا شد این وضعیت تغییر خواهد کرد یا موفقیت‌آمیز بودن آن نمایش داده خواهد شد یا شکت خوردن عملیات درخواستی به همراه یک سری اطلاعات دیگر گزارش خواهد شد.
  5. Date: تاریخ ثبت درخواست.

با کلیک روی ردیف هر یک از درخواست‌های ارسال‌شده، چنانچه آن فراخوانی موفقیت‌آمیز بوده باشد، اطلاعات و گزارش‌های کاملی در خصوص درخواست فراخوانی آن صفحه‌نمایش داده می‌شود.

اگر صرفاً درخواست فراخوانی صفحه موردنظر را داده باشید، گزارش‌های ارائه‌شده فقط شامل اطلاعات کلی از صفحه موردنظر است که تحت عنوان HTTP headers از سمت سرور سایت ارسال می‌شود و پس‌ازآن کدهای HTML مربوط به داده‌های موجود در صفحه‌نمایش داده می‌شود.

 

درصورتی‌که درخواست فراخوانی و پردازش صفحه را داده باشید به‌جز اطلاعات قبلی که در یک تب تحت عنوان “Fetching” نمایش داده می‌شود در تب دیگری تحت عنوان “Renering” دو پیش‌نمایش از پردازش صفحه موردنظر نیز ارائه می‌گردد، اولی پیش‌نمایش صفحه از دید ربات گوگل که صفحه درخواستی شمارا چگونه می‌بیند و یکی هم پیش‌نمایش صفحه از دید بازدیدکنندگان که با توجه به ابزار مورداستفاده ایشان (کامپیوتر یا موبایل) آن صفحه را چگونه خواهند دید. همچنین در پایین گزارش‌های این بخش فهرستی از منابع موجود در صفحه (تصاویر، اسکریپت‌ها و …) که دسترسی ربات گوگل برای بررسی آن‌ها مسدود بوده است نیز نمایش داده می‌شود.

 

  1. درصورتی‌که درخواست داده‌شده با موفقیت انجام شود در جدول گزارش‌ها گزینه‌ای تحت عنوان “Submit to index” نمایش داده خواهد شد که می‌توان توسط آن به گوگل درخواست دهید که صفحه فراخوانی شده را مجدداً بررسی (re-crawl) و فهرست بندی (re-index) کند.

این قابلیت در صورتی برای لینکی نمایش داده می‌شود که درخواست فراخوانی ارسال‌شده سه شرط زیر را داشته باشد:

نتیجه درخواست ارسالی باید یکی از سه وضعیت complete, partial یا redirected را داشته باشد. (در ادامه کلیه این وضعیت‌ها توضیح داده‌شده است)

درخواست فراخوانی لینک موردنظر بایستی توسط یکی از دو نوع ربات گوگل برای نسخه‌های کامپیوتری یا موبایل‌های هوشمند (Desktop یا Mobile Smartphone) تنظیم شده باشد.

نتیجه و پروسه درخواست فراخوانی داده‌شده، بیش از ۴ ساعت زمان نبرده باشد.

با کلیک روی گزینه “Submit to index” پنجره‌ای مانند تصویر نمونه باز می‌شود، شما می‌توانید درخواست بررسی و فهرست بندی و ذخیره اطلاعات موجود در لینک درخواستی خود را به ربات گوگل بدهید:

Crawl only this URL

با انتخاب این گزینه ربات گوگل فقط همان لینک درخواستی را مجدداً بررسی خواهد کرد. حداکثر تعداد دفعاتی که می‌توان از این گزینه استفاده کرد، ۵۰۰ مرتبه در ماه می‌باشد.

Crawl this URL and its direct links

با انتخاب این گزینه ربات گوگل نه‌تنها لینک درخواستی شمارا مجدد بررسی می‌کند بلکه کلیه صفحاتی که به‌صورت مستقیم در این صفحه لینک شده‌اند را نیز بررسی خواهد کرد. حداکثر تعداد دفعاتی که می‌توان از این گزینه استفاده کرد، ۱۰ مرتبه در ماه می‌باشد.

محدودیت‌های مربوط به استفاده از این دو گزینه ممکن است توسط گوگل افزایش داده شود که در همین صفحه با انتخاب هر گزینه، حداکثر مجاز و همچنین تعداد دفعاتی که در یک ماه گذشته از آن استفاده شده است نمایش داده می‌شود.

حداکثر تعداد دفعاتی که می‌توانید از ابزار Fetch as Google درخواست فراخوانی لینکی از صفحات سایت را بدهید تعداد ۵۰۰ فراخوانی در هفته است. این مقدار نیز ممکن است توسط گوگل افزایش (شاید هم کاهش) داده شود که البته با نزدیک شدن به این سقف مجاز، در صفحه مربوط به ابزار Fetch as Google هشدار و پیغام مربوطه را مشاهده خواهیدکرد. همچنین توجه داشته باشید این محدودیت با محدودیت مربوط به درخواست‌های بررسی که پس از فراخوانی توسط گزینه “Submit to index” می‌دهید متفاوت است.

ارسال یک پاسخ

آدرس ایمیل شما منتشر نخواهد شد.