Remove URLs :ابزار حذف لینک های سایت از نتایج جستجو

گوگل توسط ابزار Remove URLs به مدیران وب‌سایت‌ها این امکان را می‌دهد تا چنانچه به هر دلیلی تمایل ندارند لینک‌هایی از سایتشان در نتایج جستجو نمایش داده شود(حتی تصاویر در نتایج جستجو تصاویر گوگل)، درخواست حذف آن‌ها را به گوگل بدهند و آن لینک‌ها به‌صورت موقتی از نتایج جستجو گوگل حذف شوند. (منظور از حذف اطلاعات از نتایج گوگل، مخفی کردن لینک‌ها و داده‌ها از دید کاربران و مسدودسازی نمایش آن‌ها در لیست نتایج جستجو گوگل می‌باشد.)

در این مقاله از سری آموزش های ابزار گوگل وبمستر به این موضوعات خواهیم پرداخت:

• آشنایی با ابزار Remove URLs
• تفاوت بین حذف موقتی و حذف دائمی لینک‌های سایت از نتایج جستجو گوگل
• آشنایی با نحوه لغو درخواست‌هایی که برای حذف صفحات سایت از نتایج جستجو داده‌ایم
• آشنایی با مواردی که نباید برای آن‌ها از ابزار Remove URLs استفاده کنیم!

ثبت درخواست‌های موفقیت‌آمیزی که توسط ابزار Remove URLs جهت حذف لینک‌های سایت از نتایج جستجو گوگل انجام می‌شود فقط به مدت 90 روز اعتبار دارد و بعد از این مدت، مجدداً اطلاعات و لینک‌های حذف‌شده در نتایج جستجو گوگل نمایش داده خواهند شد. همچنین استفاده از این ابزار فقط برای لینک‌هایی امکان‌پذیر است که تائید مالکیت سایت در گوگل وبمستر برای آن سایت انجام شده باشد.

حذف موقتی لینک‌های سایت از لیست نتایج جستجو گوگل

1. صفحه مربوط به ابزار Remove URLs را بازکنید.
2. بر روی گزینه Temporarily hide کلیک کنید.

3. در پنجره بازشده آدرس نسبی صفحه، عکس و یا شاخه موردنظر از سایت خود را بنویسید و سپس گزینه Continue را کلیک کنید

توجه: لینک موردنظر در این قسمت باید به‌صورت نسبی وارد شود یعنی نیازی به نوشتن کل دامنه اصلی سایت نیست و لینک موردنظر باید از بعد از پسوند دامنه در فیلد مربوطه نوشته شود. همچنین بهتر است که در انتهای آدرس موردنظر کاراکتر / نیز قرار داده شود.

4. بعد از کلیک بر روی گزینه Continue، در پنجره جدید سه گزینه برای انتخاب ارائه می شود:

• Temporarily hide page from search results and remove from cache

با انتخاب این گزینه صفحه موردنظر از لیست نتایج جستجو گوگل به مدت 90 روز حذف می‌شود و همچنین نسخه کپی شده از صفحه مربوطه در حافظه موقت گوگل (Google Cached) نیز پاک می‌شود.

بعد از به پایان رسیدن 90 روز مجدداً آن صفحه می‌تواند در نتایج جستجو نمایش داده شود. گوگل در طول این مدت همچنان صفحه موردنظر را موردبررسی قرار خواهد داد و اطلاعات ذخیره‌شده در حافظه خود از صفحه و متعلقات موجود در آن را بروز رسانی می‌کند، اما تا پایان این مدت صفحه و بروز رسانی‌های انجام‌شده در آن را در نتایج جستجو خود نمایش نخواهد داد.

• Remove page from cache only

با انتخاب این گزینه، گوگل اطلاعات صفحه موردنظر را که در حافظه موقت خود ذخیره کرده است پاک‌کرده و مجدد صفحه را بررسی و اطلاعات مربوطه را در حافظه موقت خود بروز رسانی می‌کند.

با انتخاب این گزینه صفحه موردنظر از نتایج جستجو گوگل حذف نمی‌شود و فقط اطلاعات مربوط به آن صفحه که در حافظه موقت گوگل نگهداری می‌شوند، بروز رسانی می‌گردند.

• Temporarily hide directory

با انتخاب این گزینه، گوگل آدرس وارد شده را به‌عنوان یک شاخه از سایت در نظر می‌گیرد و تمامی لینک‌هایی مربوط و موجود در آن شاخه را به‌طورکلی هم از نتایج جستجو گوگل و هم از حافظه موقت و آرشیو خود به مدت 90 روز پاک خواهد کرد؛ اما بااین‌حال تمامی لینک‌های موجود در این شاخه همچنان در طول این دوره توسط گوگل موردبررسی مجدد قرار خواهند گرفت و گوگل اطلاعات و تغییرات ایجادشده در صفحات مربوطه را در آرشیو خود بروز رسانی و نگهداری خواهد کرد.

لینک‌ها و صفحات مربوط به این شاخه بعد از اتمام دوره 90 روزه مجدداً می‌توانند در نتایج جستجو گوگل نمایش داده شوند.

5. پس از انتخاب گزینه موردنظر بر روی گزینه Submit Request کلیک کنید. درخواست داده‌شده معمولاً یک روز زمان می‌برد تا انجام شود و البته گوگل هیچ تضمین قطعی برای پذیرفته شدن درخواست شما نمی‌دهد و باید بعد از یک روز مجدداً درخواست خود را بررسی کنید. (در ستون روبری لینک‌هایی که درخواست حذف آن‌ها را داده‌اید، ستونی به نام Status وجود دارد که از طریق آن می‌توانید نتیجه درخواست خود را مشاهده کنید) درصورتی‌که درخواست شما توسط گوگل رد شده باشد برای اطلاع از دلایل و توضیحات ارائه‌شده بر روی گزینه Learn more کلیک کنید.

به‌عنوان‌مثال ممکن است لینکی که درخواست مسدودسازی آن را داده‌اید شرایط لازم را نداشته باشد یا شاید هم نیاز باشد که شما نوع دیگری از درخواست را به‌منظور حذف موفقیت‌آمیز یک لینک بدهید.

6. اگر برای صفحه موردنظر لینک‌های مستعار و مشابه دیگری نیز وجود دارد که همگی به آن صفحه هدایت می‌شوند بایستی درخواست‌های مبنی بر حذف آن‌ها را نیز برای گوگل ارسال کنید، همچنین لینک‌های که مربوط به شاخه اصلی سایت می‌شود و توسط سرور ممکن است ایجاد و مدیریت شوند. به‌عنوان‌مثال تمامی لینک‌های زیر همگی ممکن است به یک صفحه اشاره کنند:

example.com/mypage

example.com/MyPage

www.example.com/mypage

example.com/page?1234

پاک کردن آرشیو گوگل و یا درخواست مخفی کردن لینک‌های سایت از نمایش در لیست نتایج جستجو، هیچ تغییری در برنامه و زمان‌بندی ربات گوگل برای بررسی صفحات سایت و یا روال آرشیو کردن اطلاعات موجود در سایت ایجاد نخواهد کرد.

زمانی که یک درخواست موقتی برای حذف لینک از نتایج جستجو داده می‌شود، گوگل همچنان به بررسی آن لینک و صفحه مربوطه خواهد پرداخت، به‌شرط اینکه صفحه موردنظر به‌طورکلی از سایت حذف نشده باشد و یا دسترسی به آن لینک و صفحه توسط سایر روش‌ها مانند استفاده از تگ noindex محدود نشده باشد، درنتیجه تا قبل از اینکه برای صفحه موردنظر کلمه عبوری تعریف نشده باشد یا کلاً حذف نشده باشد، همچنان این امکان هست که صفحه موردنظر مجدداً توسط گوگل موردبررسی قرار گیرد و تغییرات انجام‌شده در اطلاعات صفحه همچنان در آرشیو گوگل بروز رسانی و ذخیره شود و پس از اتمام دوره 90 روزه، لینک مربوطه در نتایج جستجو گوگل نمایش داده شد.

حذف صفحات سایت از نتایج گوگل برای همیشه

درخواست حذف لینک و صفحه‌ای که توسط ابزار Remove URLs صورت می‌پذیرد یک حذف موقتی است و برای اینکه لینک یا محتوایی به‌صورت دائم و همیشگی از نتایج جستجو گوگل حذف شود، بایستی یک یا چند مورد از اقدامات ذیل نیز انجام شود:

1. اولین و بهترین گزینه ‌این است که محتوای موردنظر (عکس‌ها، صفحات، شاخه‌ها) از داخل سایت مستقیماً تغییر داده شود یا کلاً حذف شود و سپس اطمینان از اینکه سرور سایت برای درخواست‌های که به آن صفحه ارسال می‌شود یکی از کدهای وضعیت http، 404 (صفحه موردنظر یافت نشد) یا 410 (صفحه موردنظر تغییر کرده است) را ارسال می‌کند.

دقت کنید که فایل‌های و محتواهایی که اصلاً صفحات html نیستند مثل فایل‌های pdf باید به‌صورت کامل از سرور حذف شوند.

2. مسدودسازی دسترسی گوگل به صفحه موردنظر و اطلاعات موجود در آن با تعریف رمز عبور برای آن صفحه.
3. تعریف برچسب Noindex برای صفحه موردنظر (وجود این برچسب در صفحه مشخص می‌کند که اطلاعات صفحه نبایستی توسط ربات موتورهای جستجو بررسی و ذخیره شوند) البته این روش نسبت به دو مورد قبلی درجه اطمینان و امنیت کمتری دارد.

لغو درخواست حذف صفحات سایت از نتایج گوگل

درخواست حذف لینک‌هایی از سایت که توسط ابزار Remove URLs ثبت می‌شوند حداقل تا 90 روز در لیست نتایج جستجو گوگل نمایش داده نخواهند شد، اما در طی این مدت به هر دلیلی نیاز شد که درخواست داده‌شده را لغو کنید و محتواهای مربوطه مجدد در نتایج جستجو نمایش داده شوند کافی است:

1. وارد حساب کنسول جستجوی خود شوید و پس از انتخاب سایت موردنظر گزینه Remove URLs را از منوی Google Index  انتخاب کنید.
2. از لیست گزارش‌های ارائه‌شده، لینک موردنظر را پیدا کنید و در ستون Status روبروی آن لینک گزینه Reinclude را کلیک کنید. (درخواست شما معمولاً طی 3 الی 5 روز کاری بررسی و انجام خواهد شد و مجدداً لینک موردنظر در نتایج جستجو نمایش داده خواهد شد)

از ابزار Remove URLs کجاها نباید استفاده شود؟

استفاده از این ابزار اولین قدم برای حذف اضطراری محتواها و لینک‌هایی است که نیاز است خیلی سریع از نتایج جستجو گوگل حذف شوند به‌عنوان‌مثال، صفحاتی که شامل اطلاعات محرمانه‌ای هستند که به‌صورت تصادفی و ناخواسته منتشر و در معرض دید همگان قرارگرفته‌اند. استفاده از این ابزار برای اهداف دیگر ممکن است باعث ایجاد مشکلاتی برای سایت مربوطه شود.

از این ابزار برای حذف صفحات زیر استفاده نکنید:

• حذف صفحات بیهوده و قدیمی

به‌عنوان مثل صفحات قدیمی که دیگر در سایت وجود ندارد و خطای 404 برای آن‌ها نمایش داده می‌شود.

درصورتی‌که سایت خود را جدیداً تغییر داده‌اید و همچنان یک سری لینک قدیمی از سایت در فهرست گوگل وجود دارد، هنگامی‌که ربات گوگل مجدداً سایت را بررسی کند و متوجه حذف این صفحات شود آن‌ها را از نتایج جستجو خود خارج خواهد کرد و اصلاً نیازی نیست که برای این‌گونه لینک‌ها از این ابزار استفاده شود.

• حذف خطاهایی موجود در بخش crawl errors از کنسول جستجو

همان‌طور که بارها اشاره‌شده است از این ابزار صرفاً برای حذف لینک‌های سایت از نتایج جستجو استفاده می‌شود و هیچ ارتباطی با حذف لینکی از داخل خود حساب کنسول جستجو ندارد؛ بنابراین نیازی نیست برای لینک‌های که توسط خود کنسول جستجو به‌عنوان خطا برای مدیر سایت گزارش می‌شوند از این ابزار استفاده شود چراکه وقتی آن خطاها رفع شوند، گوگل به ‌مرور زمان آن لینک‌ها را گزارش‌های خود حذف خواهد کرد.

• شروع به کار مجدد سایت با محتواهای جدید

درصورتی‌که شما نگران این موضوع هستید که سایتتان توسط گوگل جریمه شده است، یا اینکه دامنه سایت را جدیداً از شخص دیگری خریداری کرده‌اید و می‌خواهید ابتدا سایت خود را از هر خطای که احتمال می‌دهید پاک کنید و سپس سایت موردنظر را با یک شروع مجدد راه‌اندازی کنید، توصیه گوگل این است که برای مواردی از این قبیل ابتدا یک فرم تجدیدنظر برای گوگل ارسال کنید و توضیح دهید که از چه چیزی نگران هستید و چه مواردی در این سایت و دامنه تغییر کرده است. درصورتی‌که سایت و دامنه موردنظر از سمت گوگل جریمه‌ای شده باشد از بخش جرائم دستی گوگل (Manual Action) می‌توانید این موضوع را بررسی و درخواست بازبینی و تجدیدنظر خود را برای گوگل ارسال کنید.

• آفلاین کردن سایت بعد از هک شدن

درصورتی‌که سایت شما هک و لینک‌های جدیدی توسط هکرها به سایت اضافه‌شده باشد و این لینک‌ها نیز در فهرست گوگل ذخیره شده باشند برای حذف این آدرس‌ها می‌توان از ابزار Remove URLs استفاده کنید و کلیه لینک‌های جدیدی که توسط شخص هکر به سایت اضافه‌شده است را مسدود کنید؛ اما دقت کنید که درخواست حذف کل سایت یا لینک‌هایی که می‌خواهید بعداً مجدداً توسط گوگل نمایش داده شود را ندهید. در این موارد به توصیه گوگل ابتدا سایت را از هک شدن پاک کنید و اجازه دهید تا گوگل مجدد سایت شمارا موردبررسی قرار دهد.

• ایندکس شدن سایت با یک نسخه جدید از لینک‌ها

در بسیاری از سایت‌ها محتواها و یا فایل‌های یکسانی توسط لینک‌های مختلفی قابل‌دسترسی هستند، اگر سایت شما نیز چنین است و نمی‌خواهید محتواهای تکراری از سایتتان توسط لینک‌های مختلف در نتایج جستجو گوگل نمایش داده شود، برای برچسب‌گذاری این موارد برای گوگل بایستی از روش‌هایی که برای مشخص کردن لینک‌های اصلی و ارجح‌تر وجود دارد استفاده کنید و نباید از ابزار Remove URLs برای حذف لینک‌های تکراری که نمی‌خواهید در نتایج جستجو نمایش داده شود استفاده کنید. اگر برای این موضوع از ابزار Remove URLs استفاده کنید نه‌تنها لینک موردنظر شما در نتایج جستجو باقی نخواهند ماند بلکه تمامی حالت‌های مختلف که برای آن لینک می‌تواند وجود داشته باشد نیز از نتایج جستجو حذف خواهد شد، به‌عنوان‌مثال تمامی آدرس‌های موجود از یک لینک با http یا https و با پیشوند www یا بدون wwww.