روش های ایندکس کردن سایت در گوگل

علت ایندکس نشدن سایت در گوگل

در حالت کلی عدم نمایش سایت درسرچ گوگل یا به خاطر این است که گوگل صفحات شما را بی کیفیت تلقی می‌کند یا به دلیل وجود مشکلات است، حالت سوم ایندکس نشدن سایت در گوگل هم به خاطر وجود هر دو مشکل است. به خاطر داشته باشید که ایندکس شدن سایت یا صفحه‌ی مورد نظرتان به معنی گرفتن رتبه‌ی بهتر یا افزایش ترافیک نیست. ایندکس شدن یعنی گوگل از وجود صفحه‌ی شما باخبر است و اصلا به معنی اعطای رتبه‌ی بهتر به شما و نمایش آن در نتایج جستجو نیست. معمولا ایندکس نشدن سایت در گوگل در یکی از سه حالت زیر اتفاق می افتد:

• زمانی که کل سایت شما ایندکس نمی شود.
• زمانی که بعضی از صفحات ایندکس می شوند و بعضی دیگر خیر.
• صفحات تازه منتشر شده‌ با سرعت خوبی ایندکس نمی‌شوند.
• زمانی که تیک جلوگیری از ایندکس شدن سایت وردپرس فعال باشد.

ولی شاید بهتر باشد بدانید منظور ما از ایندکس کردن سایت چیست؟

کراولینگ و ایندکس شدن چیست؟

گوگل صفحات جدید را با خزیدن (کراولینگ) در اینترنت پیدا می‌کند گوگل این کار را با استفاده از ربات‌ های خزنده‌ ی عنکبوتی به نام گوگل‌ بات انجام می‌دهد سپس این صفحات را به ایندکس خود اضافه می‌کند. کمی گیج شدید؟ بیایید چند عبارت کلیدی دیگر را هم بررسی کنیم:

• کراولینگ (craweling): فرآیند دنبال کردن هایپرلینک‌ها در اینترنت برای پیدا کردن محتواهای جدید
• ایندکس کردن (indexing): فرآیند ذخیره‌ی هر صفحه‌ی وب در یک پایگاه داده گسترده
• عنکبوت وب (Web Crawler یا Web Spider): یک قطعه نرم‌افزار که برای انجام فرآیند کراولینگ در یک مقیاس مشخص طراحی شده است
• گوگل‌ بات (google bot): عنکبوت وب گوگل

وقتی موضوعی را در گوگل سرچ می کنید، در واقع از گوگل می‌خواهید تمام صفحات مرتبط با موضوع شما را از ایندکس خودش نمایش دهد. زیرا معمولا میلیون‌ها صفحه متناسب با آن موضوع وجود دارد، الگوریتم رتبه‌ بندی گوگل تمام تلاشش را می‌کند تا صفحات را به شکلی مرتب کند که شما بهترین و مرتبط‌ ترین نتایج را در ابتدای لیست ببینید.

نکته حیاتی اینجا این است که رتبه‌ بندی و ایندکس کردن دو موضوع کاملا متفاوت هستند. ایندکس کردن مثل شرکت در مسابقه و رتبه‌ بندی مثل برنده شدن در آن است. مطمئنا فقط با شرکت در یک مسابقه، برنده‌ی آن نخواهید بود و باید فاکتور های مورد نظر گوگل برای قرار گرفتن در صفحات لینک های برتر را داشته باشید. این قسمت از کار را باید بر عهده‌ی سئو بگذارید، هنر بهینه‌ سازی صفحات سایت برای بهبود رتبه‌ی آن در یک موضوع مشخص در حوزه سئو است یادتان نرود اگر می خواهید کاربران بیشتری جذب کنید کارهای زیر را انجام دهید.

• یافتن موضوعات مورد علاقه‌ ی مشتریان
• تولید محتوا در این رابطه
• بهینه‌ سازی آن صفحات برای کلمات کلیدی هدف
• ایجاد بک‌ لینک
• بازنشر دوره‌ای محتوا برای به‌ روز نگه داشتن آن

روش های بررسی ایندکس شدن سایت

برای بررسی اینکه سایت شما توسط گوگل ایندکس می شود دو روش وجود دارد: می توانید در موتور جستجو گوگل url مورد نظرتان را تست کنید یا با استفاده از سرچ کنسول. برای تست آدرس مورد نظر در گوگل Site: را به همرا آدرس سایتتان در گوگل مانند زیر سرچ کنید: Site:آدرس صفحه مورد نظر اگر URL مورد نظرتان ایندکس نشده باشد، هیچ نتیجه‌ای نمایش داده نخواهد شد.

برای بررسی تعداد کل صفحات ایندکس شده سایتتان می توانید Site:آدرس وبسایت‌تان را بزنید این عدد تعداد حدودی کل صفحات وبسایت شما که توسط گوگل ایندکس شده را نشان می‌دهد.

روش دوم برای بررسی وضعیت ایندکس صفحات استفاده از سرچ کنسول (Google Search Console) است. در Coverage می‌توانید دید عمیق‌تری نسبت به وضعیت ایندکس سایت داشته باشید، برای دسترسی به این بخش در سرچ کنسول مسیر زیر را بروید:

Google Search Console > Index > Coverage 

وضعیت ایندکس صفحات یکی از 4 حالت زیر است:

Error (باکس قرمز):لینک های ایندکس نشده
Valid with warnings (باکس زرد): صفحه ایندکس شده ولی دارای مشکل است
Valid (باکس سبز):لینک ها بدون هیچ مشکلی توسط گوگل ایندکس شده اند.
Excluded (باکس خاکستری): URL های قرار گرفته ایندکس نشده اند ولی این امکان وجود دارد که شما دسترسی خزنده های موتور جستجو گوگل را بسته باشید.

اگر مجموع تعداد صفحات صفر باشد، مشکل بزرگی وجود دارد و گوگل هیچکدام از صفحات‌ تان را ایندکس نکرده است.

از کنسول جستجوی گوگل برای بررسی ایندکس بودن یک صفحه‌ خاص هم می‌ توانید استفاده کنید. برای این کار آدرس URL آن صفحه را در قسمت Inspection tool قرار دهید. اگر صفحه ایندکس شده باشد، با جمله‌ «URL is on Google» روبرو می‌ شوید که یعنی صفحه ایندکس شده است. اگر صفحه ایندکس نشده باشد، پیغام «URL is not on Google» را خواهید دید که خبر چندان خوبی نیست.

روش های ایندکس شدن سایت در گوگل

اگر به تازگی متوجه شده‌اید سایت‌ تان یا یکی از صفحاتش در گوگل ایندکس نشده است این راه‌ها را امتحان کنید:

• وارد سرچ کنسول گوگل شوید
• به قسمت URL inspection بروید
• آدرس URL ای که می‌ خواهید ایندکس شود را در نوار جستجو وارد کنید.
• منتظر پاسخ گوگل بمانید
• گزینه‌ی «Request indexing» را بزنید

این فرآیند خصوصا برای پست‌ها یا صفحات تازه منتشر شده بسیار مناسب است. در واقع به گوگل اعلام می‌ کنید که محتوای جدید به وب سایت‌تان اضافه کرده‌ا ید و بهتر است نگاهی به آن بیندازد! هر چند احتمال حل مشکلات زیربنایی که مانع  ایندکس شدن صفحه‌ تان می شود بسیار پایین است. در چنین شرایطی از چک‌ لیست زیر برای حل مشکل استفاده کنید:

• حذف سدهای کراول در فایل txt
• حذف تگ‌های زائد نوایندکس(noindex)
• قرار دادن صفحه موردنظر در نقشه سایت
• حذف تگ‌های زائد کنونیکال
• مراقب باشید صفحه به صفحه‌ ی یتیم (Orphan Page) تبدیل نشده باشد
• اصلاح لینک‌های داخلی Nofollow
• از لینک‌های داخلی قوی استفاده کنید
• از یکتا و ارزشمند بودن صفحه مطمئن شوید
• حذف صفحات کم کیفیت
• ایجاد بک‌ لینک‌ های با کیفیت

1- حذف سدهای کراول در فایل robots.txt 

آیا گوگل تمام وبسایت شما را ایندکس نمی‌ کند؟ این مشکل ممکن است ناشی از وجود مشکل در فایل robots.txt باشد و امکان کراول کردن صفحه را بسته باشید. برای بررسی این مشکل، به آدرس yourdomain.com/robots.txt بروید و به دنبال قطعه کدهای زیر بگردید:

هر دوی این قطعه کدها به گوگل‌ بات می‌گویند که اجازه‌ی خزیدن در صفحات وبسایت را ندارد. برای حل این مشکل، به سادگی این کدها را حذف کنید.

2- حذف تگ‌های زائد No index

اگر جلوگیری از ایندکس شدن سایت وردپرس انجام دهید، گوگل سایت را ایندکس نمی کند، اما این کار برای خصوصی نگه داشتن بعضی صفحات مناسب است و دو راه برای انجام آن وجود دارد:

روش اول: متاتگ

هر صفحه‌ای که حاوی این متاتگ‌ ها در قسمت <head> باشد، توسط گوگل ایندکس نمی‌شود:

این‌ها متاتگ‌ های ربات‌ها هستند و به موتورهای جستجو اجازه‌ی ایندکس کردن یا نکردن صفحه را می‌دهند. اگر مقدار Content برابر nonindex باشد، صفحه ایندکس نخواهد شد.

روش 2: تگ X-Robots

کراولرها به پاسخ  HTTP تگ X-Robots هم اهمیت می‌دهند. برای اجرای آن می‌ توانید از زبان سمت سرور مثل PHP استفاده نمایید، یا در فایل htaccess قرار دهید، یا تنظیمات سرور خود را تغییر دهید.

3- قرار دادن صفحه مورد نظر در نقشه سایت

نقشه سایت (sitemap) به گوگل می‌گوید کدام صفحات در وبسایت شما از اهمیت بالایی برخوردارند. همچنین ممکن است اطلاعاتی درباره‌ی این که چه زمانی باید مجددا مورد کراول قرار بگیرند را نیز به گوگل بدهد. حتی اگر صفحاتتان را در نقشه سایت هم قرار ندهید، گوگل می‌ تواند آن‌ها را پیدا کند ولی بهتر است این کار را انجام دهید.

برای بررسی این که صفحه مورد نظرتان در نقشه سایت قرار دارد یا نه در سرچ کنسول آدرس صفحه را سرچ کنید اگر دوباره با خطای » URL is not on Google» یا «Sitemap: N/A» روبرو شدید، صفحه یا در نقشه سایت قرار ندارد یا ایندکس نشده است.

4- حذف تگ‌ های زائد کنونیکال

یک تگ کنونیکال به گوگل می‌ گوید کدام ورژن صفحه را برای نمایش ترجیح می‌دهید. این تگ به این صورت زیر نوشته می‌شود:

<link rel="canonical” href="/page.html/">

بیشتر صفحات یا از تگ کنونیکال استفاده نمی‌کنند یا از تگ کنونیکال به نام self-referencing استفاده می‌کنند؛ این تگ به گوگل اعلام می‌کند که صفحه‌ ی اصلی همین صفحه و یا احتمالا تنها نسخه‌ی آن است. به عبارت دیگر شما می‌خواهید همین صفحه ایندکس شود. ولی اگر تگ کنونیکال زائد داشته باشید در واقع به گوگل گفته‌ اید که هیچ‌ کدام از نسخه‌های صفحه را ترجیح نمی‌ دهید و در نتیجه نباید ایندکس شود.

برای بررسی تگ کنونیکال از ابزار URL inspection سرچ گوگل استفاده کنید. اگر با پیغام Alternate page with canonical tag روبرو شوید. پس برای ایندکس شدن سایت در گوگل تگ مورد نظر را حذف کنید.

توجه: برای اینکه در تگ کنونیکال دچار مشکل و اشتباه نشوید بهتر است مقاله اشتباهات رایج در تگ کنونیکال را بخوانید.

نکته: بررسی کنید که اگر صفحه ایندکس نشده شاید تگ کنونیکال برای صفحه تعریف کرده باشید. بنابراین مطمئن شوید که کدام صفحه برای شما اهمیت بالاتری دارد. اگر هنوز قصد دارید صفحه شما ایندکس شود می تونید تگ کنونیکال را حذف کنید.

5- بررسی کنید صفحه‌ Orphan Page نباشد

صفحات یتیم یا Orphan page صفحاتی هستند که هیچ صفحه‌ دیگری از آن‌ ها به عنوان لینک داخلی استفاده نکرده است. از آن‌ جایی که گوگل با خزیدن در وب، محتواهای جدید را پیدا می‌کند، پیدا کردن صفحات یتیم کاری دشوار است. البته کاربران هم نمی‌ توانند آن‌ها را پیدا کنند. برای پیدا کردن صفحات یتیم سایت‌تان، از یک Site Explorer استفاده نموده، سپس گزارش لینک‌های صفحات یتیم را بررسی کنید. عددی که در تصویر می‌بینید، تعداد صفحاتی است که هیچ لینک داخلی به آن‌ ها اشاره نکرده و قابل ایندکس شدن هستند.

برای حل مشکل صفحات یتیم به منظور ایندکس شدن سایت در گوگل دو راه‌ حل دارد:

• اگر صفحه مهم نیست، صفحه را پاک کنید و از نقشه سایت حذف کنید.
• اگر صفحه مهم است، در سایر صفحات وبسایت خود به آن لینک بدهید.

6- اصلاح لینک‌های داخلی Nofollow

این لینک‌ها، حاوی تگ rel=“nofollow” هستند و از انتقال رتبه‌ی صفحه به URL مقصد جلوگیری می‌کنند. البته مهم است بدانید که گوگل هم این صفحات را بررسی نمی‌ کند.

گوگل در این باره می‌گوید: استفاده از تگ Nofollow باعث می‌شود ما لینک هدف را از گراف کلی وب حذف کنیم. البته اگر صفحه‌ی هدف در سایت‌های دیگر به عنوان منبع استفاده شود یا URL آن در یک نقشه سایت قرار بگیرد، در ایندکس ما ظاهر خواهد شد.

7- قرار دادن لینک‌ صفحه در صفحات قوی سایت

گفتیم که گوگل محتواهای جدید را با خزش در وبسایت‌ تان پیدا می‌ کند. برای ایندکس شدن سایت در گوگل می توانید از لینک داخلی صفحاتی که ایندکس می شوند استفاده کنید. برای اینکه صفحه‌ تان هر چه زودتر ایندکس شود، بهتر است یک لینک از url مورد نظر را در صفحات قدرتمند قرار دهید زیرا احتمال خزیدن دوباره‌ صفحات قدرتمند توسط گوگل وجود دارد به این ترتیب لینک صفحه شما هم توسط بات های گوگل بررسی می شود.

8- بررسی ارزشمند بودن صفحات

معمولا گوگل صفحات بی‌کیفیت را ایندکس نمی‌کند زیرا برای کاربران بی فایده هستند. اگر تمام مشکلات تکنیکی بر سر راه ایندکس شدن را رفع کرده‌اید، شاید صفحه‌ تان از ارزش کافی برخوردار نیست. پس در چنین شرایطی با دیدی تازه به صفحه نگاه کنید و بپرسید که آیا واقعا مطلب ارزشمندی در آن قرار دارد؟ آیا کاربران درصورت مشاهده‌ی آن در لیست نتایج روی آن کلیک می کنند؟

John Mueller در سال 2018 درباره صفحات بی ارزش گفته ما تمرکزمان را بر روی داشتن صفحاتی با کیفیت بالا و عالی قرار داده ایم بنابراین اگر می خواهید صفحات شما توسط گوگل ایندکس شوند حتما از عالی بودن صفحاتتان مطمئن شوید.

اگر یک حساب  Ahref  دارید می توانید صفحات بی‌کیفیت که قابل ایندکس شدن هستند ولی در حال حاضر ترافیک طبیعی دریافت نمی‌کنند را پیدا کنید. پس از آن می توانید به بهبود صفحات و محتوای خود بپردازید تا ایندکس شدن سایت در گوگل با سرعت بیشتری انجام شود.

9- حذف صفحات کم کیفیت برای ایندکس شدن سایت در گوگل

داشتن تعداد زیادی صفحه‌ی بی‌کیفیت در سایت‌ فقط بودجه‌ی کراول را هدر می‌دهد.

گوگل در این‌ باره می‌گوید: اتلاف منابع سرور برای صفحات با ارزش افزوده‌ی کم، فعالیت کراول را از صفحات واقعا ارزشمند دور می‌ کند که این باعث ایجاد تاخیر در پیدا کردن محتواهای خوب در سایت‌ها می‌شود.

پس برای ایندکس شدن سایت در گوگل به دنبال داشتن صفحات با کیفیت باشید و سعی کنید مقالات و محتوای یونیک با کیفیت بالا داشته باشید تا نه تنها توسط گوگل ایندکس شود بلکه امکان قرار گرفتن در صفحه اول گوگل  را داشته باشید.

10- ایجاد بک‌ لینک‌های با کیفیت

بک‌ لینک‌ها صفحات مهم وب را به گوگل نشان می‌دهند. اگر کسی به محتوایی لینک می‌دهد، قطعا محتوا دارای ارزش کافی است. این‌ ها صفحاتی هستند که گوگل به ایندکس کردنشان علاقمند است.

برای شفافیت بیشتر موضوع بهتر است بدانید گوگل تنها صفحات دارای بک‌ لینک را ایندکس نمی‌کند. میلیاردها صفحه‌ی ایندکس شده‌ی بدون بک‌ لینک وجود دارد. هر چند به دلیل این‌ که گوگل صفحات دارای لینک قوی را با اهمیت‌ تر فرض می‌کند، احتمال خزیدن دوباره و دوباره‌ی گوگل در این صفحات بیشتر از صفحات فاقد لینک است که در نتیجه سرعت ایندکس شدن صفحه افزایش می‌یابد. پس برای ایندکس شدن سایت در گوگل قدرت بک لینک ها را نادیده نگیرید.

با استفاده از چک‌ لیستی که ارائه کردیم می‌توانید در 90 درصد مواقع مشکل ایندکس شدن سایت در گوگل را برطرف نماید؛ ولی به خاطر بسپارید که ایندکس شدن به مفهوم دریافت رتبه در موتورهای جستجو نیست و سئو نقشی حیاتی در بهبود رتبه‌ی شما و جذب جریانی دائمی از ترافیک طبیعی را بر عهده دارد.

این روزها که بسیاری از سایت ها با مشکل ایندکس نشدن صفحات مواجه هستند اگر شما هم راهکاری برای ایندکس شدن سایت در گوگل دارید در قسمت دیدگاه ها با ما و کاربران راست چین به اشتراک بگذارید.