چطور Robots.txt وردپرس را برای سئو بهینه کنیم؟

اما Robots.txt چیست؟ چطور این فایل را به صورت بهینه برای سئو ایجاد کنیم؟ و از کجا بدانیم که این فایل هیچ نقصی ندارد؟ در این مقاله می خواهیم همه این موارد را بررسی کنیم. با ما همراه باشید.

Robots.txt چیست؟

Robots.txt یک فایل برای آنالیز سئو سایت است که وب مسترها به ربات های خزنده موتور جستجو اعلام می کنند که چطور سایتشان را ایندکس کنند. این فایل معمولا در ریشه دایرکتوری ذخیره شده که به عنوان پوشه اصلی سایت شما شناخته می شود. فرمت اصلی یک فایل robot.txt به صورت زیر است.

می توانید در این فایل، خط های مختلفی به صورت دستورالعمل، تعریف کنید. اینکه کدام URL ها ایندکس شوند یا خیر. همچنین نقشه سایت های مختلفی را اضافه کنید. در اینجا مثالی از فایل robots.txt وردپرس برای شما نمایش داده ایم.

همانطور که در تصویر بالا مشاهده می کنید، ما به ربات های موتور جستجو، اعلام کرده ایم که می تواند فایل های موجود در پوشه آپلود را می تواند ایندکس کند(Allow). همچنین جلو موتور جستجو، را برای ایندکس کردن افزونه ها و فولدر ادمین وردپرس گرفته ایم(با عبارت Disallow) و در خط آخر هم آدرس نقشه سایت xml را نوشته ایم.

چه نیازی به داشتن فایل robots.txt برای سایت وردپرس داریم؟

اگر فایل روبات txt را هم نداشته باشید، خزنده ها و ربات های موتورهای جستجو، همچنان سایتتان را بررسی و ایندکس می کنند. اما اگر نخواهید بخشی از سایت crawl و ایندکس نشود چه؟ چطور می توانید اعلام کنید که نباید این صفحات در نتایج جستجو گوگل وارد شوند؟

این مسئله در اوایل کار وب سایتتان و زمانی که محتوای کمی دارید، چندان مهم نیست و به چشم نمی آید. اما زمانی که کارتان پیشرفت می کند و محتوای سایت زیادتری می شود؛ زمانی می رسد که ترجیح می دهید کنترل بیشتری روی نحوه crawl و ایندکس سایتتان داشته باشید. اما چرا؟ بیایید با هم دلایل را بررسی کنیم.

ربات های خزنده موتورهای جستجو برای هر سایت سهمی در نظر می گیرند. به این معنی که تعداد مشخصی صفحه را در یک نشست(session) معین بررسی می کنند. اگر پس از پایان نشست هنوز تعداد صفحه باقی مانده بود، دوباره در نشستی دیگر این کار را به پایان می رسانند. به این صورت زمان ایندکس صفحات سایت شما بالا می رود.

اما به راحتی می توانید این زمان را کاهش دهید. کافی است ربات های خزنده، صفحات غیرضروری مثل ادمین وردپرس، فایل افزونه ها، فولدر تم را ایندکس نکنند. با این کار، موتورهای جستجو وقت بیشتری برای ایندکس صفحات مفید و ضروری شما دارند.

یک دلیل خوب دیگر برای استفاده از فایل robots.txt برای وردپرس این است که فایل ها و فولدرهایی که دوست ندارید، ایندکس نشوند و در نتایج جستجو گوگل نمایش داده نشوند.

چگونه یک فایل robot.txt در وردپرس ایجاد کنیم؟

دو راه برای ایجاد فایل روبات txt وجود دارد. شما می توانید هر کدام را برایتان مناسب بود، انتخاب کنید.

روش 1: ویرایش فایل Robots.txt با استفاده از Yoast SEO

اگر از افزونه Yoast استفاده می کنید، بخشی برای ایجاد این فایل در اختیار شما قرار دارد. از این امکان در پنل مدیریت وردپرس می توانید فایل Robot.txt را ایجاد و ویرایش کنید. کافی است در منو ادمین وردپرس به سئو > ابزارها مراجعه کنید.

در صفحه بعد، یواست سئو، فایل Robot.txt قبلی را به شما نشان می دهد. و اگر تا به حال این فایل را نداشتید، در این مرحله robot.txt ایجاد می شود.

به صورت پیش فرض فایلی که generator تحویل می دهد، به این صورت خواهد بود.

نکته مهم: حتما محتوای فایل را پاک کنید. چون چیزی که اینجاست به معنی آن است که ربات های خزنده موتور جستجو اصلا سایت شما را ایندکس نکنند. حالا وقت آن رسیده که قوانین سایت خود را در این فایل یادداشت کنید و به این شیوه با ربات های موتور جستجوها ارتباط برقرار کنید. می توانید از تصویر زیر به عنوان محتوای ایده آل robot.txt استفاده کنید.

البته فراموش نکنید که بعد از اتمام تغییرات حتما دکمه ذخیره را بزنید.به این ترتیب می توانید با افزونه یواست سئو فایل robot.txt را ویرایش کنید.

نکته: به یاد داشته باشید اگر از افزونه سئو وردپرس دیگری مانند رنک مث نیز استفاده میکنید جای نگرانی نیست چرا که با استفاده از این افزونه نیز می توانید بهینه سازی فایل روبوتس را انجام دهید.

روش 2. ویرایش فایل Robots.txt وردپرس دستی با استفاده از FTP

برای این کار، نیاز به استفاده از یک نرم افزار FTP دارید. اگر برنامه های FTP را نمی شناسید یا راجع به کار اف تی پی اطلاعات دقیقی ندارید، پیشنهاد می کنم مطالعه این مقاله را از دست ندهید.

طبق آموزش ها با استفاده از نرم افزار FTP به وردپرس متصل شوید. robot.txt در فولدر ریشه سایتتان است.

اگر این فایل را نمی بینید، به معنی این است که ندارید. پس یکی باید ایجاد کنید.

فایل Robot.txt وردپرس یک فایل متنی ساده است. پس به راحتی می توانید آن را دانلود کنید. و با یک ویرایشگر متن ساده مثل Notepad یا TextEdit آن را ویرایش کنید. بعد از اینکه تغییرات لازم را ایجاد کردید، مجددا با گزینه آپلود آن را به فولدر ریشه سایت برگردانید.

چطور Robot.txt را برای بهینه سازی تست کنیم؟

یک روش مطمئن از بهینه بودن این فایل برای سئو، تست است. البته که ابزارهای زیادی برای این کار وجود دارد که مطمئن ترین راه استفاده از ابزار موجود در Google Search Console است. وارد اکانت سایتتان در وب مستر شوید و به نسخه قدیمی سوئیچ کنید.

از اینجا به مسیری که برای فایل Robot.txt قرار داده شده دسترسی دارید. روی Crawl > robots.txt Tester کلیک کنید.

این ابزار به صورت خودکار این فایل را برداشته و آن را تست می کند. همه خطاهای احتمالی و خطرات و ایرادها را همینجا به شما تذکر می دهد.

بهینه سازی فایل Robot.txt

هدف نهایی بهینه سازی فایل robot.txt این است که فایل هایی که به صورت عمومی در دسترس نیست را ایندکس نکند. برای مثال فایل های موجود در فولدر wp-plugins یا پیج هایی که در ادمین وردپرس وجود دارند. برخی از سئوکاران در قدیم معتقد بودند اگر صفحاتی مثل تگ ها، دسته بندی ها، و… ایندکس نشوند، صفحات سایت زودتر در دسترس خزنده های گوگل قرار می گیرند و رتبه بالاتری به دست می آورید.

مقاله پیشنهادی: جلو گیری از ایندکس شدن سایت توسط فایل robots.txt

این عقیده درست نیست و بر خلاف دستورالعمل های گوگل هم هست. توصیه می کنیم از فرمتی که معرفی شده برای بهینه سازی فایل Robot.txt استفاده کنید. از طرف دیگر توجه داشته باشید که این فایل یکی از مهم ترین نقاط اتصال شما با موتورهای جستجو است. در واقع زبانی است که با ربات های خزنده ی سرچ انجین ها  در مورد سایتتان گفت و گو می کنید. پس با دقیق ترین تعاریف به استقبال ربات های خزنده بروید.