فایل Robots.txt را پویا بهروزرسانی نکنید؛ هشدار جدید گوگل به وب مستران!
گوگل به وب مستران هشــــدار داده که بهروزرســـانی پویا و مکــرر فایل Robots.txt در طول روز، میتواند مشکلاتی در ایندکسســازی سایت ایجاد کند. دلیل این هشدار این است که گوگل فایل Robots.txt را تا ۲۴ ساعت کش میکند و تغییرات چندباره در یک روز ممکن است اصلاً دیده نشود.
هشدار مهم برای مدیران سایت؛ Robots.txt را ثابت نگه دارید!
جان مولر، از کارشناسان گوگل، تأکید کرده که اگر سرور سایت به دلیل بار زیاد تحت فشار است، بهجای تغییر مکرر فایل Robots.txt، از کدهای وضعیت 503 یا 429 استفاده کنید. این توصیه جدیدی نیست و گوگل سالهاست به عدم استفاده از فایل Robots.txt بهصورت پویا اشاره دارد.
یک کارشناس فنی در پرسشی از مولر خواسته بود درباره آپلود فایل Robots.txt برای مسدود کردن گوگلبات در صبح و اجازه دسترسی به آن در عصر توضیح دهد. مولر پاسخ داد که چنین کاری اشتباه است، زیرا کش ۲۴ ساعته گوگل اجازه نمیدهد این تغییرات دیده شوند.
در نتیجه بهجای تغییر چندباره Robots.txt، از ابزارهای بهتر برای مدیریت فشار سرور استفاده کنید تا هم سایت شما بهدرستی ایندکس شود و هم از مشکلات احتمالی جلوگیری کنید.
![الهام شاهوردی | کارشناس سئو](https://media.rtlcdn.com/2024/10/816111fcb0610d876da4b58c131c59412a622440c790d5-160x160.jpg)