اگر یک ربات بخواهد صفحهای از یک وب سایت را ایندکس کند، قبل از این عمل robots.txt را مشاهده کرده و دستورات آن را پیروی میکند. طبیعتاً اولویت فایل robots.txt نیز از متاتگ robots بیشتر است.
فایل robots.txt به شکل یک فایل واقعی در چنین آدرسهایی www.domain.com/robots.txt قرار دارند. ولی متاتگ robots به شکل تگ و قبل از head نیز وجود دارند همانند مثال پایین.
<head>
<META NAME=”ROBOTS” CONTENT=”NOINDEX, NOFOLLOW”>
</head>
با یک دستور robots.txt شما میتوانید صفحات بسیاری را برای رباتها و موتورهای جستجو مسدود کنید. ولی اگر قصد داشته باشید با متاتگ robots چنین عملی را انجام دهید باید در تکتک آن صفحات نیز متاتگ را درج کنید.
در فایل robots.txt شما میتوانید سایت مپ سایت را به رباتها و موتورهای جستجو معرفی کنید ولی با متاتگ امکانپذیر نیست.
دستورات متاتگ robots انعطافپذیری بیشتری نسبت به فایل robots.txt نیز دارد.
سؤال: آیا مشکلی در سئو پیش میآید اگر از هر دو متد یعنی متاتگ Robots با فایل robots.txt برای جلوگیری از ایندکس شدن یک صفحه ای از سایت استفاده کنیم؟
قطعاً خیر، گوگل هم متنی درباره این موضوع نوشته است و اشاره میکند که:
ربات گوگل محتوایی که از طریق robots.txt مسدود شده باشد را ایندکس نمیکند ولی ممکن است ما لینک آن محتوا را در مکانی دیگر از وب پیدا کنیم و درنتیجه محتوای موجود در آن آدرس در دسترس عموم قرار بگیرد و در نتایج جستجوی گوگل ظاهر شود. شما میتوانید برای جلوگیری از این عمل که محتوا در نتایج گوگل نمایش ندهد از متدهای دیگر برای مسدود کردن آدرسها استفاده کنید. به عنوان مثال دایرکتوری آن آدرس را از طریق سرور خود رمزگذاری کنید یا از متاتگ robotx با دستور noindex استفاده کنید.