اگر تا امروز فکر میکردی سئو فقط درباره ی انتخاب کلمات کلیدی و نوشتن محتواست، وقتش رسیده یکی از ظریف ترین ابزار های کنترل سئو را بشناسی: متاتگ ربات (Meta Robots). این تگ کوچک اما مهم، به گوگل و بقیه ی موتورهای جستجو میگوید با صفحه ات چه رفتاری داشته باشند:

• آیا صفحه را ایندکس کنند یا نه؟
• لینک های داخلی آن را دنبال کنند یا نه؟
• و حتی آیا نسخه ی کش شده اش را ذخیره کنند یا خیر.

در سایت های حرفه ای، متاتگ ربات مثل چراغ راهنمایی عمل میکند؛ به ربات ها میگوید کجا بایستند، کجا عبور کنند و کجا اصلا وارد نشوند؛ اگر استفاده اش را بلد باشی، هم از ایندکس شدن صفحات اشتباه جلوگیری میکنی و هم ساختار سئوی سایتت را تمیز و قابل مدیریت نگه میداری.

در ادامه دقیقا یاد میگیری متاتگ ربات چیست، چه دستورات مهمی دارد و چطور باید از آن در ۲۰۲۵ استفاده کنی تا هیچ صفحه ای اشتباهی وارد نتایج جستجو نشود. در پایان مقاله یک نکته طلایی برات آوردم که تجربه شخصی خودم است و درباره متاتگ ربات به شما راهنمایی جامعی میکند.

 متاتگ ربات چیست؟

متاتگ ربات یک متا تگ HTML است که در بخش head قرار میگیرد و به خزنده های موتور های جستجو دستور میدهد:

• این صفحه را ایندکس کن یا نکن
• لینک های این صفحه را دنبال کن یا نکن
• اسنیپت، ترجمه، آرشیو و پیش نمایش ها را نشان بده یا نده

هدف اصلی اینتاتگ کنترل نحوه دیده شدن صفحه در نتایج جستجو است. در ادامه بیشتر با این متاتگ آشنا میشیم.

• تفاوت Meta Robots با Robots.txt و X-Robots-Tag

Robots.txt

• کنترل دسترسی از «بیرون»
• مناسب مدیریت Crawl Budget
• اما صفحه را از نتایج حذف نمیکند

Meta Robots

• کنترل رفتار صفحه از «داخل HTML»
• دقیقا مشخص میکند صفحه ایندکس شود یا نه
• تصمیم گیری درباره follow / nofollow

X-Robots-Tag

• نسخه پیشرفته تر، روی فایل ها (PDF، عکس، ZIP…)
• از هدر سرور تنظیم میشود
• برای کنترل دسته ای فایل ها عالی است

نکته بسیار مهم: اگر مسیر صفحه در robots.txt مسدود شده باشد، گوگل وارد صفحه نمیشود؛ پس متاتگ ربات را نمیبیند.

نتیجه؟ صفحه ممکن است همچنان در نتایج باقی بماند، چون دستور noindex را نخوانده است. این یکی از رایج ترین اشتباهات سئوکارهاست.

ساختار فنی Meta Robots

نمونه کلی: <meta name=”robots” content=”noindex, follow”> و همچنین مقدار name تعیین میکند این دستور برای همه ربات هاست. برای دستور مخصوص یک ربات: <meta name=”googlebot” content=”noindex”>

نکته مهم: اگر میخواهی به چند ربات دستور متفاوت بدهی، باید چند meta tag جدا بنویسی.

مثال:

• <meta name=”googlebot” content=”noindex”>
• <meta name=”googlebot-news” content=”nosnippet”>

دستورات اصلی متاتگ ربات

در ادامه مهم ترین مقادیر content را توضیح میدهیم.

1) index / noindex

• index: اجازه نمایش صفحه در نتایج (پیش فرض)
• noindex: جلوگیری از نمایش صفحه در نتایج.

کاربردها:

• صفحات Search
• فیلترهای سایت فروشگاهی
• صفحات لاگین
• صفحات تست
• صفحات کم ارزش یا تکراری

2. follow / nofollow

الف) follow: اجازه دنبال کردن لینک ها
ب) nofollow: عدم دنبال کردن لینک های داخل صفحه

ترکیب مهم: noindex, follow یعنی: صفحه دیده نشود، اما اعتبار لینک ها منتقل شود.

3) all / none

• all = index + follow
• none = noindex + nofollow

4) Snippet و Cache

• nosnippet: جلوگیری از نمایش توضیحات
• noarchive / nocache: عدم نمایش نسخه ذخیره شده
• max-snippet: تعیین تعداد کاراکتر اسنیپت

5) رسانه ها

• noimageindex: جلوگیری از ایندکس تصاویر
• max-video-preview: حداکثر پیش نمایش ویدیو

6) ترجمه و جستجو

• notranslate
• nositelinkssearchbox

7) دستورات منسوخ

noydir
noodp

استفاده صحیح متاتگ ربات در ساختار سایت

• صفحاتی که باید index باشند
• صفحات محصول
• دسته بندی های اصلی
• صفحات مهم محتوا
• لندینگ ها
• صفحاتی که بهتر است noindex باشند
• صفحات Search
• فیلترهای دینامیک
• صفحات تکراری
• پنل کاربری
• صفحات Tagهای زیاد

مثال های کاربردی:

الف) فروشگاه اینترنتی

• فیلتر رنگ/قیمت → noindex, follow
• دسته بندی اصلی → index

ب) وبلاگ

• Tags → noindex
• صفحات اصلی → index

ج) سایت عضویت

• داشبورد → noindex, nofollow
• ورود → noindex

نباید فراموش کنی که

• قبل از نوایندکس، ارزش صفحه را بسنج
• robots.txt نباید صفحه را مسدود کرده باشد
• نوایندکس را در Search Console تست کن
• فایل های غیر HTML را با X-Robots-Tag کنترل کن
• صفحه noindex با follow هنوز لینک جوس منتقل میکند

نکته طلایی

جمع بندی

متاتگ ربات ابزار کنترل دیده شدن صفحات است. اگر درست استفاده شود، صفحات ارزشمند سریع تر ایندکس میشوند، بودجه خزش بهتر مصرف میشود و ساختار SEO تکنیکال تو منسجم تر خواهد بود. اما استفاده اشتباه، میتواند باعث حذف ناخواسته صفحات مهم یا رفتار غیرقابل پیش بینی گوگل شود.

درصورت داشتن سوال یا بودن ابهام در مقاله در کامنت ها برام بنویسید؛ خیلی سریع به سوالات شما پاسخ میدهیم “ارادتمند شما ویکی دمی”