robots.txt چیستفایل ربات یا robots.txt چیست؟

فایل ربات یا robots.txt یکی از مهمترین فایل های یک سایت هست که مستقیما روی کرال (Crawl) و ایندکس (Index) سایت موثر هست

پس داشتن این فایل و کار با این فایل نیاز به تخصص خاص دارد و اگر اشتباهی در ساخت و کانفیگ فایل انجام شود

احتما این که قسمتی از سایت از دسترس گوگل خارج شود زیاد می شود ، البته سنیور سئو بطور تخصصی

این فایل را کانفیگ می کند و خدمات سئو در اصفهان شامل این سئو تکنیکال می باشد

ساختار فایل ربات

ساختار فایل به شکل زیر می باشد:

User-agent: rogerbot
:Disallow
User-agent: dotbot
:Disallow

فایل ربات فقط برای گوگل نیست! ، برای تمامی User agent ها می باشد ، یعنی می توانید دسترسی هر پلتفرم یا رباتی را باز یا ببندید.

در مثال بالا ما دسترسی سایت Moz را برای انالیز صفحات و سئو برای سنیور سئو باز کردیم

نمونه فایل robot txt:

مثال فایل robots.txt

پارامتر های فایل robots.txt

فایل ربات شامل پارامتر های زیر می باشد:

  • user agent
  • crawl-delay
  • allow
  • disallow
  • sitemap

چرا ما به فایل robots.txt نیاز داریم؟

  1. جلوگیری از محتوای تکراری
  2. جلوگیری از ایندکس دایرکتوری های خصوصی
  3. مشخص کردن سایت مپ سایت
  4. جلوگیری از ایندکس سرچ داخلی سایت
  5. معرفی نقشه سایت به گوگل

نحوه ساختن فایل robots.txt در وردپرس یا هر سیستم دیگری:

درصورتی که فایل ربات ندارید از لحاظ سئو تکنیکال مشکل دارید و باید مراحل زیر را دنبال کنید:

  1. وارد هاست شوید
  2. داخل روت هاست فایلی به نام : robots.txt بسازید!
  3. سپس ویرایش کنید