ابزار رایگان · در مرورگر شما اجرا می‌شود
ساخت robots.txt و sitemap.xml
robots.txt به ربات‌ها می‌گوید به کدام بخش‌ها سر بزنند و sitemap.xml فهرست صفحات مهم را به آن‌ها می‌دهد. این ابزار هر دو فایل را میسازد و به شما اجازه می‌دهد برای رباتهای هوش مصنوعی مثل GPTBot، ClaudeBot و Google-Extended جداگانه تصمیم بگیرید. فایل‌ها در مرورگر شما ساخته می‌شوند.
فایل robots.txt
رباتهای جستجو و پاسخ‌گو مثل OAI-SearchBot و PerplexityBot تحت تأثیر این گزینه قرار نمی‌گیرند.
User-agent: *
Allow: /
فایل sitemap.xml
آدرس‌های نسبی (مثل /about) با آدرس سایت کامل می‌شوند.
0 آدرس در نقشه
آدرس‌ها را وارد کنید تا نقشهٔ سایت ساخته شود.
روش استفاده
- آدرس سایت، مسیرهایی که نباید بخزند و تصمیم دربارهٔ رباتهای هوش مصنوعی را مشخص کنید.
- برای نقشهٔ سایت، آدرس صفحات را هر کدام در یک خط بنویسید.
- فایل‌ها را دانلود کنید و در ریشهٔ سایت قرار دهید (مثلاً example.com/robots.txt).
- نقشهٔ سایت را در Search Console ثبت کنید.
پرسش‌های متداول
آیا robots.txt صفحهای را از نتایج حذف میکند؟
نه لزوماً. robots.txt جلوی خزیدن را میگیرد، نه فهرستشدن را. برای حذف صفحه از نتایج از noindex استفاده کنید و صفحه را برای ربات باز بگذارید.
رباتهای هوش مصنوعی را مسدود کنم یا نه؟
بستگی به هدف شما دارد. اگر میخواهید در پاسخهای ChatGPT و Claude دیده شوید، اجازه دهید. اگر نمیخواهید محتوایتان برای آموزش مدلها استفاده شود، مسدود کنید. این ابزار هر دو حالت را میسازد.
چند صفحه در sitemap بگذارم؟
همهٔ صفحههایی که میخواهید در گوگل دیده شوند و قابلدسترساند. هر فایل تا ۵۰ هزار آدرس را پشتیبانی میکند.
ابزارهای رایگان دیگر
- رایگان
بررسی رایگان سئو و سلامت سایت
آدرس سایت را بزنید و در چند ثانیه وضعیت سئوی پایه، سرعت پاسخ و مشکلات مهم را ببینید.
استفاده از ابزار - رایگان
سازنده متاتگ و Open Graph
عنوان و توضیحات را بنویسید، پیشنمایش گوگل را ببینید و کد HTML آماده را کپی کنید.
استفاده از ابزار - رایگان
ساخت اسکیمای FAQ (JSON-LD)
پرسش و پاسخهای صفحه را وارد کنید و کد JSON-LD نوع FAQPage را بسازید.
استفاده از ابزار
قدم بعدی
اصلاح‌ها را به ما بسپارید
ابزار مشکل را نشان می‌دهد؛ اجرای درست آن کار تیم ماست.