رفتن به محتوا
همهٔ ابزارها

بررسی robots.txt و دسترسی ربات های جستجو و هوش مصنوعی

آدرس سایت را بنویسید. فقط فایل robots.txt همان سایت یک بار خوانده می شود و دسترسی هر ربات شناخته شده نشان داده می شود.

چطور نتیجه را بخوانیم

  • «مجاز» یا «بسته» یعنی قانون robots.txt برای آن ربات؛ این ابزار آزمایش واقعی دسترسی نیست و فایروال سایت می تواند جدا از robots.txt ربات را رد کند.
  • ربات هایی که در فایل اسم شان نیامده از قانون گروه * پیروی می کنند و جدا مشخص شده اند.
  • ربات «جستجو» سایت را در پاسخ ها نشان می دهد، ربات «آموزش» فقط متن را برای آموزش مدل ها می خواند؛ بستن این دو معنای متفاوت دارد.

پرسش های رایج

اگر سایت robots.txt نداشته باشد؟

پاسخ ۴۰۴ یعنی محدودیتی اعلام نشده و همه چیز مجاز است. ابزار در این حالت جدول نمی سازد، چون چیزی برای خواندن نیست.

این ابزار چه چیزی از سایت می خواند؟

فقط یک درخواست برای /robots.txt با هویت AutoSEOBot، با محدودیت زمان و حجم. متن فایل ذخیره یا نمایش داده نمی شود.

می خواهید کل صفحهٔ اصلی سایت را هم بررسی کنید؟

بررسی سریع رایگان، بدون ثبت نام: صفحهٔ اصلی با قوانین واقعی ممیزی خوانده می شود و سه مشکل مهم تر را با راه حل می بینید.