مجاني · بدون حساب

فاحص ملف robots.txt

الصق ملفك أو أدخل نطاقاً. تطبق الأداة قواعد RFC 9309 وتبلغ عن الأخطاء وتخبرك هل يستطيع زاحف معين جلب رابط ما.

النطاق أو الرابط

الخصوصية والتكلفة

تطلب هذه الأداة من خوادمنا الرابط العام الذي تدخله. هي مجانية ومحدودة المعدل لمنع إساءة الاستخدام ولا نحتفظ بالرابط ولا بمحتوى الصفحة.

كيف تعمل الأداة

أدخل نطاقاً لجلب ملف robots.txt الخاص به أو الصق محتوى الملف.
اقرأ أخطاء الصياغة والتنبيهات مع أرقام الأسطر إضافة إلى المجموعات المحللة.
اختبر الروابط لزاحف معين (Googlebot أو Bingbot أو GPTBot…): تعرض الأداة القاعدة الحاسمة إذ تفوز أطول مطابقة.

مثال

في ملف مثال من مجموعتين تشير الأداة إلى «Noindex» (السطر 6، غير مدعوم من جوجل) وإلى Crawl-delay (السطر 5، يتجاهله جوجل). بالنسبة إلى Googlebot يُحظر /private/report.html بالقاعدة «Disallow: /private/» (السطر 2)، ويُسمح بـ /private/press-kit.pdf بالقاعدة «Allow: /private/press-kit.pdf» (السطر 3)، ويُحظر /shoes?sort=price بالقاعدة «Disallow: /*?sort=» (السطر 4).

ماذا تعني النتيجة

يُسمح بالرابط ما لم تنطبق عليه قاعدة Disallow. وعند تطابق عدة قواعد تفوز الأكثر تحديداً (الأطول) وتتفوق Allow على Disallow عند التعادل. تستخدم الزواحف مجموعة user-agent الأدق وإلا مجموعة «*». وتتجاهل الزواحف كل ما يتجاوز أول 500 كيبيبايت.

مشكلات شائعة تساعد هذه الأداة على حلها

قاعدة Disallow واسعة أكثر من اللازم تحظر صفحات مهمة دون أن ينتبه أحد.
توجيهات متجاهَلة (Noindex والأخطاء الإملائية وCrawl-delay مع جوجل) يظنها الناس فعالة.
مجموعة Googlebot لا تكرر قواعد مجموعة «*»: تطبق الزواحف مجموعة واحدة فقط.
ملف robots.txt غير متاح (خطأ 5xx) أو ضخم يُساء فهم سلوكه.

الأسئلة الشائعة

لماذا يظهر رابط محظور في جوجل رغم ذلك؟

يحظر robots.txt الزحف لا الفهرسة. قد يفهرس جوجل الرابط المجرد إذا أشارت إليه صفحات أخرى. لاستبعاده اتركه قابلاً للزحف واستخدم noindex.

هل تجلب الأداة ملفي من متصفحي؟

لا: يمر الجلب عبر خادمنا الذي يتصل بالموقع بطلب محمي، لأن المتصفح لا يستطيع قراءة robots.txt لنطاق آخر. ثم يجري تحليل المحتوى داخل متصفحك.

ما الحجم الأقصى لملف robots.txt؟

يقرأ جوجل أول 500 كيبيبايت (الحد الأدنى في RFC 9309). تُتجاهل القواعد بعد ذلك وتنبهك الأداة.