حساب مجاني · 3 فحوصات مباشرة يومياً

تدقيق حجب الروبوتات

أدخل رابطاً لتقرأ الأداة ملف robots.txt للموقع وتطبّق معيار RFC 9309 على كل زاحف وتفحص أيضاً توجيهات noindex في الصفحة.

الخصوصية والتكلفة

تجري هذه الأداة فحصاً مباشراً على خوادمنا. يتيح الحساب المجاني 3 فحوصات مباشرة يومياً في المجموع لكل هذه الأدوات. يُحفظ تقريرك في حسابك ويمكنك حذفه في أي وقت.

كيف تعمل الأداة

نجلب /robots.txt والصفحة (طلبان).
يُفسَّر الملف وفق RFC 9309: المجموعة الأدق والقاعدة الأطول وتغلب Allow عند التساوي مع الرمزين * و$.
تعرض النتيجة لكل زاحف هل الزحف مسموح وأي سطر حسم ذلك، ثم هل تحمل الصفحة noindex (في meta أو X-Robots-Tag).

مثال

ملف robots.txt فيه «Disallow: /private/» يحجب /private/page عن كل الزواحف وتعرض الأداة السطر المسؤول. وإذا كانت الصفحة تحمل noindex أيضاً فتنبّه إلى أن جوجل لن يستطيع قراءته.

ماذا تعني النتيجة

المحجوب بواسطة robots.txt يعني أن الزاحف لا يزور الرابط، لا أنه يخرج من الفهرس: قد يُفهرس رابط محجوب لكنه مرتبط به دون محتوى. لإزالة صفحة اتركها قابلة للزحف واستخدم noindex. ويُعامل ملف robots.txt الذي يعيد 5xx كحجب كامل.

مشكلات شائعة تساعد هذه الأداة على حلها

قسم مهم محجوب بقاعدة Disallow واسعة أكثر من اللازم.
noindex على صفحة محجوبة أيضاً بواسطة robots.txt: لن يراه جوجل.
ملف robots.txt لا يمكن الوصول إليه (5xx) فيحجب الموقع كله.
زواحف ذكاء اصطناعي محجوبة أو مسموحة عن طريق الخطأ.

الأسئلة الشائعة

أي معيار يُطبَّق؟

RFC 9309 (بروتوكول استبعاد الروبوتات): أطول تطابق وتغلب Allow عند التساوي والمسارات حساسة لحالة الأحرف.

هل يمنع robots.txt الفهرسة؟

لا، يمنع الزحف فقط. لمنع الفهرسة استخدم noindex على صفحة قابلة للزحف.

هل يستطيع زاحف تجاهل robots.txt؟

نعم، فهو طلب لحسن السلوك وليس ضبطاً للوصول. لا تحمِ محتوى حساساً بواسطة robots.txt.