حساب مجاني · 3 فحوصات مباشرة يومياً

فاحص وصول زواحف الذكاء الاصطناعي

أدخل موقعاً لتقرأ الأداة ملف robots.txt وتعرض لكل زاحف ذكاء اصطناعي معروف هل يحق له الزحف وأي سطر حسم ذلك وما غرضه: التدريب أو البحث أو إجراء يطلبه مستخدم.

الخصوصية والتكلفة

تجري هذه الأداة فحصاً مباشراً على خوادمنا. يتيح الحساب المجاني 3 فحوصات مباشرة يومياً في المجموع لكل هذه الأدوات. يُحفظ تقريرك في حسابك ويمكنك حذفه في أي وقت.

كيف تعمل الأداة

طلب واحد يجلب ملف /robots.txt للموقع.
يُقيَّم كل زاحف وفق RFC 9309 (المجموعة الأدق والقاعدة الأطول وتغلب Allow عند التساوي).
يعرض الجدول الجهة المشغلة والغرض وحالة السماح أو الحجب والقاعدة المسؤولة مع ملخص لكل غرض.

مثال

مع «User-agent: GPTBot / Disallow: /» يظهر GPTBot (تدريب) محجوباً بينما يبقى OAI-SearchBot (بحث) مسموحاً ما دامت لا قاعدة تستهدفه.

ماذا تعني النتيجة

حجب زاحف التدريب يوقف جمع البيانات لتدريب النماذج، وحجب زاحف البحث قد يقلل الحضور في إجابات الذكاء الاصطناعي. ويبقى robots.txt طلباً: بعض الوكلاء الذين يعملون بطلب مستخدم (مثل ChatGPT-User وPerplexity-User) قد لا يتبعونه بحسب جهاتهم المشغلة.

مشكلات شائعة تساعد هذه الأداة على حلها

قاعدة Disallow: / لجميع الروبوتات تحجب أيضاً زواحف البحث بالذكاء الاصطناعي.
حجب GPTBot ظناً أنه يحجب بحث ChatGPT أيضاً (OAI-SearchBot منفصل).
رموز قديمة مثل anthropic-ai ما زالت موجودة.
ملف robots.txt لا يمكن الوصول إليه يُعامل كحجب كامل.

الأسئلة الشائعة

ما الفرق بين GPTBot وOAI-SearchBot؟

GPTBot يجمع بيانات لتدريب نماذج OpenAI، أما OAI-SearchBot فيغذّي البحث. ويُضبط كل منهما على حدة في robots.txt.

هل Google-Extended زاحف مستقل؟

هو رمز تحكم لا يملك وكيل مستخدم HTTP خاصاً ويحكم استخدام محتواك في بعض منتجات جوجل للذكاء الاصطناعي، ولا يؤثر في الفهرسة في البحث.

هل القائمة كاملة؟

لا. تضم الزواحف التي وثّقتها جهاتها المشغلة حتى التاريخ الظاهر في النتيجة، وتتغير باستمرار.