منشئ ملف robots.txt
اختر قالباً وأضف خريطة موقعك وقواعد لزواحف محددة. يُنشأ الملف ويُعاد فحصه بمحلل يتبع RFC 9309 قبل التنزيل.
الخصوصية والتكلفة
تعمل هذه الأداة داخل متصفحك. لا يُرسل ما تكتبه أو تلصقه إلى خوادمنا واستخدامها مجاني.
كيف تعمل الأداة
- اختر قالب البداية: السماح للجميع أو حظر الجميع أو WordPress أو متجر إلكتروني أو حظر زواحف تدريب الذكاء الاصطناعي.
- أدخل رابط خريطة الموقع وأضف عند الحاجة مجموعة قواعد لزاحف محدد (Bingbot أو Googlebot-Image أو GPTBot…).
- انسخ الملف أو نزّله وارفعه إلى جذر نطاقك: https://your-domain/robots.txt.
مثال
قالب WordPress مع خريطة الموقع https://example.com/sitemap.xml ينتج 8 أسطر توجيهات: Allow /wp-admin/admin-ajax.php وخمس قواعد Disallow (/wp-admin/ و/wp-login.php و/?s= و/search/ و/*?replytocom=) وسطر Sitemap. لا يُبلغ المحلل المدمج عن أي خطأ.
ماذا تعني النتيجة
يخبر robots.txt الزواحف بالروابط المسموح لها بزحفها. وهو ليس أداة أمان ولا وسيلة لإزالة الصفحات من الفهرس: قد يبقى الرابط المحظور مفهرساً إذا أشارت إليه مواقع أخرى. لإبقاء صفحة خارج النتائج اتركها قابلة للزحف واستخدم noindex. ولا يلتزم به إلا الزواحف التي تحترم البروتوكول.
مشكلات شائعة تساعد هذه الأداة على حلها
- سطر «Disallow: /» منسي بعد الإطلاق يحظر الموقع كاملاً على محركات البحث.
- توجيه بخطأ إملائي أو مسار بلا شرطة مائلة أولى يُتجاهل دون تنبيه.
- حظر مجلدات CSS وJavaScript يمنع جوجل من عرض صفحاتك بشكل صحيح.
- محاولة حظر زواحف الذكاء الاصطناعي دون معرفة أسماء user-agent الدقيقة.
الأسئلة الشائعة
أين يوضع ملف robots.txt؟
في جذر المضيف، مثل https://example.com/robots.txt. لكل نطاق فرعي ولكل بروتوكول ملفه الخاص، ولا ينطبق على المجلدات الفرعية.
هل يمنع حظر GPTBot أو ClaudeBot تدريب الذكاء الاصطناعي؟
هو طلب موجه للزواحف التي تحترم robots.txt. ولا يؤثر في الزواحف التي تتجاهله ولا في البيانات التي جُمعت أصلاً. يحظر قالب الذكاء الاصطناعي في الأداة زواحف التدريب فقط دون المساس بجوجل أو Bing.
هل يستطيع robots.txt إزالة صفحة من جوجل؟
لا. هو يتحكم في الزحف وليس في الفهرسة. لإزالة صفحة اتركها قابلة للزحف وأضف وسم meta robots noindex أو ترويسة X-Robots-Tag.
أدوات ذات صلة
- فاحص ملف robots.txtالصق ملفك أو أدخل نطاقاً. تطبق الأداة قواعد RFC 9309 وتبلغ عن الأخطاء وتخبرك هل يستطيع زاحف معين جلب رابط ما.مجاني · بدون حساب
- منشئ خريطة الموقع XMLالصق روابطك رابطاً في كل سطر فتنتج الأداة ملف sitemap.xml صالحاً ومُهرَّباً بشكل صحيح وتقسمه بفهرس إذا تجاوزت الحدود.مجاني · يعمل في متصفحك
- منشئ وسم meta robotsحدد التوجيهات المطلوبة فتنتج الأداة وسم meta robots وترويسة X-Robots-Tag ومقتطفات Apache وNginx المقابلة.مجاني · يعمل في متصفحك
- مدقق خريطة الموقع XMLأدخل عنوان الخريطة أو الصق XML الخاص بها فتفحص الأداة البنية والحدود وكل قيمة وتحسب عدد الملفات اللازمة.مجاني · بدون حساب
- منشئ وسم canonicalالصق رابط صفحة فتنظفه الأداة (https ومعاملات التتبع والجزء وملف index والشرطة الأخيرة) وتنتج وسم canonical وترويسة HTTP.مجاني · يعمل في متصفحك
- فاحص وصول زواحف الذكاء الاصطناعيأدخل موقعاً لتقرأ الأداة ملف robots.txt وتعرض لكل زاحف ذكاء اصطناعي معروف هل يحق له الزحف وأي سطر حسم ذلك وما غرضه: التدريب أو البحث أو إجراء يطلبه مستخدم.حساب مجاني · 3 فحوصات مباشرة يومياً