ملف robots.txt وروبوتات الذكاء الاصطناعي: لماذا ينبغي التعامل مع GPTBot وClaudeBot وغيرهما بشكل منفصل

يصلنا من العملاء سؤالان متعاكسان. يقول أحدهم «لا أريد أن يُستخدم محتواي في تدريب الذكاء الاصطناعي، احجبوا كل شيء»، ويسأل آخر «لماذا لا نظهر في ChatGPT؟». وفي كثير من الأحيان يكون مصدر الأمرين الملف نفسه: robots.txt في جذر الموقع. في هذا المقال نشرح ما يفعله كل روبوت استناداً إلى وثائق الجهات المطوِّرة ودون اختلاق أي أرقام.

الإجابة المختصرة

يمكن حجب روبوتات التدريب (GPTBot وClaudeBot وGoogle-Extended)، ولا يؤدي ذلك بحد ذاته إلى خفض ظهورك في البحث. أما إذا حجبت روبوتات البحث والإجابة (OAI-SearchBot وClaude-SearchBot وPerplexityBot) فسيصعب ظهورك في عمليات البحث المقابلة بالذكاء الاصطناعي. ولأن لكل روبوت غرضاً مختلفاً، فقد يفسد سطر واحد من «احجب الكل» أمرين معاً.

هناك ثلاثة أنواع من الروبوتات

لا تؤدي برامج الزحف التابعة لشركات الذكاء الاصطناعي المهمة نفسها. والتمييز الذي يتضح من الوثائق هو التالي:

• روبوتات التدريب: قد تجمع المحتوى لتدريب نماذج الذكاء الاصطناعي التوليدي.
• روبوتات البحث: تفهرس الصفحات كي يمكن عرض موقعك في ميزة البحث لدى تلك الشركة.
• روبوتات المستخدم: حين يطرح أحدهم سؤالاً على الذكاء الاصطناعي، تفتح الصفحة وتقرأها في تلك اللحظة.

OpenAI: GPTBot وOAI-SearchBot وChatGPT-User

وفق صفحة الروبوتات لدى OpenAI، يزحف GPTBot على محتوى قد يُستخدم في تدريب النماذج التأسيسية للذكاء الاصطناعي التوليدي. وعدم السماح لـ GPTBot يعني أن محتواك ينبغي ألا يُستخدم في التدريب. أما OAI-SearchBot فيعمل على إظهار المواقع في ميزات البحث في ChatGPT، وتوصي OpenAI بالسماح له في robots.txt. والمواقع التي تحجب هذا الروبوت تبقى خارج إجابات البحث في ChatGPT، وقد تظهر على الأكثر كرابط تصفح.

الروبوت الثالث هو ChatGPT-User. يمكنه زيارة الصفحة حين يطرح مستخدم سؤالاً على ChatGPT. وتكتب OpenAI أن قواعد robots.txt قد لا تُطبَّق على هذه الزيارات لأن المستخدم هو من يبدؤها. أي أن robots.txt وحده ليس مكبحاً موثوقاً لهذا الروبوت.

ملاحظة بخصوص التوقيت: تقول OpenAI إن أنظمتها قد تحتاج إلى نحو 24 ساعة للتكيّف بعد تحديث robots.txt. فلا تغيّر الملف وتتوقع نتائج في اليوم نفسه.

Anthropic: ClaudeBot وClaude-SearchBot وClaude-User

تعتمد صفحة الدعم لدى Anthropic البنية الثلاثية نفسها. يجمع ClaudeBot محتوى الويب الذي قد يُستخدم في التدريب. ويحلّل Claude-SearchBot المحتوى لتحسين جودة نتائج البحث؛ وإن حُجب فلن تُفهرَس لأغراض البحث وقد ينخفض ظهورك. ويزور Claude-User الموقع حين يطرح أحدهم سؤالاً على Claude؛ وإن حُجب فلا يمكن جلب محتواك للإجابة عن أسئلة المستخدمين.

كما لا توصي Anthropic بالحجب حسب عنوان IP. والسبب: أن حجب IP يمنع الروبوت أيضاً من قراءة ملف robots.txt لديك، فقد لا يُرى تفضيلك على النحو الصحيح.

Perplexity وGoogle-Extended

في وثائق Perplexity يُعرَّف PerplexityBot بأنه الروبوت الذي يُظهر المواقع في نتائج بحث Perplexity، ويُذكر أنه لا يزحف على المحتوى لتدريب نماذج الذكاء الاصطناعي التأسيسية. وتوصي Perplexity بالسماح لهذا الروبوت. أما Perplexity-User فيزور الصفحة حين يطرح مستخدم سؤالاً، ولأنه يعمل بطلب من المستخدم فلا يلتزم عادةً بقواعد robots.txt.

وعلى جانب Google، الاسم المربك هو Google-Extended. فبحسب وثائق Google ليس وكيل مستخدم مستقلاً، بل مجرد رمز منتج يُستخدم في robots.txt. وهو يحدد ما إذا كان يجوز استخدام محتواك في تدريب نماذج Gemini المستقبلية وفي الربط بالمصادر (grounding). وتذكر الصفحة نفسها صراحةً أن Google-Extended لا يؤثر في الظهور في بحث Google وليس إشارة ترتيب. أي أن حجبه لا يضر ترتيبك الكلاسيكي في Google. أما علاقة AI Overviews بهذا الرمز فلم أجدها في الوثيقة المعنية، ولذلك لا أجزم بشيء في هذا الشأن.

مثال عملي على ملف robots.txt

إذا كان الهدف «لا أريد أن أُستخدم في التدريب لكن أريد الظهور في عمليات البحث بالذكاء الاصطناعي»، فيبدو الملف على هذا النحو:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: *
Allow: /

Sitemap: https://alanadiniz.com/sitemap.xml

هذا قالب، فانظر إلى حالتك قبل نسخه كما هو. قد يرغب موقع ينشر الأخبار أو الأبحاث الأصلية في إغلاق التدريب. أما نشاط تجاري يبيع خدمات فيريد في الغالب أن يرد اسمه في إجابات الذكاء الاصطناعي، ويأتي استخدامه في التدريب في المرتبة الثانية. وهذه ليست نصيحة قانونية أو تجارية، بل خيار، وكلا الخيارين مشروع.

حدود robots.txt

ملف robots.txt ليس جدار حماية، بل ملاحظة تُترك للروبوتات الملتزمة. تقول الشركات الكبرى إن روبوتاتها تلتزم به، لكن هناك أدوات كشط تابعة لأطراف ثالثة تتجاهل القاعدة. وقد لا تُطبَّق القاعدة أيضاً على الروبوتات التي تعمل بطلب من المستخدم. وكتابة شيء في الملف لا تضمن ألا يُستخدم محتواك بطرق أخرى. والمحتوى الذي دخل بالفعل في بيانات التدريب لا يُسترجع.

إضافة تتعلق بالبنية التحتية: أعلنت Cloudflare في يوليو 2025 أنها بدأت حجب روبوتات الذكاء الاصطناعي افتراضياً في المواقع التي تستضيفها، وأنها تخطط لسؤال مالكي النطاقات الجدد عمّا إذا كانوا يسمحون بزواحف الذكاء الاصطناعي (بحسب تقرير MIT Technology Review). فإذا كان موقعك خلف Cloudflare فقد لا تصل الروبوتات إلى موقعك أصلاً، مهما كان مكتوباً في robots.txt. وإن أردت الظهور في الذكاء الاصطناعي فراجع هذا الإعداد من لوحة التحكم.

قائمة تحقق

1. افتح العنوان /robots.txt لنطاقك وتحقق من وجود سطر «Disallow: /» متبقٍّ. كثيراً ما يتركه إضافة برمجية أو بيئة اختبار.
2. تحقق مما إذا كان حجب روبوتات الذكاء الاصطناعي مفعّلاً في شبكة توصيل المحتوى (CDN) أو طبقة الحماية لديك (مثل Cloudflare).
3. قرّر: التدريب مغلق والبحث مفتوح، أم كل شيء مفتوح؟
4. حدّث الملف، وانتظر يوماً، وراقب طلبات الروبوتات في سجلات الخادم.
5. تابع ما إذا كانت علامتك تظهر في الإجابات عبر قياس الظهور في الذكاء الاصطناعي.

بعد أن تتمكن الروبوتات من قراءة موقعك، يأتي دور أن يكون ما تقرؤه منظماً. وفي ذلك يُعدّ llms.txt خطوة ثانية جيدة.

الأسئلة الشائعة