صراع الـ robots.txt: كيف تكون 27% من المواقع الإلكترونية غير مرئية للذكاء الاصطناعي بالخطأ؟

عندما بدأت ثورة الذكاء الاصطناعي، كانت الغريزة الأولى للعديد من ناشري الويب والإدارات القانونية وفرق الأمن السيبراني بسيطة: حظر كل شيء.

قام الكثيرون بإضافة سطرين بسيطين إلى ملف robots.txt الخاص بهم:

User-agent: *
Disallow: /

أو استهدفوا تحديداً برامج الزحف مثل GPTBot و ClaudeBot لمنع النماذج اللغوية من كشط (scraping) محتواهم.

ولكن بالانتقال إلى عام 2026، تغير المشهد تماماً. أصبحت محركات بحث الذكاء الاصطناعي مثل ChatGPT Search (OAI-SearchBot) و Claude Search (Claude-SearchBot) و Perplexity توجه حركة مرور إحالة (referral traffic) كبيرة وذات معدلات تحويل عالية جداً.

كشف تحليل حديث لمواقع الشركات الكبرى عن إحصائية مذهلة: 27% من المواقع الإلكترونية غير مرئية تماماً لمحركات بحث الذكاء الاصطناعي بالخطأ.

هذا الاختفاء ليس نتيجة لقرار تجاري متعمد، بل هو نتاج سوء فهم أساسي لديناميكيات برامج الزحف، إلى جانب فلاتر الأمان المخفية على مستوى الحافة (Edge-level) في شبكات توزيع المحتوى (CDNs) مثل Cloudflare.

في هذا الدليل العملي، سنوضح الفرق بين بوتات تدريب نماذج الذكاء الاصطناعي وبوتات البحث، وكيفية تجنب الحظر غير المقصود، والقوالب الدقيقة لتأمين ملكيتك الفكرية مع تحقيق أقصى قدر من الظهور في محركات بحث الذكاء الاصطناعي.

---

التمييز الحاسم: بوتات التدريب مقابل بوتات البحث

يفترض العديد من المطورين والمسوقين أن حظر GPTBot يمنع ChatGPT من قراءة موقعهم. هذا افتراض خاطئ، والأهم من ذلك أنه يمكن أن يؤدي إلى خسارة كارثية لظهور الموقع.

تنشر شركات الذكاء الاصطناعي فئتين متميزتين من برامج الزحف (Crawlers):

1. بوتات تدريب النماذج (المعالجة غير المتصلة بالإنترنت): تقوم هذه البوتات بالزحف إلى الويب لبناء مجموعات بيانات ضخمة تُستخدم لتدريب النماذج الأساسية المستقبلية. يمنع حظرها دمج محتواك في أوزان النموذج الأساسي.

   • أمثلة: GPTBot (OpenAI)، ClaudeBot (Anthropic)، Google-Extended (Google).

2. بوتات البحث والاسترجاع (الاسترجاع في الوقت الفعلي - RAG): تقوم هذه البوتات بالزحف إلى الويب في الوقت الفعلي عندما يطرح المستخدم استعلاماً (الاسترجاع المعزز بالتوليد، أو RAG). إذا قمت بحظر هذه البوتات، فسيتم استبعادك تماماً من الاستشهادات في الوقت الفعلي ونتائج بحث الذكاء الاصطناعي.

   • أمثلة: OAI-SearchBot (OpenAI)، Claude-SearchBot (Anthropic)، PerplexityBot (Perplexity).

جدول مرجعي لمعرفات مستخدمي الذكاء الاصطناعي (User-Agents)

المزود	التدريب (حظر)	البحث (سماح)	الموجه من المستخدم (سماح)
OpenAI	GPTBot	OAI-SearchBot	ChatGPT-User
Anthropic	ClaudeBot	Claude-SearchBot	Claude-User
Google	Google-Extended	Googlebot	—
Perplexity	—	PerplexityBot	—

---

خطأ الـ 27%: الحظر غير المقصود في طبقة WAF

بينما يعد ملف robots.txt معياراً طوعياً، فإن جدران حماية تطبيقات الويب (WAF) وشبكات توزيع المحتوى (CDNs) تفرض الحظر مباشرة على مستوى الشبكة.

وفقاً لبيانات Cloudflare، فإن أكثر من ربع المواقع التي تحظر برامج زحف الذكاء الاصطناعي تفعل ذلك دون قصد بسبب إعدادات الحماية الأمنية لديهم.

1. ميزة Cloudflare Bot Fight Mode (BFM) في الخطط المجانية

تعد ميزة Bot Fight Mode (BFM) من Cloudflare أداة قوية لمنع الكشط الضار. ومع ذلك، في الخطط المجانية، تعمل BFM على مجموعة قواعد مبسطة لا تسمح باستثناءات مخصصة. إذا قمت بتشغيل Bot Fight Mode، ستقوم Cloudflare تلقائياً بحظر البوتات المعتمدة مثل OAI-SearchBot و ClaudeBot مع إرجاع خطأ 403 Forbidden.

• الحل: إذا كنت تستخدم خطة Cloudflare المجانية، فيجب عليك إيقاف ميزة Bot Fight Mode والاعتماد على قواعد WAF المخصصة لحظر كاشطي البيانات الضارين بدلاً منها.

2. مجموعات قواعد WAF المدارة (Super Bot Fight Mode)

في خطط Pro و Business و Enterprise، يتيح لك نظام Super Bot Fight Mode (SBFM) تكوين القواعد. ومع ذلك، يطبق العديد من المسؤولين قواعد شاملة لـ "حظر برامج زحف الذكاء الاصطناعي" (تحت مرحلة firewallManaged / http_request_sbfm) مما يحظر بوتات البحث المعتمدة جنباً إلى جنب مع بوتات التدريب.

• الحل: قم بإنشاء قاعدة WAF مخصصة في مرحلة http_request_firewall_custom (التي تعمل قبل مجموعات القواعد المدارة) مع إجراء skip يستهدف كلاً من القواعد المدارة ونظام SBFM للتعبير cf.client.bot.

---

تصميم سياسة زحف ذكية وجراحية للذكاء الاصطناعي

لحماية ملكيتك الفكرية من تدريب النماذج مع ضمان إحالتك والتوصية بك بواسطة مساعدي الذكاء الاصطناعي، تحتاج إلى استراتيجية حظر جراحية ومحددة.

نوصي بالتكوين التالي لملف robots.txt:

User-agent: *
Allow: /
Disallow: /api/

# حظر بوتات تدريب الذكاء الاصطناعي
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

# السماح لبوتات البحث والاسترجاع للذكاء الاصطناعي
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

إشارات المحتوى (Content Signals RFC Draft)

إشارات المحتوى هي مسودة IETF ناشئة (draft-romm-aipref-contentsignals) تتيح للناشرين تحديد كيفية استخدام عملاء الذكاء الاصطناعي لمحتواهم بدقة. أضف هذا العنوان (Header) إلى استجابات HTTP الخاصة بك أو قم بتضمينه في ملف robots.txt:

Content-Signal: ai-train=no, search=yes, ai-input=yes

• ai-train=no: لا تستخدم هذا المحتوى لتدريب النماذج المستقبلية.
• search=yes: قم بتضمين هذا المحتوى في نتائج بحث الذكاء الاصطناعي في الوقت الفعلي.
• ai-input=yes: اسمح لمساعدي الذكاء الاصطناعي بقراءة هذه الصفحة عند طلب المستخدم ذلك مباشرة.

---

كيفية تدقيق مدى ظهور موقعك للذكاء الاصطناعي

لا تخمن ما إذا كان موقعك متاحاً أم لا. قم بتدقيقه باستخدام الخطوات التالية:

1. الطلب باستخدام Curl كعميل ذكاء اصطناعي: تحقق من كيفية استجابة خادمك لمعرفات مستخدمي الذكاء الاصطناعي عن طريق تشغيل أمر curl يحاكي OAI-SearchBot:

   curl -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; OAI-SearchBot/1.0; +http://openai.com/searchbot)" -I https://www.yourdomain.com
   

   إذا تلقيت استجابة 403 Forbidden أو 401 Unauthorized، فهذا يعني أن طبقة CDN أو WAF لديك تحظر بحث الذكاء الاصطناعي.

2. التحقق من ملف robots.txt: تأكد من أن خريطة الموقع وملف robots.txt منسقان بشكل صحيح ويمكن الوصول إليهما. تأكد من عدم وجود قواعد حظر شاملة متعارضة (User-agent: * Disallow: /) تلغي قواعد السماح الخاصة بك.

3. التحقق من الهيكل الدلالي لـ HTML: يستخرج وكلاء الذكاء الاصطناعي المعلومات عبر شجرة إمكانية الوصول (Accessibility tree). استخدم أدوات مطوري متصفح Chrome لفحص هيكل الصفحة للتأكد من استخدام العناوين المنطقية (h1 -> h2 -> h3) والعلامات الهيكلية الدلالية مثل <main> و <article>.

من خلال تطبيق استراتيجية حظر جراحية ومستهدفة، فإنك تحمي محتواك بينما تضمن حضور علامتك التجارية في الإجابات التي تشكل قرارات الشراء المستقبلية.