معيار إشارات المحتوى: حماية حقوق الناشرين على ويب الوكلاء الأذكياء

تأسست العلاقة تاريخياً بين ناشري الويب وبرامج زحف محركات البحث على عقد بسيط: يقوم Googlebot بالزحف إلى موقعك، وفي المقابل، تتلقى زيارات إحالة من المستخدمين.

ولكن ظهور محركات البحث والإجابة القائمة على الذكاء الاصطناعي التوليدي قد أخل بهذا العقد. يقرأ مساعدو الذكاء الاصطناعي محتواك، ويلخصون الإجابات، ويعرضونها مباشرة للمستخدمين. وفي كثير من الحالات، لا ينقر المستخدم أبداً على أي رابط لزيارة موقعك، ومع ذلك تكون شركة الذكاء الاصطناعي قد استخدمت ملكيتك الفكرية لتقديم القيمة لمستخدمها.

لاستعادة السيطرة، طالب الناشرون بطريقة قياسية لتحديد كيفية استخدام وكلاء الذكاء الاصطناعي لمحتواهم بدقة.

تقود هذه المطالب تطوير معيار إشارات المحتوى (Content Signals)، الجاري تطويره حالياً بموجب مسودة IETF draft-romm-aipref-contentsignals بواسطة مجموعة عمل aipref (تفضيلات الذكاء الاصطناعي).

توفر إشارات المحتوى بروتوكولاً مقروءاً آلياً للإعلان عن سياسات المحتوى التفصيلية التي تظل قائمة عبر خوادم الوكيل، و شبكات الـ CDN، وأدوات الكشط. نوضح هنا كيفية عمل المعيار وكيفية تطبيقه في موقعك.

---

قيود ملف robots.txt في عصر الذكاء الاصطناعي

لعقود من الزمن، كان ملف robots.txt هو الطريقة الوحيدة لإدارة بوتات الزحف. ومع ذلك، فإنه يعاني من ثلاثة قيود رئيسية عند التعامل مع وكلاء الذكاء الاصطناعي:

1. التحكم الثنائي (كل شيء أو لا شيء): بموجب robots.txt، يمكنك إما السماح بالزاحف أو حظره تماماً. لا يمكنك أن تقول: "يمكنك عرض محتواي في نتائج البحث، ولكن لا يمكنك استخدامه لتدريب أوزان النموذج الخاص بك."
2. معيار طوعي: يعتمد النظام على احترام بوت الزحف للقواعد طواعية. لا يوجد تحقق تشفير أو فرض للقواعد على مستوى البروتوكول.
3. عدم استمرار القواعد في المصب (Downstream): إذا قرأ خادم وكيل أو كاشط صفحتك وقام بتخزينها، فستفقد قواعد robots.txt. ولن يكون لدى المستخدمين اللاحقين أي طريقة لمعرفة تفضيلاتك الأصلية.

---

كيف تعمل إشارات المحتوى (Content Signals)؟

تحل إشارات المحتوى هذه المشاكل عن طريق تضمين التفضيلات مباشرة في طبقة رؤوس استجابة HTTP (HTTP Response Headers) والبيانات التعريفية لمستند HTML.

يقدم المعيار مفردات جديدة للقيمة والرمز تستهدف ثلاثة تفضيلات رئيسية لاستخدام محتوى الذكاء الاصطناعي:

• ai-train: يعلن ما إذا كان الناشر يسمح بدمج محتواه في أوزان التدريب الأساسية للنماذج المستقبلية. (yes أو no)
• search: يعلن ما إذا كان الناشر يسمح باسترجاع محتواه في الوقت الفعلي للإجابة على استعلامات البحث (مثلاً عبر RAG). (yes أو no)
• ai-input: يعلن ما إذا كان بإمكان مساعد ذكاء اصطناعي موجه من المستخدم قراءة الصفحة كسياق لمحادثة فورية معينة. (yes أو no)

مثال على رأس استجابة HTTP (HTTP Response Header):

Content-Signal: ai-train=no, search=yes, ai-input=yes

من خلال تقديم هذه الإشارة في رؤوس HTTP، يمكن لشبكات الـ CDN مثل Cloudflare التحقق من تفضيلاتك عند الحافة (Edge) وتقديم النسخ المخزنة مؤقتاً وفقاً لذلك، أو إرفاق مقاييس مثل الرموز المستهلكة x-markdown-tokens.

---

تطبيق إشارات المحتوى على موقعك الإلكتروني

لتبني إشارات المحتوى قبل الاعتماد النهائي لـ IETF RFC، قم بتطبيق خطوتي التكامل التاليتين:

1. طبقة رؤوس HTTP (HTTP Header Layer)

قم بتكوين خادمك أو شبكة الـ CDN لإضافة رأس Content-Signal إلى جميع طلبات المستندات الصادرة. في مشاريع Next.js App Router، يمكنك إدراج هذا الرأس داخل ملف middleware أو معالجات المسار المخصصة (Route Handlers):

// مثال على تكوين استجابة Next.js
export function GET() {
  return new Response("محتوى الصفحة", {
    headers: {
      "Content-Signal": "ai-train=no, search=yes, ai-input=yes"
    }
  });
}

2. تكامل ملف robots.txt

أضف التوجيه مباشرة في أسفل ملف robots.txt لضمان قيام وكلاء الزحف باستخراج القاعدة أثناء زحفهم الأولي:

# Content Signals AI preferences
Content-Signal: ai-train=no, search=yes, ai-input=yes

من خلال نشر إشارات محتوى واضحة، فإنك تؤسس لموقف شفاف ومقروء آلياً بشأن حقوق بيانات الذكاء الاصطناعي، مما يحمي ملكيتك الفكرية القيمة بينما تظل قابلاً للاكتشاف في عصر الذكاء الاصطناعي التوليدي.