جوجل تنضم إلى OpenAI وAnthropic في دعم إشارات حظر الزحف
اتفاقية جديدة بين عمالقة التقنية تهدف إلى توحيد آلية رفض زحف المحتوى لأغراض التدريب، مما يمنح أصحاب المواقع سيطرة أكبر على استخدام بياناتهم.
رضوان عبدالهاديمحرر وكاتب تقني
اتفاقية موحدة للتحكم في تدريب النماذج
انضمت شركة جوجل رسمياً إلى تحالف تقني يضم OpenAI وAnthropic ومايكروسوفت، حيث التزمت الشركات الأربع باحترام توجيه جديد في ملف robots.txt. يهدف هذا التوجيه إلى تمكين أصحاب المواقع من تحديد تفضيلاتهم بوضوح فيما يتعلق بزحف المحتوى لأغراض تدريب نماذج الذكاء الاصطناعي التوليدي. جاء هذا الإعلان بعد فترة من المفاوضات التقنية، حيث قررت الشركات اعتماد مقترح قيد الدراسة لدى IETF، وهي المنظمة المفتوحة المعيارية للإنترنت.
من التعقيد إلى الإشارة الموحدة
أوضحت OpenAI وجوجل في إعلانيهما أن الوضع الحالي يتطلب من مالكي المواقع تحديد كل زاحف (Crawler) على حدة وإضافة قواعد منفصلة لكل مزود خدمة. هذا النهج أصبح معقداً مع تزايد عدد شركات الذكاء الاصطناعي. يأتي مقترح كلفن كيلي، وهو رئيس المعايير التقنية في Anthropic، لتغيير هذا الواقع من خلال إقناع عدة شركات بالاعتراف بإشارة مشتركة واحدة. بدلاً من التعامل مع عشرات الوكلاء المستخدمين (User Agents) المختلفة، ستتعامل المواقع مع إشارة موحدة تعني بوضوح أن المحتوى مخصص للتدريب.
آلية عمل التوجيه الجديد
يتطلب التوجيه الجديد من الناشرين إعداد وكيل مستخدم جديد في ملف robots.txt مخصص حصرياً لأغراض تدريب الذكاء الاصطناعي. يظهر هذا التوجيه في شكل أمر يمنع الزحف (Disallow) مع إمكانية السماح (Allow) لأقسام محددة. على سبيل المثال، يمكن للموقع منع الزحف العام للمحتوى التدريبي مع السماح به لملف الصحافة (Press Kit) إذا رغب بذلك. يهدف هذا التصميم إلى تقديم مرونة عالية لأصحاب المواقع الذين قد يرغبون في السماح باستخدام بعض المواد الترويجية مع حماية المحتوى الأساسي.
حدود التأثير على البحث والزحف
من المهم التمييز بين هذا التوجيه الجديد وأوامر منع الزحف العامة. هذا التوجيه لا يمنع الزحف كلياً ولا يمنع ظهور المحتوى في نتائج بحث جوجل. بدلاً من ذلك، ستفسر جوجل هذا التوجيه كإشارة توقف محددة لوكيل المستخدم الخاص بها المسمى "Google-Extended"، وهو الزاحف الذي يجمع المواد المستخدمة في تدريب نماذج Gemini. هذا يعني أن المحتوى سيبقى مرئياً للبحث العادي، لكنه لن يُستخدم كوقود لتدريب النماذج التوليدية ما لم يُسمح بذلك صراحة.
جدول زمني للتنفيذ
أعلنت الشركات عن جداول زمنية مختلفة لبدء دعم هذا التوجيه. بدأت Anthropic بالفعل في دعم التوجيه الجديد، بينما أكدت مايكروسوفت أنها ستبدأ التنفيذ في الأول من فبراير 2027. أما جوجل فأشارت إلى أنها ستدعم الإشارة في أوائل عام 2027، في حين تعهدت OpenAI بتنفيذ الإشارة الجديدة خلال الأشهر القادمة. هذا التدرج في التنفيذ يعكس حجم البنية التحتية التي تحتاج إلى تحديث في أنظمة الزحف لكل شركة.
عدم الرجوع في البيانات السابقة
يوضح الخبراء أن هذا التوجيه الجديد لا يمكنه التراجع عن أي زحف سابق تم إجراؤه. إذا كانت الشركات قد زحفت على صفحة معينة في الماضي، فإنها تمتلك بالفعل محتواها. الهدف من هذه المبادرة هو منع الزحف المستقبلي للمواقع أو الصفحات المحددة. هذا يعني أن البيانات التي تم جمعها قبل تفعيل التوجيه ستبقى ضمن مجموعات البيانات التدريبية الحالية، مما يثير تساؤلات حول مدى فعالية هذا الحل في حماية الخصوصية الرقمية على المدى الطويل.
المصادر
- EngadgetGoogle joins OpenAI and Anthropic in promising new scraping controls
تابع التسلسل الزمني
تغطية الكيانات المرتبطة
أخبار مرتبطة
جوجل تطلق نموذج Gemini 4 Argon بقدرة استدلال عميق
كشفت جوجل عن Gemini 4 Argon، نموذجها الأحدث الذي يتفوق في الأمن السيبراني والاستدلال المعقد. يتميز بكفاءة عالية وتكلفة أقل من المنافسين مع حدود مخرجات ضخمة.
مايكروسوفت: وكلاء الذكاء الاصطناعي يشبهون التهديدات الداخلية
أطلقت مايكروسوفت ميزة Guardian Agents لمراقبة وكلاء الذكاء الاصطناعي، محذرة من أن النماذج المتقدمة غير موثوقة وتتطلب أنظمة مراقبة مستقلة عن مزوديها.
أندرويد استوديو تتيح ربط أي وكيل ذكاء اصطناعي عبر ميزة BYOA
أطلقت جوجل ميزة BYOA في أندرويد استوديو، مما يتيح للمطورين دمج وكلاء الذكاء الاصطناعي المفضلين لديهم مثل Claude وCodex مع بنية تحتية محسّنة لرفع الكفاءة.
أوبن آي وجوجل ومايكروسوفت تتبنى معياراً موحداً لرفض الحصاد
تتجه كبرى شركات الذكاء الاصطناعي لاعتماد معيار IETF الجديد الذي يتيح للمدونات تحديد تفضيلات التدريب مرة واحدة بدلاً من تكرارها لكل شركة.
