تحدي الاختيار بعد وفرة المحتوى

أصبحت النماذج التوليدية قادرة على إنتاج كميات هائلة من المحتوى المخصص بسرعة وتكلفة منخفضة. في منشور سابق، أوضحنا كيف يمكن لـ Amazon Bedrock إنتاج محتوى مخصص يحترم إرشادات العلامة التجارية. لكن التحدي الجديد لم يعد الإنتاج، بل الاختيار: أي نسخة من بين عشرات الخيارات يجب عرضها لكل عميل، وكم من الوقت يستغرق تعلم الإجابة الصحيحة؟ ويمكن الرجوع إلى AWS Machine Learning Blog للاطلاع على التفاصيل الأصلية للمصدر.

خوارزميات الأذرع متعددة الأهداف

تعتمد أمازون بايمنتس على خوارزميات الأذرع متعددة الأهداف (MAB)، وهي طريقة تعلم تقوياتي مصممة للبيئات التي تتسم بوفرة الخيارات وقلة حركة المرور. تتعامل الخوارزمية مع كل نسخة محتوى كـ "ذراع"، وتجربها أمام حركة المرور الحية، ثم تحوّل الانطباعات تدريجياً نحو الخيارات الأفضل أداءً مع الاحتفاظ بنسبة للاستكشاف المستمر. هذا التوازن بين الاستغلال والاستكشاف يسمح للنموذج بالتحسن المستمر دون انتظار انتهاء التجربة.

التخصيص عبر النطاق السياقي

بدلاً من تحديد أفضل محتوى للجميع، تعتمد الخوارزمية السياقية على إشارات عن الزائر. تم اختيار خوارزمية LinUCB، التي تفترض أن المكافأة المتوقعة دالة خطية لمتجه السياق. يمثل كل عميل متجه سلوكي (مثل سلوك الدفع وتكوين المعاملات) بدلاً من شرائح ثابتة. هذا يتيح للنموذج تعميم الأنماط المتعلمة على زوار جدد دون الحاجة لحركة مرور منفصلة لكل مجموعة.

تحسين مسار التحويل متعدد المراحل

يتكون مسار العميل من ثلاث مراحل: بدء الطلب، الإرسال، والاعتماد. المشكلة هنا هي "مشكلة الأرجوحة"؛ فالتحسين لمرحلة البدء قد يجذب جمهوراً واسعاً لكنه قد يضر بمرحلة الاعتماد. لحل ذلك، شغّل الفريق نموذج LinUCB واحداً لكل مرحلة، ودمج درجاتها عبر تركيبة خطية. هذا يتيح تحسين المسار ككل بدلاً من معزولة، مع مراعاة أولويات الأعمال في توزيع الأوزان.

النتائج والتحديات العملية

في اختبار A/B على الإنترنت استمر 7 أسابيع، رصد الفريق زيادة نسبية في التحويل النهائي (بأرقام أحادية مرتفعة) لشرائح معينة من العملاء، بينما لم تظهر تحسن لشرائح أخرى مقارنة بالتجربة الحالية. الدرس المستفاد هو أن المحتوى نفسه كان هو القيد الحقيقي، وليس النموذج. كما عالجت البنية التحتية مشكلة التأخير في التغذية الراجعة، حيث تتأخر قرارات الاعتماد لأيام، مما يتطلب آليات خاصة لتقدير المكافآت.

التطبيق العملي والموارد

لتسهيل فهم المنهجية، شاركت أمازون مستودعاً للكود يحتوي على مفكرة Jupyter سريعة البدء لاختبار هذه الطريقة على بيانات اصطناعية باستخدام Amazon SageMaker AI. يشمل المستودع أيضاً عرضاً سطر أوامر واختبارات وحدة، مما يتيح للمطورين تجربة الخوارزمية وفهم آليات ضبط معامل الاستكشاف (Alpha) عملياً.

المصادر

• AWS Machine Learning BlogUplifting conversion across the acquisition funnel with personalization using contextual bandits on AWS