تحديات مراقبة 14 ألف حساب سحابي

تواجه الشركات الكبرى تحديات معقدة في إدارة التكاليف السحابية عند توسع نطاق عملياتها. تدير مجموعة BMW ما يزيد عن 14,000 حساب سحابي، وهو ما استدعى تطوير نظام داخلي يُعرف باسم Cloud Efficiency Analytics (CLEA) بالتعاون مع Data Reply، حيث يعتمد هذا النظام على بيئة ويمكن الرجوع إلى AWS Machine Learning Blog للاطلاع على التفاصيل الأصلية للمصدر.

في بداياتها، اعتمدت المنصة على لوحات معلومات ثابتة عبر ويمكن الرجوع إلى Artificial Intelligence للاطلاع على التفاصيل الأصلية للمصدر.

لتوفير رؤية للإنفاق. ومع ذلك، كان هذا النهج تفاعلياً بطبيعته؛ إذ لا تظهر التكاليف إلا بعد حدوثها وبشرط أن يقوم أحد الموظفين بمراجعة اللوحة، مما دفع الشركة للبحث عن حلول استباقية تستند إلى التنبؤ الآلي.

آلية جمع البيانات والمعالجة السحابية

تعتمد منصة CLEA على استيعاب بيانات الفواتير بشكل يومي من

، بالإضافة إلى تقارير من مزودي خدمات آخرين. تتم معالجة ما يقرب من 3 مليارات صف من البيانات شهرياً، حيث يتم تحويلها إلى وحدة موحدة للتحليل تشمل التكلفة اليومية لكل حساب مقابل كل خدمة سحابية مستخدمة.

يتم تحليل البيانات بفاصل زمني يوم واحد (T-1) لضمان دقة التقارير. ونظراً لأن كل حساب قد يستخدم خدمات متنوعة مثل

أو

، فإن إجمالي المجموعات المحللة يصل إلى مئات الآلاف، وهو ما يتطلب معالجة مستقلة لكل منها عبر بنية تحتية لا خادمة (Serverless) عالية الكفاءة.

الاستعانة بالذكاء الاصطناعي للتنبؤ

لبناء أساس للإنفاق المتوقع، استخدمت المجموعة مكتبة Prophet من Meta للتنبؤ بالسلاسل الزمنية للتكاليف. يعمل النظام على تدريب النموذج بناءً على تاريخ إنفاق يمتد لـ 365 يوماً لكل زوج من الحساب والخدمة.

تتم عملية التنسيق اليومي باستخدام

، حيث يتم توزيع المهام على 500 دالة Lambda متزامنة. هذه الهندسة تتيح إنهاء عملية المسح والتحليل لـ 14,000 حساب في غضون 20 دقيقة فقط، بتكلفة تشغيلية منخفضة جداً للجانب الحاسوبي لا تتجاوز 50 دولاراً شهرياً لكل حساب.

تصفية التنبيهات ومنع التنبيهات الخاطئة

التحدي الأكبر كان في تجنب «الضجيج» الناتج عن القواعد الثابتة. لذا، يعتمد نظام CLEA على المقارنة الديناميكية؛ فبدلاً من وضع حد أدنى ثابت للتنبيه، يتعلم النظام المسار الطبيعي لكل حساب.

يطبق النظام عدة فلاتر للحد من التنبيهات، منها استثناء الخدمات ذات الإنفاق المنخفض جداً، وتطبيق عتبة انحراف لا تقل عن 40%. كما توجد مرشحات خاصة لخدمات مثل

و

، حيث يتم رفع عتبة الانحراف إلى 60% نظراً لطبيعة عمل هذه الخدمات التي تسبب تقلبات طبيعية في التكاليف، مما يضمن أن التنبيهات المرسلة لأصحاب الحسابات تعكس حالات شذوذ حقيقية وليست مجرد أنماط عمل اعتيادية.

المصادر

• AWS Machine Learning BlogHow BMW Group detects cost anomalies across 14,000 cloud accounts