يعمل على بنية تحتية Oracle Cloud (OCI) ، و WEKA NeuralMesh و Augmented Memory Grid البرمجيات توفر 10 أضعاف من معدل تسليم الرموز، 10 أضعاف من المستخدمين المتزامنين و 7 أضعاف من الرموز لكل GPU،مقارنة مع بيئات OCI القياسية التي تعتمد فقط على DRAM المحلية.
شبكة الذاكرة المضخمة WEKA® تمدد ذاكرة خادم GPU لاستدلال الذكاء الاصطناعي من خلال الاستفادة من التخزين الخارجي عبر NeuralMesh ، وتحويل الموارد الخارجية إلى ذاكرة تخزين مؤقت عالية الأداء.يوفر تأخير ميكرو ثانية وعرض النطاق الترددي متعدد غيغابايت / ثانية، تقدم ما يصل إلى بيتا بايت من مساحة عنوان الذاكرة الإضافية ، مع التوافق الكامل مع هندسة تخزين المؤخذة المؤقتة SX KV من NVIDIA. NeuralMesh هو نظام ملفات الذكاء الاصطناعي عالي الأداء من WEKA.تم التحقق من صحة جميع المؤشرات المرجعية على مجموعة H100 المعدنية العارية OCI ذات 9 عقدات مع 100،000-رموز نوافذ السياق.
قال بابلو سالم، كبير مديري تطوير البرمجيات في OCI: "تستمر أعمال الذكاء الاصطناعي للمؤسسات في توسيع نوافذ السياق ورفع استخدام GPU إلى حدود جديدة.هذه المعايير تثبت أن حل "ويكا" يزيل اختناقات الذاكرة على "أوكي"، مما يسمح بحملات عمل استنتاجية أكبر وأكثر تطلبًا دون استثمارات أجهزة GPU إضافية.
يلاحظ "ويكا" أن الطلب المتزايد على الاستدلال يضخم عدم كفاءة البنية التحتية للذكاء الاصطناعي.يضر بتجربة المستخدم ويزيد من تكاليف التشغيل لكل رمزبالنسبة لأعباء عمل الذكاء الاصطناعي ذات السياق الطويل والعملي مع إدخالات تتجاوز 100،000 رمز، فإن هذه التكاليف العامة تضر بشدة باقتصاد الوحدة من عمليات نشر الذكاء الاصطناعي الإنتاجية.
تم بناء المعيار على 9 عقد ، و 72 H100 GPU ، ونوافذ سياقية تتكون من 100000 رمز وآلاف المستخدمين المتزامنين ، مع وجود فجوات واضحة في الأداء كما هو موضح أدناه:
-
قدرة المستخدمين في وقت واحد: يدعم WEKA أكثر من 5000 مستخدم متزامن ، مقابل 600 فقط على إعدادات DRAM فقط. يمنع فشل تشبع الذاكرة المؤقتة من خلال توسيع الذاكرة المؤقتة النشطة من 8.64 TiB DRAM إلى 287 TiB NVMe التخزين الفلاشي ،تعظيم عائد الاستثمار على أجهزة GPU الحالية دون شراء GPU إضافية.
-
معدل إرسال الرموز: وصل كومة WEKA إلى حوالي 2 مليون رمز في الثانية، أسرع بـ 10 مرات من مستوى الأساسي الذي يقل عن 200،000 رمز في الثانية من أنظمة DRAM فقط.
-
إجمالي حجم معالجة الرموز: في اختبار لمدة ساعة واحدة مع 2400 مستخدم متزامن ، عالجت WEKA 5 مليارات رمز ، في حين أن إعداد DRAM فقط لم يعالج سوى 700 مليون رمز.
بالنسبة لتدفقات عمل الذكاء الاصطناعي العامل، فإن عدم كفاية DRAM تؤدي إلى إعادة حساب GPU المستمرة بعد تشبع ذاكرة التخزين المؤقت، مما يرفع تكاليف كل رمز ويقلل من عائد الاستثمار.WEKA تخفض بشكل كبير التكاليف الإجمالية للعملات الرقمية للخدمات الإنتاجية.
بالنسبة لخدمات الذكاء الاصطناعي في الوقت الحقيقي بما في ذلك البحث والملخص ومساعدة التعليمات البرمجية ووكلاء متعددة الدورات ، يحدد معدل تسليم العملات الرمزية حدود الخدمة لقدرة المستخدم ،سرعة الاستجابة وإمكانات إيرادات البنية التحتيةتحسين 10 أضعاف الناتج يفتح تماما قوة الحوسبة GPU الأصلية داخل مجموعة OCI.
باختصار، يساعد برنامج توسيع الذاكرة من WEKA® منصات السحابة على خدمة المزيد من المستخدمين ومعالجة المزيد من الرموز وتخفيض التكاليف التشغيلية بفعالية.
قال ليران زيفيل، الرئيس التنفيذي لشركة WEKA: "إن أداء الاستدلال يعاني من اختناقات بسبب الذاكرة الفعالة المتاحة لـ GPU. تثبت هذه النتائج أن تحديثات الأجهزة وحدها لا يمكن أن تحل مشاكل اقتصادية رمز الذكاء الاصطناعي.الحد الحقيقي هو جدار الذاكرة القائم منذ فترة طويلة تقييد أداء GPUحل "ويكا" في OCI يزيد من قدرة معالجة الرموز بشكل كبير مع تحسين التكلفة الإجمالية للملكية.
نشرت OCI منهجية المعايير الكاملة وتكوينات النظام ونتائج الاختبار الكاملة على مدونة AI & Data Science الرسمية.
نيرال ميش مع شبكة الذاكرة المعززة متاحة الآن بشكل عام لعملاء ويكا ومدرجة في سوق أوراكل، مع OCI بمثابة شريك إطلاق السحابة الحصري.يمكن للشركات التي تستخدم استنتاج السياق الطويل على OCI، معمارية معتمدة بالكامل على الفور.
شركة بكين تشيانكسينغ جييتونغ للتكنولوجيا المحدودة
ساندي يانغ مدير الاستراتيجية العالمية
واتساب / ويتشات: +86 13426366826
البريد الإلكتروني: yangyd@qianxingdata.com
الموقع: www.qianxingdata.com/www.storagesserver.com
التركيز على الأعمال:
توزيع منتجات تكنولوجيا المعلومات والاتصالات / تكامل النظام والخدمات / حلول البنية التحتية
مع أكثر من 20 عامًا من الخبرة في توزيع تكنولوجيا المعلومات، نحن نتعاون مع العلامات التجارية العالمية الرائدة لتقديم منتجات موثوقة وخدمات مهنية.
استخدام التكنولوجيا لبناء عالم ذكي مزود خدمة منتجات تكنولوجيا المعلومات والاتصالات الموثوق به
يجب أن تكون رسالتك بين 20-3000 حرف!
Arabic
