لقد حققت مختبرات لايت بيتس و سكيل فلوكس100x إلى 280x تعزيز الأداءلحملات عمل التخزين المؤقت KV من خلال الاستفادة من برنامج التخزين المؤقت LightInferra لقراءة البيانات من SSDs التخزين الحسابي ScaleFlux.
قدمت الشركتان بيانات ذاكرة التخزين المؤقت KV إلى وحدات الرسومات المركزية المنتشرة داخل بيئة مركز بيانات FarmGPU ، وسوف تعرض هذه الاختراق في مؤتمر Nvidia's GTC القادم.يخزن ذاكرة التخزين المؤقت KV متجهات رمزية في ذاكرة عرض النطاق الترددي العالي لـ GPU (HBM)بمجرد استنفاد قدرة HBM ، يجب إعادة حساب كتل بيانات KV cache ، وهي عملية تستغرق وقتًا وتتدهور في تدريب الذكاء الاصطناعي وسرعات الاستدلال.هذا التباطؤ يصبح واضحاً بشكل خاص مع زيادة أحمال عمل الذكاء الاصطناعي، مما يؤدي إلى زيادة حادة في عدد الرموز المستخدمة لتوليد المتجهات.
يوسع برنامج KV cache بشكل منطقي طبقة التخزين المؤقت إلى الخارج: أولاً إلى وحدة المعالجة المركزية x86 وDRAM الخاصة بها على خادم GPU ، ثم إلى محركات أقراص NVMe المحلية في نفس النظام x86 ، ثم إلى أقراص SSD NVMe الخارجية.هذا التوسع المتدرج يلغي الحاجة إلى إعادة حساب متجهات الرمزفي حين أن أقراص NVMe SSD لديها بطبيعة الحال فترة تأخير وصول أعلى من HBM أو DRAM ، فإن استرداد متجهات الرموز المعدلة مسبقاً أسرع بكثير من إعادة حساب عشرات الآلاف منها من الصفر.يزعم "لايتبيتس" و"سكال فلوكس" أن حلولهم تسرع بشكل كبير استرداد بيانات الكاش KV من أقراص SSD.
قال آرثر راسموسون، مدير هندسة الذكاء الاصطناعي في مختبرات لايت بيتس: "نحن نقوم بتحويل ذاكرة الاستدلال من ذاكرة تخزين متردد إلى طبقة بيانات ذكية.
-كيف؟
من خلال الاستلام المسبق للبيانات المهمة فقط وتوصيلها إلى وحدات الرسوم البيانية عبر RDMA عالية السرعة قبل الحاجة إليها، نقوم بالقضاء على الصالات التي تحد تقليديًا من أداء السياق الطويل.النتيجة هي أقل وقت إلى أول رمز (TTFT)، أكثر استقرارًا في معدل التحميل في العالم الحقيقي، واستخدام GPU الفعال أعلى بكثير.
قال كيث ماكاي، المدير الأعلى لتصميم الحلول والشراكات التقنية في سكيل فلوكس:ما نعرضه في GTC هو نظرة مبكرة على كيفية وضع البيانات الذكية وإدارة حالة الانتباه المستمرة يمكن أن تساعد أنظمة الاستدلال على الاستجابة مع نمو نوافذ السياقهذا هو نوع من التعاون الذي نريد تشكيله جنبا إلى جنب مع المشغلين الحقيقيين.
تهدف كل من Lightbits و ScaleFlux إلى تشجيع مشغلي السحابة والبنية التحتية على اعتماد برامجهم وأقراص SSD الخاصة بهم ، مما يلغي وقت تعطل GPU المكلف.
دعونا أولاً ندرس مساهمة ScaleFlux، ثم ننتقل إلى طبقة البرمجيات الأكثر تطوراً من Lightbits.
توفر ScaleFlux أقراص SSD NVMe وأقراص التخزين الحاسوبي (CSDs) مجهزة بتكنولوجيا تخفيض الكتابة القائمة على الأجهزة (WRT).مدعومة بالضغط المتسارع بالأجهزة وإدارة البيانات الوصفية القائمة على SoC، هذه الأقراص توفر قدرة منطقية تزيد أربع مرات عن التخزين المادي، مع البقاء شفافة تماما للأنظمة المضيفة.الشركة عضو في اتحاد منصة فلاش مفتوحة (OFP)، والتي تعمل على إعادة تعريف البنية التحتية لبيانات الذكاء الاصطناعي مع كثافة، وانخفاض فترة تأخير،أنظمة كفاءة في استخدام الطاقة تقدم 10 أضعاف كثافة تخزين الذكاء الاصطناعي القائم على الملفات التقليدية وواحد العاشر فقط من استهلاك الطاقة.
بناءً على محركات التخزين هذه ، يضيف Lightbits الاستلام المسبق الذكي لبيانات KV Cacheقبل ذلكتتطلب GPUs ذلك ، مما يمنع التوقف الناجم عن عدم كفاية قدرة KV أو إعادة حساب متجهات الرمز المكلفة.يستخدم برنامج LightInferra الخاص به خوارزميات التخزين المؤقت KV Cache المثلى لسحب البيانات المطلوبة إلى ذاكرة GPU بسرعة RDMA قبل الطلب الفعلي.
مرة أخرى، كيف؟
البرنامج يعمل على مضيف x86 المدمج داخل خوادم الـ (GPU) ويتتبع أنماط الوصول إلى كتلة بيانات (كيفي كاش)يعمل بمحرك Sub-Linear Sparse Attention Prefetch (SLSAP) لتحديد كتل KV التي من المرجح أن تكون ضرورية بعد ذلك.
يجمع هذا المحرك بين التجزئة الحساسة للموقع (LSH) مع نمذجة إعادة الاستخدام الإحصائية تحليل موقع الوصول التاريخي في حسابات الانتباه لتسجيل وتحديد الأولوية للكتل KV ،ثم يختار تلك التي لديها أعلى احتمال ليتم طلبها من قبل GPUs.
تستفيد عملية الاختيار هذه من الندرة المتأصلة في الوصول إلى بيانات GPU: معظم الرموز المميزة لا تتعلق إلا بمجموعة فرعية صغيرة من الرموز السابقة. من خلال عزل هذه الكتل ذات الاحتمال العالي ، يمكن للمستخدمين الوصول إلى مجموعة صغيرة من الرموز المميزة.الحل يقلل بشكل كبير من حجم متجهات الرموز التي يجب أن يتم بثها مرة أخرى إلى وحدات المعالجة الفورية.
الخوارزمية الثانية تركز على أنماط إعادة الاستخدام: الرموز الحديثة، الرموز المماثلة من الناحية الدلالية،والأنماط الهيكلية الشائعة في RAG أو سيناريوهات الدردشة المتعددة الحلقات يتم إعادة استخدامها في كثير من الأحيان وتحديد الأولويات وفقا لذلك.
تستعيد LightInferra هذه الكتل الرمزية أولاً من DRAM لخوادم x86 ، أو من أقراص SSD ScaleFlux الخارجية إذا لزم الأمر ، ثم تقوم بتحميلها مسبقًا في HBM من GPUs عبر روابط RDMA.
قامت شركة لايت بيتس بتقييم هذا النهج ضد إعادة احتساب المحتوى المؤخّر من الصفر باستخدام عبء عمل نموذج اللغة الكبير ، وقياس التحسينات في وقت إلى أول رمز (TTFT).أرقام التسارع المبلغ عنها من 100x إلى 280x مستمدة مباشرة من نتائج الاختبار هذه.
بالطبع نود أن نرى نتائج مقارنة بين تسارع كاش Lightbits-ScaleFlux
مشروع مع مسرع الكاش KV من DDN، هامرسبيس، VAST البيانات، ويكا وغيرها
غير متاحة.
هناك مخططات تظهر كيفية تحسين LightInferra-ScaleFlux تدريجياً على TTFT تجديد ذاكرة التخزين المؤقت
مع زيادة حجم النموذج
يتم تقديم جميع بيانات المعايير ذات الصلة في الرسوم البيانية على نطاق السجل، مصممة في المقام الأول للمهنيين في علوم الكمبيوتر، ولكن اللغة البسيطة تجعل التأثير في العالم الحقيقي أسهل بكثير:النتيجة هي الأداء المستدام للوقت إلى الرمز الأول (TTFT) حيث تتراوح مقاييس السياق من 100k رمز إلى 1 مليون وما وراءها.
كما يقول (جونمايكل هاندز) من (فارم جي بي يو) ، عندما تستأنف محادثة 400 ألف رمز ويتعين على النظام إعادة إنشاء مخزن الكهف الكهفي بالكامل من الصفر،هذا يعني دقيقتين كاملة من وقت تشغيل مع GPU صفر رموز تم إنتاجهايغير LightInferra النموذج الاقتصادي بالكامل؛ نفس الحمل يعمل على إنتاج الرمز الأول في أقل من نصف ثانية، مما يحول مستوى المنتج غير القابل للحياة إلى مستوى مربح.
صممت Lightbits و ScaleFlux هذا الحل المشترك خصيصًا لمزارع GPU من الجيل التالي ، حيث تعمل كبسولة GPU الكبيرة مئات أو حتى الآلاف من أحمال عمل نموذج الذكاء الاصطناعي المتزامن.تقريبا كل من هذه الأحمال العمل سوف تصل إلى الحد من قدرة KV ذاكرة التخزين المؤقت في ذاكرة عرض النطاق الترددي العالي GPU (HBM).
في الإعدادات التقليدية، تواجه الفرق خيارين مكلفين: استرجاع بطيء لمتجهات الرمز من التخزين الخارجي العام،أو العملية الأكثر استهلاكًا للوقت لإعادة حساب تلك المتجهات من الصفر ، وكلاهما يترك GPUs جالسة لمدة ساعات متواصلةمزيج "لايت إنفيررا" و"سكال فلوكس" يزيل هذه النقطة المزعجة تماماً
وأضاف جونمايكل هاندز الرئيس التنفيذي لشركة FarmGPU: "التخزين الشبكي السريع من لايتبيتس يفتح ثروة من حالات الاستخدام الجديدة لاستنتاج السياق الطويل.من خلال ربط الخدمة المدارة لدينا مع التخزين عالية الأداء ليتبيتس تعمل على محركات القيادة سكالفلوكس NVMe، يمكننا تقليل الوقت إلى الرمز الأول وزيادة استخدام GPU ، مما يقلل بشكل كبير من التكلفة الإجمالية للملكية (TCO) لحملات العمل الاستدلالية.
التركيز على الأعمال:
توزيع منتجات تكنولوجيا المعلومات والاتصالات / تكامل النظام والخدمات / حلول البنية التحتية
مع أكثر من 20 عامًا من الخبرة في توزيع تكنولوجيا المعلومات، نحن نتعاون مع العلامات التجارية العالمية الرائدة لتقديم منتجات موثوقة وخدمات مهنية.
استخدام التكنولوجيا لبناء عالم ذكي مزود خدمة منتجات تكنولوجيا المعلومات والاتصالات الموثوق به
يجب أن تكون رسالتك بين 20-3000 حرف!
Arabic
