طورت MinIO نظام تخزين مؤقت MemKV على نطاق بيتا بايت مصمم خصيصًا لـ Nvidia GPUs ، تم نشره فوق منصة تخزين الكائنات AIStor.
تتطلب مجموعات GPU التي تعمل الاستدلال ذاكرة عرض النطاق الترددي العالي (HBM) لتخزين السياق والرموز المتجهة وأزواج قيمة المفتاح المتوسطة (KV). بمجرد تشبع GPU HBM ، يتم تحويل الذاكرة إلى ذاكرة متوسطة النطاق الترددي.تسجيلات البيانات إلى أسفل إلى CPU DRAM و NVMe SSDs، يتم إدارتها بواسطة Nvidia BlueField-4 (BF4) DPUs. عندما تصل هذه المستويات إلى السعة ، يعمل MinIO AIStor كنسخة احتياطية أخيرة للتخزين. تحكم بنية Nvidia STX هذه التسلسل الهرمي للتخزين المؤقت متعدد الطبقات.و MemKV يمتثل للمعيار لتقديم مستمر، سياق مشترك عبر مجموعات GPU على نطاق أعلى.
علق أ.ب. بيرياسامي، المؤسس المشارك والمدير التنفيذي المشارك لشركة ميني أو: "لقد كانت الصناعة تتحمل خسارة السياق لسنوات لأن على نطاق صغير، قد تمتص ضريبة إعادة الحساب.في كثافة GPU العالية اليوم لـ hyperscalers و neocloudsهذا لم يعد ممكناً
إعادة حساب السياقات المولدة تضيع الطاقة؛ بالنسبة للمجموعات التي تحتوي على الآلاف من وحدات المعالجة المركزية، فإنه يخلق عدم كفاءة هيكلية أساسية. الاستدلال على نطاق واسع يتطلب بنية تحتية مصممة خصيصا،و تم تصميم MemKV خصيصا لهذا مسار البيانات.
لأول مرة، يسمح MinIO بمشاركة مجموعات السياق لجميع مجموعات GPU بمستوى الكمون في ميكرو ثانية مماثلة لتدفقات العمل الاستدلالية،تجنب تأخيرات الميلي ثانية من التخزين الخارجي التقليديبدون مستويات كافية من ذاكرة التخزين الاحتياطي، فإن وحدات الرسوم البيانية تضيع الموارد على إعادة حساب السياق المتكررة.
في توزيع 128GPU مع طول سياق رمز 128K ، تحسنت MemKV من وقت إلى أول رمز تحت أحمال الإنتاج وزادت من استخدام GPU من 50٪ إلى أكثر من 90٪ ،وتوليد ما يقدر بـ 2 مليون دولار سنوياً من وفورات تكاليف الحوسبة.
تم بناء MemKV خصيصًا لهندسة معمارية Nvidia STX ، ويدعم أدوات التخزين المؤقت Nvidia Dynamo و NIXL. ويوفر بيتابايت من ذاكرة السياق المشتركة بتكاليف مستوى SSD ،فصل قياس القرص الاحتياطي من موارد الحوسبة في GPUيتم سرد خصائصها الأساسية أدناه:
-
دعم BF4 STX الأصلي: يتم تشغيله كخادم ثنائي ARM64 داخل بنية تحتية STX ، مضمنة في التخزين بدلاً من خوادم التخزين x86 منفصلة.
-
نقل RDMA من نهاية إلى نهاية: ينقل ذاكرة التخزين المؤقت KV بين ذاكرة GPU و NVMe عبر RDMA ، وتجاوز بروتوكولات تخزين الملفات والكائنات التقليدية.
-
حجم كتلة محسّنة لـ GPU: يستخدم كتل 2 ′′ 16 MB لمطالب معدل سرعة تشغيل GPU ، بدلاً من كتل التخزين القديمة البالغة 4 KB.
-
أداء سرعة الأسلاك: تم تحسينها لـ Nvidia Spectrum-X Ethernet و PCIe Gen6 لتحقيق أقصى قدر من سعة النسيج المادي.
تقوم MemKV بنقل البيانات مباشرة من أقراص NVMe SSD إلى خطوط أنابيب الذكاء الاصطناعي عبر RDMA ، مما يلغي تكاليف HTTP العامة وتحويل نظام الملفات وخوادم التخزين الوسيطة.
تصنف MinIO حلول الذاكرة السياقية المتنافسة إلى نوعين: NVMe المحلية غير القابلة للمشاركة (G3) والتخزين المشترك للأغراض العامة (G4).والتي تميز نفسها عن منتجات التخزين العامة.
تؤكد الشركة أن البائعين القديمين من عروض G3.5 لا يزالون يحتفظون بعقد البروتوكول الزائدة ، وخدمات البيانات الوصفية وطبقات ترجمة الملفات.هذه الطبقات تضمن المتانة والاتساق لبيانات التدريب وأوزان النموذج، ومع ذلك فهي غير ضرورية للخزنة المؤقتة KV القابلة لإعادة الحساب والتي تم تحسينها للكتل البيانات 2 ′′ 16 MB.
يقدم بائع RAID الأجهزة GRAID وشركة التخزين WEKA أيضًا حلول تخزين KV متوافقة مع STX. مجموعة واسعة من بائعي التخزين يدعمون Nvidia STX ، بما في ذلك Cloudian و Dell و DDN و Everpure ،مساحة المطرقة، هيتاشي فانتارا، هب، لايت بيتس/سكال فلوكس، نيتاب، نوتانيكس، بيك: أيو، بليوبس وداتا فاست.
شركة بكين تشيانكسينغ جييتونغ للتكنولوجيا المحدودة
ساندي يانغ مدير الاستراتيجية العالمية
واتساب / ويتشات: +86 13426366826
البريد الإلكتروني: yangyd@qianxingdata.com
الموقع: www.qianxingdata.com/www.storagesserver.com
التركيز على الأعمال:
توزيع منتجات تكنولوجيا المعلومات والاتصالات / تكامل النظام والخدمات / حلول البنية التحتية
مع أكثر من 20 عامًا من الخبرة في توزيع تكنولوجيا المعلومات، نحن نتعاون مع العلامات التجارية العالمية الرائدة لتقديم منتجات موثوقة وخدمات مهنية.
استخدام التكنولوجيا لبناء عالم ذكي مزود خدمة منتجات تكنولوجيا المعلومات والاتصالات الموثوق به
يجب أن تكون رسالتك بين 20-3000 حرف!
Arabic
