Arabic
أصدرت MinIO MemKV ، وهو مخزن ذاكرة سياق مخصص تم إنشاؤه لحل مشكلة كبيرة في أنابيب استنتاج الذكاء الاصطناعي واسعة النطاق.بمثابة الحل الرئيسي الثاني لـ MinIO جنبا إلى جنب مع AIStorتم تصميم MemKV لتقديم بيانات سياقية ثابتة ومشتركة لحملات عمل الذكاء الاصطناعي العاملة التي تعمل على مجموعات GPU الموزعة.
(مينيو أيستور)
ومع تقدم أنظمة الذكاء الاصطناعي من الردود المفردة إلى التفكير المتعدد الدورات وتنفيذ المهام الآلي، أصبح الحفاظ على السياق المستمر عبر دورات الاستدلال أمرًا ضروريًا بشكل متزايد.في إطار البنية الحالية، غالبًا ما يتم التخلص من بيانات السياق بسبب السعة المحدودة لمستويات الذاكرة المجاورة لـ GPU بما في ذلك HBM و DRAM. وهذا يجبر GPUs على إعادة حساب السياق الموجود مرارًا وتكرارًا ، مما يؤدي إلى زيادة فترة الكمون ،استخدام الحسابات واستهلاك الطاقةتعرّف MinIO هذا الحمل الإضافي من العمل على أنه "ضريبة إعادة الحساب" ، وهو عدم كفاءة يزداد سوءًا بشكل كبير في بيئات السحابة فائقة الحجم.
تم تصميم MemKV لتخفيف هذه النقطة المزعجة من خلال طبقة ذاكرة مشتركة ومستمرة قادرة على التخزين على نطاق بيتابايت مع تأخير الوصول على مستوى الميكرو ثانية.من خلال الاحتفاظ بالبيانات السياقية في جميع أنحاء سير العمل الاستدلال، المنصة تقلل من الحسابات الزائدة وتعزز كفاءة البنية التحتية بشكل عام.البيانات المرجعية الداخلية من MinIO تثبت تحسين وقت-إلى-أول رمز تأخير في ظل التزامن في مستوى الإنتاجفي عملية نشر نموذجية مجهزة بـ 128 GPU و128K نافذة سياق رمزية ، قفز استخدام GPU من حوالي 50٪ إلى أكثر من 90٪ ، مما يترجم إلى تخفيضات كبيرة في تكاليف الحوسبة السنوية.
ذكر مسؤولون تنفيذيون في MinIO أن تكاليف إعادة الحوسبة لا تزال غير ملحوظة في عمليات النشر الصغيرة ، ولكنها تتحول إلى عيب هيكلي أساسي على نطاق المؤسسة. مع توسع مجموعات GPU ،التجديد المتكرر للسياق يتسبب في ارتفاع استهلاك الطاقة ونفقات البنية التحتية، مما يجعل أنظمة الذاكرة المتخصصة لا غنى عنها لتشغيل الذكاء الاصطناعي المستدام.
معالجة التباين في مستوى الذاكرة
البنية التحتية للذكاء الاصطناعي القديمة تجبر المطورين على التسوية بين سرعة الوصول وسعة التخزين.توفر مستويات الذاكرة عالية الأداء مثل HBM و DRAM تأخيرًا بميكرو ثانية ولكنها تأتي مع حدود محدودة للقدرة والتكاليف المرتفعةعلى النقيض من ذلك، توفر أنظمة التخزين التقليدية قابلية توسيع هائلة لكنها تعاني من تأخر مستوى الميللي ثانية، مما يجعلها غير متوافقة مع استنتاج الوقت الحقيقي ومهام التفكير في السياق الطويل.
ميكرون HBM4
تمكن MemKV من سد هذه الفجوة في الصناعة من خلال إدخال طبقة ذاكرة مشتركة وسيطة توازن بين الكمون المنخفض للغاية وقابلية التوسع الكبيرة للتخزين.متوافقة بشكل أصلي مع NVIDIA BlueField-4 STX ومتكاملة مع NVIDIA Dynamo جنبا إلى جنب مع أدوات NIXL، يسمح الحل لمجموعات GPU بأكملها بالوصول إلى مجموعات البيانات السياقية الموحدة في سرعات الإرسال المتماسكة بالاستنتاج.هذا التصميم يلغي الهجرة المتكررة لبيانات السياق بين الذاكرة المعزولة وطبقات التخزين، تخفيض فترة الكمون ورفع معدل تسليم النظام.
NVIDIA BlueField-4
الهندسة المعمارية الأمثل لحملات العمل الاستدلالية
تم تصميم MemKV حصريًا لخطوط أنابيب البيانات الاستدلالية ، ويتلاءم مع طبقة G3.5 من إطار هرمية ذاكرة GPU من MinIO. بنيت على بنية تحتية تخزين NVMe ،يحقق سعة مستوى بيتا بايت مع الحفاظ على فترة تأخير الوصول الميكرو ثانية، بنجاح فصل قابلية التوسع في الذاكرة من موارد الحوسبة GPU.
يتخلى النظام عن تجريدات التخزين التقليدية المحرجة ، ونقل البيانات مباشرة من محركات NVMe إلى أنابيب بيانات الذكاء الاصطناعي عبر نقل RDMA من نهاية إلى نهاية.هذا يقلل من تكاليف الأداء التي تجلبها بروتوكولات HTTP، تحويل أنظمة الملفات وخوادم التخزين الوسيطة أعماق الزجاجة الشائعة في بنية التخزين القائمة على الكائنات والملفات.
مصدر: جوجل
تشمل التحسينات المعماري الرئيسية تنفيذ ثنائي ARM64 الأصلي على NVIDIA BlueField-4 STX ، المضمنة مباشرة داخل طبقة التخزين لتقليل الاعتماد على عقد التخزين x86 الخارجية.جميع عمليات نقل البيانات بين ذاكرة GPU وتخزين NVMe تتبنى نقل RDMAبالإضافة إلى ذلك، يستخدم MemKV أحجام الكتل الموسعة التي تتراوح من 2 ميغابايت إلى 16 ميغابايت،والتي تم تحسينها لخصائص معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة. يدعم أحدث أنواع أنسجة الاتصال بالإنترنت عالية السرعة مثل NVIDIA Spectrum-X Ethernet و PCIe Gen6 ، مما يسهل نقل البيانات بالقرب من سرعة الأسلاك عبر المجموعات.
التوافر
الآن متاح تجاريًا لتنفيذ الشركات.
شركة بكين تشيانكسينغ جييتونغ للتكنولوجيا المحدودة
ساندي يانغ مدير الاستراتيجية العالمية
واتساب / ويتشات: +86 13426366826
البريد الإلكتروني: yangyd@qianxingdata.com
الموقع: www.qianxingdata.com/www.storagesserver.com
التركيز على الأعمال:
توزيع منتجات تكنولوجيا المعلومات والاتصالات / تكامل النظام والخدمات / حلول البنية التحتية
مع أكثر من 20 عامًا من الخبرة في توزيع تكنولوجيا المعلومات، نحن نتعاون مع العلامات التجارية العالمية الرائدة لتقديم منتجات موثوقة وخدمات مهنية.
استخدام التكنولوجيا لبناء عالم ذكي مزود خدمة منتجات تكنولوجيا المعلومات والاتصالات الموثوق به
ساندي يانغ مدير الاستراتيجية العالمية
واتساب / ويتشات: +86 13426366826
البريد الإلكتروني: yangyd@qianxingdata.com
الموقع: www.qianxingdata.com/www.storagesserver.com
التركيز على الأعمال:
توزيع منتجات تكنولوجيا المعلومات والاتصالات / تكامل النظام والخدمات / حلول البنية التحتية
مع أكثر من 20 عامًا من الخبرة في توزيع تكنولوجيا المعلومات، نحن نتعاون مع العلامات التجارية العالمية الرائدة لتقديم منتجات موثوقة وخدمات مهنية.
استخدام التكنولوجيا لبناء عالم ذكي مزود خدمة منتجات تكنولوجيا المعلومات والاتصالات الموثوق به