قامت CoreWeave بنشر مجموعة NVIDIA Vera Rubin NVL72 متعددة الرفوف على CoreWeave Cloud، لربط المئات من وحدات معالجة الرسوميات Rubin في بيئة موحدة واسعة النطاق مُحسّنة لأعباء عمل الذكاء الاصطناعي الوكيل. يحتوي كل حامل تم تصنيعه بواسطة Dell على 72 وحدة معالجة رسوميات Rubin و36 وحدة معالجة مركزية Vera، حيث يعتمد NVLink 6 باعتباره نسيج التوصيل البيني الموسع، مقترنًا بوحدتي ConnectX-9 SuperNIC لكل وحدة معالجة رسومات. يتم ربط الرفوف عبر NVIDIA Spectrum-X Ethernet ضمن نسيج غير قابل للحجب من مستويين، والذي يمكن أن يصل إلى ما يقرب من 128000 وحدة معالجة رسومات وفقًا لـ CoreWeave. CoreWeave هو أول مزود سحابي ينجح في التحقق من صحة نظام Vera Rubin NVL72 وتنشيطه، وأول من ينشر أدائه المُقاس. تم إصدار النتائج الأولية لمراجعة النظراء الأسبوع الماضي، بناءً على تقديم GB300 NVL72. إلى جانب ترقية الحوسبة، يضيف CoreWeave AI Object Storage تسريعًا للكتابة عبر المناطق وطبقة أرشيف جديدة تمامًا.

بنية NVIDIA Vera Rubin NVL72 متعددة الرفوف

يستهدف هذا النشر متعدد الحوامل سير عمل التنفيذ الوكيل، حيث تعمل حلقات الاستدلال التسلسلي واستدعاءات الأدوات الخارجية على تضخيم زمن الوصول إلى البيانات عبر البنية التحتية الموزعة. توفر بطاقات ConnectX-9 SuperNIC المزدوجة المجهزة لكل وحدة معالجة رسومات Rubin ما يصل إلى 1.6 تيرابايت/ثانية من عرض النطاق الترددي للشبكة الخلفية لكل وحدة معالجة رسومات عبر روابط متعددة القضبان ومتعددة المستويات. يستخدم النسيج تصميمًا معياريًا، مما يمكّن رفوف NVL72 الجديدة من الانضمام إلى نفس الهيكل غير المعوق مع توسع السعة. تعمل الرفوف بتبريد سائل بدرجة حرارة 45 درجة مئوية.

تقوم CoreWeave بتوحيد هذه الرفوف باستخدام مجموعة برامج Mission Control الخاصة بها. تتعامل وحدة التحكم في Rack LifeCycle مع توفير الحامل وإدارة دورة الحياة، بما في ذلك الكشف عن الأجهزة من خلال وميض البرامج الثابتة والتحقق من الصحة والطاقة والمراقبة الحرارية. تتحكم وحدة إدارة الحامل Racky في الطاقة والبنية التحتية، بينما توفر وحدة التحكم في التبريد Valvey القابلة للبرمجة رؤية وإدارة محددة برمجيًا لدوائر التبريد السائل وأجهزة الاستشعار البيئية.

لا تدخل الرفوف الإنتاج إلا بعد اختبار التحقق من الصحة على مراحل. على مستوى العقدة، يتضمن ذلك ساعات من تشخيصات وحدة معالجة الرسومات المتكررة، والتحقق من نقل وحدة المعالجة المركزية إلى وحدة معالجة الرسومات، واختبارات التوصيل البيني والحمل الحراري، بالإضافة إلى أعباء عمل التدريب الواقعية. على مستوى الحامل، تتحقق المهام المتزامنة عبر جميع وحدات معالجة الرسومات الـ 72 من صحة إنتاجية وحدة معالجة الرسومات NVLink إلى وحدة معالجة الرسومات؛ يتم إرسال أي جهاز يقل عن حدود الأداء إلى استكشاف الأخطاء وإصلاحها. للتحقق عبر الحامل، يقوم CoreWeave بتشغيل أحمال العمل الموزعة، وتعطيل NVLink عمدًا لفرض حركة المرور عبر الشبكة الخلفية، ومراقبة النسيج المادي بحثًا عن الروابط غير المستقرة، وارتفاع معدلات الخطأ، وارتفاع درجة حرارة المكونات، وحركة المرور غير المتوازنة. تحاكي أحمال الاختبار التطبيقات الوكيلة، والتي تتميز بارتفاع مفاجئ في الطلب وتزامن متغير وأنماط اتصال متقطعة.

تحديثات تخزين كائنات الذكاء الاصطناعي: عمليات الكتابة والأرشفة عبر المناطق

يعتمد تحسين التخزين على Local Object Transport Accelerator (LOTA)، وهو وكيل تخزين مؤقت يتم نشره على كل عقدة GPU وCPU داخل خدمة CoreWeave Kubernetes، حيث يقوم بتخزين بيانات الكائن على NVMe المحلية للعقدة. تُبلغ CoreWeave عن وصول القراءات المخزنة مؤقتًا إلى ما يصل إلى 7 جيجابايت/ثانية لكل وحدة معالجة رسومات، مع زمن وصول للقراءة p99 أقل بمقدار 8 مرات من الوصول المباشر إلى الحاوية. يقوم أحد موفري النماذج الرائدة بتشغيل LOTA عبر أكثر من 15000 وحدة معالجة رسومات وذاكرة تخزين مؤقت تبلغ 20 بيتا بايت، مما يحقق معدل إصابة بنسبة 99.7%، مع تقديم LOTA بدون أي رسوم إضافية.

يسمح تسريع الكتابة عبر المناطق للتطبيقات بالكتابة إلى مجموعة في منطقة نائية بزمن انتقال محلي، دون تعديل واجهات برمجة التطبيقات أو مجموعات تطوير البرمجيات. ترسل التطبيقات كتابات S3 القياسية إلى نقطة نهاية LOTA؛ يتم تخزين بيانات الكائن بشكل دائم محليًا بينما يتم إرسال بيانات التعريف إلى المنطقة البعيدة. يصبح الكائن قابلاً للقراءة على الفور، حتى بالنسبة لمهمة الكتابة، ويتم ترحيل البيانات إلى المنطقة النائية في الخلفية. ترى التطبيقات مساحة اسم حاوية واحدة تغطي جميع المناطق مع سياسات IAM وقواعد دورة الحياة وعناصر التحكم في الوصول المتسقة، مما يؤدي إلى التخلص من الحاويات الإقليمية المنفصلة وخطوط النسخ المتماثل المطلوبة عادةً لتوزيع نقاط التفتيش عبر المواقع.

وقالت سيسيل روبرت ميشون، مديرة البنية التحتية الداخلية في شركة Cohere: "تمتد مجموعات البيانات الخاصة بنا إلى مناطق متعددة، ولا يمكننا أن نتحمل أن يملي جدول التدريب لدينا بسبب تأخيرات الاسترجاع عبر المناطق". "يمنحنا CoreWeave AI Object Storage بصمة موحدة لمجموعة البيانات عبر المناطق مع تخزين القراءات مؤقتًا محليًا، لذلك لا شيء ينتظر على الشبكة."

طبقة الأرشيف هي فئة التخزين الرابعة إلى جانب الساخنة والدافئة والباردة، وهي مصممة للبيانات المكتوبة مرة واحدة والتي نادرًا ما تتم قراءتها مثل نقاط فحص التدريب التاريخي ومجموعات البيانات الأولية. ويتميز بتسعير سعة أساسية منخفضة ويتنازل عن رسوم الاسترجاع وذاكرة التخزين المؤقت لكل طلب والحذف المبكر والتصنيف والخروج. توصي CoreWeave بالاحتفاظ بنقاط التحقق الحديثة على مستويات أسرع من أجل إعادة التشغيل السريع، مع التقسيم التلقائي إلى الأرشيف بعد 60 يومًا دون أي قراءات. أصبحت عمليات الكتابة عبر المناطق وطبقة الأرشيف متاحة الآن بشكل عام.

شركة بكين تشيانشينغ جيتونغ للتكنولوجيا المحدودة
ساندي يانغ / مدير الإستراتيجية العالمية
واتساب/وي تشات: +86 13426366826
البريد الإلكتروني: yangyd@qianxingdata.com
الموقع الإلكتروني: www.qianxingdata.com/www.storagesserver.com
التركيز على الأعمال:
توزيع منتجات تكنولوجيا المعلومات والاتصالات / تكامل النظام والخدمات / حلول البنية التحتية
مع أكثر من 20 عامًا من الخبرة في توزيع تكنولوجيا المعلومات، نتعاون مع العلامات التجارية العالمية الرائدة لتقديم منتجات موثوقة وخدمات احترافية.
"استخدام التكنولوجيا لبناء عالم ذكي" مزود خدمة منتجات تكنولوجيا المعلومات والاتصالات الموثوق به!