المواصفات الكاملة

Dell PowerEdge XE9680 بناء وتصميم

يعد PowerEdge XE9680 قطعة أجهزة ضخمة ، حيث يبلغ ارتفاعها 10.36 بوصة (263.20 مم) ، وعرضها 18.97 بوصة (482.00 مم) ، وعمقها 39.71 بوصة (1008.77 مم) مع إرفاقها.عندما تكون مشحونة بالكامليبلغ وزنها 251.44 رطلاً (114.05 كجم). سيكون لخيار GPU الكلمة النهائية بشأن الوزن ، مع نموذج NVIDIA H100 / H200 الذي يصل إلى 238 رطلاً ، في حين أن وحدة AMD MI300X تصل إلى 251 رطلاً.

كان هذا هو الخادم الأول الذي يتطلب تفكيرًا دقيقًا لتحميله بشكل صحيح في بيئة الاختبار الخاصة بنا.هناك بعض مجال للتحرك للخروج من الحدودولكن في مرحلة معينة، لا يقوم شخص أو شخصين برفعها بمفرده. ديل لطيفة بما فيه الكفاية لتعطيك طاولة رفع لمساعدتك على فهم كيفية تناسب هذه المنصة.(كيفن) حَمِلَ XE9680 إلى الرفِ نفسه.

على الرغم من تعقيدها وتوصية ديل لفنيي الخدمة المتخصصين ، فإن XE9680 يحتوي على عناصر خدمة سهلة الاستخدام بشكل ملحوظ.لوحات الخادم تتضمن تعليمات خدمة مفصلة ورسومات واضحة، مما يجعل إجراءات الصيانة سهلة الاستفادة بشكل مفاجئ لموظفي تكنولوجيا المعلومات ذوي الخبرة.مما يسمح لنا بالخدمة المختلفة للمكونات بثقة.

بعد فتح الغطاء على الـ PowerEdge XE9680, بمجرد أن تمر عبر كابلات الطاقة العديدة من محطة الطاقة الصغيرة في الأعلى, تبدو وكأنها PowerEdge R760.وحدةنا كانت تعمل بواسطة اثنين من معالجات Intel Xeon Platinum 8468يقدم كل معالج 80 مسارًا PCIe ، والتي تتدفق عبر عدد قليل من مفاتيح PCIe في هذه الوحدة لدعم وحدات المعالجة الفورية ، NICs وغيرها من الأجهزة المحملة في XE9680.

واحدة من أكثر الميزات الهندسية إثارة للإعجاب هو تصميم لوحة تحويل PCIe (PSB). توفر هذه اللوحات الاتصال لما يصل إلى 10 إضافية كامل الارتفاع،بطاقات PCIe نصف الطول (اثنان منها يمكن أن تتجاوز 75W استهلاك الطاقة) ويتم دمجها مباشرة مع لوحة GPU القاعدةيتيح هذا التكامل المباشر تقنية GPU-direct، مما يسمح لـ SSDs وبطاقات الشبكة بالتواصل مباشرة مع GPUs، وتجاوز CPU وتقليل فترة الكمون لأحمال عمل AI كثيفة الإدخال / الإخراج.

يدعم كل فتحة توسيع واجهة PCIe Gen5 x16 كاملة ، بما في ذلك فتحتين السفليتين على اليسار الأقصى واليمين من التخطيط. في حين يتم توصيل فتحات الثمانية العليا عبر PSB الخاصة بهم ، يتم توصيل فتحات PCIe Gen5 x16 إلى أجهزة PCIe Gen5 x16.يتم توصيل الفتحين السفليين مباشرة إلى اللوحة الأساسية PCIe (PBB)كما يدعم هذان الفتحتان بطاقات سحب عالية الطاقة. بالإضافة إلى ذلك ، يجب ملاحظة أن تخطيط PCIe يختلف قليلاً اعتمادًا على نوع معالجة الرسومات المعمارية المختار لـ PowerEdge XE9680.النماذج المجهزة بـ AMD لا تدعم SmartNIC / DPU، ونماذج إنتل غودي3 لديها فتحتين مغلقة بسبب مشاكل في تدفق الهواء.

التبريد هو مجال آخر حيث تتألق خبرة هندسة ديل. يستخدم النظام ما يصل إلى 16 مروحة عالية الأداء من نوع الذهب، ستة في الوسط وعشرة في الخلف.يدعم PowerEdge XE9680 مجموعة واسعة من سيناريوهات التثبيت، مع درجات الحرارة المحيطة تتراوح من 10 إلى 35 درجة مئوية (30 درجة مئوية مع GPUs Intel Gaudi3). عند التواء الكامل ، ينقل الخادم 1200CFM مثير للإعجاب إلى الممر الساخن.

هذا الحل القوي للتبريد يتعامل حتى مع الحمل الحراري الأكثر تطلباً، بما في ذلك GPUs AMD MI300X أو Intel Gaudi3 أو NVIDIA H100، مع الحفاظ على درجات حرارة تشغيل مثالية.الـ PowerEdge XE9680 يغني قليلاً تحت الحمل من حيث إنتاج الضوضاءتقدم شركة ديل ورقة مواصفات صوتية كاملة لجهاز XE9680 في مواقف مختلفة، ولكن من السهل جدا أن نقول أنه سيكون منصة صاخبة تحت الحمل.

الإدارة

تم بناء قدرات إدارة XE9680s حول iDRAC9 المؤهلة لشركة Dell ، والتي توفر إدارة دورة حياة الخادم الشاملة ومراقبته.هذا التكرار من iDRAC يجلب العديد من ميزات الذكاء الاصطناعي المحسّنة، بما في ذلك قياسات بعيدة عن بعد مفصلة لـ GPU ، وتحليلات استهلاك الطاقة ، ومراقبة حرارية واسعة النطاق مصممة لحملات عمل الذكاء الاصطناعي عالية الكثافة.

يعد كومة إدارة المنصة ذات أهمية خاصة لنشر البنية التحتية للذكاء الاصطناعي. من خلال iDRAC9 API RESTful مع دعم Redfish ، يمكن لـ iDRAC9يمكن للمنظمات برمجيا مراقبة وإدارة استخدام GPU، وعرض النطاق الترددي للذاكرة، والظروف الحرارية مقاييس حاسمة للحفاظ على تدريب الذكاء الاصطناعي الأمثل وأداء الاستدلال.يسمح تكامل النظام مع OpenManage Enterprise بإدارة الأسطول على نطاق واسع من العديد من XE9680s من خلال وحدة تحكم موحدة، وهو أمر ضروري لمجموعات الذكاء الاصطناعي واسعة النطاق.

الأمن والامتثال هما العناصر الأساسية لهندسة الهيكل الإدارية. تنفذ المنصة جذور السيليكون للثقة والتحقق من المكونات الآمنة،ضمان سلامة الأجهزة من التشغيل حتى التشغيلهذه الميزات ذات قيمة خاصة عند تشغيل أحمال عمل الذكاء الاصطناعي الحساسة أو التعامل مع أوزان النموذج الملكية.

تستخدم قدرة تحليل الفشل التنبؤي، التي تعمل بموجب تكامل CloudIQ، التعلم الآلي للتنبؤ بمشاكل الأجهزة المحتملة قبل أن تؤثر على أحمال العمل.هذا النهج الاستباقي حاسم بشكل خاص لوظائف تدريب الذكاء الاصطناعي طويلة الأمد، حيث يمكن أن يؤدي وقت التوقف غير المتوقع إلى أيام من الحسابات المفقودة. عندما يتم دمجها مع خدمة Dell's ProSupport Plus ، فإن هذه القدرة التنبؤية تؤدي إلى إنشاء حالة تلقائية وإرسال قطع الغيار ،غالبا ما يؤدي إلى صيانة وقائية قبل حدوث تدهور النظام.

للمنظمات التي تتطلب التكامل مع أدوات الإدارة القائمة، يدعم XE9680 أطر إدارة مختلفة من خلال تكاملات OpenManage، بما في ذلك ServiceNow و BMC TrueSight،السماح بالاندماج السلس في سير العمل المعتمد لإدارة خدمات تكنولوجيا المعلومات.

توفر واجهة iDRAC9 رصدًا مفصلًا في الوقت الحقيقي للمكونات الحرجة من خلال لوحة تحكم بديهية. يعرض رصد GPU مقاييس شاملة ، بما في ذلك درجة الحرارة ،استهلاك الطاقة، ومعدلات الاستخدام عبر جميع المسرعات الثمانية ، وهو أمر ضروري لتحسين توزيع عبء عمل الذكاء الاصطناعي.

توفر واجهة مراقبة التخزين رؤية فورية في حالة القرص ودرجة الحرارة ومقاييس الأداء عبر صف NVMe ،والذي هو ذو قيمة خاصة عند إدارة مخزونات الاستدلال عالية الصلبة ومجموعات بيانات التدريب.

الذاكرة والتخزين والحجم

تمثل GPUs AMD MI300X الثمانية الموجودة داخل Dell PowerEdge XE9680 قفزة كبيرة في سعة ذاكرة GPU ، حيث تقدم 192GB من ذاكرة HBM3 لكل بطاقة مقارنة بـ NVIDIA H200 141GB.هذه الزيادة بنسبة 36% في سعة الذاكرة ليست مجرد رقم على ورقة المواصفات.

هذه المجموعة الضخمة من الذاكرة، إلى جانب عرض النطاق الترددي لذاكرة (إم آي 300 إكس) 5.3 تيرابايت/ثانية،يسمح للمنظمات بتشغيل حالات متعددة من النماذج الأصغر أو تقسيم نماذج أكبر عبر وحدات الرسوم البيانية مع الحفاظ على سعة عالية وانخفاض فترة تأخير.

لوضع هذا في المنظور، طراز Meta ′s Llama 3.1 405B، والذي يتطلب شمال 1TB من VRAM في BF16،يمكن توزيعها بشكل مريح عبر XE9680 واحد مع MI300X GPUs دون كمية وطول سياق كامل 128kهذا يزيل فقدان الجودة المحتمل المرتبط بتقنيات الكم ويسمح بمزيد من الرموز / ثانية مقارنة بتوزيع النموذج على خادمين.

لتحقيق أقصى قدر من التخزين، استخدمنا محركات Solidigm 61.44TB لتكون بمثابة امتداد متطور للذاكرة، مما سد الفجوة بين ذاكرة GPU عالية السرعة والتخزين التقليدي.أقراص SSD تتفوق في تخزين أزواج ذاكرة التخزين المؤقت قيمة المفتاح أثناء الاستدلال، مما يزيد من قدرة ذاكرة GPU على الجيلات ذات السياق الطويل. وقدرتها الضخمة وأداء NVMe تجعلها مثالية للوصول السريع إلى وزن النموذج،تمكين التبديل الفعال للنموذج والبدء الساخن.

في تطبيقات مثل توزيع Metrum AI التي نقوم بتفصيلها أدناه، تقوم أقراص SSD بمهمة مزدوجة كمؤخّرة تخزين لقواعد البيانات المتجهة،توفير الأداء اللازم للبحث عن التشابه في الوقت الحقيقي مع الحفاظ على القدرة على تخزين التضمين الواسع النطاق.

قيمة هذه المحركات عالية السعة تمتد إلى ما وراء استنتاج لتدريب سير العمل. أنها توفر التخزين المحلي المثالي لمجموعات التدريب في الطابور،تقليل تكاليف الشبكة من خلال إبقاء البيانات أقرب إلى موارد الحوسبةأثناء التدريب، تتفوق هذه المحركات على تخزين نقاط التفتيش النموذجية محلياً، وهو أمر بالغ الأهمية للحفاظ على تقدم التدريب وتمكين التعافي السريع.هذه الاستراتيجية المحلية للتخزين تساعد أيضا على تحسين استخدام الشبكة عن طريق تقليل حركة المرور الشبكة الفورية بعد كل طبقة ومجموعة معالجة.

في حين أن سعة 61.44 تيرابايت عبر ثمانية مخازن في XE9680 تبدو واعدة، هناك الكثير من السعة القادمة.يمكن مضاعفة كثافة التخزين في XE إلى ما يقرب من بيتابايت لمزيد من تحسينات التدريب ومخازن استنتاج أطول.

مساعدة الرعاية الصحية لـ (ميتروم)

يواجه قطاع الرعاية الصحية باستمرار تحديًا في إدارة وثائق المرضى وإدارة السجلات التي تستغرق وقتاً طويلاً ، والتي غالباً ما تقلل من رعاية المرضى المباشرة.مساعدة الرعاية الصحية في متروم، يتم نشرها على خوادم Dell PowerEdge XE9680 مع مسرع AMD ، ويقدم مثالًا على كيفية تحويل البنية التحتية المتقدمة للذكاء الاصطناعي لتدفقات العمل في مجال الرعاية الصحية ، وتعزيز الكفاءة وتحسين نتائج المرضى.

يستخدم النظام Llama 3.1 70B Instruct كنموذج لغته الأساسية ، والمعروف بفهمه للسياقات الطبية. وهذا يسمح له بمعالجة بيانات المرضى المعقدة بسهولة.هذا النموذج اللغوي مقترنة مع gte-v1.5 نموذج التضمين و Milvus Vector DB، مما يوفر أساساً قوياً لمعالجة اللغة الطبيعية وفهم السياقي الضروري لمعالجة البيانات الطبية.

يتضمن مساعد الرعاية الصحية لـ Metrum AI® أيضًا نهجًا متعدد الطرق يضم HistoGPT لتحليل الصور في علم الأمراض الحيوية و OpenAI® Whisper لنسخ الملاحظات الطبية في الوقت الحقيقي.معاً، هذه النماذج تعمل على تبسيط سير العمل السريري، مما يسمح للأطباء بالتحدث بشكل طبيعي بينما النظام ينسخ ويكتسب ويدمج المعلومات في سجلات المرضى في الوقت الحقيقي.

يدرك Metrum AI أنه على الرغم من أن بيانات المرضى الفردية قد تكون صغيرة نسبيًا ، إلا أن متطلبات التخزين المشتركة للمستشفيات ذات حركة المرور العالية يمكن أن تتصاعد إلى مئات التيرابايت.يمكن لـ Dell PowerEdge XE9680 معالجة هذا مع تخزين NVMe المحلييقدم تكويننا ثمانية مخازن تخزين 2.5 "U.2 NVMe تعمل بسرعة PCIe Gen4. بينما اختبرنا XE9680 مع SSDs Soldigim D5-P5336 QLC 61.44TB ، يمكن أن تتوسع هذه القدرة أكثر.(سولديجيم) أطلقت مؤخراً (دي5 - بي5336 122)طرازات.88TB QLC، والتي تضاعف من سعة أقراصها الثابتة بالفعل مع الحفاظ على نفس الأداء.

قدمت متروم تقديرات لكيفية ترجمة بيانات المرضى بمرور الوقت في سيناريوهات مختلفةيمكنك أن ترى عدد المرضى الإضافيين التي يمكن أن تدعمها الوحدة باستخدام أقراص SSD ذات السعة العاليةأخذ البصمة المقدرة للبيانات لكل مريض والذهاب ضد السعة القابلة للاستخدام لكل SSD (57TB لـ 61TB SSD و 114TB لـ 122TB SSD) ،يمكننا أن نرى أن وجود أقراص SSD كثيفة يزيد كثيرا ما يمكنك تخزينها على الخادم بطريقة ذات مغزى في السنة.

على الرغم من أن التقديرات الأولية لمدة سنة واحدة تبدو مرتفعة إلى حد ما، فمن المهم أن نلاحظ أن بيانات المرضى ليست ثابتة. سيتم التقاط بيانات جديدة وتخطيط زيارات جديدة، مما يزيد من الطلب على التخزين.هذا هو المكان الذي يلعب فيه التخزين دوراً هاماً في مجال التصوير الطبيوقد تؤثر سعة التخزين الإضافية بشكل مباشر على عدد المرضى الذين يمكن أن يدعمهم الحل بفعالية.

يوفر Dell PowerEdge XE9680، المجهز بمسرعات AMD MI300X ومتكاملة مع مساعد الرعاية الصحية من Metrum AI، حلًا قابلاً للتطوير وفعالًا لمقدمي الرعاية الصحية.من خلال أتمتة المهام التي تستغرق وقتا طويلا وتمكين الوصول السريع إلى رؤى حاسمة، هذا الإعداد يسمح للأطباء بالتركيز أكثر على رعاية المرضى مع إدارة الطلبات المتزايدة. من خلال التكامل السلس لمكونات الذكاء الاصطناعي عبر أساليب اللغة والصورة والصوت،مساعدة الرعاية الصحية تمثل تقدمًا كبيرًا في حلول الرعاية الصحية القائمة على الذكاء الاصطناعي، والحد من العبء الإداري وتحسين نتائج المرضى بشكل عام.

الاستنتاج