تم اختيار المنصة لهذا العمل وهي Dell PowerEdge R760 التي تعمل بنظام Ubuntu 22.04.02 LTS. استخدمنا DLIO benchmark version 2.0 من الإصدار بتاريخ 13 أغسطس 2024. تم تلخيص تكوين نظامنا أدناه:

• 2 × Intel Xeon Gold 6430 (32 نواة، 2.1 جيجاهرتز)
• 16 × 64 جيجابايت DDR5-4400
• 480 جيجابايت Dell BOSS SSD
• كابلات تسلسلية Gen5 JBOF
  • 7.68 تيرابايت Solidigm D7-PS1010
  • 61.44 تيرابايت Solidigm D5-P5336

لضمان أن قياسات الأداء لدينا تعكس سيناريوهات العالم الحقيقي، استندنا في اختباراتنا إلى بنية نموذج LLAMA 3.1 405B، وتنفيذ حفظ نقاط الفحص عبر torch.save() لالتقاط معلمات النموذج وحالات المحسن وحالات الطبقة. قامت إعداداتنا بمحاكاة نظام 8 وحدات معالجة رسومات، وتنفيذ استراتيجية توازي هجينة مع معالجة متوازية للنموذج رباعية ومعالجة خط أنابيب ثنائية موزعة عبر وحدات معالجة الرسومات الثماني. أسفر هذا التكوين عن أحجام نقاط فحص تبلغ 1636 جيجابايت، وهي تمثل متطلبات تدريب نماذج اللغة الكبيرة الحديثة.

تضمنت عملية الاختبار الخاصة بنا لعبء عمل نقاط فحص DLIO ملء كل محرك أقراص إلى مستوى استخدام مماثل. بالنسبة لـ Solidigm D5-P5336 بسعة 61.44 تيرابايت، تضمنت كل تمريرة 33 فترة نقطة فحص، بإجمالي 54 تيرابايت. استوعب D7-PS1010 الأصغر بسعة 7.68 تيرابايت بشكل مريح ثلاث فترات نقطة فحص، بإجمالي مساحة 4.9 تيرابايت. يمكن أن تتسع نقطة فحص إضافية في D7-PS1010، على الرغم من أنها رفعت مستوى استخدامه أعلى قليلاً مما أردنا.

أسفر عبء عمل نقاط فحص DLIO عن نتائج مثيرة للاهتمام عندما قارنا D5-P5336 بسعة 61.44 تيرابايت المستند إلى Gen4 QLC بـ D7-PS1010 المستند إلى Gen5 TLC بسعة 7.68 تيرابايت. خلال التمريرة الأولى، مع امتلاء محركات الأقراص، شهدنا فجوة أوسع في الأداء بين نموذجي SSD. أكمل PS1010 الأسرع من Gen5 كل نقطة فحص في المتوسط ​​في 464 ثانية، مقارنة بـ 623 ثانية من P5336 من Gen4. في التمريرتين الثانية والثالثة، ضاقت الفجوة إلى 579 و 587 ثانية لـ PS1010 و 676 و 680 ثانية لـ P5336.

بالنسبة للشركات التي تتطلع إلى الحصول على أصغر فجوة ممكنة في فترات نقاط الفحص، يوفر PS1010 المستند إلى Gen5 TLC ميزة في أسرع وقت إنجاز. إذا كان الهدف هو الاحتفاظ بالعديد من نقاط الفحص بتكلفة فعالة، فيمكن لـ P5336 المستند إلى Gen4 QLC القيام بذلك. قمنا بقياس فرق في متوسط ​​أوقات نقاط الفحص أقل من 17٪ بين كلا المحركين خلال التمريرتين الثانية والثالثة.

نطاق تخزين GPU Direct

بينما يوضح DLIO أداء الفلاش في سير عمل الذكاء الاصطناعي، فإن عبء العمل يعتمد بالكامل على الكتابة حتى يتم استعادة نقطة الفحص. لرسم صورة أكمل لـ Solidigm D7-PS1010 و D5-P5336 في أعباء عمل الذكاء الاصطناعي، قمنا بتضمين قياسات نطاق القراءة باستخدام GDSIO.

كيف يعمل تخزين GPU Direct

تقليديًا، عندما تقوم وحدة معالجة الرسومات بمعالجة البيانات المخزنة على محرك NVMe، يجب أن تنتقل البيانات أولاً عبر وحدة المعالجة المركزية والذاكرة النظامية قبل الوصول إلى وحدة معالجة الرسومات. تقدم هذه العملية اختناقات، حيث تصبح وحدة المعالجة المركزية وسيطًا، مما يضيف زمن استجابة ويستهلك موارد النظام القيمة. يلغي تخزين GPU Direct هذه عدم الكفاءة من خلال تمكين وحدة معالجة الرسومات من الوصول إلى البيانات مباشرة من جهاز التخزين عبر ناقل PCIe. يقلل هذا المسار المباشر من الحمل الزائد المرتبط بنقل البيانات، مما يسمح بنقل بيانات أسرع وأكثر كفاءة.

أعباء عمل الذكاء الاصطناعي، وخاصة تلك التي تتضمن التعلم العميق، كثيفة البيانات للغاية. يتطلب تدريب الشبكات العصبية الكبيرة معالجة تيرابايت من البيانات، وأي تأخير في نقل البيانات يمكن أن يؤدي إلى وحدات معالجة رسومات غير مستغلة وأوقات تدريب أطول. يعالج تخزين GPU Direct هذا التحدي من خلال ضمان تسليم البيانات إلى وحدة معالجة الرسومات بأسرع ما يمكن، مما يقلل من وقت الخمول ويزيد من الكفاءة الحسابية.

مثل اختبار DLIO، الهدف هو فهم وتوصيف الاختلافات بين أقراص Gen5 SSD عالية السرعة وأقراص QLC عالية السعة بشكل أفضل. ليست كل أعباء عمل الذكاء الاصطناعي متماثلة، وكل محرك أقراص يقدم مزايا مميزة، اعتمادًا على الحاجة.

مصفوفة تكوين الاختبار

اختبرنا بشكل منهجي كل تركيبة من المعلمات التالية مع NVIDIA L4 في منصة الاختبار الخاصة بنا:

• أحجام الكتل: 1 ميجابايت، 128 كيلوبايت، 64 كيلوبايت، 16 كيلوبايت، 8 كيلوبايت
• عدد الخيوط: 128، 64، 32، 16، 8، 4، 1
• عدد المهام: 16
• أحجام الدُفعات: 16

كان أول نظرة لنا على D5-P5336 المستند إلى QLC، والذي بلغ ذروته عند 4.2 جيجابايت/ثانية باستخدام حجم نقل 1 ميجابايت عند عمق I/O يبلغ 128. أدى تأثير أحجام الكتل إلى زيادة كبيرة في النطاق الترددي، بالانتقال من 8 كيلوبايت إلى 1 ميجابايت. بدأت ميزة زيادة عمق I/O في التراجع عند 32، حيث بدأت أعباء العمل في الاستقرار.

بعد ذلك، ننظر إلى PS-1010 من Gen5، والذي يمكن أن يصل إلى 6.2 جيجابايت/ثانية بحجم كتلة 1 ميجابايت وعمق I/O يبلغ 128. في المجمل، تفوق على P5336 المستند إلى Gen4، مع أعباء عمل معينة تظهر زيادة كبيرة. جاء مجال تحسين ملحوظ في حجم الكتلة 128 كيلوبايت، حيث عند عمق I/O يبلغ 64 و 128، قدم PS1010 ضعف نطاق القراءة الترددي لـ P5336.

من المهم ملاحظة أنه تم اختبار كلا SSD باستخدام NVIDIA L4. بينما يكون Gen4 D5-P5336 عند نهايته العليا أو بالقرب منها، أظهرت وحدات معالجة الرسومات NVIDIA العليا مثل H100 أداءً أعلى مع D7-PS1010. سرعة محرك الأقراص هي العامل الحاسم النهائي لبعض العملاء، بينما يعطي آخرون الأولوية للكثافة الإجمالية.Solidigmتوفر حلولاً لـكليهما، مع عروضها من أقراص QLC و TLC SSD.الخلاصة

مع استمرار تزايد حجم وتعقيد تدريب الذكاء الاصطناعي، يجب على البنية التحتية للتخزين الأساسية ليس فقط مواكبة ذلك، بل أيضًا تحديد الإيقاع. تسلط اختباراتنا مع اثنين من أقراص SSD المختلفة بشكل مميز الضوء على أهمية مواءمة حلول التخزين مع أولويات التدريب المحددة - سواء كان ذلك يعني تقليل زمن استجابة نقاط الفحص أو زيادة كثافة نقاط الفحص لتحقيق قابلية التوسع الفعالة من حيث التكلفة.

في تقييمنا، اختبرنا Solidigm D5-P5336 (61.44 تيرابايت) و D7-PS1010 (7.68 تيرابايت) في ظل ظروف تدريب الذكاء الاصطناعي الواقعية، مستفيدين من DLIO benchmark وسير عمل مكثف لنقاط فحص LLM الهجين المتوازي. التقطنا مقاييس تعكس أداء كتابة نقاط الفحص عبر عدة جولات اختبار مع امتلاء محركات الأقراص، مما يؤكد اختلافات الأداء في أوقات الإنجاز بين D5-P5336 المستند إلى Gen4 QLC و D7-PS1010 المستند إلى Gen5 TLC.

 

بينما قدم D7-PS1010 أسرع كتابات لنقاط الفحص الممكنة، أظهر D5-P5336 مزايا قوية في فعالية التكلفة والسعة، مع مقايضة أداء متواضعة فقط. فحصنا أيضًا نطاقات القراءة الترددية لتخزين GPU Direct (GDS) باستخدام GDSIO مع وحدة معالجة رسومات NVIDIA L4. أظهرت نتائجنا أن Solidigm D5-P5336 قدمت نطاق قراءة ترددي يصل إلى 4.2 جيجابايت/ثانية بحجم نقل 1 ميجابايت، بينما قدم D7-PS1010 زيادة كبيرة إلى 6.2 جيجابايت/ثانية. سيكون الأداء أكثر إثارة للإعجاب عند الاستفادة من وحدة معالجة رسومات أقوى، مثل NVIDIA L40s أو H100/H200.

 

 

بالنظر إلى المستقبل، فإن السعة غير المسبوقة لـ Solidigm D5-P5336 122TB SSD مهيأة لإعادة تشكيل تدريب ونشر الذكاء الاصطناعي. مع استمرار نمو أحجام النماذج ومتطلبات نقاط الفحص، تفتح محركات الأقراص عالية السعة هذه مستويات جديدة من الكفاءة والمرونة، مما يتيح استراتيجيات تدريب كانت غير قابلة للتحقيق سابقًا. تُمكّن ريادة Solidigm في حلول SSD عالية السعة المؤسسات من تخزين المزيد من البيانات ونقاط الفحص على عدد أقل من محركات الأقراص، مع المساعدة في تأمين بنيتها التحتية للمستقبل ضد الموجة التالية من تعقيد الذكاء الاصطناعي.

 

شركة بكين تشيانشينغ جييتونغ للتكنولوجيا المحدودة

 

ساندي يانغ / مدير الاستراتيجية العالمية
WhatsApp / WeChat: +86 13426366826
البريد الإلكتروني: yangyd@qianxingdata.com
الموقع الإلكتروني: www.qianxingdata.com/www.storagesserver.com
التركيز التجاري:

توزيع منتجات تكنولوجيا المعلومات والاتصالات / التكامل والخدمات / حلول البنية التحتية
مع أكثر من 20 عامًا من الخبرة في توزيع تكنولوجيا المعلومات، نتعاون مع العلامات التجارية العالمية الرائدة لتقديم منتجات موثوقة وخدمات احترافية.
"استخدام التكنولوجيا لبناء عالم ذكي" مقدم خدمة منتجات تكنولوجيا المعلومات والاتصالات الموثوق به!