Arabic
كشفت IBM عن بنية تخزين واعية للمحتوى (CAS) التي تضم معالجة بيانات الذكاء الاصطناعي مباشرة داخل طبقة التخزين.هذا النهج مصمم لتدفقات عمل إنتاج الاسترداد المعززة (RAG)، حيث أنها تدمج تقسيم الوثائق في نظام التخزين نفسه، مما يقلل من الحاجة إلى أنابيب التجهيز السابق الخارجية.
يقوم CAS بنقل وظيفة RAG الرئيسية تضمين المستندات عبر أساليب تستند إلى نموذج اللغة الكبيرة (LLM) إلى البنية التحتية للتخزين.هذا يسمح للمؤسسات بمعالجة وتصنيف البيانات في موقعها الحالي، محاذاة أنظمة التخزين مع أحمال العمل القائمة على الذكاء الاصطناعي وتقليل حركة البيانات عبر مستويات البنية التحتية المختلفة.تحدد IBM هذا كوسيلة لتبسيط التنفيذ مع تعزيز الأداء وتعزيز محلية البيانات لتطبيقات الذكاء الاصطناعي.
قاعدة البيانات المتجهة على نطاق واسع
في قلب تنفيذ IBM CAS يكمن قاعدة بيانات متجهة محسّنة للبحث الدلالي. تدعم قواعد البيانات المتجهة البحث التقريبي لأقرب جار (ANN).تمكين أنظمة الذكاء الاصطناعي من استرداد قطع البيانات ذات الصلة بناءً على مقاييس التشابه مثل تشابه الكوسينوس أو المسافة L2هذه القدرة أساسية لـ RAG، حيث يتم تحويل استفسارات المستخدم إلى ناقلات ومطابقة مع بيانات المؤسسة المفهرسة لتقديم ردود على ضوء السياق.
IBM CAS Chartمصدر: IBM
أظهرت IBM Research، بالتعاون مع سامسونج و NVIDIA، نموذجًا أوليًا لنظام قادر على توسيع نطاقه إلى 100 مليار متجه على خادم واحد.النظام حقق أكثر من 90 في المئة من الاحتفاظ بالذكرى والدقة، مع متوسط تأخر الاستفسار أقل من 700 ميللي ثانية. هذا المقياس يلبي احتياجات بيئات المؤسسات حيث مجموعات البيانات يمكن أن تمتد إلى مليارات الملفات، وبمجرد فهرسة كاملة،تنمو إلى مئات المليارات من المتجهات.
تكامل أنابيب RAG
أصبحت RAG نهجًا مفضلًا للذكاء الاصطناعي للمؤسسات ، حيث أنها تعزز دقة الإخراج دون الحاجة إلى إعادة تدريب النموذج.إنه يعمل عن طريق استكمال الإشارات مع البيانات المحددة للمؤسسة التي تم استرجاعها من قاعدة بيانات متجهة.
يبدأ خط الأنابيب بتناول البيانات، حيث يتم تحليل الوثائق مثل ملفات PDF والعروض التقديمية، وتقسيمها إلى قطع، وتحويلها إلى إدراجات.يتم تخزين هذه المدمجات في قاعدة بيانات متجهة تنظم البيانات للبحث الفعال عن التشابهأثناء الاستفسار، يتم تضمين إدخال المستخدم ومطابقته مع المتجهات المخزنة، مع تمرير المحتوى ذي الصلة إلى نموذج اللغة كسياق.هذه الآلية الأرضية تقلل من الهلوسة و تزيد الثقة في المخرجات المولدة من الذكاء الاصطناعي.
يدمج نظام إيبام CAS خط الأنابيب بأكمله مباشرةً في التخزين ، وتوحيد الاستهلاك والفهرسة واسترداد البيانات بالقرب من البيانات.
معالجة تحديات الحجم والتكلفة
تعمل أنظمة تخزين المؤسسات بالفعل على نطاق بيتابايت. عند توسيعها إلى CAS ، يمكن لكل ملف إنشاء مئات المتجهات ، مما يوسع بسرعة حجم مجموعة البيانات.قواعد البيانات المتجهة التقليدية عادة ما تتوسع عبر خوادم متعددة، مما يؤدي إلى تكاليف إضافية وتعقيد التشغيل. يصبح فهرسة وإعادة فهرسة مجموعات البيانات الكبيرة أيضًا مهام تستغرق وقتًا طويلاً.
يركز نهج IBM على تحسين كثافة المتجهات وتقليل تكاليف الفهرسة المشتركة للحد من انتشار البنية التحتية. تقوم الهندسة المعمارية بفصل تخزين المتجهات والمؤشرات عن حساب الاستعلامات.تمكين التوسع المستقل لموارد التخزين والحوسبةهذا ممكن بواسطة IBM Storage Scale ونظام الملفات المتوازية عالية الأداء
معمارية التخزين والأجهزة
يستفيد تنفيذ CAS من نظام IBM Storage Scale 6000 (ESS 6000) ، وهو منصة فلاش كاملة مصممة للذكاء الاصطناعي وحملات العمل عالية الأداء.يدعم النظام ما يصل إلى 48 محرك أقراص NVMe لكل علبة 4U، مع سعة محركات الأقراص الفردية تتراوح من 7 تيرابايت إلى 60 تيرابايت. إنها تتضمن اتصال PCIe Gen5 ، 400 Gb InfiniBand ، أو 200 Gb Ethernet ،توفير ما يصل إلى 340 جيجابايت / ثانية قراءة و 175 جيجابايت / ثانية كتابة السرعة لكل عقدة، إلى جانب ما يصل إلى 7 ملايين IOPS.
تدعم المنصة أيضًا NVIDIA GPUDirect Storage ، مما يسهل مسارات البيانات المباشرة بين التخزين و GPUs ، بالإضافة إلى BlueField-3 DPUs لتفريغ مهام الشبكة ومعالجة البيانات.
توفر أقراص Samsung PM9D3a PCIe Gen5 NVMe SSD سعة عالية، وتخزين عالي الكثافة. تستند هذه الأقراص إلى الجيل الثامن من TLC V-NAND ، وتوفر ما يصل إلى 30.72 تيرابايت لكل جهاز.مع سرعات قراءة متتالية تصل إلى 12 جيجابايت / ثانية وسرعات كتابة تصل إلى 6.8 جيجابايت / ثانية. يسمح استخدام أقراص SSD المؤسسية المتاحة تجارياً بتوسيع نطاق الهندسة المعمارية باستخدام المكونات القياسية.
الفهرسة الهرمية وتسريع GPU
لمعالجة فهرسة على نطاق واسع، طورت IBM نموذج فهرسة هرمي يتكون من مؤشرات فرعية متعددة يمكن تحسينها بشكل مستقل.يتيح هذا الهيكل التحديثات الإضافية وإعادة فهرسة محلية دون تعطيل مجموعة البيانات بأكملها، وتحسين التوافر وكفاءة التشغيل.
تسريع GPU يقلل بشكل كبير من وقت فهرسة مقارنة مع نهج وحدة المعالجة المركزية فقط. يمكن إكمال المهام التي ستستغرق ساعات على وحدة المعالجة المركزية في غضون دقائق باستخدام GPUs NVIDIA. في الاختبار ، يمكن أن يتم تحديد عدد المهام التي تستغرق ساعات على وحدة المعالجة المركزية.بناء مؤشرات ل 100 مليار متجه استغرق 4 أيام مع 6 NVIDIA H200 GPUs، مقارنة بـ 120 يوماً متوقعاً على نظام CPU مزدوج المقابس.
استهلكت مجموعة البيانات الكاملة ، بما في ذلك المتجهات والمؤشرات ، حوالي 153 TiB من التخزين. استغرق تحميل البيانات الأولية وتقسيمها تسعة أيام.النظام الناتج قدم متوسط تأخير الاستفسار من 694ms مع 90٪ تذكر، تم التحقق من صحة حسابات القوة الخام.
خريطة الطريق
تواصل IBM و NVIDIA تحسين المنصة ، مع التركيز على الحد من فترات الفهرسة وتأخير الاستعلامات. تشمل الأهداف الحالية فهرسة 100 مليار متجه أو أكثر في يوم واحد ،خفض وقت استيعاب البيانات من تسعة أيام إلى يوم واحد، وتخفيض فترة تأخير الاستفسار إلى نطاق 50-100 ميلي ثانية مع الحفاظ على 90 في المئة من الالتزام.
يهدف دمج فهرسة المتجهات في أنظمة الملفات القياسية إلى تبسيط التنفيذ وخفض الحواجز أمام اعتماد الذكاء الاصطناعي في المؤسسات. من خلال دمج قدرات RAG مباشرة في التخزين،شركة آي بي إم تقوم بتحديد موقع CAS كطبقة أساسية للبنية التحتية التي تمكنها الذكاء الاصطناعي.
شركة بكين تشيانكسينغ جييتونغ للتكنولوجيا المحدودة
ساندي يانغ مدير الاستراتيجية العالمية
واتساب / ويتشات: +86 13426366826
البريد الإلكتروني: yangyd@qianxingdata.com
الموقع: www.qianxingdata.com/www.storagesserver.com
التركيز على الأعمال:
توزيع منتجات تكنولوجيا المعلومات والاتصالات / تكامل النظام والخدمات / حلول البنية التحتية
مع أكثر من 20 عامًا من الخبرة في توزيع تكنولوجيا المعلومات، نحن نتعاون مع العلامات التجارية العالمية الرائدة لتقديم منتجات موثوقة وخدمات مهنية.
استخدام التكنولوجيا لبناء عالم ذكي مزود خدمة منتجات تكنولوجيا المعلومات والاتصالات الموثوق به
ساندي يانغ مدير الاستراتيجية العالمية
واتساب / ويتشات: +86 13426366826
البريد الإلكتروني: yangyd@qianxingdata.com
الموقع: www.qianxingdata.com/www.storagesserver.com
التركيز على الأعمال:
توزيع منتجات تكنولوجيا المعلومات والاتصالات / تكامل النظام والخدمات / حلول البنية التحتية
مع أكثر من 20 عامًا من الخبرة في توزيع تكنولوجيا المعلومات، نحن نتعاون مع العلامات التجارية العالمية الرائدة لتقديم منتجات موثوقة وخدمات مهنية.
استخدام التكنولوجيا لبناء عالم ذكي مزود خدمة منتجات تكنولوجيا المعلومات والاتصالات الموثوق به