أخبار الشركة عن إنفيررا هو " لايت بيتس " الذي يستنتج حائط الذاكرة

لقد قمت بضغط النص الكامل بواسطة8% عدد الكلماتواحتفظ بجميع الحقائق الأساسية والمعايير والاقتباسات والمنطق الفني، وأزال جميع الروابط:

يعمل برنامج Inferra من Lightbits على تسريع عمليات ذاكرة التخزين المؤقت KV، وكسر جدار ذاكرة استدلال الذكاء الاصطناعي وتحسين استخدام وحدة معالجة الرسومات بشكل كبير. قامت شركة تخزين الكتل عالية الأداء ببناء Inferra لمحاكاة ذاكرة GPU ذات النطاق الترددي العالي (HBM). تقوم ذاكرة التخزين المؤقت KV بتخزين مفاتيح الانتباه والقيم المحسوبة مسبقًا أثناء استدلال LLM، وتجنب إعادة الحساب المتكررة لبيانات التسلسل وتعزيز أداء الذكاء الاصطناعي التوليدي.

يحصر التخزين المؤقت القياسي لـ KV البيانات المخزنة مؤقتًا على GPU HBM. بمجرد تشبع HBM، يتم إخلاء أزواج KV الحالية للحصول على بيانات جديدة، مما يتطلب إعادة حساب تستغرق وقتًا طويلاً عند إعادة الاستخدام. يعمل التخزين المؤقت KV المتدرج الحديث على توسيع مساحة التخزين لتشمل ذاكرة الوصول العشوائي للخادم ومحركات أقراص NVMe SSD المحلية ومحركات أقراص NVMe المتصلة بالشبكة عن بعد. في حين أن الطبقات الأعلى تتطلب زمن وصول أطول، فإن هذا التأخير غالبًا ما يكون أقصر من إعادة حساب ناقلات الرموز المميزة الشاملة.

تعالج Inferra اختناقات الذاكرة الحرجة الناجمة عن توسيع آثار ذاكرة التخزين المؤقت ذات السياق الطويل KV. إنه يمكّن مستخدمي السحابة والمؤسسات من تشغيل استدلال الذكاء الاصطناعي بشكل أسرع وأكثر قابلية للتطوير دون ترقيات أجهزة GPU وHBM المكلفة لتوسيع سعة ذاكرة التخزين المؤقت.

أشار أفيغدور ويلينز، المؤسس المشارك ورئيس مجلس إدارة Lightbits Labs، إلى أن سوق استدلال الذكاء الاصطناعي الذي تبلغ قيمته 117 مليار دولار في عام 2026 يجبر البائعين التقليديين الذين يركزون على التدريب على إعادة التصميم. وشدد على أنه لا يمكن تعديل أنظمة التخزين والتدريب القديمة لتتناسب مع اختناقات ذاكرة التخزين المؤقت KV، حيث تم تصميمها لنماذج عبء العمل القديمة. تم تصميم Inferra خصيصًا لتحقيق كفاءة استدلال وحدة معالجة الرسومات، وقد تحققت من صحة القيمة في البرامج التجريبية للعملاء، مما أدى إلى توسيع نطاق NVMe الخاص بالمورد عبر ابتكار TCP لحل نقاط الضعف الحديثة في الاستدلال.

مدعومًا بخوارزميات الجلب المسبق المحسنة لـ KV-cache، يقوم Inferra بتحميل بيانات ذاكرة التخزين المؤقت KV القادمة بشكل استباقي قبل طلب وحدة معالجة الرسومات. فهو يوفر ثلاث مزايا أساسية: ما يصل إلى 16× جلسات استدلال متزامنة أكثر على أجهزة وحدة معالجة الرسومات الحالية مع الامتثال الصارم لاتفاقية مستوى الخدمة (لا يلزم ترقيات الأجهزة)؛ تحسين زمن الاستجابة بما يصل إلى 100× ودعم نوافذ السياق ذات 10 ملايين رمز مميز، وقطع TTFT وTPOT عبر الجلب المسبق لحالة الانتباه التنبؤية بدلاً من إعادة الحساب؛ وعزل المستأجر بشكل آمن من خلال إدارة ذاكرة التخزين المؤقت الذكية والموحدة لمجموعات الاستدلال المشتركة.

تعيد Inferra تعريف اقتصاديات الاستدلال من خلال إضفاء الطابع الافتراضي على ذاكرة وحدة معالجة الرسومات عبر الذاكرة والتخزين متعدد الطبقات، وتحويل التخزين المؤقت لـ KV المجزأ إلى طبقة بيانات ذكية ومستمرة. يتم نشره على الأنظمة الفرعية x86 للخوادم، وهو يراقب نشاط كتلة ذاكرة التخزين المؤقت KV ويستفيد من محرك الجلب المسبق للانتباه المتفرق الفرعي (SLSAP). من خلال الجمع بين التجزئة الحساسة للمكان وأنماط إعادة استخدام الاهتمام التاريخي، فإنه يصنف ويعطي الأولوية لكتل ​​KV المعاد استخدامها بشكل متكرر، بما في ذلك الرموز المميزة الحديثة والمحتوى المتشابه لغويًا والأنماط الهيكلية في الدردشة متعددة المنعطفات وسير عمل RAG. يقوم النظام باسترداد الكتل المستهدفة من ذاكرة الوصول العشوائي (DRAM) الخاصة بالخادم أو محركات أقراص SSD الخارجية ويقوم بتحميلها مسبقًا إلى وحدة معالجة الرسومات (GPU HBM) عبر RDMA.

أكد يانيف فديدا، كبير مسؤولي المنتجات والتكنولوجيا في OVH، أن Inferra توفر مكاسب كبيرة في استخدام وحدة معالجة الرسومات، مما يتيح وكيل الذكاء الاصطناعي القابل للتطوير والفعال من حيث التكلفة والبنية التحتية لأحمال عمل RAG.

تؤكد نتائج القياس العامة تحسينات جذرية في الأداء: سرعة Qwen 2.5-7B (سياق 410K) تصل إلى 102× (72.6 ثانية → 711 مللي ثانية)؛ يعمل DeepSeek-R1-70B (سياق 141 كيلو بايت) على تحسين 152 × (70.8 ثانية → 465 مللي ثانية)؛ يحقق Llama-4-Scout (سياق 10M) قفزة بمقدار 380× (1.5 ساعة → 13 ثانية).

لا يعتمد Inferra على الأجهزة ويتوافق مع جميع أطر عمل الاستدلال مفتوحة المصدر السائدة، ويدعم المكونات الإضافية Dynamo وvLLM وLMCache. بشكل فريد، فهو يوفر مقياس TTFT خطي فرعي بالنسبة لطول السياق، في حين أن المنافسين بما في ذلك DDN وVAST Data وWEKA يقدمون فقط مقياسًا خطيًا أو تدفقًا تفاعليًا. لقد أظهرت Lightbits استنتاجًا مستقرًا لسياق 10 ملايين رمز مميز على وحدات معالجة الرسوميات L40S للسلع، وهو معيار لا مثيل له من قبل البائعين المنافسين.

صرح راميش تشيتوفيتي، نائب الرئيس الأول للأعمال والمنتج للذكاء الاصطناعي في Lightbits Labs، أن Inferra توفر وفورات فورية في التكلفة الإجمالية للملكية، مما يؤدي إلى القضاء على أكشاك الاستدلال طويلة السياق وتمكين الشركات من تشغيل نماذج أكبر وأعباء عمل حوار أطول بتكاليف بنية تحتية أقل. يمكن للمستخدمين تقييم فوائد تحسين تكلفة الاستدلال الخاصة بـ Inferra عبر منصة تقييم الكفاءة العامة للبائع. في عرض توضيحي مشترك في شهر مارس مع ScaleFlux، حققت Inferra تسريعًا لذاكرة التخزين المؤقت بمعدل 100× إلى 280× كيلو فولت على أعباء عمل SSD للتخزين الحسابي.

شركة بكين تشيانشينغ جيتونغ للتكنولوجيا المحدودة
ساندي يانغ / مدير الإستراتيجية العالمية
واتساب/وي تشات: +86 13426366826
البريد الإلكتروني: yangyd@qianxingdata.com
الموقع الإلكتروني: www.qianxingdata.com/www.storagesserver.com
التركيز على الأعمال:
توزيع منتجات تكنولوجيا المعلومات والاتصالات / تكامل النظام والخدمات / حلول البنية التحتية
مع أكثر من 20 عامًا من الخبرة في توزيع تكنولوجيا المعلومات، نتعاون مع العلامات التجارية العالمية الرائدة لتقديم منتجات موثوقة وخدمات احترافية.
"استخدام التكنولوجيا لبناء عالم ذكي" مزود خدمة منتجات تكنولوجيا المعلومات والاتصالات الموثوق به!