يواجه اعتماد الذكاء الاصطناعي حاليًا صعوبات بسبب ارتفاع نفقات الرمز المميز وعدم وضوح التسعير المسبق لطلبات الذكاء الاصطناعي، مما يؤدي إلى الإفراط في إنفاق الرمز المميز بشكل غير منضبط. يتم تضخيم هذا الخطر بشكل كبير من قبل وكلاء الذكاء الاصطناعي، الذين يعملون حاليًا دون قيود مدمجة على تكلفة الرمز المميز ويمكن أن يؤديوا إلى ارتفاع كبير في التكلفة.
تشرح هذه المقالة ماهية الرموز المميزة للذكاء الاصطناعي، وكيفية عمل تسعير الرموز المميزة، والاستراتيجيات القابلة للتنفيذ لمنع الإنفاق الرمزي الكارثي. شهدت إحدى الحالات الموثقة جيدًا لمؤسسة ما تراكم فاتورة بقيمة 500,000,000 دولار أمريكي على منصة Anthropic's Claude، وذلك ببساطة بسبب عدم وجود حدود لاستخدام الموظفين. بشكل منفصل، ورد أن الفريق الهندسي في أوبر قد استنفد ميزانية الذكاء الاصطناعي لعام 2026 بالكامل قبل الموعد المحدد. الرموز هي الوحدات الأساسية التي تستخدمها نماذج اللغة الكبيرة (LLM) وروبوتات الدردشة لتحليل مطالبات اللغة البشرية وإنشاء مخرجات متماسكة للذكاء الاصطناعي.
على سبيل المثال، يتم تقسيم موجه الإدخال "أخبرني عن الترسيب" إلى مكونات رمزية منفصلة:
-يخبر
-أنا
-عن
-الرواسب
-ation
يساعد هذا التقسيم المكون من خمسة رموز للكلمة الواحدة "الترسيب" طلاب LLM على تفسير بنية الكلمة ومعناها بدقة. يسمح تقسيم الجذر "الرواسب" واللاحقة "ation" للنموذج بالتعرف على الاستخدام المتسق لللاحقة عبر العديد من الأسماء، بما في ذلك الكتابة بالأحرف الكبيرة والحوسبة والضرائب. يعمل هذا الأسلوب على تضييق نطاق بحث النموذج في قاعدة البيانات الخاصة به، مما يقلل وقت المعالجة بدلاً من فحص كل كلمة تحتوي على لاحقة بشكل فردي.
باعتبارها وحدات بيانات أساسية، يتم تحويل الرموز المميزة إلى تضمينات متجهة - سلاسل رقمية رياضية تقوم بتشفير المعنى الدلالي ويتم تخزينها في فهارس النماذج. خذ كلمة "قطة" كمثال: يقوم النموذج بإنشاء ناقلات متعددة لتمثيل سماتها متعددة الأبعاد، مثل الكائن الحي، والحيوانات الأليفة المنزلية، وسمات القطط، والحجم المادي، والمزيد. تميز مجموعات المتجهات الفريدة هذه بين "القطط" والأشياء غير الحية، وأنواع الحيوانات الأخرى مثل الكلاب والنمور، وألعاب القطط الاصطناعية.
يمكن التعبير عن التضمين المتجهي الافتراضي الخماسي الأبعاد لمصطلح "قطة" بـ [1.5, -0.4, 7.2, 19.6, 20.2].
توجد جميع بيانات المتجهات في مساحة متجهة موحدة، مما يمكّن النماذج من تحديد المحتوى المتشابه لغويًا عن طريق قياس القرب المكاني بين نقاط المتجهات.
بمجرد تحويلها إلى ناقلات، تتم معالجة الرموز المميزة على خوادم GPU عالية التكلفة ومجهزة بذاكرة ذات نطاق ترددي عالٍ. تبلغ تكلفة NVIDIA DGX SuperPOD التي تحتوي على 32 عقدة و256 وحدة معالجة رسومات إجمالية ما بين 12 مليون دولار و20 مليون دولار. يمكن أن تتجاوز البنية المرجعية الأكثر تقدمًا مع 140 عقدة DGX H100 وشبكة Quantum-2 InfiniBand والتخزين الكامل والبنية التحتية للشبكة وأنظمة الدعم 100 مليون دولار. تنعكس تكاليف البنية التحتية الكبيرة هذه بشكل مباشر في مخططات التسعير الرمزية لنماذج الأساس السائدة.
يعتمد مقدمو خدمات LLM وchatbot الرائدون، بما في ذلك OpenAI وAnthropic، نماذج فوترة قائمة على الرمز المميز، مع قواعد تحويل رمزية يمكن التنبؤ بها لمحتوى النص. بشكل تقريبي، يعادل رمز اللغة الإنجليزية حوالي أربعة أحرف أو 0.75 كلمة، مما يعني أن 750 كلمة تتوافق مع حوالي 1000 رمز. والجدير بالذكر أن كلاً من مطالبات الإدخال واستجابات المخرجات التي تم إنشاؤها تستهلك الرموز المميزة. على سبيل المثال، تستهلك مطالبة الإدخال المكونة من 750 كلمة المقترنة بمخرجات الذكاء الاصطناعي المكونة من 2000 كلمة ما يقرب من 3667 رمزًا مميزًا في المجموع.
يزيد استهلاك الرمز المميز بشكل مباشر من زمن استجابة الذكاء الاصطناعي. يتم تضمين كافة الرموز المميزة من جلسة استجابة سريعة واحدة ضمن نافذة سياق ذات سعة محدودة. وفقًا لبيانات Decagon، يمكن لنافذة سياق مكونة من 100000 رمز مميز أن تحتوي على حوالي 75000 كلمة إنجليزية، أي ما يعادل كتابًا مكونًا من 300 صفحة.
تؤدي سعة نافذة السياق غير الكافية إلى فقدان LLMs للمعلومات السياقية، مما يؤدي إلى مخرجات غير كاملة أو غير دقيقة للذكاء الاصطناعي. مع تطور النماذج الأساسية، تستمر أحجام نافذة السياق في التوسع: يدعم GPT-4o ما يصل إلى 128000 رمزًا مميزًا، ويصل Claude 3.5 Sonnet إلى 200000 رمزًا مميزًا، ويمكن لمستخدمي Gemini 1.5 Pro Enterprise الوصول إلى نافذة سياق مكونة من 2 مليون رمز مميز.
يختلف سعر الرمز المميز عبر بائعي النماذج. يوضح تفصيل تسعير ChatGPT من Intuition Labs آلية إعداد فواتير الصناعة:
وفقًا لشركة Intuition Labs، تعمل واجهة ChatGPT API الخاصة بـ OpenAI على بنية فوترة خالصة قائمة على الرمز المميز. يحدد كل نموذج أسعار وحدة ثابتة لرموز الإدخال ورموز الإخراج بشكل منفصل، وعادة ما تكون تكلفة رموز الإخراج أكثر. يتقلب السعر أيضًا بناءً على حالة الاستجابة المخزنة مؤقتًا. تترتب على كل استدعاء لواجهة برمجة التطبيقات رسومان مختلفتان: واحدة لرموز الإدخال السريعة والأخرى لرموز الإخراج التي يتم إنشاؤها بواسطة الذكاء الاصطناعي. كمثال عملي، يؤدي استخدام نموذج بسعر 10 دولارات لكل مليون رمز مخرجات لـ 100 رمز إدخال و400 رمز مخرج إلى تكاليف إدخال تبلغ 10 × (100/1,000,000) وتكاليف مخرجات قدرها 10 × (400/1,000,000)، مع إجمالي إنفاق يساوي مجموع الرقمين.
يمكن للمؤسسات نشر ضوابط حوكمة مستهدفة للحد من الإنفاق الرمزي، بما في ذلك الحصص لكل مستخدم أو لكل مقعد، وتقييد حركة المرور على أساس الاستخدام، وحدود الإنفاق لكل مشروع، وقيود طبقة النموذج. يتطور مجال الحوكمة هذا بسرعة، حيث يتنافس موردو الذكاء الاصطناعي على تحسين جودة الخدمة، وموازنة تدفقات الإيرادات، والتنافس مع نماذج الذكاء الاصطناعي مفتوحة المصدر.
يقدم وكلاء الذكاء الاصطناعي طبقة جديدة تمامًا من مخاطر تكلفة الرمز المميز. وبدون حواجز حماية تشغيلية صارمة، يمكن للوكلاء المستقلين أن يؤديوا إلى استهلاك ضخم وغير مخطط له للرموز. يوصي خبراء الصناعة بمعاملة وكلاء الذكاء الاصطناعي كموظفين رقميين، حيث تقوم فرق FinOps بتنفيذ مراقبة صارمة للإنفاق على مدار الساعة لتجنب كوارث التكلفة.
شركة بكين تشيانشينغ جيتونغ للتكنولوجيا المحدودة
ساندي يانغ / مدير الإستراتيجية العالمية
واتساب/وي تشات: +86 13426366826
البريد الإلكتروني: yangyd@qianxingdata.com
الموقع الإلكتروني: www.qianxingdata.com/www.storagesserver.com
التركيز على الأعمال:
توزيع منتجات تكنولوجيا المعلومات والاتصالات / تكامل النظام والخدمات / حلول البنية التحتية
مع أكثر من 20 عامًا من الخبرة في توزيع تكنولوجيا المعلومات، نتعاون مع العلامات التجارية العالمية الرائدة لتقديم منتجات موثوقة وخدمات احترافية.
"استخدام التكنولوجيا لبناء عالم ذكي" مزود خدمة منتجات تكنولوجيا المعلومات والاتصالات الموثوق به!
يجب أن تكون رسالتك بين 20-3000 حرف!
Arabic
