كشفت شركة "Inception Labs"، ومقرها في كاليفورنيا، مؤخرًا عن نوع جديد من نماذج اللغة الكبيرة يعمل بتقنية الانتشار، يمكنه إنشاء النصوص بسرعة أكبر من النماذج التقليدية، ويحمل اسم "Mercury".

وعلى عكس النماذج التقليدية التي تولد النص كلمة بكلمة، مثل تلك التي تدعم "شات جي بي تي"، تقوم النماذج المعتمدة على الانتشار بإنشاء الردود بالكامل في وقت واحد، ثم تنقيحها من صورتها الأولية إلى نص أكثر ترابطًا.
وتنشئ نماذج اللغة الكبيرة التلقيدية النصوص من اليسار إلى اليمين، كلمة تلو الأخرى، باستخدام تقنية تُعرف باسم "الانحدار الذاتي" (autoregression)، حيث يجب أن تنتظر كل كلمة الكلمات السابقة لها قبل أن تظهر.

ويقدم هذا النوع من النماذج قدرات النماذج اللغوية الكبيرة التقليدية، بما في ذلك توليد الأكواد والإجابة على الأسئلة، ولكن مع أداء أسرع بشكل كبير وتكاليف حوسبة أقل.

يبني الباحثون نماذج انتشار النصوص من خلال تدريب شبكة عصبية على بيانات غير واضحة جزئيًا، وجعل النموذج يتوقع بالاكتمال الأكثر احتمالية ثم مقارنة النتائج بالإجابة الفعلية. إذا أجاب النموذج بشكل صحيح، يتم تعزيز الروابط في الشبكة العصبية التي أدت إلى الإجابة الصحيحة.

وبعد أمثلة كافية، يمكن للنموذج توليد مخرجات ذات احتمالية عالية بما يكفي لتكون مفيدة في مهام مثل البرمجة.

ووفقًا لـ"Inception Labs"، يسمح نهجها للنموذج بتحسين المخرجات وتصحيح الأخطاء لأنه لا يقتصر على النظر فقط في النصوص التي تم توليدها سابقًا.

تمكن هذه المعالجة المتوازية من تحقيق سرعة توليد تتجاوز 1,000 رمز في الثانية، كما تم الإبلاغ عنها في نموذج "Mercury" باستخدام وحدات معالجة الرسومات "Nvidia H100".

الأداء
تحافظ نماذج الانتشار هذه على أداء أسرع من أو مماثل للنماذج التقليدية ذات الحجم المماثل.

ويُزعم أن نموذج "Mercury" لديه سرعة أفضل بكثير، إذ أن نموذج "Mercury Coder Mini " سجل 88% في اختبار "HumanEval" و77.1% في "MBPP"، وهو ما يعادل تقريبًا أداء GPT-4o" Mini" من "OpenAI".

يأتي هذه الأداء بينما يعمل نموذج "Mercury Coder Mini" بسرعة 1,109 رمزًا في الثانية مقارنة بـ 59 رمزًا في الثانية لـ"GPT-4o Mini"، وهذا يمثل ميزة في السرعة تصل إلى حوالي 19 مرة مقارنة بـ"GPT-4o Mini " مع الحفاظ على أداء مشابه في معايير البرمجة.

وإذا حافظت نماذج اللغة المعتمدة على الانتشار على الجودة مع تحسين السرعة، فقد تغير الطريقة التي يتطور بها توليد النصوص بواسطة الذكاء الاصطناعي. وحتى الآن، كان الباحثون في مجال الذكاء الاصطناعي منفتحين على الأساليب الجديدة.