(لم تتغير الملفات لإصلاح مشكلات التنسيق)
بقلم كريستال هو، آنا تونغ
(رويترز) – تسعى شركات الذكاء الاصطناعي مثل OpenAI إلى التغلب على التأخيرات والتحديات غير المتوقعة في السعي وراء نماذج لغوية كبيرة الحجم من خلال تطوير تقنيات التدريب التي تستخدم طرقًا شبيهة بالطرق البشرية لكي “تفكر” الخوارزميات.
وقال عشرات من علماء وباحثي ومستثمري الذكاء الاصطناعي لرويترز إنهم يعتقدون أن هذه التقنيات، التي تقف وراء نموذج o1 الذي أطلقته شركة OpenAI مؤخرًا، يمكن أن تعيد تشكيل سباق التسلح في الذكاء الاصطناعي، ويكون لها آثار على أنواع الموارد التي تطلبها شركات الذكاء الاصطناعي بشكل لا يشبع، بدءًا من الطاقة لأنواع الرقائق.
رفضت OpenAI التعليق على هذه القصة. بعد إطلاق برنامج الدردشة ChatGPT الفيروسي قبل عامين، أكدت شركات التكنولوجيا، التي استفادت تقييماتها بشكل كبير من طفرة الذكاء الاصطناعي، علناً أن “توسيع نطاق” النماذج الحالية من خلال إضافة المزيد من البيانات والقدرة الحاسوبية سيؤدي باستمرار إلى تحسين نماذج الذكاء الاصطناعي.
لكن الآن، يتحدث بعض أبرز علماء الذكاء الاصطناعي علنًا عن القيود المفروضة على فلسفة “الأكبر هو الأفضل”.
قال إيليا سوتسكيفر، المؤسس المشارك لمختبرات الذكاء الاصطناعي Safe Superintelligence (SSI) وOpenAI، لرويترز مؤخرًا إن النتائج ناتجة عن توسيع نطاق التدريب المسبق – مرحلة تدريب نموذج الذكاء الاصطناعي الذي يستخدم كمية هائلة من البيانات غير المسماة لفهم أنماط اللغة وهياكلها – استقرت.
يُنسب إلى Sutskever على نطاق واسع باعتباره من أوائل المدافعين عن تحقيق قفزات هائلة في تقدم الذكاء الاصطناعي التوليدي من خلال استخدام المزيد من البيانات وقوة الحوسبة في التدريب المسبق، مما أدى في النهاية إلى إنشاء ChatGPT. غادر Sutskever OpenAI في وقت سابق من هذا العام لتأسيس SSI.
“كان العقد الأول من القرن الحادي والعشرين هو عصر التوسع، والآن عدنا إلى عصر العجب والاكتشاف مرة أخرى. قال سوتسكيفر: “الجميع يبحث عن الشيء التالي”. “إن توسيع نطاق الشيء الصحيح مهم الآن أكثر من أي وقت مضى.”
ورفض Sutskever مشاركة المزيد من التفاصيل حول كيفية معالجة فريقه لهذه المشكلة، بخلاف القول إن SSI تعمل على نهج بديل لتوسيع نطاق التدريب المسبق.
خلف الكواليس، واجه الباحثون في مختبرات الذكاء الاصطناعي الكبرى تأخيرات ونتائج مخيبة للآمال في السباق لإصدار نموذج لغوي كبير يتفوق على نموذج GPT-4 الخاص بـ OpenAI، والذي يبلغ عمره عامين تقريبًا، وفقًا لثلاثة مصادر مطلعة على الأمور الخاصة.
يمكن أن تكلف ما يسمى بـ “عمليات التدريب” للنماذج الكبيرة عشرات الملايين من الدولارات عن طريق تشغيل مئات الرقائق في وقت واحد. هم أكثر عرضة للفشل الناجم عن الأجهزة نظرا لمدى تعقيد النظام؛ وقد لا يعرف الباحثون الأداء النهائي للنماذج حتى نهاية التشغيل، الأمر الذي قد يستغرق شهورًا.
هناك مشكلة أخرى وهي أن النماذج اللغوية الكبيرة تلتهم كميات هائلة من البيانات، وقد استنفدت نماذج الذكاء الاصطناعي جميع البيانات التي يمكن الوصول إليها بسهولة في العالم. كما أعاق نقص الطاقة أيضًا عمليات التدريب، حيث تتطلب العملية كميات هائلة من الطاقة.
للتغلب على هذه التحديات، يستكشف الباحثون “حساب وقت الاختبار”، وهي تقنية تعمل على تعزيز نماذج الذكاء الاصطناعي الحالية خلال ما يسمى بمرحلة “الاستدلال”، أو عند استخدام النموذج. على سبيل المثال، بدلاً من اختيار إجابة واحدة على الفور، يمكن للنموذج إنشاء وتقييم احتمالات متعددة في الوقت الفعلي، واختيار المسار الأفضل للمضي قدمًا في النهاية.
تسمح هذه الطريقة للنماذج بتخصيص المزيد من قوة المعالجة للمهام الصعبة مثل الرياضيات أو مشاكل الترميز أو العمليات المعقدة التي تتطلب تفكيرًا واتخاذ قرارات شبيهة بالإنسان.
وقال نوام براون، الباحث في OpenAI الذي عمل في لعبة البوكر: “اتضح أن جعل الروبوت يفكر لمدة 20 ثانية فقط في لعبة البوكر حصل على نفس الأداء المعزز مثل توسيع نطاق النموذج بمقدار 100000 مرة وتدريبه لمدة 100000 مرة أطول”. على o1، في مؤتمر TED AI في سان فرانسيسكو الشهر الماضي.
تبنت شركة OpenAI هذه التقنية في نموذجها الذي تم إصداره حديثًا والمعروف باسم “o1″، المعروف سابقًا باسم Q* وStrawberry، والذي نشرته رويترز لأول مرة في يوليو. يمكن لنموذج O1 “التفكير” من خلال المشكلات بطريقة متعددة الخطوات، على غرار الإنسان ويتضمن أيضًا استخدام البيانات والتعليقات التي تم جمعها من حملة الدكتوراه وخبراء الصناعة. إن الخلطة السرية لسلسلة o1 عبارة عن مجموعة أخرى من التدريبات التي يتم إجراؤها على أعلى النماذج “الأساسية” مثل GPT-4، وتقول الشركة إنها تخطط لتطبيقها. هذه التقنية مع نماذج أساسية أكبر وأكبر.
في الوقت نفسه، يعمل الباحثون في مختبرات الذكاء الاصطناعي الكبرى الأخرى، من Anthropic وxAI وGoogle (NASDAQ:) DeepMind، أيضًا على تطوير إصداراتهم الخاصة من هذه التقنية، وفقًا لخمسة أشخاص مطلعين على الجهود.
قال كيفن ويل، كبير مسؤولي المنتجات في OpenAI في مؤتمر تقني في أكتوبر: “إننا نرى الكثير من الثمار الدانية التي يمكننا قطفها لتحسين هذه النماذج بسرعة كبيرة”. “وبحلول الوقت الذي يلحق فيه الناس بالركب، سنحاول أن نكون متقدمين بثلاث خطوات أخرى.”
ولم تستجب شركتا Google وxAI لطلبات التعليق ولم يكن لدى Anthropic تعليق فوري.
يمكن أن تغير الآثار المشهد التنافسي لأجهزة الذكاء الاصطناعي، التي يهيمن عليها حتى الآن الطلب النهم على رقائق الذكاء الاصطناعي من إنفيديا. مستثمرو رأس المال الاستثماري البارزون، من سيكويا إلى أندريسن هورويتز، الذين أنفقوا المليارات لتمويل تطوير باهظ الثمن لنماذج الذكاء الاصطناعي في العديد من مختبرات الذكاء الاصطناعي بما في ذلك OpenAI وxAI، يلاحظون هذا التحول ويزنون التأثير على رهاناتهم باهظة الثمن.
وقالت سونيا هوانج، الشريكة في سيكويا كابيتال، لرويترز: “سينقلنا هذا التحول من عالم مجموعات ضخمة ما قبل التدريب إلى سحابات الاستدلال، والتي يتم توزيعها على خوادم سحابية للاستدلال”.
أدى الطلب على رقائق الذكاء الاصطناعي من Nvidia، والتي تعد الأكثر تطوراً، إلى زيادة صعودها لتصبح الشركة الأكثر قيمة في العالم، متجاوزة Apple (NASDAQ:) في أكتوبر. على عكس رقائق التدريب، حيث تهيمن شركة Nvidia (NASDAQ:)، قد تواجه شركة الرقائق العملاقة المزيد من المنافسة في سوق الاستدلال.
عند سؤالها عن التأثير المحتمل على الطلب على منتجاتها، أشارت Nvidia إلى العروض التقديمية الأخيرة للشركة حول أهمية التقنية الكامنة وراء نموذج o1. تحدث رئيسها التنفيذي جنسن هوانغ عن الطلب المتزايد على استخدام رقائقها للاستدلال.
وقال هوانغ الشهر الماضي في مؤتمر بالهند: “لقد اكتشفنا الآن قانونًا ثانيًا للتوسع، وهذا هو قانون التوسع في وقت الاستدلال… كل هذه العوامل أدت إلى ارتفاع الطلب على بلاكويل بشكل لا يصدق”. في إشارة إلى أحدث شرائح الذكاء الاصطناعي للشركة.