يقول زوكربيرج إن Meta ستحتاج إلى قوة حاسوبية أكبر بمقدار 10 أضعاف لتدريب Llama 4 مقارنة بـ Llama 3
تعتقد شركة Meta، التي تطور أحد أكبر نماذج اللغات الكبيرة مفتوحة المصدر، Llama، أنها ستحتاج إلى قوة حاسوبية أكبر بكثير لتدريب النماذج في المستقبل.
قال مارك زوكربيرج في مكالمة أرباح الربع الثاني لشركة Meta يوم الثلاثاء إن الشركة ستحتاج إلى حوسبة أكثر بـ 10 أضعاف مما هو مطلوب لتدريب Llama 4 لتدريب Llama 3. لكنه لا يزال يريد من Meta بناء القدرة على تدريب النماذج بدلاً من التخلف عن منافسيها. .
وقال زوكربيرج: “من المرجح أن تكون كمية الحوسبة اللازمة لتدريب Llama 4 أكبر بعشر مرات تقريبًا مما استخدمناه لتدريب Llama 3، وستستمر النماذج المستقبلية في النمو إلى ما هو أبعد من ذلك”.
“من الصعب التنبؤ بكيفية اتجاه هذا لعدة أجيال في المستقبل. ولكن في هذه المرحلة، أفضل المخاطرة ببناء القدرات قبل أن تكون هناك حاجة إليها بدلاً من فوات الأوان، نظرًا للمهل الزمنية الطويلة لبدء مشاريع استدلال جديدة.
أصدرت Meta لعبة Llama 3 مع 80 مليار معلمة في أبريل. أصدرت الشركة الأسبوع الماضي نسخة مطورة من النموذج، تسمى Llama 3.1 405B، والتي تحتوي على 405 مليار معلمة، مما يجعلها أكبر نموذج مفتوح المصدر لشركة Meta.
وقالت سوزان لي، المديرة المالية لشركة Meta، إن الشركة تفكر في مشاريع مختلفة لمراكز البيانات وبناء القدرات لتدريب نماذج الذكاء الاصطناعي المستقبلية. وقالت إن ميتا تتوقع أن يؤدي هذا الاستثمار إلى زيادة النفقات الرأسمالية في عام 2025.
يمكن أن يكون تدريب نماذج اللغات الكبيرة عملاً مكلفًا. ارتفعت النفقات الرأسمالية لشركة Meta بنسبة 33٪ تقريبًا إلى 8.5 مليار دولار في الربع الثاني من عام 2024، من 6.4 مليار دولار في العام السابق، مدفوعة بالاستثمارات في الخوادم ومراكز البيانات والبنية التحتية للشبكات.
وفقًا لتقرير صادر عن The Information، تنفق OpenAI 3 مليارات دولار على نماذج التدريب و4 مليارات دولار إضافية على استئجار خوادم بسعر مخفض من Microsoft.
“بينما نقوم بتوسيع نطاق قدرات التدريب على الذكاء الاصطناعي من أجل تطوير نماذجنا الأساسية، سنستمر في بناء بنيتنا التحتية بطريقة توفر لنا المرونة في كيفية استخدامها مع مرور الوقت. وقال لي خلال المكالمة: “سيسمح لنا ذلك بتوجيه القدرة التدريبية إلى استنتاج الذكاء الاصطناعي العام أو إلى أعمال التصنيف والتوصيات الأساسية لدينا، عندما نتوقع أن يكون القيام بذلك أكثر قيمة”.
أثناء المكالمة، تحدثت Meta أيضًا عن استخدام Meta AI الذي يواجه المستهلك وقالت إن الهند هي أكبر سوق لبرنامج الدردشة الآلي الخاص بها. لكن لي أشار إلى أن الشركة لا تتوقع أن تساهم منتجات Gen AI في الإيرادات بطريقة كبيرة.
