“انهيار النموذج”: العلماء يحذرون من السماح للذكاء الاصطناعي بأكل ذيله

عندما ترى الأوروبوروس الأسطوري، فمن المنطقي تمامًا أن تفكر “حسنًا، هذا لن يدوم”. رمز قوي، يبتلع ذيلك – ولكنه صعب في الممارسة العملية. قد يكون هذا هو الحال بالنسبة للذكاء الاصطناعي أيضًا، والذي وفقًا لدراسة جديدة، قد يكون معرضًا لخطر “انهيار النموذج” بعد بضع جولات من التدريب على البيانات التي أنشأها بنفسه.

في بحث نُشر في مجلة Nature، أظهر باحثون بريطانيون وكنديون بقيادة إيليا شوميلوف في أكسفورد أن نماذج التعلم الآلي الحالية معرضة بشكل أساسي لمتلازمة يسمونها “انهيار النموذج”. كما كتبوا في مقدمة الورقة:

لقد اكتشفنا أن التعلم العشوائي من البيانات التي تنتجها النماذج الأخرى يؤدي إلى “انهيار النموذج” – وهي عملية تنكسية تنسى بموجبها النماذج، بمرور الوقت، التوزيع الأساسي الحقيقي للبيانات…

كيف يحدث هذا، ولماذا؟ العملية في الواقع سهلة الفهم.

نماذج الذكاء الاصطناعي هي أنظمة مطابقة الأنماط في جوهرها: فهي تتعلم الأنماط في بيانات التدريب الخاصة بها، ثم تطابق المطالبات مع تلك الأنماط، وملء النقاط التالية الأكثر احتمالاً على السطر. سواءً كنت تسأل “ما هي وصفة السنيكر دودل الجيدة؟” أو “أدرج رؤساء الولايات المتحدة حسب أعمارهم عند تنصيبهم”، فإن النموذج في الأساس يعيد فقط الاستمرارية الأكثر ترجيحًا لتلك السلسلة من الكلمات. (يختلف الأمر بالنسبة لمولدات الصور، ولكنه متشابه في العديد من النواحي.)

لكن المشكلة هي أن النماذج تنجذب نحو المخرجات الأكثر شيوعًا. لن يمنحك وصفة snickerdoodle المثيرة للجدل، بل الوصفة العادية الأكثر شعبية. وإذا طلبت من منشئ الصور إنشاء صورة لكلب، فلن يعطيك سلالة نادرة لم ير سوى صورتين لها في بيانات التدريب الخاصة به؛ من المحتمل أن تحصل على كلب جولدن ريتريفر أو مختبر.

الآن، اجمع بين هذين الأمرين مع حقيقة أن الويب يتم اجتياحه بواسطة المحتوى الذي تم إنشاؤه بواسطة الذكاء الاصطناعي، وأن نماذج الذكاء الاصطناعي الجديدة من المرجح أن تستوعب هذا المحتوى وتدرب عليه. وهذا يعني أنهم سوف يرون أ كثير من الذهبيات!

وبمجرد أن يتدربوا على هذا الانتشار للمدونات الذهبية (أو المدونات العشوائية، أو الوجوه المزيفة، أو الأغاني التي تم إنشاؤها)، فهذه هي حقيقتهم الأرضية الجديدة. سوف يعتقدون أن 90% من الكلاب هي في الواقع كلاب ذهبية، وبالتالي عندما يُطلب منهم إنشاء كلب، سيرفعون نسبة الكلاب الذهبية إلى أعلى – حتى يفقدوا أساسًا ما هي الكلاب على الإطلاق.

يوضح هذا الرسم التوضيحي الرائع من مقال التعليق المصاحب لمجلة Nature العملية بصريًا:

يحدث شيء مماثل مع نماذج اللغة وغيرها من النماذج التي تفضل، بشكل أساسي، البيانات الأكثر شيوعًا في مجموعة التدريب الخاصة بها للحصول على الإجابات – وهو، لكي نكون واضحين، عادة ما يكون الشيء الصحيح الذي يجب القيام به. إنها ليست مشكلة حقًا حتى تلتقي بمحيط الأصدقاء الذي يمثل شبكة الويب العامة الآن.

في الأساس، إذا استمرت النماذج في تناول بيانات بعضها البعض، ربما دون معرفة ذلك، فإنها ستصبح تدريجيًا أكثر غرابة وغباء حتى تنهار. يقدم الباحثون العديد من الأمثلة وطرق التخفيف، لكنهم يذهبون إلى حد وصف انهيار النموذج بأنه “حتمي”، على الأقل من الناحية النظرية.

على الرغم من أن الأمر قد لا يحدث كما تظهره التجارب التي أجروها، إلا أن هذا الاحتمال يجب أن يخيف أي شخص في مجال الذكاء الاصطناعي. يعتبر تنوع وعمق بيانات التدريب بشكل متزايد العامل الأكثر أهمية في جودة النموذج. إذا نفدت البيانات لديك، لكنك ستتسبب في المزيد من المخاطر في انهيار النموذج، فهل يحد هذا بشكل أساسي من الذكاء الاصطناعي اليوم؟ وإذا بدأ الأمر بالحدوث، فكيف سنعرف؟ وهل هناك أي شيء يمكننا القيام به لمنع المشكلة أو التخفيف منها؟

ربما تكون الإجابة على السؤال الأخير على الأقل هي نعم، رغم أن ذلك لا ينبغي أن يخفف من مخاوفنا.

من الممكن أن تساعد المعايير النوعية والكمية لمصادر البيانات وتنوعها، لكننا بعيدون عن توحيدها. من شأن العلامات المائية للبيانات التي ينشئها الذكاء الاصطناعي أن تساعد أنظمة الذكاء الاصطناعي الأخرى على تجنب ذلك، ولكن حتى الآن لم يجد أحد طريقة مناسبة لوضع علامة على الصور بهذه الطريقة (حسنًا… لقد فعلت ذلك).

في الواقع، قد يتم تثبيط الشركات من مشاركة هذا النوع من المعلومات، وبدلاً من ذلك تقوم بتكديس جميع البيانات الأصلية ذات القيمة العالية والتي ينتجها الإنسان، مع الاحتفاظ بما يفعله شوميلوف وآخرون. نسميها “ميزة المحرك الأول”.

[Model collapse] ويجب أن يؤخذ هذا التدريب على محمل الجد إذا أردنا الحفاظ على فوائد التدريب من البيانات واسعة النطاق المستخرجة من شبكة الإنترنت. وفي الواقع، فإن قيمة البيانات التي يتم جمعها حول التفاعلات البشرية الحقيقية مع الأنظمة سوف تكون ذات قيمة متزايدة في وجود المحتوى الناتج عن ماجستير إدارة الأعمال في البيانات التي يتم الزحف إليها من الإنترنت.

… قد يصبح من الصعب بشكل متزايد تدريب الإصدارات الأحدث من LLMs دون الوصول إلى البيانات التي تم الزحف إليها من الإنترنت قبل الاعتماد الشامل للتكنولوجيا أو الوصول المباشر إلى البيانات التي أنشأها البشر على نطاق واسع.

أضف ذلك إلى كومة التحديات الكارثية المحتملة التي تواجه نماذج الذكاء الاصطناعي، والحجج ضد أساليب اليوم لإنتاج الذكاء الفائق في المستقبل.