يصدر NIST أداة لاختبار مخاطر نماذج الذكاء الاصطناعي

أعاد المعهد الوطني للمعايير والتكنولوجيا (NIST)، وهو وكالة وزارة التجارة الأمريكية التي تعمل على تطوير واختبار التكنولوجيا للحكومة الأمريكية والشركات والجمهور الأوسع، إصدار اختبار مصمم لقياس مدى فعالية الهجمات الخبيثة – وخاصة الهجمات التي “تسمم” “بيانات تدريب نموذج الذكاء الاصطناعي – قد تؤدي إلى انخفاض أداء نظام الذكاء الاصطناعي.

تسمى هذه الأداة Dioptra (على اسم الأداة الفلكية والمسحية الكلاسيكية)، وهي أداة معيارية مفتوحة المصدر قائمة على الويب، وتم إصدارها لأول مرة في عام 2022، وتسعى إلى مساعدة الشركات على تدريب نماذج الذكاء الاصطناعي – والأشخاص الذين يستخدمون هذه النماذج – على تقييم وتحليل وتتبع مخاطر الذكاء الاصطناعي. يقول المعهد الوطني للمعايير والتكنولوجيا (NIST) إنه يمكن استخدام ديوبترا لقياس النماذج والبحث عنها، بالإضافة إلى توفير منصة مشتركة لتعريض النماذج للتهديدات المحاكية في بيئة “الفريق الأحمر”.

وكتبت NIST في بيان صحفي: “إن اختبار تأثيرات الهجمات العدائية على نماذج التعلم الآلي هو أحد أهداف Dioptra”. “يمكن للبرامج مفتوحة المصدر، مثل إتاحة الأطفال للتنزيل مجانًا، أن تساعد المجتمع، بما في ذلك الوكالات الحكومية والشركات الصغيرة والمتوسطة الحجم، في إجراء تقييمات لتقييم ادعاءات مطوري الذكاء الاصطناعي بشأن أداء أنظمتهم.”

ظهرت Dioptra لأول مرة جنبًا إلى جنب مع وثائق من NIST ومعهد سلامة الذكاء الاصطناعي الذي أنشأه NIST مؤخرًا والذي يحدد طرقًا للتخفيف من بعض مخاطر الذكاء الاصطناعي، مثل كيفية إساءة استخدامه لإنتاج مواد إباحية غير موافقة. ويأتي ذلك بعد إطلاق Inspect التابع لمعهد سلامة الذكاء الاصطناعي في المملكة المتحدة، وهو عبارة عن مجموعة أدوات تهدف بالمثل إلى تقييم قدرات النماذج وسلامة النماذج بشكل عام. لدى الولايات المتحدة والمملكة المتحدة شراكة مستمرة للتطوير المشترك لاختبارات نماذج الذكاء الاصطناعي المتقدمة، والتي تم الإعلان عنها في قمة سلامة الذكاء الاصطناعي في المملكة المتحدة في بلتشلي بارك في نوفمبر من العام الماضي.

Dioptra هو أيضًا نتاج الأمر التنفيذي للرئيس جو بايدن (EO) بشأن الذكاء الاصطناعي، والذي يفرض (من بين أمور أخرى) أن يساعد NIST في اختبار نظام الذكاء الاصطناعي. ويضع مكتب الأخلاقيات أيضًا معايير لسلامة وأمن الذكاء الاصطناعي، بما في ذلك متطلبات الشركات التي تقوم بتطوير النماذج (مثل Apple) لإخطار الحكومة الفيدرالية ومشاركة نتائج جميع اختبارات السلامة قبل نشرها للجمهور.

كما كتبنا من قبل، فإن معايير الذكاء الاصطناعي صعبة – لأسباب ليس أقلها أن نماذج الذكاء الاصطناعي الأكثر تطورًا اليوم هي عبارة عن صناديق سوداء يتم الاحتفاظ ببنيتها التحتية وبياناتها التدريبية والتفاصيل الرئيسية الأخرى تحت غطاء من قبل الشركات التي تقوم بإنشائها. وجد تقرير صدر هذا الشهر من معهد Ada Lovelace، وهو معهد أبحاث غير ربحي مقره المملكة المتحدة يدرس الذكاء الاصطناعي، أن التقييمات وحدها ليست كافية لتحديد مدى سلامة نموذج الذكاء الاصطناعي في العالم الحقيقي، ويرجع ذلك جزئيًا إلى أن السياسات الحالية تسمح لبائعي الذكاء الاصطناعي اختيار التقييمات التي سيتم إجراؤها بشكل انتقائي.

لا يؤكد NIST أن Dioptra يمكنه إزالة المخاطر تمامًا من النماذج. لكن الوكالة يفعل يقترح أن Dioptra يمكنه تسليط الضوء على أنواع الهجمات التي قد تجعل أداء نظام الذكاء الاصطناعي أقل فعالية وقياس هذا التأثير على الأداء.

ومع ذلك، في قيود كبيرة، يعمل Dioptra فقط خارج الصندوق على النماذج التي يمكن تنزيلها واستخدامها محليًا، مثل عائلة Llama المتوسعة في Meta. النماذج المسورة خلف واجهة برمجة التطبيقات (API)، مثل GPT-4o من OpenAI، لا يمكن قبولها، على الأقل في الوقت الحالي.