شاهد روبوتًا يتنقل في مكاتب Google DeepMind باستخدام Gemini

لقد أظهر الذكاء الاصطناعي التوليدي بالفعل الكثير من الأمل في مجال الروبوتات. تشمل التطبيقات تفاعلات اللغة الطبيعية، وتعلم الروبوت، والبرمجة بدون تعليمات برمجية، وحتى التصميم. يعرض فريق Google DeepMind Robotics هذا الأسبوع نقطة رائعة أخرى محتملة بين التخصصين: الملاحة.

في ورقة بحثية بعنوان “Mobility VLA: التنقل متعدد الوسائط للتعليمات باستخدام VLMs طويلة السياق والرسوم البيانية الطوبولوجية”، يوضح الفريق كيفية تطبيق Google Gemini 1.5 Pro لتعليم الروبوت الاستجابة للأوامر والتنقل حول المكتب. وبطبيعة الحال، استخدمت DeepMind بعضًا من الروبوتات اليومية التي كانت موجودة منذ أن أغلقت Google المشروع وسط عمليات تسريح واسعة النطاق للعمال في العام الماضي.

في سلسلة من مقاطع الفيديو المرفقة بالمشروع، يفتح موظفو DeepMind طريقهم باستخدام مساعد ذكي “OK, Robot”، قبل أن يطلبوا من النظام أداء مهام مختلفة حول مساحة المكتب البالغة 9000 قدم مربع.

في أحد الأمثلة، طلب أحد موظفي Google من الروبوت أن يأخذه إلى مكان ما لرسم الأشياء. “حسنًا،” يجيب الروبوت، مرتديًا ربطة عنق صفراء أنيقة، “أعطني دقيقة. “التفكير مع الجوزاء…” ثم يشرع الروبوت في قيادة الإنسان إلى لوحة بيضاء بحجم الحائط. وفي مقطع فيديو ثانٍ، يطلب شخص آخر من الروبوت اتباع التعليمات الموجودة على السبورة البيضاء.

خريطة بسيطة توضح للروبوت كيفية الوصول إلى “المنطقة الزرقاء”. مرة أخرى، يفكر الروبوت للحظة قبل أن يقطع طريقًا طويلًا إلى ما تبين أنه منطقة اختبار الروبوتات. “لقد اتبعت التوجيهات الموجودة على السبورة بنجاح”، يعلن الروبوت بمستوى من الثقة بالنفس لا يمكن لمعظم البشر إلا أن يحلموا به.

قبل ظهور مقاطع الفيديو هذه، كانت الروبوتات على دراية بالمساحة باستخدام ما يسميه الفريق “الملاحة التعليمية متعددة الوسائط مع الجولات التوضيحية (MINT)”. على نحو فعال، هذا يعني المشي بالروبوت حول المكتب مع الإشارة إلى معالم مختلفة بالكلام. بعد ذلك، يستخدم الفريق التسلسل الهرمي للرؤية واللغة والعمل (VLA) من أجل “الجمع بين[e] فهم البيئة وقوة التفكير المنطقي. وبمجرد دمج العمليات، يمكن للروبوت الاستجابة للأوامر المكتوبة والمرسومة، وكذلك الإيماءات.

وتقول جوجل إن الروبوت حقق معدل نجاح يصل إلى 90% أو نحو ذلك عبر أكثر من 50 تفاعلًا مع الموظفين.