متا از ابزارهای هوش مصنوعی رونمایی می کند تا به ربات ها در دنیای فیزیکی حس انسانی بدهد

متا چندین ساخته است اطلاعیه های اصلی برای رباتیک و سیستم های هوش مصنوعی تجسم یافته این هفته. این شامل انتشار معیارها و مصنوعات برای درک بهتر و تعامل با دنیای فیزیکی است. Sparsh، Di، 360 و Di، Plexus، سه مصنوع تحقیقاتی منتشر شده توسط متا، بر درک لمس، مهارت روبات و تعامل انسان و ربات تمرکز دارند. متا همچنین در حال انتشار PARTNR یک معیار جدید برای ارزیابی برنامه ریزی و استدلال در همکاری انسان و ربات است.

این انتشار در حالی صورت می‌گیرد که پیشرفت‌ها در مدل‌های پایه، علاقه به روباتیک را تجدید کرده است و شرکت‌های هوش مصنوعی به تدریج رقابت خود را از قلمرو دیجیتال به دنیای فیزیکی گسترش می‌دهند.

امیدی دوباره در صنعت وجود دارد که با کمک مدل‌های پایه مانند مدل‌های زبان بزرگ (LLM) و مدل‌های زبان بینایی (VLM)، ربات‌ها بتوانند وظایف پیچیده‌تری را که نیاز به استدلال و برنامه‌ریزی دارند، انجام دهند.

ادراک لمسی

اسپارشکه با همکاری دانشگاه واشنگتن و دانشگاه کارنگی ملون ایجاد شد، خانواده ای از مدل های رمزگذار برای سنجش لمسی مبتنی بر بینایی است. این به م،ای ارائه ربات ها با قابلیت های درک لمس است. درک لمس برای کارهای رباتیک، مانند تعیین میزان فشاری که می توان به یک جسم خاص وارد کرد تا از آسیب دیدن آن جلوگیری شود، بسیار مهم است.

رویکرد ک،یک برای ،یب حسگرهای لمسی مبتنی بر بینایی در وظایف ربات، استفاده از داده‌های بر،ب‌دار برای آموزش مدل‌های سفارشی است که می‌توانند حالت‌های مفید را پیش‌بینی کنند. این رویکرد در حسگرها و وظایف مختلف تعمیم نمی یابد.

متا Sparsh را به ،وان یک مدل همه منظوره توصیف می کند که می تواند برای انواع مختلف حسگرهای لمسی مبتنی بر بینایی و وظایف مختلف اعمال شود. برای غلبه بر چالش‌هایی که نسل‌های قبلی مدل‌های ادراک لمسی با آن مواجه بودند، محققان مدل‌های Sparsh را از طریق یادگیری خود نظارتی (SSL) آموزش دادند که نیاز به داده‌های بر،ب‌گذاری شده را برطرف می‌کند. این مدل بر روی بیش از 460000 تصویر لمسی، ادغام شده از مجموعه داده‌های مختلف آموزش دیده است. بر اساس آزمایش‌های محققان، Sparsh به طور متوسط ​​95.1 درصد نسبت به مدل‌های انتها به انتها مخصوص کار و حسگر تحت یک بودجه داده بر،ب‌گذاری شده محدود، بهبود می‌یابد. محققان نسخه های مختلفی از Sparsh را بر اساس معماری های مختلف از جمله مدل های I-JEPA و DINO متا ایجاد کرده اند.

سنسورهای لمسی

علاوه بر استفاده از داده‌های موجود، متا همچنین سخت‌افزاری را برای جمع‌آوری اطلاعات لمسی غنی از فضای فیزیکی منتشر می‌کند. رقم 360 یک حسگر لمسی مصنوعی به شکل انگشت با بیش از 18 ویژگی حسی است. این سنسور دارای بیش از 8 میلیون تا،ل برای ثبت تغییر شکل های همه جهته و دانه ای در سطح نوک انگشت است. Di، 360 روش‌های سنجش مختلفی را برای ارائه درک غنی‌تری از محیط و تعاملات اشیاء ثبت می‌کند.

Di، 360 همچنین دارای مدل های هوش مصنوعی روی دستگاه برای کاهش اتکا به سرورهای مبتنی بر ابر است. این به آن امکان می‌دهد اطلاعات را به صورت محلی پردازش کند و به لمس با حداقل تاخیر پاسخ دهد، مشابه قوس بازتابی در انسان و حیوانات.

محققان Meta می نویسند: «فرای پیشرفت مهارت ربات، این حسگر موفقیت آمیز کاربردهای بالقوه قابل توجهی از پزشکی و پروتز تا واقعیت مجازی و حضور از راه دور دارد.

متا در حال انتشار عمومی است کد و طرح ها برای رقم 360 برای تحریک پژوهش و نوآوری جامعه محور در درک لمس. اما همانند انتشار مدل‌های منبع باز، از پذیرش بالقوه سخت‌افزار و مدل‌های خود سود زیادی می‌برد. محققان بر این باورند که اطلاعات جمع‌آوری‌شده توسط Di، 360 می‌تواند به توسعه محیط‌های مجازی واقعی‌تر کمک کند، که می‌تواند برای پروژه‌های متاورس متا در آینده بزرگ باشد.

متا همچنین Di، Plexus را منتشر می کند، یک پلتفرم سخت افزاری-نرم افزاری که هدف آن تسهیل توسعه برنامه های کاربردی رباتیک است. Di، Plexus می‌تواند حسگرهای مختلف نوک انگشت و پوست را روی یک دست ربات ادغام کند، داده‌های لمسی جمع‌آوری‌شده از حسگرها را رمزگذاری کند و آنها را از طریق یک کابل به کامپیوتر میزبان منتقل کند. متا در حال انتشار است کد و طراحی Di، Plexus را قادر می سازد تا محققان را بر روی پلت فرم بسازند و تحقیقات مهارت ربات را پیش ببرند.

متا Di، 360 را با مشارکت سازنده حسگرهای لمسی GelSight Inc تولید خواهد کرد. آنها همچنین با شرکت روباتیک کره ج،ی Wonik Robotics برای توسعه یک دست رباتیک کاملاً یکپارچه با حسگرهای لمسی بر روی پلت فرم Di، Plexus همکاری خواهند کرد.

ارزیابی همکاری انسان و ربات

متا همچنین برنامه Planning And Reasoning Tasks را با همکاری humaN-Robot منتشر می کند (،مت شماره)، معیاری برای ارزیابی اثربخشی مدل‌های هوش مصنوعی هنگام همکاری با انسان‌ها در کارهای خانگی.

PARTNR در بالای هابیتات، محیط شبیه سازی شده متا ساخته شده است. شامل 100000 تکلیف زبان طبیعی در 60 خانه و شامل بیش از 5800 شی منحصر به فرد است. این معیار برای ارزیابی عملکرد LLM ها و VLM ها در زیر دستورالعمل های انسان طراحی شده است.

معیار جدید متا به تعداد فزاینده ای از پروژه ها می پیوندد که در حال بررسی استفاده از LLM و VLM در رباتیک و تنظیمات هوش مصنوعی هستند. در سال گذشته، این مدل‌ها نوید زیادی برای خدمت به ،وان ماژول‌های برنامه‌ریزی و استدلال برای روبات‌ها در کارهای پیچیده نشان داده‌اند. استارت آپ هایی مانند Figure و Cov،t نمونه های اولیه ای را توسعه داده اند که از مدل های پایه برای برنامه ریزی استفاده می کنند. همزمان، آزمایشگاه‌های هوش مصنوعی روی ایجاد مدل‌های پایه بهتر برای روباتیک کار می‌کنند. به ،وان مثال، پروژه RT-X گوگل دیپ مایند است که مجموعه داده‌های ربات‌های مختلف را برای آموزش یک مدل بینایی-زبان-عمل (VLA) که به مورفولوژی‌ها و وظایف مختلف رباتیک تعمیم می‌دهد، گرد هم می‌آورد.