هوش مصنوعی LegoGPT معرفی شد؛ تبدیل متن به طرح دقیق لگو!

پژوهشگران دانشگاه کارنگی ملون از توسعه‌ی مدل هوش مصنوعی به نام LegoGPT خبر داده‌اند که می‌تواند بر اساس توضیحات متنی، طرح‌های دقیق و قابل ساختی از سازه‌های لگویی تولید کند. این مدل از نوع زبان‌پرداز خودبازگشتی است و طرح نهایی را به کمک پیش‌بینی گام‌به‌گام آجر بعدی خلق می‌کند.

برای آموزش LegoGPT، از دیتاست عظیمی شامل بیش از ۴۷ هزار سازه لگویی استفاده شده که معادل ۲۸ هزار شیء سه‌بعدی منحصربه‌فرد است. اشیایی مانند میز، صندلی، کشتی، گیتار و حتی مبلمان، مواد اولیه‌ی یادگیری این هوش مصنوعی را تشکیل داده‌اند.

قابلیت جذاب LegoGPT در آن است که طرح‌ها را از صفر و فقط با ورودی متن تولید می‌کند. حتی می‌توان با ترکیب این مدل با بینایی کامپیوتری، از آجرهای موجود عکس گرفت و به پیشنهادهای خلاقانه و متناسب با قطعات در دسترس رسید. این مدل به‌صورت رایگان روی گیت‌هاب در دسترس علاقه‌مندان قرار دارد.

برای تضمین صحت و پایداری طرح‌های LegoGPT، سازوکارهایی مانند بررسی هم‌پوشانی آجرها و بازگشت به آخرین حالت پایدار در مدل پیاده‌سازی شده‌اند. نتیجه‌ی نهایی، طرحی است که بدون مشکل فیزیکی، قابل اجرا خواهد بود.

مراحل ساخت دیتاست و طراحی‌های LegoGPT نیز جالب است؛ ورودی متنی به مش سه‌بعدی تبدیل و در شبکه‌ی سه‌بعدی از آجرها چیده می‌شود. سپس با استفاده از GPT-4o، توصیف متنی سازه‌ها تولید خواهد شد و مدل هوش مصنوعی بر پایه‌ی این ارتباط بین متن و ساختار فیزیکی، پیش‌بینی طراحی را انجام می‌دهد.