Legogpt перетворює текст на повні інструкції з складання з LEGO

Дослідники з Університету Карнегі -Меллон створили нейронну мережу під назвою Legogpt, здатна формувати моделі з деталей LEGO відповідно до звичайного опису тексту. Розроблена система генерує не тільки зображення готової конструкції у форматі PNG, але й покроковою текстовою інструкцією, а також файлом .ldr CAD, придатним для використання в спеціалізованих програмах.

Модель, що вивчається у великій базі даних, яка включає 47 тисяч структур LEGO, кожна з яких була змодельована на основі 28 тисяч тривимірних об'єктів із ShapEnetcore. Щоб перевірити стабільність моделей, був використаний математизатор Gurobi, і опис був створений за допомогою GPT-4O. Як мовна основа, Legogpt використовує модифіковану версію LLAMA-3.2-1b-Innstruct.
Нейронна мережа визнає 21 категорію об'єктів від транспортних засобів для меблів та музичних інструментів, але це не працює поза цими групами. Код проекту вже опублікований у публічному доступі на Github та на платформі Huging Face.
Творці вважають, що Legogpt може значно спростити створення наборів користувачів, спростити взаємодію з CAD Media та знайти використання в галузі освіти, дизайну та промислового моделювання.