Система мобильного 3D-сканирования сложных объектов со смартфона
Задача
Разработать программный комплекс для создания точных 3D-моделей любых объектов с использованием камеры обычного смартфона, исключив потребность в дорогостоящих 3D-сканерах или LiDAR-сенсорах.
Ключевые цели:
Универсальность и доступность: Создать интуитивно понятный UI, позволяющий неподготовленному пользователю сделать правильную серию фотографий объекта.
Стресс-тестирование на сложной геометрии: Обеспечить корректную реконструкцию объектов без четких граней. В качестве главного испытания на этапе разработки была выбрана человеческая стопа — самая сложная органическая форма для оцифровки.
Автоматизация: Исключить ручной труд 3D-моделлера, реализовав автоматический пайплайн.
Решение
Работа над проектом велась итеративно. Изначальная гипотеза с использованием нейросети TRELLIS была отвергнута из-за нестабильности результатов на сериях фото и высоких требований к GPU.
Этапы реализации:
Архитектура бэкенда
Спроектирован гибридный пайплайн: оценка глубины резкости (ZoeDepth) → фотограмметрия (COLMAP) → генерация меша (MeshLab).
Пользовательский интерфейс:
Разработан модуль захвата с AR-ассистентом: внедрены универсальные гайды для объекта, система подсказок по ракурсу, дистанции и освещению.Оптимизация 3D-данныхНаписаны алгоритмы для автоматической очистки облака точек от шума, удаления фоновых артефактов и центровки модели в пространстве.
Визуализация:
Внедрено автоматическое запекание текстур (нанесение цвета) и интеграция интерактивного WebGL-вьюера.
Результат
Создан универсальный пайплайн, превращающий серию из фотографий со смартфона или видео в готовую цветную 3D-модель за 8–9 минут автоматической серверной обработки.
Работа выполнена в соавторстве
Екатерина Беска. Главным прорывом Creativedog в этом продукте стал фундаментальный сдвиг парадигмы. Пока рынок искал «магическую таблетку» в виде одной сверхмощной нейросети (которая требовала бы огромных ресурсов), Creativedog реализовал гибридный распределенный конвейер, спроектированный его сосоздательницей, Екатериной.
Именно её понимание того, что ключ к успеху лежит в системной инженерии данных — разбиении сложного процесса на микроэтапы, где каждый шаг выполняет узкоспециализированный, оптимизированный алгоритм — сделало этот прорыв возможным. Это решение сделало технологию жизнеспособной для B2C-рынка.
Презентация проекта
