Farm3D

Farm3D — это революционный исследовательский инструмент на базе ИИ, который позволяет создавать артикулированные 3D-модели животных всего из одного 2D-изображения. Его основная ценность заключается в дистилляции богатых априорных знаний 2D диффузионных моделей в framework для 3D-реконструкции и синтеза, что позволяет обойтись без обширных наборов данных для обучения 3D. Этот подход позволяет создавать детализированные, анимируемые 3D-ассеты, которые можно просматривать под любым углом, значительно снижая барьер для создания качественного 3D-контента цифровыми художниками, разработчиками игр и исследователями.

Ключевые возможности: Инструмент может генерировать полную текстурированную 3D-сетку животного всего из одной входной фотографии. Он предоставляет контроль над позой животного и точкой обзора во время синтеза, позволяя создавать несколько согласованных 3D-видов. Кроме того, он поддерживает генерацию 3D-моделей в разных художественных стилях, используя стилистические возможности базовой 2D диффузионной модели. Например, пользователь может загрузить фото собаки и получить 3D-модель, которую можно анимировать для сидения, бега или просмотра сверху вниз.

Уникальность Farm3D заключается в его новом техническом методе «дистилляции» 2D-приоров в 3D-представление, в частности, с использованием техники Score Distillation Sampling (SDS), адаптированной для сочленённых объектов. В отличие от многих аналогов, которым требуются многовидовые изображения или видео, Farm3D работает с одним видом. В отличие от традиционного 3D-скульптинга, процесс почти полностью автоматизирован. Это в первую очередь исследовательский framework от FAIR (Meta AI), что означает, что он предназначен для интеграции в более крупные конвейеры и для дальнейшей разработки сообществом ИИ, а не в качестве самостоятельного коммерческого приложения с графическим интерфейсом.

Идеально подходит для исследователей ИИ и специалистов по компьютерному зрению, изучающих новые методы 3D-реконструкции и генерации. Также он чрезвычайно ценен для технических художников и независимых разработчиков игр, которым нужен быстрый автоматизированный конвейер для прототипирования 3D-ассетов животных без ручного моделирования. Образовательные учреждения, преподающие продвинутую компьютерную графику и генеративный ИИ, могут использовать его в качестве примера передовых методов в этой области.

Как исследовательский проект, исходный код является свободно доступным. Однако для его работы требуются значительные технические знания и вычислительные ресурсы (мощные GPU), что составляет основную практическую стоимость. Традиционной SaaS-подписки не существует, но эксплуатационные расходы нетривиальны для конечных пользователей, не имеющих доступа к высокопроизводительной исследовательской инфраструктуре.