Специалисты из израильского Университета Бар-Илан разработали метод отделения объектов от фона на видео без длительного обучения нейросетей и больших вычислительных затрат.
Работа размещена на сервере препринтов arXiv.
Предложенная учеными технология решает сложную задачу извлечения объектов из видео с сохранением таких элементов, как мех, волосы, листва, тени, отражения, дым или рябь на воде. Существующие методы разделения видео на слои требуют обучения ИИ-моделей на миллионах размеченных примеров или применения ресурсоемких методов оптимизации. Новый подход израильских ученых позволяет достичь сопоставимых результатов с существенно меньшими затратами времени.
Метод позволяет, например, извлечь лебедя, плывущего по озеру, вместе с его отражением и поместить в другой водоем, а само озеро без лебедя использовать как фон для другой сцены с естественными отражениями, тенями и движением волн.
В отличие от существующих решений модель, получившая название OmnimatteZero, не требует дорогостоящего контролируемого обучения или самообучающейся оптимизации. Вместо этого технология использует методы дополнения изображений, применяемые к статичным кадрам, и модули для отслеживания изменений во времени и пространстве. Исследователи продемонстрировали, что объекты можно идентифицировать без обучения благодаря встроенному механизму самовнимания, связывающему области внутри кадров и между кадрами.
Разработка предназначена для редакторов видео, дизайнеров, рекламщиков и исследователей в области искусственного интеллекта. В будущем технология может стать доступной для повседневного использования, включая редактирование видео прямо на смартфоне.
Иллюстрация: Пикабу
https://www.newsru.co.il/science_hitech/1oct2025/omnimattezero.html
