Искусственный интеллект вместо хромакея

Исследователи из Google создали нейронную сеть, которая позволяет легко менять фон при записи видео, как будто вы оказались в киностудии перед зеленым экраном. Разработчики назвали эту функцию «видеосегментация». Новая возможность начинает обкатываться на YouTube Stories в ограниченном режиме. Если это доступно на вашем телефоне, поздравляю, вы бета-тестер! :)

Сделать это на мобильном телефоне с обычным RGB-изображением непросто, а если сложно обработать неподвижное изображение, то обработать видео еще сложнее. Инженеры Google приняли этот вызов и создали свёрточную архитектуру нейронной сети и обучили её на тысячах помеченных изображений. Вот одна картинка, используемая для обучения.

Сеть научилась выделять общие черты головы, шеи и плеч, а ряд оптимизаций снизил объем данных, необходимых для его анализа. В результате получился быстрый и относительно точный механизм сегментации, который работает достаточно быстро, чтобы использоваться его на мобильном телефоне в видеоролике с частотой 40 кадров в секунду.

Удаление или замена фона - отличный инструмент для обмана людей. Например, можно сделать ночь вместо дня, использовать лунный пейзаж и другие забавные махинации ранее возможные только в условиях киностудии.