Nvidia представила новый генератор говорящих голов

Nvidia показала генератор говорящих голов для видеоконференций из 2D-изображений. Система на искусственном интеллекте способна выполнять широкий спектр манипуляций, включая вращения и перемещения головы человека.

Искусственный интеллект использует первый кадр в видео как 2D-фотографию, а затем методом самостоятельного обучения собирает ключевые точки 3D в видео. Преобразуя эти ключевые точки, система демонстрирует более высокие коэффициенты сжатия, чем прежние существующие методы. Также используя одну десятую пропускной способности, она обеспечивает качество видео H.264.

Ранее Nvidia запустила сервис видеоконференцсвязи Maxine на основе нейросетей. Он повышает разрешение, удаляет шум и переводит речь в видеозвонках. Maxine также умеет выравнивать лица участников звонка. Например, если человек сидит боком к камере, система сможет развернуть его так, чтобы он разговаривал с собеседником лицом к лицу.

Также Nvidia активно работает над моделями StyleGan для генерации лиц, которые никогда не существовали. Эти модели потенциально можно применять в сферах развлечений и игр, а также для создания дипфейков.