Гуманоидный робот научился синхронизировать движения губ с речью в реальном времени

[Alisa]

Исследователи из Колумбийского университета создали новую систему, позволяющую гуманоидному роботу синхронизировать движения губ с речевым звуком так, что это выглядит максимально похоже на человеческую мимику. Робот способен воспроизводить движения губ во время разговора или пения и делает это в реальном времени.

Система способна функционировать с различными языками. Она точно воспроизводит движения губ не только на английском, но и на французском, китайском, арабском и ряде других языков, даже если некоторые из них не использовались при обучении модели.

По словам исследователей, в ходе тестирования новый метод превзошел пять существующих подходов и продемонстрировал наилучшее соответствие между движениями рта робота и эталонными видео с человеческой мимикой. Команда подчеркивает, что система смогла создавать реалистичные движения губ для 11 языков, обладающих различным звуковым строением.

Планируется использование разработки, в частности, в сфере образования и ухода за пожилыми людьми. В то же время исследователи подчеркивают важность осторожного применения технологии, чтобы предотвратить возможные злоупотребления.

Лицо робота покрыто сменной «кожей», которая деформируется с помощью магнитов. Такая конструкция обеспечивает более точный контроль движений, чем предыдущая система с тросами. В «глаза» робота встроены камеры высокого разрешения, которые позволяют в реальном времени наблюдать за собеседником и прогнозировать его мимику.

Система состоит из двух нейросетей. Первая отвечает за прогноз собственных выражений лица робота, вторая — за предсказание мимики человека. Всего у Emo 23 мотора управляют движениями лица, еще три — движениями шеи. Это позволяет роботу синхронизировать свою мимику с человеком во время общения.

Подписывайтесь на

У Вас недостаточно прав для просмотра ссылки. Войдите или зарегистрируйтесь.