Ученые из Университета Суррея создали нейросеть, которая может превратить текст в видео с человеком, который показывает его языком жестов. Алгоритм отдельно учится качественно вырисовывать кисти рук, поскольку именно они важны для точного сурдоперевода, сообщает «Громадське».
Затем текст проходит через кодирование и превращается в скелетную модель тела, которая показывает текст жестами. После этого последовательность поз кодируется в вектор, а он объединяется с изображением человека, которое нужно анимировать. Тогда последовательность поз передается на нейросеть U-Net, которая превращает смену поз в реалистичное видео.
Созданный алгоритм способен также усовершенствовать свои навыки. Он анализирует то, насколько удачно создал модель тела на этот раз, и делает ее лучше в следующий раз.
Исследователи проверили работу своей нейросети на записях работы переводчиков жестового немецкого языка. Оказалось, что созданный искусственный интеллект достиг значительного сходства с изображением жестов сурдопереводчиков. В частности, он очень точно воспроизводил движения кистей.
Источник: zn.ua
