Искусственный интеллект научился превращать текст в видео с языком жестов.

Алгоритм уже достиг значительного сходства с изображением жестов сурдопереводчиков.

Ученые из Университета Суррея создали нейросеть, которая может превратить текст в видео с человеком, который показывает его языком жестов. Алгоритм отдельно учится качественно вырисовывать кисти рук, поскольку именно они важны для точного сурдоперевода, сообщает «Громадське».

Затем текст проходит через кодирование и превращается в скелетную модель тела, которая показывает текст жестами. После этого последовательность поз кодируется в вектор, а он объединяется с изображением человека, которое нужно анимировать. Тогда последовательность поз передается на нейросеть U-Net, которая превращает смену поз в реалистичное видео.

Созданный алгоритм способен также усовершенствовать свои навыки. Он анализирует то, насколько удачно создал модель тела на этот раз, и делает ее лучше в следующий раз.

Исследователи проверили работу своей нейросети на записях работы переводчиков жестового немецкого языка. Оказалось, что созданный искусственный интеллект достиг значительного сходства с изображением жестов сурдопереводчиков. В частности, он очень точно воспроизводил движения кистей.

Подписывайтесь на наш Telegram-канал с новостями технологий и культуры.

Читайте также: Искусственный интеллект научили искать аневризмы мозга

Ранее медики создали искусственный интеллект, который способен в автономном режиме анализировать снимки компьютерной томографической ангиографии (КТ-ангиография) и искать аневризмы сосудов головного мозга пациентов . По словам ученых, нейросеть сможет замечать особенности, которые не видны человеческому глазу.

Подготовил/ла : Фаина Ваулина

Зеркало Недели

«Зеркало Недели» - новости дня, эксклюзивные комментарии, мнения, аналитика.

https://zn.ua/

Новости по теме
Новый электрический кроссовер от Kia (видео)

Новый электрический кроссовер от Kia (видео)

Компания Kia недавно представила свою абсолютно новую стратегию, нацеленную на электрификацию. В связи с этим марка продемонстрировала свою новинку в видеоролике во время анонса новой стратегии.

Finance.UA

Крещение в Киеве на Гидропарке!

Крещение в Киеве на Гидропарке!

UA - Як проходить Водохреще у Києві? Відео з місця подій. RU - Как проходит Крещение в Киеве? Видео с места событий.

2

Инаугурация Байдена: пожар сорвал репетицию мероприятия.

Инаугурация Байдена: пожар сорвал репетицию мероприятия.

В Вашингтоне готовятся к инаугурации 46-го президента США. Она состоится уже завтра. Накануне, в столице была сорвана репетиция церемонии из-за пожара возле Капитолия. Огонь начался в лагере для бездомных. Никто не пострадал. Чтобы предотвратить б...

Новости 11:00 за 19 января 2021 года

Новости 11:00 за 19 января 2021 года

00:00 Смотрите в этом выпуске: 00:22 Новый руководитель ОБСЕ, министр иностранных дел Швеции Анн Линде прибыла в Украину с двухдневным рабочим визитом. 00:58 22 реактивные системы "Град", расположенные с нарушением линий разведения, обнаружили на ...

Глава ОБСЕ Анн Линде прибыла в Украину: планы визита.

Глава ОБСЕ Анн Линде прибыла в Украину: планы визита.

Новый руководитель ОБСЕ, министр иностранных дел Швеции Анн Линде прибыла в Украину с двухдневным рабочим визитом. Она проведёт переговоры с министром иностранных дел Украины Дмитрием Кулебой, в ходе которых дипломаты обсудят ситуацию на Донбассе....

Правозащитники посетили Алексея Навального в СИЗО

Правозащитники посетили Алексея Навального в СИЗО

Правозащитники посетили Алексея Навального в СИЗО. Об этом в своем телеграм-канале написал секретарь Общественной наблюдательной комиссии Москвы Алексей Мельников. Он сообщил, что Навального поместили на карантин в трехместную камеру, он находится...

Теперь евробляхам придется платить штрафы

Теперь евробляхам придется платить штрафы

UA - Проскочити не вийде. Євробляхерам таки доведеться платити штрафи. Донедавна водії авто на іноземній реєстрації спокійно їздили собі перед носом у патрульних і нічого не боялися. Бо правоохоронці не мали законних підстав їх зупиняти. Але тепер...