Специалисты обучили технологию рисовать с помощью нескольких миллионов видео.
Группа американских разработчиков представила нейросеть Speech2Face, способную нарисовать портрет человека по его голосу. Об этом сообщило arXiv.org.
Модели под силу нарисовать изображение, взяв за основу пол, расу, возраст. Разработкой занимался коллектив из Массачусетского технологического института, в составе которого был Тахён О.
Підписуйтеcь на наш Telegram-канал Lenta.UA - ЄДИНІ незалежні новини про події в Україні та світі
Ученые решили использовать для обучения нейросети датасет AVSpeech. Он содержит порядка миллиона коротких видео более сотни тысяч различных людей. При этом видео- и аудиодорожки разделены.
Точность работы технологии создатели определили согласно трем демографическим показателям. Сравнению подвергли пол, ориентировочный возраст и расу людей из оригинальных роликов и «вывод», сделанный нейросетью.
Также были выявлены недостатки модели. Она не всегда в состоянии определить возраст с точностью до десяти лет, а лучше всего изображает европеоидов и азиатов. Считается, что последняя проблема связана с неравномерностью присутствия различных рас в выборке для обучения.
По словам исследователей, в их планы не входило доскональное копирование внешности человека. Они стремились к точной идентификации пола, возраста, этноса.
На фото: оригинальные изображения, восстановленные и «нарисованные» по голосу.
Читайте также: Ученые рассказали, как роботы колонизируют Луну
Читайте также: Китайцы планируют создать робота-юмориста
Stanislav KarlovНовости
Госсекретарь США высказался об условиях окончания войны в Украине
23:20 30 янв 2025.
Трамп и его министр обороны обвинили в авиакатастрофе в США "эпоху DEI"
22:40 30 янв 2025.
Во Франции провели фактчекинг биографического фильма о Бобе Дилане
22:15 30 янв 2025.
Умерла рок-икона шестидесятых годов
21:45 30 янв 2025.
Владимир Зеленский обсудил с главой ГУР "различные сценарии"
21:30 30 янв 2025.
Редкие сидячие захоронения железного века найдены во Франции (Фото)
21:13 30 янв 2025.
В Хорватии продолжается бойкот магазинов из-за высоких цен
20:15 30 янв 2025.
Чиновники разворовали миллионы на ремонте дорог на Харьковщине
19:30 30 янв 2025.
В Киеве будут объявлять ежедневную минуту молчания
19:15 30 янв 2025.