Фахівці навчили технологію малювати за допомогою декількох мільйонів відео.
Група американських розробників представила нейронн мережу Speech2Face, здатну намалювати портрет людини по його голосу. Про це повідомило arXiv.org.
Моделі під силу намалювати зображення, взявши за основу підлогу, расу, вік. Розробкою займався колектив з Массачусетського технологічного інституту, у складі якого був Тахьон О.
Підписуйтеcь на наш Telegram-канал Lenta.UA - ЄДИНІ незалежні новини про події в Україні та світі
Вчені вирішили використовувати для навчання нейромережі датасета AVSpeech. Він містить близько мільйона коротких відео більше сотні тисяч різних людей. При цьому відео- та аудіо розділені.
Точність роботи технології творці визначили відповідно до трьох демографічними показниками. Порівняно піддали підлогу, орієнтовний вік і расу людей з оригінальних роликів та «висновок», зроблений нейромережею.
Також були виявлені недоліки моделі. Вона не завжди в змозі визначити вік з точністю до десяти років, а найкраще зображує європеоїдів і азіатів. Вважається, що остання проблема пов'язана з нерівномірністю присутності різних рас у вибірці для навчання.
За словами дослідників, в їхні плани не входило доскональне копіювання зовнішності людини. Вони прагнули до точної ідентифікації статі, віку, етносу.
На фото: оригінальні зображення, відновлені і «намальовані» по голосу.
Читайте також: Вчені розповіли, як роботи колонізують Місяць
Читайте також: Китайці планують створити робота-гумориста
Новини
Голлівудський актор розповів про різницю між двома супергеройськими кіновсесвітами
20:45 26 гру 2024.
У президента Українці відбулася нарада про повернення українців, які виїхали за кордон
20:30 26 гру 2024.
В "Укренерго" повідомили про ситуацію зі світлом на завтра
20:15 26 гру 2024.
Тисяча Зеленського: Україна планує виплатити ще 2 мільярди
19:55 26 гру 2024.
Київські чиновники створили схему розкрадання бюджетних грошей
19:30 26 гру 2024.
На Харківщині будують кругову оборону
19:15 26 гру 2024.
«Укрзалізниця» обіцяє перевезти всіх українців на свята
18:55 26 гру 2024.
«Зроблено в Україні»: новий бізнес-офіс в Умані
18:30 26 гру 2024.
Чи буде наступ на Херсон, відповіли в РНБО
18:15 26 гру 2024.
Україна отримала майже два мільярди
17:55 26 гру 2024.
Вчені прогнозують виверження супервулкану
17:45 26 гру 2024.