Нейромережа зуміла оживити людей на фото

Американські розробники створили алгоритм, здатний оживляти фігури людей на двовимірних зображеннях. Він створює для намальованої людини тривимірну модель, а потім відтворює анімацію з вибігаючою з картини моделлю.

Дивлячись на фотографію, людина зазвичай може уявити, як рухалися об'єкти в кадрі після того, як він був зроблений. Для алгоритмів ця задача поки досить складна. Поки дослідники в основному займаються розробкою алгоритмів, які можуть відтворити лише невелику частину рухів людей на зображеннях. До прикладу, в минулому році розробники з Тель-Авівського університету і компанії Facebook навчили алгоритм анімувати міміку обличчя на портретах, інформує UkrMedia.

Інша група розробників з Вашингтонського університету і Facebook під керівництвом Ірини Кемельмахер-Шліцерман (Ira Kemelmacher-Shlizerman) створила алгоритм, який може створити на основі одного двовимірного кадру повноцінну анімацію з вибіганням людини за межі фотографії.

Створена дослідниками система являє собою в'язку з декількох раніше розроблених алгоритмів і власного коду. Спочатку вона приймає двовимірне зображення і обробляє його з допомогою нейромережі Mask R-CNN. На цьому етапі алгоритм розпізнає на зображенні область з людиною і відокремлює її від фону. Потім ще один розроблений раніше алгоритм перетворює область зображення з людиною у двовимірну модель скелета, що складається з прямих сегментів і їх з'єднань. Після цього ще один алгоритм створює реалістичний фон в областях кадру, спочатку закритих людиною.

Після створення двовимірної моделі алгоритм створює на її базі тривимірну модель і накладає на неї текстуру, створену на основі зображення людини з вихідного кадру. В результаті користувач отримує модель, яка може здійснювати довільні рухи, наприклад, вибігати з кадру. Крім того, користувач може вручну змінити положення частин тіла моделі перед початком анімації.

Розробники створили кілька режимів роботи алгоритму. В одному з них алгоритм створює звичайну анімацію на моніторі, а в іншому він може виводити її в доповненій реальності. Наприклад, таким способом розробники перетворили звичайну картину на стіні в інтерактивну.