Розробники з NVIDIA створили гру, в якій за розрахунок структури ігрового світу відповідає ігровий рушій, а рендеринг графіки виробляє нейромережа, навчена на множині відеозаписів реального світу. Розробка була представлена на конференції NIPS 2018, а її опис опубліковано на сайті компанії, інформує UkrMedia.
В останні кілька років безліч дослідницьких груп домоглися великого успіху в області нейромережевого перенесення стилю і деталей між зображеннями. Приміром, нейромережі вже вміють перетворювати намальовані портрети в реалістичні фотографії людей. Але на цьому дослідники не зупинилися і приступили до більш складної задачі - перенесення між відеороликами. Ця задача більш складна не просто тому, що нейромережі потрібно обробляти більший обсяг даних. Головна відмінність полягає в тому, що алгоритм повинен працювати не тільки з одним кадром, а відразу з кількома сусідніми, інакше підсумковий ролик буде «смиканим».
Влітку 2018 року група розробників з NVIDIA представила алгоритм vid2vid, здатний виконувати перенесення між відеороликами різних стилів, і при цьому створювати плавні переходи між кадрами підсумкового ролика. Алгоритм являє собою генеративно-змагальну нейромережу, що складається з генератора, який створює зображення, і дискримінатора, що прагне відрізнити створені генератором «підробки» від об'єктів з навчального датасета. Розробники створили кілька нейромережевих моделей і одну з них вони навчили перетворювати семантично сегментовані відеозаписи (на яких кожен кадр розбитий на області, що відповідають об'єктам певних класів) поїздок автомобілем в реалістичні ролики.
У своїй новій розробці дослідники об'єднали алгоритм vid2vid з ігровим рушієм і створили на їх базі комп'ютерну гру. В якості движка вони вибрали Unreal Engine 4, застосовується у багатьох популярних іграх. Під час роботи рушій створює тривимірну модель віртуального світу, а користувач керує пересуванням автомобіля в цьому світі. При цьому, оскільки, всі об'єкти у віртуальному світі належать до строго певного класу, розробники реалізували висновок семантично сегментованої послідовності кадрів. Після синтезу ця послідовність передається на нейромережу, яка перетворює її в досить реалістичний відеоролик, який вже відображається на екрані перед користувачем.
В кінці 2017 року дослідники з NVIDIA створили іншу генеративно-змагальну нейромережу для перенесення між відеороликами. Вони навчили її на різних типах виконувати різні завдання. Наприклад, алгоритм зміг перетворити запис зимової поїздки автомобілем в поїздку по річних дорогах, а також зумів змінити породу собак.
