Проект Facebook AI Research працює над технологією, що перетворює людей у віртуальні персонажі, якими можна управляти. Створена нейромережа Facebook використовує реальні відео, на яких є музиканти і спортсмени, які виконують певні дії. Команда проекту навчила алгоритм розпізнавати рухомі об’єкти на відео, відокремлювати їх, змінювати фон і управляти рухами. В результаті дії знятих на відео людей можуть контролюватися за допомогою клавіатури або джойстика.

Для навчання нейромережі використовувалися невеликі відеофрагменти, де люди виконують певні дії: танцюють, грають в теніс або інші ігри. В рамках проекту штучний інтелект Facebook навчився аналізувати поведінку суб’єктів на відео і дії, які вони виконують. Потім алгоритм створює віртуального персонажа за зразком реального людини, який може танцювати, грати у спортивні ігри або робити щось ще. Потім нейромережа поміщає персонажа в потрібну обстановку. У підсумку виходить оновлена версія комп’ютерних ігор 90-х, де присутні 3D-модель реального людини.

Алгоритм працює на двох взаємопов’язаних нейромережах під назвами Pose2Pose і Pose2Frame. Кожна з них відповідає за певні дії. Крім них в технології застосовується алгоритм DensePose, який перетворює 2D-зображення в 3D-модель. На першому етапі DensePose займається виявленням об’єкта і його створенням тривимірного аналога.

Потім у справу вступає Pose2Pose, який відокремлює вибраного людини разом з предметами (якщо вони у нього є) і переносить у нову сцену з чорним фоном. Завершує процес Pose2Frame, формує кінцевого віртуального персонажа, і потім поміщає його в потрібний фон. Отримана модель може управлятися в режимі реального часу з використанням клавіатури або джойстика.

Створений командою проекту ІІ Facebook вміє виконувати не тільки основну роботу, але також може фільтрувати сторонні предмети та інші суб’єкти, виключаючи зайві. Ще алгоритм здатний компенсувати різні кути камери. Поки дії віртуальних гравців і танцюристів виглядають не цілком природно, їх зовнішні прояви схожі на рух по крижаній поверхні, що іноді властиво 3D-моделей. Кількість рухів тривимірних персонажів також обмежена.

У перспективі проект, де нейромережа Facebook створює реалістичні симуляції з участю 3D-персонажів, здатний перетворити комп’ютерні ігри, зробивши їх більш індивідуальними. В них можна розміщувати будь-якого задуманого персонажа з відео (або самого себе), тим самим додавши ігор або доповненої реальності більш реалістичну графіку.

Джерело: http://superfly.org.ua/