Sun. Sep 25th, 2022
    en flag
    nl flag
    et flag
    fi flag
    fr flag
    de flag
    he flag
    ja flag
    lv flag
    pl flag
    pt flag
    es flag
    uk flag

    Примітка редактора: Час від часу ComplexDiscovery виділяє загальнодоступні або приватні оголошення, оновлення вмісту та дослідження від постачальників кібер-даних та юридичних досліджень, дослідницьких організацій та членів спільноти ComplexDiscovery. Хоча ComplexDiscovery регулярно виділяє цю інформацію, вона не несе ніякої відповідальності за твердження вмісту.

    Щоб подати рекомендації для розгляду та включення до кібер-повідомлень ComplexDiscovery, інформаційних та юридичних служб, продуктів або досліджень, зверніться до нас сьогодні.

    Довідкова примітка: Цей нещодавно опублікований звіт про дослідження пояснює першу систему створення мегапіксельних аватарів із одиночних портретних зображень. Цей нещодавно опублікований звіт про дослідження описує першу систему створення мегапіксельних аватарів із одиночних портретних зображень. Звіт може бути корисним для слідчих та судових органів, які відстежують потенційні інструменти та технології візуалізації на основі зображень, які можуть бути використані при створенні deepfake.

    Публікація з ArxIV*

    MegaПортрети: Однопостріл мегапіксельних нейронних голов

    Микита Дробишев, Женя Челішев, Тарас Хахулін, Олексій Івахненко, Віктор Лемпіцький та Єгор Захаров

    Анотація

    У цій роботі ми просуваємо технологію нейронного головного аватара до роздільної здатності мегапікселя, зосереджуючись на особливо складній задачі синтезу крос-водіння, тобто коли зовнішній вигляд зображення водіння істотно відрізняється від анімованого вихідного зображення. Ми пропонуємо набір нових нейронних архітектур та методів навчання, які можуть використовувати як відеодані середньої роздільної здатності, так і дані зображення з високою роздільною здатністю для досягнення бажаних рівнів якості візуалізації та узагальнення до нових поглядів та руху. Ми демонструємо, що запропоновані архітектури та методи створюють переконливі нейронні аватари високої роздільної здатності, перевершуючи конкурентів у сценарії крос-водіння. Нарешті, ми показуємо, як навчену модель нейронного аватара з високою роздільною здатністю можна переганяти в легку модель студента, яка працює в режимі реального часу та блокує ідентичності нейронних аватарів до кількох десятків заздалегідь визначених вихідних зображень. Робота в режимі реального часу та блокування ідентичності є важливими для багатьох практичних застосувань систем аватара голови.

    Від Мони Лізи до Анджеліни Джолі - Дивіться технологію в дії

    Вступ

    Нейронні аватари голови пропонують новий захоплюючий спосіб створення віртуальних моделей голови. Вони обходять складність реалістичного моделювання людських аватарів на основі фізики, вивчаючи форму та зовнішній вигляд безпосередньо з відео людей, що говорять. За останні кілька років були розроблені методи, які дозволяють створювати реалістичні аватари з однієї фотографії (one-shot). Вони використовують широке попереднє навчання на великих наборах даних відео різних людей для створення аватарів в режимі одноразового використання загальних знань про зовнішність людини.

    Незважаючи на вражаючі результати, отримані цим класом методів, їх якість сильно обмежується дозволом навчальних наборів даних. Це обмеження не можна легко обійти, збираючи набір даних з більш високою роздільною здатністю, оскільки він повинен бути одночасно масштабним і різноманітним, тобто включати тисячі людей з декількома кадрами на людину, різноманітними демографічними показниками, освітленням, фоном, виразом обличчя та позою голови. Насамперед, всі загальнодоступні набори даних, які відповідають цим критеріям, обмежені у роздільній здатності. В результаті навіть найновіші системи одноразового аватара вивчають аватари при дозволах до 512 × 512.

    У своїй роботі ми вносимо три основні внески. По-перше, ми пропонуємо нову модель для одноразових нейронних аватарів, яка досягає найсучаснішої якості перехресної репродукції з роздільною здатністю до 512 × 512. У нашій архітектурі ми використовуємо ідею представлення зовнішнього вигляду аватарів як прихованого об'єму 3D і пропонуємо новий спосіб поєднати його з прихованими уявленнями руху, що включає нову контрастну втрату, яка дозволяє нашій системі досягти більш високих ступенів розплутування між латентним уявлення про рух і зовнішній вигляд. Крім того, ми додаємо проблему втрати погляду, що збільшує реалістичність і точність анімації очей.

    Наш другий і важливий внесок показує, як модель, підготовлену на відео середньої роздільної здатності, може бути «модернізована» до роздільної здатності мегапікселя (1024 × 1024) за допомогою додаткового набору даних нерухомих зображень високої роздільної здатності. В результаті запропонований нами метод, використовуючи один і той же навчальний набір даних, перевершує базовий підхід супер-роздільної здатності для завдання перехресної реорганізації. Таким чином, ми першими продемонстрували нейронні аватари голови в належній мегапіксельній роздільній здатності.

    Нарешті, оскільки багато практичних застосувань для створення людських аватарів вимагають реального часу або швидше, ніж рендеринг в режимі реального часу, ми переганяємо нашу мегапіксельну модель в десять разів швидшу студентську модель, яка працює зі швидкістю 130 кадрів в секунду на сучасному графічному процесорі. Це значне прискорення можливо, оскільки студент навчається конкретним зовнішнім виглядом (на відміну від основної моделі, яка може створювати нові аватари для раніше невидимих людей). Крім того, програми, засновані на такій моделі студента, «заблоковані» до заздалегідь визначених ідентичностей, можуть запобігти його неправильному використанню для створення «глибоких підробок», одночасно досягаючи низької затримки рендеринга.

    Прочитайте оригінальний пост.

    Повний звіт: Мегапортрети: Однопостріл мегапіксельних нейронних аватарів голови (PDF) - Наведення миші для прокрутки

    MegaPortrats - Однопостріл мегапіксельних нейронних

    Прочитайте оригінальну публікацію.

    *Спільне використання з дозволу на основі освітнього та некомерційного розповсюдження за ліцензією Creative Commons 4.0 International.

    Джерело публікації:

    Микита Дробишев, Женя Челішев, Тарас Хахулін, Олексій Івахненко, Віктор Лемпіцький, Єгор Захаров. 2022 рік. Мегапортрети: Однопостріл мегапіксельної нейронної голови аватари. У матеріалах 30-ї Міжнародної конференції ACM з мультимедіа (MM '22), 10—14 жовтня 2022 року, Лісабон, Португалія. ACM, Нью-Йорк, Нью-Йорк, США, 18 сторінок.

    Додаткове читання

    [Samsung Labs] Мегапортрети: Однопостріл мегапіксельних нейронних головних аватарів

    Визначення кібер-відкриття? A Визначення та рамки

    Джерело: Комплексне відкриття

    На ходу? 2022 Кінетика ринку електронних відкриттів: п'ять сфер інтересу

    Recently ComplexDiscovery was provided an opportunity to share with the eDiscovery...

    Trusting the Process? 2021 eDiscovery Processing Task, Spend, and Cost Data Points

    Based on the complexity of cybersecurity, information governance, and legal discovery,...

    The Year in Review? 2021 eDiscovery Review Task, Spend, and Cost Data Points

    Based on the complexity of cybersecurity, information governance, and legal discovery,...

    A 2021 Look at eDiscovery Collection: Task, Spend, and Cost Data Points

    Based on the complexity of cybersecurity, information governance, and legal discovery,...