Sun. Sep 25th, 2022
    en flag
    nl flag
    et flag
    fi flag
    fr flag
    de flag
    he flag
    ja flag
    lv flag
    pl flag
    pt flag
    es flag
    uk flag

    Anmerkung der Redaktion: Von Zeit zu Zeit hebt ComplexDiscovery öffentlich zugängliche oder privat käufliche Ankündigungen, Inhaltsaktualisierungen und Recherchen von Cyber-, Daten- und Legal Discovery-Anbietern, Forschungsorganisationen und Mitgliedern der ComplexDiscovery-Community hervor. ComplexDiscovery hebt diese Informationen zwar regelmäßig hervor, übernimmt jedoch keine Verantwortung für Inhaltsbehauptungen.

    Kontaktieren Sie uns noch heute, um Empfehlungen zur Prüfung und Aufnahme in die Cyber-, Daten- und Legal Discovery-zentrierten Service-, Produkt- oder Forschungsankündigungen von ComplexDiscovery einzureichen.

    Hintergrundhinweis: Dieser kürzlich veröffentlichte Forschungsbericht, der für nichtkommerzielle Bildungszwecke von Cybersicherheit, Information Governance und Juristen geteilt wird, erklärt das erste System zur Erstellung von Megapixel-Avataren aus einzelnen Porträtbildern. Der Bericht kann für Ermittler und Prozessanwälte von Vorteil sein, die potenzielle bildbasierte Rendering-Tools und -Technologien überwachen, die bei der Deepfake-Erstellung verwendet werden können.

    Publikation von arXiv*

    MegaPortraits: One-Shot-Megapixel-Neuronalkopf-Avatare

    Von Nikita Drobyshev, Jenya Chelishev, Taras Khakhulin, Aleksei Ivakhnenko, Victor Lempitsky und Egor Zakharov

    Zusammenfassung

    In dieser Arbeit bringen wir die neuronale Kopf-Avatar-Technologie auf die Megapixel-Auflösung weiter und konzentrieren uns dabei auf die besonders herausfordernde Aufgabe der Cross-Driving Synthese, dh wenn sich das Erscheinungsbild des Fahrbildes erheblich vom animierten Quellbild unterscheidet. Wir schlagen eine Reihe neuer neuronaler Architekturen und Trainingsmethoden vor, die sowohl Videodaten mit mittlerer Auflösung als auch hochauflösende Bilddaten nutzen können, um das gewünschte Maß an gerenderter Bildqualität und Verallgemeinerung für neuartige Ansichten und Bewegungen zu erreichen. Wir zeigen, dass vorgeschlagene Architekturen und Methoden überzeugende hochauflösende neuronale Avatare erzeugen, die die Konkurrenz im Cross-Driving-Szenario übertreffen. Schließlich zeigen wir, wie ein trainiertes hochauflösendes neuronales Avatar-Modell zu einem leichten Schülermodell zusammengefasst werden kann, das in Echtzeit läuft und die Identitäten neuronaler Avatare an mehrere Dutzend vordefinierter Quellbilder bindet. Echtzeitbetrieb und Identitätssperre sind für viele praktische Anwendungen bei Head-Avatar-Systemen unerlässlich.

    Von der Mona Lisa bis Angelina Jolie - Erleben Sie die Technologie in Aktion

    Einführung

    Neuronale Kopf-Avatare bieten eine neue faszinierende Möglichkeit, virtuelle Kopfmodelle zu erstellen. Sie umgehen die Komplexität realistischer physikbasierter Modellierung menschlicher Avatare, indem sie Form und Aussehen direkt aus den Videos sprechender Menschen lernen. In den letzten Jahren wurden Methoden entwickelt, mit denen realistische Avatare aus einem einzigen Foto (One-Shot) erstellt werden können. Sie nutzen umfangreiche Vorschulungen zu den großen Datensätzen von Videos verschiedener Personen, um die Avatare im One-Shot-Modus unter Verwendung des allgemeinen Wissens über das menschliche Erscheinungsbild zu erstellen.

    Trotz der beeindruckenden Ergebnisse dieser Methodenklasse wird ihre Qualität durch die Auflösung der Trainingsdatensätze stark eingeschränkt. Diese Einschränkung kann nicht einfach umgangen werden, indem ein Datensatz mit höherer Auflösung gesammelt wird, da er gleichzeitig groß und vielfältig sein muss, d. h. Tausende von Menschen mit mehreren Bildern pro Person, unterschiedlichen demografischen Merkmalen, Beleuchtung, Hintergrund, Gesichtsausdruck und Kopfhaltung umfassen muss. Nach unserem besten Wissen sind alle öffentlichen Datensätze, die diese Kriterien erfüllen, in ihrer Auflösung begrenzt. Infolgedessen lernen selbst die neuesten One-Shot-Avatar-Systeme die Avatare mit Auflösungen von bis zu 512 × 512.

    In unserer Arbeit leisten wir drei Hauptbeiträge. Zunächst schlagen wir ein neues Modell für neuronale One-Shot-Avatare vor, das eine Cross-Reenactment-Qualität auf dem neuesten Stand der Technik in einer Auflösung von bis zu 512 × 512 erreicht. In unserer Architektur verwenden wir die Idee, das Erscheinungsbild der Avatare als latentes 3D-Volumen darzustellen, und schlagen eine neue Möglichkeit vor, es mit den latenten Bewegungsdarstellungen zu kombinieren. Dazu gehört ein neuartiger kontrastiver Verlust, der es unserem System ermöglicht, einen höheren Grad der Entflechtung zwischen den latenten Bewegungs- und Erscheinungsdarstellungen. Darüber hinaus fügen wir einen problemspezifischen Blickverlust hinzu, der den Realismus und die Genauigkeit der Augenanimation erhöht.

    Unser zweiter und entscheidender Beitrag besteht darin, zu zeigen, wie ein auf Videos mittlerer Auflösung trainiertes Modell mithilfe eines zusätzlichen Datensatzes mit hochauflösenden Standbildern auf die Megapixel-Auflösung (1024 × 1024) „aufgerüstet“ werden kann. Infolgedessen übertrifft unsere vorgeschlagene Methode, obwohl sie denselben Trainingsdatensatz verwendet, den Basisansatz der Superauflösung für die Aufgabe des Cross-Reenactments. Wir sind damit die ersten, die neuronale Kopf-Avatare in der richtigen Megapixel-Auflösung demonstrieren.

    Da viele praktische Anwendungen für die Erstellung menschlicher Avatare Echtzeit oder schneller als Echtzeit-Rendering erfordern, destillieren wir unser Megapixel-Modell in ein zehnmal schnelleres Schülermodell, das mit 130 FPS auf einer modernen GPU läuft. Diese signifikante Beschleunigung ist möglich, da der Schüler für bestimmte Erscheinungsbilder geschult ist (im Gegensatz zum Hauptmodell, das neue Avatare für bisher unsichtbare Personen erstellen kann). Darüber hinaus können die auf einem solchen Studentenmodell basierenden Anwendungen, die an vordefinierte Identitäten „gesperrt“ sind, seinen Missbrauch zur Erstellung von „Deep Fakes“ verhindern und gleichzeitig eine geringe Renderlatenz erreichen.

    Lesen Sie den Originalbeitrag.

    Vollständiger Bericht: MegaPorträts: One-Shot-Megapixel-Neuronalkopf-Avatare (PDF) - Maus über zum Scrollen

    MegaPortraits - One-Shot-Megapixel-Neuronalkopf-Avatare

    Lesen Sie die Originalveröffentlichung.

    *Wird mit Genehmigung auf der Grundlage des pädagogischen und nichtkommerziellen Vertriebs unter der Creative Commons 4.0 International-Lizenz geteilt.

    Quelle der Publikation:

    Nikita Drobyshev, Jenya Chelishev, Taras Khakhulin, Aleksei Ivakhnenko, Victor Lempitsky und Egor Zakharov. 2022. MegaPorträts: One-Shot-Megapixel-Neuronalkopf-Avatare. In Tagungsband der 30. ACM International Conference on Multimedia (MM '22), 10.—14. Oktober 2022, Lissabon, Portugal. ACM, New York, NY, USA, 18 Seiten.

    Zusätzliche Lektüre

    [Samsung Labs] MegaPortraits: One-Shot-Megapixel-Neuronalkopf-Avatare

    Cyber Discovery definieren? Eine Definition und ein Rahmen

    Quelle: ComplexDiscovery

    Nach vorne gelehnt? Der Strategieplan CISA 2023-2025

    The purpose of the CISA Strategic Plan is to communicate the...

    Kontinuierliche Risikoverbesserung Cyber-Zusammenfassung für das dritte Quartal von Cowbell Cyber

    According to Manu Singh, director of risk engineering at Cowbell, "Every...

    Eine umfassende Cyber-Discovery-Ressource? Das DoD Cybersecurity Policy Chart von CSIAC

    The Cyber Security and Information Systems Information Analysis Center (CSIAC) is...

    Eine sich schnell entwickelnde Cyber-Versicherung? Cyber-Zusammenfassung für das zweite Quartal von Cowbell Cyber

    According to Isabelle Dumont, SVP of Marketing and Technology Partners at...

    Aufschlussreiche Reaktion? Nuix reagiert auf ASX-Informationsanfrage

    The following investor news update from Nuix shares a written response...

    Enthüllende Berichte? Nuix Notes Presse-Spekulationen

    According to a September 9, 2022 market release from Nuix, the...

    HayStackID® erwirbt Business Intelligence Associates

    According to HaystackID CEO Hal Brooks, “BIA is a leader in...

    Ein großes Software- und Cloud-Unternehmen? OpenText erwirbt Micro Focus

    According to OpenText CEO & CTO Mark J. Barrenechea, “We are...

    Unterwegs? 2022 eDiscovery-Marktkinetik: Fünf Interessenbereiche

    Recently ComplexDiscovery was provided an opportunity to share with the eDiscovery...

    Dem Prozess vertrauen? 2021 eDiscovery-Verarbeitungsaufgaben-, Ausgaben- und Kostendaten

    Based on the complexity of cybersecurity, information governance, and legal discovery,...

    Das Jahr im Rückblick? 2021 eDiscovery Review Aufgaben-, Ausgaben- und Kostendatenpunkte

    Based on the complexity of cybersecurity, information governance, and legal discovery,...

    Ein Blick auf die eDiscovery-Erfassung für 2021: Aufgaben-, Ausgaben- und Kostendatenpunkte

    Based on the complexity of cybersecurity, information governance, and legal discovery,...

    Fünf großartige Lesungen zu Cyber, Data und Legal Discovery für September 2022

    From privacy legislation and special masters to acquisitions and investigations, the...

    Fünf großartige Lesungen zu Cyber-, Daten- und rechtlichen Erkenntnissen für August 2022

    From AI and Big Data challenges to intriguing financial and investment...

    Fünf großartige Lesungen zu Cyber, Daten und Legal Discovery für Juli 2022

    From lurking business undercurrents to captivating deepfake developments, the July 2022...

    Fünf großartige Lesungen zu Cyber, Daten und Legal Discovery für Juni 2022

    From eDiscovery ecosystem players and pricing to data breach investigations and...

    Kühlere Temperaturen? Ergebnisse der Umfrage zum Vertrauen der eDiscovery-Geschäftssicherheit

    Since January 2016, 2,874 individual responses to twenty-eight quarterly eDiscovery Business...

    Flexion oder Ablenkung? Ein Gesamtüberblick über acht halbjährliche eDiscovery-Preiserhebungen

    Initiated in the winter of 2019 and conducted eight times with...

    Wechselnde Ströme? Achtzehn Beobachtungen zum eDiscovery-Geschäftsvertrauen im Sommer 2022

    In the summer of 2022, 54.8% of survey respondents felt that...

    Herausfordernde Varianten? Probleme, die sich auf die Geschäftsleistung von eDiscovery auswirken: Ein Überblick über

    In the summer of 2022, 28.8% of respondents viewed increasing types...