Sun. Sep 25th, 2022
    en flag
    nl flag
    et flag
    fi flag
    fr flag
    de flag
    he flag
    ja flag
    lv flag
    pl flag
    pt flag
    es flag
    uk flag

    Opmerking van de uitgever: Van tijd tot tijd belicht ComplexDiscovery openbaar beschikbare of particulier te kopen aankondigingen, inhoudsupdates en onderzoek van cyber-, data- en juridische ontdekkingsproviders, onderzoeksorganisaties en ComplexDiscovery-communityleden. Hoewel ComplexDiscovery deze informatie regelmatig benadrukt, aanvaardt het geen enkele verantwoordelijkheid voor beweringen over inhoud.

    Neem vandaag nog contact met ons op om aanbevelingen in te dienen ter overweging en opname in de cyber-, data- en juridische ontdekkingsgerichte service-, product- of onderzoeksaankondigingen van ComplexDiscovery.

    Achtergrondopmerking: Gedeeld voor het niet-commerciële educatieve voordeel van cyberbeveiliging, informatiebeheer, en juridische professionals, dit onlangs gepubliceerde onderzoeksrapport legt het eerste systeem uit voor het maken van megapixelavatars op basis van enkele portretafbeeldingen. Het rapport kan nuttig zijn voor onderzoekers en procesadvocaten die potentiële beeldgebaseerde renderingtools en -technologieën volgen die kunnen worden gebruikt bij het maken van deepfake.

    Publicatie van arXiv*

    MegaPortraits: One-shot Megapixel neurale hoofdavatars

    Door Nikita Drobyshev, Jenya Chelishev, Taras Khakhulin, Aleksei Ivakhnenko, Victor Lempitsky en Egor Zakharov

    Samenvatting

    In dit werk bevorderen we de neurale hoofdavatartechnologie naar de megapixelresolutie terwijl we ons concentreren op de bijzonder uitdagende taak van cross-driving synthese, d.w.z. wanneer het uiterlijk van het rijbeeld aanzienlijk verschilt van het geanimeerde bronbeeld. We stellen een reeks nieuwe neurale architecturen en trainingsmethoden voor die zowel videogegevens met gemiddelde resolutie als beeldgegevens met hoge resolutie kunnen gebruiken om de gewenste niveaus van gerenderde beeldkwaliteit en generalisatie naar nieuwe weergaven en beweging te bereiken. We tonen aan dat voorgestelde architecturen en methoden overtuigende neurale avatars met hoge resolutie opleveren, die beter presteren dan de concurrenten in het cross-driving scenario. Ten slotte laten we zien hoe een getraind neuraal avatarmodel met hoge resolutie kan worden gedestilleerd tot een lichtgewicht studentenmodel dat in realtime wordt uitgevoerd en de identiteit van neurale avatars vergrendelt aan enkele tientallen vooraf gedefinieerde bronafbeeldingen. Real-time bediening en identiteitsslot zijn essentieel voor veel praktische toepassingen op hoofdavatarsystemen.

    Van de Mona Lisa tot Angelina Jolie - Bekijk de technologie in actie

    Inleiding

    Neurale hoofdavatars bieden een nieuwe fascinerende manier om virtuele hoofdmodellen te maken. Ze omzeilen de complexiteit van realistische, op fysica gebaseerde modellering van menselijke avatars door de vorm en het uiterlijk rechtstreeks te leren uit de video's van pratende mensen. In de afgelopen jaren zijn methoden ontwikkeld die realistische avatars kunnen maken van een enkele foto (one-shot). Ze maken gebruik van uitgebreide voortraining op de grote datasets van video's van verschillende mensen om de avatars in de one-shot-modus te maken met behulp van generieke kennis over het menselijk uiterlijk.

    Ondanks de indrukwekkende resultaten die met deze klasse methoden worden behaald, wordt hun kwaliteit ernstig beperkt door de resolutie van de trainingsdatasets. Deze beperking kan niet gemakkelijk worden omzeild door een dataset met een hogere resolutie te verzamelen, omdat deze tegelijkertijd grootschalig en divers moet zijn, d.w.z. duizenden mensen moet omvatten met meerdere frames per persoon, diverse demografische gegevens, verlichting, achtergrond, gezichtsuitdrukking en hoofdhouding. Voor zover wij weten, zijn alle openbare datasets die aan deze criteria voldoen beperkt in resolutie. Als gevolg hiervan leren zelfs de meest recente one-shot avatarsystemen de avatars met resoluties tot 512 × 512.

    In ons werk leveren we drie belangrijke bijdragen. Ten eerste stellen we een nieuw model voor one-shot neurale avatars voor dat ultramoderne cross-re-enactmentkwaliteit bereikt in een resolutie tot 512 × 512. In onze architectuur gebruiken we het idee om het uiterlijk van de avatars weer te geven als een latent 3D-volume en stellen we een nieuwe manier voor om het te combineren met de latente bewegingsrepresentaties, waaronder een nieuw contrastief verlies waardoor ons systeem een hogere mate van ontwarring tussen het latente kan bereiken representaties van beweging en uiterlijk. Bovendien voegen we een probleemspecifiek blikverlies toe dat het realisme en de nauwkeurigheid van ooganimatie verhoogt.

    Onze tweede en cruciale bijdrage is om te laten zien hoe een model dat is getraind op video's met gemiddelde resolutie kan worden „geüpgraded” naar de megapixelresolutie (1024 × 1024) met behulp van een extra dataset met stilstaande beelden met hoge resolutie. Als gevolg hiervan presteert onze voorgestelde methode, terwijl dezelfde trainingsdataset wordt gebruikt, beter dan de basisbenadering met superresolutie voor de taak van cross-re-enactment. We zijn dus de eersten die neurale hoofdavatars demonstreren in de juiste megapixelresolutie.

    Ten slotte, aangezien veel praktische toepassingen voor het maken van menselijke avatars realtime of sneller dan realtime rendering vereisen, distilleren we ons megapixelmodel in een tien keer sneller studentenmodel dat draait op 130 FPS op een moderne GPU. Deze aanzienlijke versnelling is mogelijk omdat de student is getraind voor specifieke verschijningen (in tegenstelling tot het hoofdmodel dat nieuwe avatars kan maken voor voorheen ongeziene mensen). Bovendien kunnen de applicaties die zijn gebaseerd op een dergelijk studentenmodel dat is „vergrendeld” aan vooraf gedefinieerde identiteiten, het misbruik ervan voor het creëren van „diepe vervalsingen” voorkomen en tegelijkertijd een lage renderlatentie bereiken.

    Lees het originele bericht.

    Compleet rapport: MegaPortraits: One-shot Megapixel neurale hoofdavatars (PDF) - Muisover om te scrollen

    Megaportraits - One-Shot Megapixel neurale hoofdavatars

    Lees de originele publicatie.

    *Gedeeld met toestemming op basis van educatieve en niet-commerciële distributie onder Creative Commons 4.0 International-licentie.

    Bron van publicatie:

    Nikita Drobyshev, Jenya Chelishev, Taras Khakhulin, Aleksei Ivakhnenko, Victor Lempitsky en Egor Zakharov. 2022. MegaPortraits: One-shot Megapixel neurale hoofdavatars. In Proceedings of the 30th ACM International Conference on Multimedia (MM '22), 10-14 oktober 2022, Lisboa, Portugal. ACM, New York, NY, VS, 18 pagina's.

    Aanvullend lezen

    [Samsung Labs] MegaPortraits: One-shot Megapixel neurale hoofdavatars

    Cyber Discovery definiëren? Een definitie en raamwerk

    Bron: ComplexDiscovery

    Naar voren leunen? Het strategisch plan CISA 2023-2025

    The purpose of the CISA Strategic Plan is to communicate the...

    Voortdurende risicoverbetering? Q3 Cyber Round-Up van Cowbell Cyber

    According to Manu Singh, director of risk engineering at Cowbell, "Every...

    Een uitgebreide bron voor cyberontdekking? De DoD-beleidstabel voor cyberbeveiliging van CSIAC

    The Cyber Security and Information Systems Information Analysis Center (CSIAC) is...

    Snel draaiende cyberverzekering? Q2 Cyber Round-Up van Cowbell Cyber

    According to Isabelle Dumont, SVP of Marketing and Technology Partners at...

    Een onthullende reactie? Nuix reageert op ASX-verzoek om informatie

    The following investor news update from Nuix shares a written response...

    Verslagen onthullen? Nuix merkt persspeculatie op

    According to a September 9, 2022 market release from Nuix, the...

    HayStackID® neemt Business Intelligence Associates over

    According to HaystackID CEO Hal Brooks, “BIA is a leader in...

    Eén groot software- en cloudbedrijf? OpenText om microfocus te verwerven

    According to OpenText CEO & CTO Mark J. Barrenechea, “We are...

    Onderweg? 2022 eDiscovery Market Kinetics: vijf interessegebieden

    Recently ComplexDiscovery was provided an opportunity to share with the eDiscovery...

    Vertrouw end op het proces? 2021 eDiscovery Processing Taak-, bestedings- en kostengegevens

    Based on the complexity of cybersecurity, information governance, and legal discovery,...

    Het jaar in review? 2021 eDiscovery Review Taak-, uitgaven- en kostengegevenspunten

    Based on the complexity of cybersecurity, information governance, and legal discovery,...

    Een blik op eDiscovery Collection in 2021: gegevenspunten voor taken, uitgaven en kosten

    Based on the complexity of cybersecurity, information governance, and legal discovery,...

    Vijf geweldige artikelen over cyber-, data- en juridische ontdekkingen voor september 2022

    From privacy legislation and special masters to acquisitions and investigations, the...

    Vijf geweldige lezingen over cyber-, data- en juridische ontdekking voor augustus 2022

    From AI and Big Data challenges to intriguing financial and investment...

    Vijf geweldige lezingen over cyber-, data- en juridische ontdekking voor juli 2022

    From lurking business undercurrents to captivating deepfake developments, the July 2022...

    Vijf geweldige lezingen over cyber, data en juridische ontdekking voor juni 2022

    From eDiscovery ecosystem players and pricing to data breach investigations and...

    Koelere temperaturen? Resultaten van de eDiscovery Business Confidence Survey in

    Since January 2016, 2,874 individual responses to twenty-eight quarterly eDiscovery Business...

    Verbuiging of doorbuiging? Een geaggregeerd overzicht van acht halfjaarlijkse prijsenquêtes voor eDiscovery

    Initiated in the winter of 2019 and conducted eight times with...

    Veranderende stromingen? Achttien observaties over het vertrouwen van bedrijven in eDiscovery in de zomer van 2022

    In the summer of 2022, 54.8% of survey respondents felt that...

    Uitdagende varianten? Problemen die de bedrijfsprestaties van eDiscovery beïnvloeden: een overzicht van de zomer 2022

    In the summer of 2022, 28.8% of respondents viewed increasing types...

    Nucleaire opties? Conflictbeoordelingen in Oekraïne op kaarten (17 - 21 september 2022)

    According to a recent update from the Institute for the Study...

    Massagraven en martelkamers? Conflictbeoordelingen in Oekraïne op kaarten (12 - 16 september 2022)

    According to a recent update from the Institute for the Study...

    Op de vlucht? Conflictbeoordelingen in Oekraïne in kaarten (7 - 11 september 2022)

    According to a recent update from the Institute for the Study...

    Tastbare afbraak? Conflictbeoordelingen in Oekraïne in kaarten (2 - 6 september 2022)

    According to a recent update from the Institute for the Study...