Sun. Sep 25th, 2022
    en flag
    nl flag
    et flag
    fi flag
    fr flag
    de flag
    he flag
    ja flag
    lv flag
    pl flag
    pt flag
    es flag
    uk flag

    Uwaga redaktora: Od czasu do czasu, ComplexDiscovery podkreśla publicznie dostępne lub prywatne ogłoszenia, aktualizacje treści, i badania z cyberprzestrzeni, dane, i legalne odkrycia dostawców, organizacje badawcze, i członków społeczności ComplexDiscovery. Podczas gdy ComplexDiscovery regularnie podkreśla te informacje, nie ponosi żadnej odpowiedzialności za twierdzenia treści.

    Aby przesłać zalecenia dotyczące rozważenia i włączenia do cyberprzestrzeni ComplexDiscovery, dane, oraz usługi zorientowane na odkrycie prawne, produkt, lub ogłoszenia badawcze, skontaktuj się z nami już dziś.

    Uwaga w tle: Udostępnione dla niekomercyjnych korzyści edukacyjnych wynikających z cyberbezpieczeństwa, zarządzanie informacjami, i prawników, ten niedawno opublikowany raport badawczy wyjaśnia pierwszy system tworzenia megapikselowych awatarów z pojedynczych portretów. Raport może być korzystny dla śledczych i sądowych monitorujących potencjalne narzędzia i technologie renderowania oparte na obrazach, które można wykorzystać do tworzenia głębokich fałszywych.

    Publikacja z ARXIV*

    MegaPortraits: Jednorazowe megapikselowe awatary głowy neuronowej

    Nikita Drobyshev, Jenya Chelishev, Taras Khakhulin, Aleksei Ivakhnenko, Victor Lempitsky i Egor Zacharow

    Streszczenie

    W tej pracy rozwijamy technologię awatara głowy neuronowej do rozdzielczości megapikseli, skupiając się na szczególnie trudnym zadaniu syntezy cross-driving, tj. Gdy wygląd obrazu jazdy znacznie różni się od animowanego obrazu źródłowego. Proponujemy zestaw nowych architektur neuronowych i metod szkoleniowych, które mogą wykorzystać zarówno dane wideo o średniej rozdzielczości, jak i dane obrazu o wysokiej rozdzielczości, aby osiągnąć pożądany poziom jakości renderowanego obrazu i uogólnienia na nowe widoki i ruch. Pokazujemy, że sugerowane architektury i metody tworzą przekonujące awatary neuronowe o wysokiej rozdzielczości, przewyższając konkurencję w scenariuszu cross-driving. W końcu, pokazujemy, jak wyszkolony model awatara neuronowego o wysokiej rozdzielczości można destylować do lekkiego modelu studenckiego, który działa w czasie rzeczywistym i blokuje tożsamość awatarów neuronowych do kilkudziesięciu wstępnie zdefiniowanych obrazów źródłowych. Obsługa w czasie rzeczywistym i blokada tożsamości są niezbędne w wielu praktycznych zastosowaniach systemów awatarów głowy.

    Od Mona Lisa do Angeliny Jolie - Zobacz technologię w akcji

    Wstęp

    Awatary głowy neuronowej oferują nowy fascynujący sposób tworzenia wirtualnych modeli głowy. Omijają złożoność realistycznego modelowania ludzkich awatarów opartych na fizyce, ucząc się kształtu i wyglądu bezpośrednio z filmów mówiących ludzi. W ciągu ostatnich kilku lat opracowano metody, które mogą tworzyć realistyczne awatary z jednego zdjęcia (jeden strzał). Wykorzystują obszerne szkolenie wstępne na dużych zbiorach danych filmów różnych osób, aby tworzyć awatary w trybie jednorazowym, korzystając z ogólnej wiedzy o ludzkim wyglądzie.

    Pomimo imponujących wyników uzyskanych tą klasą metod, ich jakość jest poważnie ograniczona rozdzielczością zestawów danych szkoleniowych. Ograniczenia tego nie można łatwo ominąć, zbierając zbiór danych o wyższej rozdzielczości, ponieważ musi on być jednocześnie na dużą skalę i zróżnicowany, to znaczy, obejmować tysiące ludzi z wieloma klatkami na osobę, zróżnicowane dane demograficzne, oświetlenie, tło, wyraz twarzy, i pozę głowy. Zgodnie z naszą najlepszą wiedzą, wszystkie publiczne zbiory danych, które spełniają te kryteria, mają ograniczoną rozdzielczość. W rezultacie nawet najnowsze systemy awatarów jednostrzałowych uczą się awatarów w rozdzielczościach do 512 × 512.

    W naszej pracy wnosimy trzy główne wkłady. Najpierw proponujemy nowy model jednorazowych awatarów neuronowych, który osiąga najnowocześniejszą jakość rekonstrukcji krzyżowej w rozdzielczości do 512 × 512. W naszej architekturze wykorzystujemy ideę reprezentowania wyglądu awatarów jako ukrytej objętości 3D i proponujemy nowy sposób połączenia go z utajonymi reprezentacjami ruchu, który obejmuje nowatorską stratę kontrastową, która pozwala naszemu systemowi osiągnąć wyższe stopnie rozplątania między utajonymi reprezentacje ruchu i wyglądu. Na szczycie tego, dodajemy specyficzną dla problemu utratę wzroku, która zwiększa realizm i dokładność animacji oka.

    Naszym drugim i kluczowym wkładem jest pokazanie, w jaki sposób model przeszkolony na filmach o średniej rozdzielczości może zostać „ulepszony” do rozdzielczości megapikseli (1024 × 1024) przy użyciu dodatkowego zestawu danych o wysokiej rozdzielczości obrazów nieruchomych. W rezultacie, nasza proponowana metoda, korzystając z tego samego zestawu danych szkoleniowych, przewyższa podstawowe podejście superrozdzielczości do zadania rekonstrukcji krzyżowej. Jesteśmy zatem pierwszymi, którzy zademonstrowali awatary głowy neuronowej w odpowiedniej rozdzielczości megapikseli.

    Wreszcie, ponieważ wiele praktycznych zastosowań do tworzenia ludzkich awatarów wymaga czasu rzeczywistego lub szybszego niż renderowanie w czasie rzeczywistym, destylujemy nasz model megapikselowy w dziesięciokrotnie szybszy model studencki, który działa z szybszą liczbą klatek na sekundę na nowoczesnym GPU. To znaczące przyspieszenie jest możliwe, ponieważ uczeń jest szkolony pod kątem określonych wyglądów (w przeciwieństwie do głównego modelu, który może tworzyć nowe awatary dla wcześniej niewidzianych osób). Ponadto aplikacje oparte na takim modelu studenckim „zablokowane” do predefiniowanych tożsamości mogą zapobiec jego niewłaściwemu użyciu do tworzenia „głębokich podróbek”, jednocześnie osiągając niskie opóźnienie renderowania.

    Przeczytaj oryginalny post.

    Kompletny raport: MegaPortraits: One-shot Megapixel Neural Head Avatars (PDF) - Mouseover to Scroll

    MegaPortraits - One-Shot Megapixel Neural Head Avatary

    Przeczytaj oryginalną publikację.

    * Udostępnione za zgodą na podstawie dystrybucji edukacyjnej i niekomercyjnej na licencji Creative Commons 4.0 International.

    Źródło publikacji:

    Nikita Drobyshev, Jenya Chelishev, Taras Khakhulin, Aleksei Ivakhnenko, Victor Lempitsky i Egor Zacharow. 2022. Cechy megapikselowe: Jednorazowe megapikselowe awatary głowy neuronowej. W materiałach 30. Międzynarodowej Konferencji Multimedialnej ACM (MM '22), 10—14 października 2022 r., Lizbona, Portugalia. ACM, Nowy Jork, NOWY, USA, 18 stron.

    Dodatkowy odczyt

    [Samsung Labs] MegaPortraits: One-shot Megapixel Neural Head Avatary

    Definiowanie Cyber Discovery? Definicja i ramy

    Źródło: complexDiscovery

    Ochylając się do przodu? Plan strategiczny CISA 2023-2025

    The purpose of the CISA Strategic Plan is to communicate the...

    Ciągła poprawa ryzyka? Q3 Cyber Podsumowanie od Cowbell Cyber

    According to Manu Singh, director of risk engineering at Cowbell, "Every...

    Kompleksowy zasób Cyber Discovery? Wykres polityki cyberbezpieczeństwa Departamentu Obrony z CSIAC

    The Cyber Security and Information Systems Information Analysis Center (CSIAC) is...

    Szybko obracające się ubezpieczenie cybernetyczne? Q2 Cyber Round-Up od Cowbell Cyber

    According to Isabelle Dumont, SVP of Marketing and Technology Partners at...

    Ujawniająca odpowiedź? Nuix odpowiada na prośbę ASX o informacje

    The following investor news update from Nuix shares a written response...

    Ujawnianie raportów? Nuix Notes Spekulacje prasowe

    According to a September 9, 2022 market release from Nuix, the...

    HayStackid® przejmuje Business Intelligence Associates

    According to HaystackID CEO Hal Brooks, “BIA is a leader in...

    Jedno duże oprogramowanie i biznes w chmurze? OpenText, aby uzyskać Micro Focus

    According to OpenText CEO & CTO Mark J. Barrenechea, “We are...

    W ruchu? 2022 Kinetyka rynku ediscovery: pięć obszarów zainteresowań

    Recently ComplexDiscovery was provided an opportunity to share with the eDiscovery...

    Ufasz Procesowi? 2021 Zadanie przetwarzania eDiscovery, dane dotyczące wydatków i kosztów

    Based on the complexity of cybersecurity, information governance, and legal discovery,...

    Rok w przeglądzie? 2021 Punkty danych zlecenia eDiscovery do przeglądu, wydatków i kosztów

    Based on the complexity of cybersecurity, information governance, and legal discovery,...

    Zbiór eDiscovery Collection 2021: Punkty danych zadań, wydatków i kosztów

    Based on the complexity of cybersecurity, information governance, and legal discovery,...

    Pięć świetnych lektur na temat cyberprzestrzeni, danych i odkryć prawnych na wrzesień 2022

    From privacy legislation and special masters to acquisitions and investigations, the...

    Pięć świetnych lektur na temat cyberprzestrzeni, danych i odkryć prawnych na sierpień 2022

    From AI and Big Data challenges to intriguing financial and investment...

    Pięć świetnych lektur na temat cyberprzestrzeni, danych i odkryć prawnych na lipiec 2022

    From lurking business undercurrents to captivating deepfake developments, the July 2022...

    Pięć świetnych lektur na temat cyberprzestrzeni, danych i odkryć prawnych na czerwiec 2022

    From eDiscovery ecosystem players and pricing to data breach investigations and...

    Chłodniejsze temperatury? Spadek 2022 Wyniki ankiety dotyczącej zaufania biznesowego eDISCOVERY

    Since January 2016, 2,874 individual responses to twenty-eight quarterly eDiscovery Business...

    Odgięcie czy ugięcie? Łączny przegląd ośmiu półrocznych ankiet cenowych ediscovery

    Initiated in the winter of 2019 and conducted eight times with...

    Zmiana prądów? Osiemnaście uwag na temat zaufania biznesowego do eDISCOVERY latem 2022 r.

    In the summer of 2022, 54.8% of survey respondents felt that...

    Trudne warianty? Problemy wpływające na wydajność biznesową eDISCOVERY: Lato 2022 Przegląd

    In the summer of 2022, 28.8% of respondents viewed increasing types...

    Opcje nuklearne? Oceny konfliktów na Ukrainie w mapach (wrzesień 17 - 21, 2022)

    According to a recent update from the Institute for the Study...

    Masowe groby i komory tortur? Oceny konfliktów na Ukrainie w mapach (wrzesień 12 - 16, 2022)

    According to a recent update from the Institute for the Study...

    W biegu? Oceny konfliktów na Ukrainie w mapach (wrzesień 7 - 11, 2022)

    According to a recent update from the Institute for the Study...

    Namacalna degradacja? Oceny konfliktów na Ukrainie w mapach (wrzesień 2 - 6, 2022)

    According to a recent update from the Institute for the Study...