Sun. Sep 25th, 2022
    en flag
    nl flag
    et flag
    fi flag
    fr flag
    de flag
    he flag
    ja flag
    lv flag
    pl flag
    pt flag
    es flag
    uk flag

    Note de l'éditeur : De temps à autre, ComplexDiscovery met en avant des annonces accessibles au public ou achetables à titre privé, des mises à jour de contenu et des recherches de fournisseurs de cyberdétection, de données et de découverte juridique, d'organismes de recherche et de membres de la communauté ComplexDiscovery. Bien que ComplexDiscovery mette régulièrement en évidence ces informations, il n'assume aucune responsabilité pour les assertions de contenu.

    Pour soumettre des recommandations à prendre en compte et à inclure dans les annonces de services, de produits ou de recherche centrés sur la cybersécurité, les données et la découverte juridique de ComplexDiscovery, contactez-nous dès aujourd'hui.

    Note d'information : Partagé dans l'intérêt éducatif non commercial de la cybersécurité, de la gouvernance de l'information et des professionnels du droit, ce rapport de recherche récemment publié explique le premier système de création d'avatars mégapixels à partir d'images de portrait unique. Le rapport peut être utile aux enquêteurs et aux avocats plaidants qui surveillent les outils et technologies de rendu basés sur des images potentiels qui peuvent être utilisés dans la création de deepfake.

    Publication d'ArXIV*

    MegaPortraits : Avatars à tête neurale mégapixels à un coup

    Par Nikita Drobyshev, Jenya Chelishev, Taras Khakhulin, Aleksei Ivakhnenko, Victor Lempitsky et Egor Zakharov

    Abstrait

    Dans ce travail, nous faisons progresser la technologie de l'avatar de la tête neuronale à la résolution mégapixel tout en nous concentrant sur la tâche particulièrement difficile de la synthèse par entraînement croisé, c'est-à-dire lorsque l'apparence de l'image de conduite est sensiblement différente de celle de l'image source animée. Nous proposons un ensemble de nouvelles architectures neuronales et de nouvelles méthodes d'entraînement qui peuvent tirer parti à la fois des données vidéo de moyenne résolution et des données d'image haute résolution pour atteindre les niveaux souhaités de qualité d'image rendue et de généralisation à de nouvelles vues et mouvements. Nous démontrons que les architectures et méthodes proposées produisent des avatars neuronaux haute résolution convaincants, surpassant les concurrents dans le scénario de conduite croisée. Enfin, nous montrons comment un modèle d'avatar neuronal haute résolution entraîné peut être distillé en un modèle étudiant léger qui fonctionne en temps réel et verrouille l'identité des avatars neuronaux sur plusieurs dizaines d'images sources prédéfinies. Le fonctionnement en temps réel et le verrouillage de l'identité sont essentiels pour de nombreuses applications pratiques.

    De la Joconde à Angelina Jolie - Découvrez la technologie en action

    Présentation

    Les avatars de têtes neurales offrent une nouvelle façon fascinante de créer des modèles de tête virtuels. Ils contournent la complexité de la modélisation réaliste basée sur la physique des avatars humains en apprenant la forme et l'apparence directement à partir des vidéos de personnes qui parlent. Au cours des dernières années, des méthodes permettant de créer des avatars réalistes à partir d'une seule photographie (one-shot) ont été développées. Ils s'appuient sur une formation préalable approfondie sur les grands ensembles de données de vidéos de différentes personnes pour créer les avatars en mode one-shot en utilisant des connaissances génériques sur l'apparence humaine.

    Malgré les résultats impressionnants obtenus par cette classe de méthodes, leur qualité est fortement limitée par la résolution des jeux de données d'entraînement. Cette limitation ne peut pas être facilement contournée en collectant un ensemble de données de résolution plus élevée, car il doit être à la fois à grande échelle et diversifié, c'est-à-dire inclure des milliers d'humains avec plusieurs images par personne, des données démographiques, un éclairage, un arrière-plan, une expression du visage et une pose de tête variés. À notre connaissance, tous les ensembles de données publics qui répondent à ces critères ont une résolution limitée. Par conséquent, même les systèmes d'avatar one-shot les plus récents apprennent les avatars à des résolutions allant jusqu'à 512 × 512.

    Dans notre travail, nous apportons trois contributions principales. Tout d'abord, nous proposons un nouveau modèle pour les avatars neuronaux à un seul coup qui permet d'obtenir une qualité de reconstitution croisée de pointe avec une résolution allant jusqu'à 512 × 512. Dans notre architecture, nous utilisons l'idée de représenter l'apparence des avatars sous la forme d'un volume 3D latent et proposons une nouvelle façon de le combiner avec les représentations de mouvement latentes, ce qui inclut une nouvelle perte contrastive qui permet à notre système d'atteindre des degrés plus élevés de démêlement entre les images latentes représentations du mouvement et de l'apparence. En plus de cela, nous ajoutons une perte de regard spécifique au problème qui augmente le réalisme et la précision de l'animation oculaire.

    Notre deuxième contribution, cruciale, est de montrer comment un modèle entraîné sur des vidéos de moyenne résolution peut être « mis à niveau » vers la résolution mégapixel (1024 × 1024) à l'aide d'un ensemble de données supplémentaire d'images fixes haute résolution. Par conséquent, la méthode que nous proposons, tout en utilisant le même jeu de données d'entraînement, surpasse l'approche de super-résolution de base pour la tâche de reconstitution croisée. Nous sommes donc les premiers à présenter des avatars de têtes neuronales avec une résolution mégapixel appropriée.

    Enfin, étant donné que de nombreuses applications pratiques pour la création d'avatars humains nécessitent un rendu en temps réel ou plus rapide que le rendu en temps réel, nous distillons notre modèle mégapixel en un modèle étudiant dix fois plus rapide qui fonctionne à 130 images par seconde sur un GPU moderne. Cette accélération importante est possible puisque l'étudiant est entraîné pour des apparences spécifiques (contrairement au modèle principal qui peut créer de nouveaux avatars pour des personnes inédites). En outre, les applications basées sur un tel modèle d'étudiant « verrouillées » à des identités prédéfinies peuvent empêcher son utilisation abusive pour créer des « faux profonds » tout en obtenant une faible latence de rendu.

    Lisez le post original.

    Rapport complet : MegaPortraits : Avatars à tête neuronale mégapixels à un coup (PDF) - Passez la souris pour faire défiler

    MegaPortraits - Avatars à tête neurale mégapixels à un coup

    Lisez la publication originale.

    *Partagé avec autorisation sur la base d'une distribution éducative et non commerciale sous licence Creative Commons 4.0 International.

    Source de la publication :

    Nikita Drobyshev, Jenya Chelishev, Taras Khakhulin, Aleksei Ivakhnenko, Victor Lempitsky et Egor Zakharov. 2022. MegaPortraits : Avatars à tête neurale mégapixels à un coup. Dans Actes de la 30e Conférence internationale ACM sur le multimédia (MM '22), 10-14 octobre 2022, Lisboa, Portugal. ACM, New York, NY, États-Unis, 18 pages.

    Lectures supplémentaires

    [Samsung Labs] MegaPortraits : Avatars à tête neuronale mégapixels à un coup

    Définition de la Cyber Discovery ? Une définition et un cadre

    Source : ComplexDiscovery

    Penché en avant ? Le plan stratégique 2023-2025 de la CISA

    The purpose of the CISA Strategic Plan is to communicate the...

    Une amélioration continue des risques ? Tour d'horizon du troisième trimestre de Cowbell Cyber

    According to Manu Singh, director of risk engineering at Cowbell, "Every...

    Une ressource complète sur la cyberdécouverte ? Le tableau des politiques de cybersécurité du DoD du CSIAC

    The Cyber Security and Information Systems Information Analysis Center (CSIAC) is...

    Une cyberassurance qui évolue rapidement ? Tour d'horizon cybernétique du deuxième trimestre de Cowbell Cyber

    According to Isabelle Dumont, SVP of Marketing and Technology Partners at...

    Réponse révélatrice ? Nuix répond à la demande d'informations de l'ASX

    The following investor news update from Nuix shares a written response...

    Des rapports révélateurs ? Spéculation presse Nuix Notes

    According to a September 9, 2022 market release from Nuix, the...

    HayStackID® acquiert Business Intelligence Associates

    According to HaystackID CEO Hal Brooks, “BIA is a leader in...

    Une seule grande entreprise de logiciels et de cloud ? OpenText va acquérir Micro Focus

    According to OpenText CEO & CTO Mark J. Barrenechea, “We are...

    En mouvement ? Cinétique du marché de l'eDiscovery 2022 : cinq domaines d'intérêt

    Recently ComplexDiscovery was provided an opportunity to share with the eDiscovery...

    Vous faites confiance au processus ? Données sur les tâches, les dépenses et les coûts de traitement de l'eDiscovery 2021

    Based on the complexity of cybersecurity, information governance, and legal discovery,...

    Bilan de l'année ? Points de données sur les tâches, les dépenses et les coûts de révision de l'eDiscovery 2021

    Based on the complexity of cybersecurity, information governance, and legal discovery,...

    Regard sur la collection eDiscovery en 2021 : points de données sur les tâches, les dépenses et les coûts

    Based on the complexity of cybersecurity, information governance, and legal discovery,...

    Cinq excellentes lectures sur la cybersécurité, les données et les découvertes juridiques pour septembre 2022

    From privacy legislation and special masters to acquisitions and investigations, the...

    Cinq bonnes lectures sur la cybernétique, les données et la découverte sur demande juridique pour août 2022

    From AI and Big Data challenges to intriguing financial and investment...

    Cinq bonnes lectures sur la cybernétique, les données et la découverte sur demande juridique pour juillet 2022

    From lurking business undercurrents to captivating deepfake developments, the July 2022...

    Cinq lectures intéressantes sur le cybernétique, les données et la découverte juridique pour juin 2022

    From eDiscovery ecosystem players and pricing to data breach investigations and...