Sun. Sep 25th, 2022
    en flag
    nl flag
    et flag
    fi flag
    fr flag
    de flag
    he flag
    ja flag
    lv flag
    pl flag
    pt flag
    es flag
    uk flag

    Nota do editor: De tempos em tempos, o ComplexDiscovery destaca anúncios publicamente disponíveis ou privados, atualizações de conteúdo e pesquisas de provedores de descobertas cibernéticas, de dados e legais, organizações de pesquisa e membros da comunidade ComplexDiscovery. Embora o ComplexDiscovery destaque regularmente essas informações, ele não assume nenhuma responsabilidade pelas afirmações de conteúdo.

    Para enviar recomendações para consideração e inclusão nos anúncios de pesquisa, produtos ou serviços centrados em descobertas jurídicas, cibernéticas e de dados da ComplexDiscovery, entre em contato conosco hoje mesmo.

    Nota de fundo: Compartilhado para o benefício educacional não comercial de segurança cibernética, governança da informação e profissionais jurídicos, este relatório de pesquisa publicado recentemente explica o primeiro sistema para criar avatares de megapixels a partir de imagens de retrato único. O relatório pode ser benéfico para investigadores e litigantes que monitoram possíveis ferramentas e tecnologias de renderização baseadas em imagem que podem ser usadas na criação de deepfake.

    Publicação do arXIV*

    MegaPortraits: Avatares de Cabeça Neural Megapixel One-Shot

    Por Nikita Drobyshev, Jenya Chelishev, Taras Khakhulin, Aleksei Ivakhnenko, Victor Lempitsky e Egor Zakharov

    Abstrato

    Neste trabalho, avançamos a tecnologia de avatar da cabeça neural para a resolução de megapixels enquanto nos concentramos na tarefa particularmente desafiadora de síntese cruzada, ou seja, quando a aparência da imagem de direção é substancialmente diferente da imagem de origem animada. Propomos um conjunto de novas arquiteturas neurais e métodos de treinamento que podem aproveitar dados de vídeo de média resolução e dados de imagem de alta resolução para atingir os níveis desejados de qualidade de imagem renderizada e generalização para novas visualizações e movimentos. Demonstramos que arquiteturas e métodos sugeridos produzem avatares neurais de alta resolução convincentes, superando os concorrentes no cenário de cross-driving. Por fim, mostramos como um modelo de avatar neural treinado de alta resolução pode ser destilado em um modelo de estudante leve que é executado em tempo real e bloqueia as identidades de avatares neurais em várias dezenas de imagens de origem predefinidas. A operação em tempo real e o bloqueio de identidade são essenciais para muitos sistemas de avatar de cabeça de aplicativos práticos.

    Da Mona Lisa à Angelina Jolie - Veja a tecnologia em ação

    Introdução

    Os avatares de cabeça neural oferecem uma nova maneira fascinante de criar modelos de cabeças virtuais. Eles ignoram a complexidade da modelagem realista baseada em física de avatares humanos, aprendendo a forma e a aparência diretamente dos vídeos de pessoas falantes. Nos últimos anos, métodos que podem criar avatares realistas a partir de uma única fotografia (one-shot) foram desenvolvidos. Eles aproveitam o extenso pré-treinamento nos grandes conjuntos de dados de vídeos de diferentes pessoas para criar os avatares no modo one-shot usando conhecimento genérico sobre a aparência humana.

    Apesar dos resultados impressionantes obtidos por essa classe de métodos, sua qualidade é severamente limitada pela resolução dos conjuntos de dados de treinamento. Essa limitação não pode ser facilmente contornada pela coleta de um conjunto de dados de resolução mais alta, pois precisa ser simultaneamente em grande escala e diversificada, ou seja, incluir milhares de humanos com vários quadros por pessoa, dados demográficos diversos, iluminação, fundo, expressão facial e pose da cabeça. Até onde sabemos, todos os conjuntos de dados públicos que atendem a esses critérios são limitados em resolução. Como resultado, até mesmo os sistemas de avatar one-shot mais recentes aprendem os avatares em resoluções de até 512 × 512.

    Em nosso trabalho, fazemos três contribuições principais. Primeiro, propomos um novo modelo para avatares neurais one-shot que alcança qualidade de reconstituição cruzada de última geração em resolução de até 512 × 512. Em nossa arquitetura, utilizamos a ideia de representar a aparência dos avatares como um volume 3D latente e propomos uma nova maneira de combiná-lo com as representações de movimento latente, que inclui uma nova perda contrastiva que permite que nosso sistema alcance graus mais altos de desembaraço entre os latentes representações de movimento e aparência. Além disso, adicionamos uma perda de olhar específica do problema que aumenta o realismo e a precisão da animação ocular.

    Nossa segunda e crucial contribuição é mostrar como um modelo treinado em vídeos de média resolução pode ser “atualizado” para a resolução de megapixels (1024 × 1024) usando um conjunto de dados adicional de imagens estáticas de alta resolução. Como resultado, nosso método proposto, ao usar o mesmo conjunto de dados de treinamento, supera a abordagem de super-resolução de linha de base para a tarefa de reconstituição cruzada. Somos, portanto, os primeiros a demonstrar avatares de cabeça neural na resolução adequada de megapixels.

    Por fim, como muitos aplicativos práticos para a criação de avatares humanos exigem renderização em tempo real ou mais rápida do que em tempo real, destilamos nosso modelo de megapixels em um modelo de estudante dez vezes mais rápido que roda a 130 FPS em uma GPU moderna. Essa aceleração significativa é possível, pois o aluno é treinado para aparências específicas (ao contrário do modelo principal que pode criar novos avatares para pessoas inéditas). Além disso, os aplicativos baseados em um modelo de estudante “bloqueado” para identidades predefinidas podem impedir seu uso indevido para criar “falsificações profundas” e, ao mesmo tempo, alcançar baixa latência de renderização.

    Leia a postagem original.

    Relatório completo: MegaPortraits: Avatares de cabeça neural de megapixels únicos (PDF) - Passe o mouse para rolar

    MegaPortraits - Avatares de Cabeça Neural Megapixel One-Shot

    Leia a publicação original.

    *Compartilhado com permissão com base na distribuição educacional e não comercial sob a licença Creative Commons 4.0 International.

    Fonte da publicação:

    Nikita Drobyshev, Jenya Chelishev, Taras Khakhulin, Aleksei Ivakhnenko, Victor Lempitsky e Egor Zakharov. 2022. MegaPortraits: Avatares de cabeça neural de megapixels únicos. Em Proceedings of the 30.th ACM International Conference on Multimedia (MM '22), 10 a 14 de outubro de 2022, Lisboa, Portugal. ACM, Nova York, NY, EUA, 18 páginas.

    Leitura adicional

    [Samsung Labs] MegaPortraits: Avatares de cabeça neural megapixel de um tiro

    Definindo a descoberta cibernética? Uma definição e estrutura

    Fonte: ComplexDiscovery

    Inclinando-se para frente? O Plano Estratégico CISA 2023-2025

    The purpose of the CISA Strategic Plan is to communicate the...

    Melhoria contínua do risco? Resumo cibernético do terceiro trimestre da Cowbell Cyber

    According to Manu Singh, director of risk engineering at Cowbell, "Every...

    Um recurso abrangente de descoberta cibernética? O gráfico de políticas de segurança cibernética do DoD do CSIAC

    The Cyber Security and Information Systems Information Analysis Center (CSIAC) is...

    Seguro cibernético em rápida rotação? Resumo cibernético do segundo trimestre da Cowbell Cyber

    According to Isabelle Dumont, SVP of Marketing and Technology Partners at...

    Resposta reveladora? Nuix responde à solicitação de informações da ASX

    The following investor news update from Nuix shares a written response...

    Relatórios reveladores? Nuix Notes Especulação da imprensa

    According to a September 9, 2022 market release from Nuix, the...

    HayStackID® adquire a Business Intelligence Associates

    According to HaystackID CEO Hal Brooks, “BIA is a leader in...

    Um grande negócio de software e nuvem? OpenText para adquirir a Micro Focus

    According to OpenText CEO & CTO Mark J. Barrenechea, “We are...

    Em movimento? Cinética de mercado de eDiscovery 2022: cinco áreas de interesse

    Recently ComplexDiscovery was provided an opportunity to share with the eDiscovery...

    Confiando no processo? Dados de tarefas, gastos e custos de processamento de eDiscovery 2021

    Based on the complexity of cybersecurity, information governance, and legal discovery,...

    O ano em análise? 2021 eDiscovery Analise pontos de dados de tarefas, gastos e custos

    Based on the complexity of cybersecurity, information governance, and legal discovery,...

    Uma análise de 2021 da coleção de eDiscovery: pontos de dados de tarefas, gastos e custos

    Based on the complexity of cybersecurity, information governance, and legal discovery,...

    Cinco ótimas leituras sobre descobertas cibernéticas, de dados e legais para setembro de 2022

    From privacy legislation and special masters to acquisitions and investigations, the...

    Cinco ótimas leituras sobre descoberta cibernética, de dados e jurídica para agosto de 2022

    From AI and Big Data challenges to intriguing financial and investment...

    Cinco ótimas leituras sobre descoberta cibernética, de dados e jurídica para julho de 2022

    From lurking business undercurrents to captivating deepfake developments, the July 2022...

    Cinco ótimas leituras sobre descoberta cibernética, de dados e legal para junho de 2022

    From eDiscovery ecosystem players and pricing to data breach investigations and...

    Temperaturas mais baixas? Resultados da pesquisa de confiança empresarial eDiscovery do outono de 2022

    Since January 2016, 2,874 individual responses to twenty-eight quarterly eDiscovery Business...

    Inflexão ou deflexão? Uma visão geral agregada de oito pesquisas semestrais de preços de eDiscovery

    Initiated in the winter of 2019 and conducted eight times with...

    Mudando as correntes? Dezoito observações sobre a confiança dos negócios de eDiscovery no verão de 2022

    In the summer of 2022, 54.8% of survey respondents felt that...

    Variantes desafiadoras? Problemas que afetam o desempenho comercial de eDiscovery: uma visão geral do verão de 2022

    In the summer of 2022, 28.8% of respondents viewed increasing types...