Sun. Sep 25th, 2022
    en flag
    nl flag
    et flag
    fi flag
    fr flag
    de flag
    he flag
    ja flag
    lv flag
    pl flag
    pt flag
    es flag
    uk flag

    Nota del editor: De vez en cuando, ComplexDiscovery destaca anuncios, actualizaciones de contenido e investigaciones disponibles de forma pública o privada de proveedores de descubrimiento cibernético, de datos y legal, organizaciones de investigación y miembros de la comunidad de ComplexDiscovery. Si bien ComplexDiscovery destaca regularmente esta información, no asume ninguna responsabilidad por las afirmaciones de contenido.

    Para enviar recomendaciones para su consideración e inclusión en los anuncios de investigación, productos o servicios centrados en el descubrimiento cibernético, de datos y legal de ComplexDiscovery, póngase en contacto con nosotros hoy mismo.

    Nota de antecedentes: Compartido por el beneficio educativo no comercial de los profesionales de la ciberseguridad, la gobernanza de la información y el derecho, este informe de investigación publicado recientemente explica el primer sistema para crear avatares megapíxeles a partir de imágenes de retratos individuales. El informe puede ser beneficioso para los investigadores y los litigantes que supervisan las posibles herramientas y tecnologías de renderizado basado en imágenes que pueden usarse en la creación de deepfake.

    Publicación de ArXiv*

    MegaPortraits: Avatares de cabeza neuronal megapíxel de un solo disparo

    Por Nikita Drobyshev, Jenya Chelishev, Taras Khakhulin, Aleksei Ivakhnenko, Victor Lempitsky y Egor Zakharov

    Abstracto

    En este trabajo, avanzamos la tecnología de avatar de cabeza neuronal a la resolución de megapíxeles mientras nos centramos en la tarea particularmente desafiante de la síntesis de conducción cruzada, es decir, cuando la apariencia de la imagen de conducción es sustancialmente diferente de la imagen de origen animada. Proponemos un conjunto de nuevas arquitecturas neuronales y métodos de entrenamiento que pueden aprovechar tanto los datos de vídeo de resolución media como los datos de imágenes de alta resolución para lograr los niveles deseados de calidad de imagen renderizada y generalización a vistas y movimiento novedosos. Demostramos que las arquitecturas y los métodos sugeridos producen avatares neuronales convincentes de alta resolución, que superan a los competidores en el escenario de conducción cruzada. Por último, mostramos cómo un modelo de avatar neuronal entrenado de alta resolución se puede destilar en un modelo de estudiante ligero que se ejecuta en tiempo real y bloquea las identidades de los avatares neuronales en varias docenas de imágenes fuente predefinidas. La operación en tiempo real y el bloqueo de identidad son esenciales para muchas aplicaciones prácticas de sistemas de avatar de cabeza

    De la Mona Lisa a Angelina Jolie: vea la tecnología en acción

    Introducción

    Los avatares de cabeza neuronal ofrecen una nueva y fascinante forma de crear modelos de cabeza virtuales. Ellas evitan la complejidad del modelado realista basado en la física de avatares humanos al aprender la forma y la apariencia directamente de los videos de personas que hablan. Durante los últimos años, se han desarrollado métodos que pueden crear avatares realistas a partir de una sola fotografía (una sola toma). Aprovechan un extenso entrenamiento previo en los grandes conjuntos de datos de vídeos de diferentes personas para crear los avatares en el modo one-shot utilizando conocimientos genéricos sobre la apariencia humana.

    A pesar de los impresionantes resultados obtenidos con esta clase de métodos, su calidad se ve gravemente limitada por la resolución de los conjuntos de datos de entrenamiento. Esta limitación no se puede evitar fácilmente recopilando un conjunto de datos de mayor resolución, ya que debe ser simultáneamente a gran escala y diverso, es decir, incluir miles de humanos con múltiples fotogramas por persona, diversos datos demográficos, iluminación, fondo, expresión facial y postura de la cabeza. Hasta donde sabemos, todos los conjuntos de datos públicos que cumplen con estos criterios tienen una resolución limitada. Como resultado, incluso los sistemas de avatares de un solo disparo más recientes aprenden los avatares con resoluciones de hasta 512 × 512.

    En nuestro trabajo, hacemos tres contribuciones principales. En primer lugar, proponemos un nuevo modelo para avatares neuronales de un solo disparo que logra una calidad de recreación cruzada de última generación con una resolución de hasta 512 × 512. En nuestra arquitectura, utilizamos la idea de representar la apariencia de los avatares como un volumen 3D latente y proponemos una nueva forma de combinarlo con las representaciones de movimiento latente, que incluye una pérdida de contraste novedosa que permite a nuestro sistema lograr mayores grados de desenredado entre los latentes representaciones de movimiento y apariencia. Además de eso, añadimos una pérdida de mirada específica del problema que aumenta el realismo y la precisión de la animación ocular.

    Nuestra segunda y crucial contribución es mostrar cómo un modelo entrenado en vídeos de resolución media puede «actualizarse» a la resolución de megapíxeles (1024 × 1024) utilizando un conjunto de datos adicional de imágenes fijas de alta resolución. Como resultado, nuestro método propuesto, aunque utiliza el mismo conjunto de datos de entrenamiento, supera el enfoque de superresolución de referencia para la tarea de recreación cruzada. Por lo tanto, somos los primeros en demostrar los avatares de la cabeza neuronal con la resolución adecuada de megapíxeles.

    Por último, dado que muchas aplicaciones prácticas para la creación de avatares humanos requieren un renderizado en tiempo real o más rápido que en tiempo real, destilamos nuestro modelo de megapíxeles en un modelo de estudiante diez veces más rápido que se ejecuta a 130 FPS en una GPU moderna. Esta aceleración significativa es posible ya que el estudiante está entrenado para apariencias específicas (a diferencia del modelo principal que puede crear nuevos avatares para personas nunca antes vistas). Además, las aplicaciones basadas en un modelo de estudiante de este tipo «bloqueado» a identidades predefinidas pueden evitar su uso indebido para crear «falsificaciones profundas» y, al mismo tiempo, lograr una baja latencia de renderizado.

    Lee la publicación original.

    Informe completo: MegaRetratos: Avatares de cabeza neuronal megapíxel de una sola toma (PDF) - Pase el ratón para desplazarse

    MegaPortraits- Avatares de cabeza neuronal megapíxel de una sola toma

    Lea la publicación original.

    *Compartido con permiso basado en la distribución educativa y no comercial bajo licencia Creative Commons 4.0 International.

    Fuente de publicación:

    Nikita Drobyshev, Jenya Chelishev, Taras Khakhulin, Aleksei Ivakhnenko, Victor Lempitsky y Egor Zakharov. 2022. MegaPortraits: Avatares de cabeza neuronal megapíxel de una sola toma. En Actas de la 30a Conferencia Internacional sobre Multimedia de la ACM (MM '22), del 10 al 14 de octubre de 2022, Lisboa, Portugal. ACM, Nueva York, NY, EE.UU., 18 páginas.

    Lectura adicional

    [Samsung Labs] MegaPortraits: Avatares de cabeza neuronal megapíxel de una sola toma

    ¿Definir el ciberdescubrimiento? Una definición y un marco

    Fuente: ComplexDiscovery

    ¿Inclinándose hacia El Plan Estratégico 2023-2025 de la CISA

    The purpose of the CISA Strategic Plan is to communicate the...

    ¿Mejora continua del riesgo? Resumen cibernético del tercer trimestre de Cowbell Cyber

    According to Manu Singh, director of risk engineering at Cowbell, "Every...

    ¿Un recurso integral de descubrimiento cibernético? Gráfico de políticas de ciberseguridad del DoD del CSIAC

    The Cyber Security and Information Systems Information Analysis Center (CSIAC) is...

    ¿Seguro cibernético que gira rápidamente? Resumen cibernético del segundo trimestre de Cowbell Cyber

    According to Isabelle Dumont, SVP of Marketing and Technology Partners at...

    ¿Respuesta reveladora? Nuix responde a la solicitud de información de ASX

    The following investor news update from Nuix shares a written response...

    ¿Informes reveladores? Nuix señala la especulación de la prensa

    According to a September 9, 2022 market release from Nuix, the...

    HayStackID® adquiere Business Intelligence Associates

    According to HaystackID CEO Hal Brooks, “BIA is a leader in...

    ¿Un gran negocio de software y nube? OpenText para adquirir Micro Focus

    According to OpenText CEO & CTO Mark J. Barrenechea, “We are...

    ¿En movimiento? Cinética del mercado de eDiscovery para 2022: cinco áreas de interés

    Recently ComplexDiscovery was provided an opportunity to share with the eDiscovery...

    ¿Confiar en el proceso? Datos de costos, gastos y tareas de procesamiento de eDiscovery 2021

    Based on the complexity of cybersecurity, information governance, and legal discovery,...

    ¿El resumen del año? Puntos de datos de costos, gastos y tareas de revisión de eDiscovery 2021

    Based on the complexity of cybersecurity, information governance, and legal discovery,...

    Una mirada 2021 a la colección de eDiscovery: puntos de datos de tareas, gastos y costos

    Based on the complexity of cybersecurity, information governance, and legal discovery,...

    Cinco excelentes lecturas sobre ciberseguridad, datos y descubrimiento legal para septiembre de 2022

    From privacy legislation and special masters to acquisitions and investigations, the...

    Cinco excelentes lecturas sobre descubrimiento cibernético, de datos y legal para agosto de 2022

    From AI and Big Data challenges to intriguing financial and investment...

    Cinco excelentes lecturas sobre descubrimiento cibernético, de datos y legal para julio de 2022

    From lurking business undercurrents to captivating deepfake developments, the July 2022...

    Cinco excelentes lecturas sobre descubrimiento cibernético, de datos y legal para junio de 2022

    From eDiscovery ecosystem players and pricing to data breach investigations and...