Investigadores del Instituto de Informática Max Planck, la Universidad Técnica de Munich, la Universidad de Bath, la Universidad de Stanford y Technicolor, han desabollado el primer sistema basado en aprendizaje profundo que puede transferir la posición de una cabeza 3D, las expresiones faciales y hasta el movimiento de los ojos, desde un actor (fuente de información) a un objetivo (un actor que recibirá todas estas instrucciones). este trabajo se basa en el proyecto Face2Face que se reportó en el 2016 y es el primero que pone palabras en la boca de otra persona, incluyendo las expresiones en su rostro, es francamente impresionante.
Como se explica en un artículo técnico que se presentará en agosto en SIGGRAPH, en Vancouver: “Sintetizar y editar rostros en video, es un problema importante en las gráficas por computadora, con aplicaciones en edición de video y otro tipo de post-producción en video, efectos especiales, doblaje visual, realidad virtual y telepresencia, entre otros”.
En este nuevo enfoque, se hace un render a video que convierte la secuencia de gráficas simples de computadora en video fotorrealista y coherente.
Primero se transfiere la posición de la cabeza y la orientación, la expresión del rostro y de los ojos, de un actor que es la fuente a un actor que es el objetivo. El mapeo se aprende a través de una nueva formulación espacio temporal condicionada. Usando GPUs de una tarjeta Nvidia Titán, el equipo entrenó su red neuronal generativa por diez horas, usando fragmentos de video del dominio público y como pueden observarse, estos son los resultados:
Los investigadores concluyen: “hemos mostrado a través de nuestros experimentos que nuestro método sobrepasa los trabajos anteriores, en calidad y que además, expande las posibilidades. Abre así un nuevo nivel de capacidades en muchas aplicaciones. Nuestro enfoque es un paso hacia adelante en la síntesis realista de video bajo el control de ciertos parámetros. Esperamos que esto pueda inspirar a más personas en este campo que es un verdadero reto”.