Investigadores de la Universidad de Nottingham, del laboratorio de visión por computadora, han logrado transformar imágenes de rostros de 2 dimensiones a 3 dimensiones de una manera sorprendentemente eficiente y es más, han puesto a disposición pública su trabajo. El sistema puede usarse incluso con retratos antiguos y con bosquejos hechos a lápiz.
El problema de procesar rostros en 2D para hacer una imagen tridimensional de los mismos es uno de los problemas más complejos en el tema de la visión por computadora y gráficas, el cual por años se ha tratado de resolver.
Los enfoques actuales, por ejemplo 3D Morphable Model (3DMM), han probado no ser muy útiles debido a los requerimientos demandados en los conjuntos de datos, así como en el tema de optimización algorítmica, por ejemplo.
Por ello, este nuevo enfoque, el cual se presenta en el artículo “Large Pose 3D Face Reconstruction from a Single Image via Direct Volumetric CNN Regression”, propone una novedosa técnica que puede usarse con éxito para lidiar con todos los problemas ya mencionados anteriormente. Alimentando una red neuronal convolucional (CNN) con una sola fotografía de un rostro en 2D, capturada en cualquier pose o ángulo, se puede transformar en su contraparte en 3D rápidamente y sin muchos problemas.
Esto es posible porque la arquitectura CNN usa una representación volumétrica de la geometría 3D del rostro, la cual permite hacer progresos directamente a las imágenes faciales en 2D a su correspondiente transformación en 3D, sin tener que pasar por los pasos intermedios de 3DMM. Esto hace que el proceso sea, evidentemente, más rápido.
Al entrenar la red CNN con imágenes 2D juntas con sus modelos 3D relacionados, se logra que la red pueda ser capaz por sí misma de inferir sus conexiones. En resumen: CNN fue capaz de aprender directamente de imágenes 2D, el mapeo de los pixeles de cada imagen a la reconstrucción 3D de la estructura geométrica del rostro (incluyendo las partes que no quedan visibles).
El trabajo puede probarse en este enlace para así producir un modelo 3D del rostro.
Cabe decir que le puse una caricatura al mejor estilo de los Simpsons y el sistema dijo que no pudo reconocer el rostro.
El uso de esta tecnología parece ser claro en la ciencia forense, la cual podría servir para identificar personas. De hecho, los retratos hablados de criminales podrían tener ahora una tercera dimensión y quizás hacerlos más reconocibles. Y esto es apenas una muestra. Probablemente los artistas encuentren otras maneras de usar esta tecnología.