Nvidia ha desarrollado una forma de convertir fotos 2D en escenas 3D

Los investigadores de inteligencia artificial de Nvidia han desarrollado una forma de convertir un puñado de imágenes 2D en una escena 3D casi instantáneamente mediante el uso de un entrenamiento de red neuronal ultrarrápido junto con un renderizado rápido. Conocido como renderizado inverso, el proceso aprovecha la IA para aproximar cómo se comporta la luz en el mundo real para convertir imágenes 2D tomadas en diferentes ángulos en escenas 3D. Los investigadores de Nvidia aplicaron su novedoso enfoque a una nueva tecnología popular llamada campos de radiación neuronal o NeRF para abreviar.
El resultado, que la empresa ha denominado Instant NeRF, es la técnica NeRF más rápida hasta la fecha y es más de 1000 veces más rápida en algunos casos. El modelo neuronal utilizado tarda solo unos segundos en entrenarse en unas pocas docenas de fotos fijas, aunque también requiere datos sobre los ángulos de la cámara desde donde se tomaron. El vicepresidente de investigación de gráficos en Nvidia, David Luebke, proporcionó más información sobre la diferencia entre NeRF e Instant NeRF en una publicación de blog, diciendo: “Si las representaciones 3D tradicionales, como las mallas poligonales, son similares a las imágenes vectoriales, los NeRF son como imágenes de mapa de bits: capturan densamente la forma en que la luz se irradia desde un objeto o dentro de una escena.
En ese sentido, Instant NeRF podría ser tan importante para 3D como lo han sido las cámaras digitales y la compresión JPEG para la fotografía en 2D, aumentando enormemente la velocidad, la facilidad y el alcance de la captura y el uso compartido en 3D”. Mediante el uso de redes neuronales, los NeRF pueden representar escenas 3D realistas basadas en una colección de entrada de imágenes 2D. Sin embargo, la parte más interesante es cómo las redes neuronales utilizadas para crearlas pueden llenar los espacios en blanco entre las imágenes 2D incluso cuando los objetos o las personas en ellas están bloqueados por obstrucciones.
Normalmente, la creación de una escena 3D con métodos tradicionales puede llevar de algunas a varias horas, según la complejidad y la resolución de la visualización. Sin embargo, al incluir la IA en la imagen, incluso los primeros modelos NeRF fueron capaces de generar escenas nítidas sin artefactos en unos minutos después de haber sido entrenados durante varias horas. Los NeRF instantáneos de Nvidia pueden reducir el tiempo de renderizado requerido en varios órdenes de magnitud mediante el uso de una técnica desarrollada por la empresa llamada codificación de cuadrícula hash de resolución múltiple que se ha optimizado para ejecutarse de manera eficiente en las GPU de Nvidia.
El modelo que se muestra a continuación por la compañía en GTC 2022 utiliza Nvidia CUDA Toolkit y la biblioteca Tiny CUDA Neural Networks que se pueden entrenar y ejecutar en una sola GPU Nvidia, aunque las tarjetas gráficas con Nvidia Tensor Cores pueden manejar el trabajo aún más rápido. Leer más > Nvidia e Intel podrían unirse para crear un futuro chip > Nvidia lanza el hardware de IA más potente del mundo hasta la fecha > Nvidia seguirá adelante con planes para CPU basadas en Arm En el futuro, la tecnología Instant NeRF podría usarse para crear rápidamente avatares o escenas para mundos virtuales, capturar participantes de videoconferencias y sus entornos en 3D o reconstruir escenas para mapas digitales en 3D. Alternativamente, la tecnología también podría usarse para entrenar robots y automóviles autónomos para que comprendan mejor el tamaño y la forma de los objetos del mundo real al capturar imágenes 2D o secuencias de video de ellos.
Al mismo tiempo, la arquitectura y las industrias del entretenimiento pueden usar Instant NeRF para generar rápidamente representaciones digitales de entornos reales que los creadores pueden modificar y construir sobre ellos. Los investigadores de Nvidia también están explorando cómo su nueva técnica de codificación de entrada podría usarse para acelerar varios desafíos de IA, como el aprendizaje por refuerzo, la traducción de idiomas y los algoritmos de aprendizaje profundo de uso general.