La fotografía computacional es uno de los mayores regalos (y a su vez, maldiciones) que nos ha traído la tecnología. Terminales como el Google Pixel de primera generación demostraban que el teléfono puede llegar a ver incluso más que nosotros, brillando especialmente en fotografía nocturna.
Disparar en baja luz, no obstante, supone un gran reto. El sensor generará más ruido de la cuenta si escasea la luminosidad y aquí se pueden tomar dos decisiones: respetar el ruido para preservar el detalle, o eliminar el ruido (lavar la foto), perdiendo así detalle. Esta última decisión es la más popular en smartphones, y Google ya está entrenando a una IA para solucionar esta problemática.
Google quiere fotografías limpias de ruido, pero con detalle
MultiNerf es el proyecto de Google, lanzado en código abierto, para solucionar la problemática de la fotografía nocturna. Sigue habiendo cierta aversión por parte los usuarios al ruido digital, y los algoritmos de Google quieren solucionar el problema sin cargarse el detalle de las fotografías por el camino.
Google se basa en NeRF (Neural Radiance Fields), una red neuronal desarrollada, en primera instancia, para generar imágenes 3D basándose en conjuntos 2D. El propósito de basarse en NeRF es que, a partir de una imagen 3D la IA lo tiene más sencillo para analizar la información de la imagen ya que puede "moverse" a través de la misma.
"Modificamos NeRF para entrenar directamente en imágenes en bruto lineales, preservando todo el rango dinámico de la escena. Al renderizar imágenes de salida sin procesar del NeRF resultante, podemos realizar nuevas tareas de síntesis de vistas de alto rango dinámico (HDR). Además de cambiar el punto de vista de la cámara, podemos manipular el enfoque, la exposición y el mapeo de tonos después del hecho."
Los algoritmos de este modelo analizan los datos en bruto del archivo RAW, y utilizan inteligencia artificial para detectar cuál sería la información que tendrían si no hubiese ruido en esa escena. En otras palabras, intentan preservar el detalle del RAW, a pesar de que posteriormente se elimine el ruido.
A pesar de que este modelo aún está siendo investigado, supone una importante base para el futuro de la fotografía computacional. Esperemos que dentro de no mucho, los Pixel empiecen a implementar esta tecnología, y que se expanda al resto de fabricantes.
Ver 17 comentarios