A partir de la enumeración de métodos y soluciones que abordamos en nuestra anterior entrega, podemos concluir que la investigación sobre la reducción de ruido en los datos de cámara necesita considerar un modelo de ruido más realista. Además, debe esforzarse por alcanzar una complejidad computacional baja y procurar obtener la mejor calidad visual posible para la percepción del observador humano. Cuatro preguntas clave surgen de esta conclusión:

  • ¿Cómo se pueden mejorar los métodos de reducción de ruido para trabajar con datos reales de cámara?
  • ¿Qué métodos de reducción de ruido se pueden desarrollar de manera eficiente?
  • ¿Cómo se pueden ajustar los parámetros de los métodos de reducción de ruido para alcanzar la mejor calidad visual?
  • ¿Cómo podemos evaluar y comparar de forma adecuada los algoritmos de reducción de ruido y cuáles son los verdaderos factores de importancia que influencian la percepción humana del ruido en metraje cinematográfico capturado digitalmente?

Reducción del ruido real de cámara con costes computacionales razonables

Ya hemos visto que los métodos de denoising se pueden adaptar a los datos de cámara basándonos en dos estrategias diferentes. En la primera, el uso de datos de archivos RAW nos permite reducir el ruido antes de que los pasos subsiguientes cambien las características de dicho ruido. En la segunda, se reduce el ruido de la imagen procesada, lo que requiere tener en cuenta el ruido correlacionado espacial y cromáticamente.

Proceso de interpolación con la matriz de filtros de color del habitual patrón Bayer.
Proceso de interpolación con la matriz de filtros de color del habitual patrón Bayer.

Si seguimos la primera estrategia, trabajamos con los datos de la matriz de filtros de color –lo que implica que los valores colindantes no lo son sobre el mismo color–. Como la mayoría de los algoritmos de reducción de ruido dependen de los píxeles colindantes entre sí para estimar la señal en una localización específica en la imagen, el reto consiste en encontrar algoritmos que puedan trabajar sobre los datos de una matriz Bayer.

Por si eso fuera poco, los datos del sensor son lineales y de amplio intervalo tonal, y deben tratarse de forma diferente a los datos ya procesados más comúnmente utilizados. De ahí, que resulte imprescindible adaptar los métodos a estas propiedades de la señal y encontrar un modelo de ruido realista a partir de los datos de los archivos RAW para tenerlo en cuenta en el método de reducción de ruido.

Representación tridimensional de un pulso Gaussiano.
Representación tridimensional de un pulso Gaussiano.

La segunda estrategia tiene pros y contras: es de suponer que los algoritmos existentes funcionan bien con esos datos, dado que fueron diseñados basándose en imágenes ya procesadas. La reducción de ruido relativa a la imagen que se mostrará en pantalla se aproxima más a lo que el espectador terminará viendo y la percepción humana se puede tomar en consideración.

No obstante, las características de ruido son extremadamente complejas una vez que la imagen se ha procesado por completo. En consecuencia, los algoritmos estándar diseñados para el ruido blanco Gaussiano aditivo (AWGN) fallarán con toda probabilidad. Hace falta encontrar una solución intermedia entre una representación de los datos suficientemente cercana a la imagen final y una representación de la imagen para la cual se puedan entender y modelar bien las características del ruido.

Los algoritmos de reducción de ruido deberían ser capaces de operar sin emplear demasiados recursos computacionales, con independencia de la estrategia escogida. Los algoritmos más recientes y punteros se han tornado muy complejos, de manera que la pregunta principal es, ¿qué métodos de reducción de ruido podemos considerar para el procesado de la imagen en tiempo real –streaming– y cómo podemos mejorar y adaptar dichos métodos sin incrementar los costes computacionales? La respuesta es evidente: optimizando métodos de reducción de ruido basados en datos reales de cámara.

En orden de lectura: 1. Imagen natural 2. Imagen corrupta por ruido Gaussiano blanco 3 y 4. imagen b con reducción de ruido basada en transformadas de ondícula con diferentes valores de PSNR.
En orden de lectura:
1. Imagen natural
2. Imagen corrupta por ruido Gaussiano blanco
3 y 4. imagen b con reducción de ruido basada en transformadas de ondícula con diferentes valores de PSNR.

La mayoría de los algoritmos tienen uno o más parámetros para ajustar la fortaleza de la reducción de ruido. Optimizarlos para la proporción pico de señal-ruido (PSNR) no es realista por dos razones:

  • La PSNR necesita una imagen de referencia, que no está disponible en la aplicación real.
  • El resultado de un proceso de reducción de ruido optimizado para la PSNR puede no ser idóneo para la percepción humana. De manera habitual, este y otros parámetros de calidad conllevan imágenes finales demasiado suavizadas. Por eso, es preciso optimizar los parámetros para el mejor resultado visual posible –preferiblemente por medio de un método simple y sencillo que no requiera de una referencia–.

Evaluación realista de métodos de reducción de ruido

Para comparar y elegir entre los métodos ya existentes –así como para contrastar nuevos métodos de reducción de ruido– la evaluación debe considerar tanto un modelo de ruido realista como la percepción humana. Un buen sistema de evaluación es crucial para mejorar los algoritmos de denoising.

Hacen falta sistemas para determinar la calidad visual de los resultados obtenidos de forma fiable y similar a la percepción humana. La mayoría de los parámetros de evaluación se han diseñado basándose en imágenes fijas. A pesar de que la investigación de parámetros de calidad para vídeo está avanzando, siguen sin existir estudios específicos sobre la percepción del ruido en este campo. Por consiguiente, necesitamos identificar las propiedades básicas de la visión humana a la hora de evaluar secuencias de imágenes con abundancia de ruido.

Controles de detalle y nitidez que se pueden combinar con las funciones de reducción de ruido en las ARRI ALEXA Mini y AMIRA.
Controles de detalle y nitidez que se pueden combinar con las funciones de reducción de ruido en las ARRI ALEXA Mini y AMIRA.

La base para una investigación más realista de la reducción de ruido es la descripción de todos los pasos del procesado de la señal en cámara, el análisis de las características del ruido a lo largo de todos esos pasos y la presentación de una visión de conjunto de la reducción de ruido de datos de cámara a partir de métodos ya existentes. Esto es lo que pretendemos hacer en nuestras siguientes entregas.

ARRI ALEXA SXT.
ARRI ALEXA SXT.

Por regla general, los fabricantes no hacen públicos los detalles de todos los pasos del procesado. Hemos escogido como ejemplo la ARRI ALEXA SXT W, porque los modelos de la firma muniquense suponen una excepción a esa norma y por permitir el acceso directo a los datos de sus archivos RAW.

Esta cámara se ha desarrollado para la grabación en aplicaciones de cinematografía digital. Su sensor CMOS, con una resolución de 3.414 x 2.298 píxeles se puede recortar dependiendo de las necesidades del usuario. En adelante, nos referiremos al modo de sensor 16:9 de 2.880 x 1.620 píxeles, por ser el más utilizado. Delante del sensor la cámara tiene un paquete de filtros compuesto por un filtro de infrarrojos, un filtro ultravioleta y un filtro de paso bajo para reducir el solapamiento –aliasing–. La matriz de filtros de color –situada entre el paquete anterior y el sensor en sí– responde al habitual patrón Bayer. La cámara captura datos de imágenes en movimiento de alta calidad y entrega dichos datos sin compresión, en un formato logarítmico de 12 bits –correspondiente a 16 bits lineales–.

Los métodos que presentaremos en los siguientes artículos de esta serie no se restringen únicamente a este ejemplo. Se pueden emplear con cualquier otra cámara de cinematografía digital y analizar de forma equivalente.

Dejar una respuesta

¡Por favor, introduce tu comentario!
Por favor, introduce aquí tu nombre

       

Los comentarios en esta página pueden ser moderados; en tal caso no aparecerán inmediatamente al ser enviados. Las descalificaciones personales, los comentarios inapropiados, de extensión desmesurada o con demasiados errores ortográficos podrán ser eliminados. Asimismo, en caso de errores considerados tipográficos, el editor se reserva el derecho de corregirlos antes de su publicación con el fin de mejorar la comprensión de los mismos. Recordamos a los lectores que el propósito final de este medio es informar. Para recibir soporte sobre dispositivos o problemas particulares les invitamos a contactar con el correspondiente servicio de atención al cliente.