En nuestra anterior entrega analizamos las características del ruido en los datos del sensor. A continuación haremos lo propio con el siguiente paso del procesado de la señal.

Ruido después del debayerizado

El debayerizado genera tres valores de color por medio de una interpolación, empleando el valor de cada pixel y de los pixeles adyacentes. Introduce así una correlación espacial y cromática en el ruido, ya que aprovecha dichas correlaciones –presentes en la señal– para calcular los valores de los pixeles que faltan. Por regla general, la correlación espacial del ruido ndeb en la imagen debayerizada no se tiene en cuenta en los métodos más comunes de reducción de ruido.

Parámetros del modelo de pixel para un sensor de imagen de escala de grises (izquierda) y uno con patrón Bayer (derecha).
Parámetros del modelo de pixel para un sensor de imagen de escala de grises (izquierda) y uno con patrón Bayer (derecha).

Las características del ruido cambian de manera significativa con el debayerizado. Para evaluar su impacto en la calidad visual de la imagen, es necesario analizar –en primer lugar– la apariencia visual en sí misma. A continuación, debemos establecer cuál es la influencia del debayerizado en las características del ruido en tres esferas diferentes:

  • El campo espacial, o campo del píxel
  • El campo de la frecuencia
  • El campo de la ondícula

Además, es conveniente analizar el espectro de frecuencias del ruido del grano de película y compararlo con el ruido de cámara digital después del debayerizado.

Percepción visual del ruido correlacionado espacialmente

Para evaluar las características del ruido tras el debayerizado, las pruebas deben incluir una imagen de referencia y una imagen ruidosa con diferentes tipos de ruido. Aunque se pueden obtener imágenes con ruido en forma de datos reales de cámara, en ese caso nos faltaría la imaginería de referencia correspondiente.

También es posible agregar ruido a una imagen ya procesada –como, por ejemplo, a una escogida de entre el conjunto de imágenes de Kodak– para las primeras evaluaciones, pero este procedimiento no resulta óptimo para pruebas realistas con ruido de cámara –donde es imprescindible incluir todos los pasos de procesado que hemos descrito en artículos anteriores–. Por lo tanto, es obligatorio contar con una referencia a todo color en el campo lineal para obtener datos de prueba realistas. La forma de conseguirlo es mediante los datos de referencia de una escena generada por ordenador en 3D.

Varianza (a) y distribución (b) del ruido en RAW (valores de señal con 16 bits de precisión).
Varianza (a) y distribución (b) del ruido en RAW (valores de señal con 16 bits de precisión).

Se utilizan dos escenas. Los fotogramas se reproducen en alta resolución y por medio de una señal lineal. Luego las imágenes se multiplican en el campo de Fourier con la función de transferencia óptica de la cámara –para incorporar las ópticas de un sistema de cámara–. En este paso se tienen en cuenta los límites de la difracción de la óptica, el filtro óptico de paso bajo, y la apertura del pixel, tal y como la describen Michael Schoeberl, Wolfgang Schnurrer, Alexander Oberdorster y Andre Kaup. Se añade el ruido de cámara en el campo lineal, según los valores de medida que presentamos en nuestro artículo anterior, por medio de una distribución gaussiana con una varianza dependiente de la señal y definida por la aproximación lineal a los datos de medida. Este procedimiento nos proporciona imágenes RAW simuladas como referencia.

Muestreo de frecuencia rectangular en un sensor de escala de grises (izquierda) y muestreo de frecuencia en quincunce para el verde en sensores de patrón Bayer (derecha). El solapamiento se produce a causa de la energía fuera de A.
Muestreo de frecuencia rectangular en un sensor de escala de grises (izquierda) y muestreo de frecuencia en quincunce para el verde en sensores de patrón Bayer (derecha). El solapamiento se produce a causa de la energía fuera de A.

En estas pruebas, se usan dos escenarios diferentes. Una panorámica sobre una ciudad, denominada “ciudad”, y una secuencia de paisaje, que se obtienen a partir del movimiento de unos pocos pixeles de una imagen estática para proporcionar una imagen de vídeo, denominada “paisaje”. Las secuencias se han escogido para reflejar los retos típicos que existen a la hora de reducir el ruido de imágenes naturales. La secuencia de la ciudad está dominada por bordes y cuadrados horizontales y verticales, mientras que la secuencia de paisaje contiene gran cantidad de detalles finos que no forman parte de estructuras más grandes. En la secuencia de paisaje, el filtro óptico de paso bajo se ha ajustado para ser menos restrictivo, de modo que permanezca un mayor contenido de alta frecuencia en las imágenes.

Las secuencias se reproducen en el campo lineal de 16 bits. La reproducción de las escenas en 3D tiene que proporcionar imágenes de alta resolución, para evitar los efectos del solapamiento en la simulación de las ópticas de la cámara. Se emplea una resolución de 40962 pixeles para obtener imágenes de tamaño 10242 como salida de la simulación. Esta aproximación proporciona datos de referencia realistas en el campo lineal. Aplicando la transformación de color a estos datos se obtiene una imagen de referencia válida para reproducir en pantallas.

Las secuencias de prueba generadas por ordenador.
Las secuencias de prueba generadas por ordenador.

Para evaluar el efecto del debayerizado en las características del ruido, se compara el procesado de la imagen con debayerizado con el procesado de la imagen sin él –que sólo es posible con los valores RGB simulados, ya que en las imágenes reales de cámaras de sensor único no puede omitirse–.

Se compara entonces un recorte de la secuencia de la ciudad con ruido –con y sin debayerizado– con la referencia. Las diferencias de las diferentes imágenes –reescaladas– con ruido, con respecto a la imagen de referencia visualizan el efecto. Cuando se incluye el debayerizado, el ruido está estructurado, con un ruido más grueso y colorido. Como la sensibilidad al contraste del sistema visual humano (HVS) muestra una característica de paso bajo en los canales de visión de color, un desplazamiento a frecuencias más bajas puede incrementar la visibilidad del ruido cromático.

Recorte de la secuencia "ciudad". Imagen ruidosa (izquierda) e imagen ruidosa con debayerizado (derecha). En la segunda fila podemos apreciar las diferencias de imagen tras reescalarla para mostrarla en una pantalla.
Recorte de la secuencia “ciudad”. Imagen ruidosa (izquierda) e imagen ruidosa con debayerizado (derecha). En la segunda fila podemos apreciar las diferencias de imagen tras reescalarla para mostrarla en una pantalla.

Con la intención de obtener información fiable sobre la percepción humana de las diferentes características de ruido, los datos de una prueba subjetiva proporcionan mayor información. En 2015 se llevaron a cabo una serie de  pruebas con 18 participantes que puntuaron la calidad de secuencias ruidosas de vídeo en una escala discreta de 1 a 10, de acuerdo con los principios de evaluación de la calidad de las imágenes de vídeo establecidos por el estándar ITU-R BT.500.

A partir de los votos, se calculó la puntuación de la opinión promediada (MOS), que se puede emplear como medida de la calidad visual percibida. Se compararon cuatro modelos de ruido: el habitual modelo AWGN, el AWGN con debayerizado, el ruido dependiente de la señal sin debayerizado y –por último– el modelo de ruido realista de cámara –dependiente de la señal y con debayerizado–.

Basándonos en la MOS, podemos evaluar la calidad visual de las secuencias ruidosas del test. El ruido correlacionado espacialmente se percibe como más molesto. A pesar de que la MOS es diferente dependiendo del contenido de la imagen y del tipo de ruido, todas las secuencias con debayerizado obtuvieron puntuaciones más bajas que aquellas con ruido no correlacionado.

Por lo tanto, podemos concluir que el ruido correlacionado espacialmente, que muestra un grano más grueso y aparenta ser más colorido, resulta más desagradable para el espectador medio. La MOS de la secuencia de la ciudad con AWGN es tres puntos inferior cuando se incluye el debayerizado.

En lo que respecta a las secuencias con ruido dependiente de la señal, la MOS es medio punto más baja para la secuencia de la ciudad y 2,3 veces más baja para la secuencia del paisaje cuando se incluye el debayerizado. Resulta bastante evidente, en consecuencia, el efecto significativo de las características del ruido en la percepción visual de secuencias de vídeo en color. La correlación espacial del ruido deteriora la percepción de la calidad de la imagen. El debayerizado tiene, por tanto, un efecto notable en la percepción visual del ruido en secuencias de vídeo.

Dejar una respuesta

¡Por favor, introduce tu comentario!
Por favor, introduce aquí tu nombre

       

Los comentarios en esta página pueden ser moderados; en tal caso no aparecerán inmediatamente al ser enviados. Las descalificaciones personales, los comentarios inapropiados, de extensión desmesurada o con demasiados errores ortográficos podrán ser eliminados. Asimismo, en caso de errores considerados tipográficos, el editor se reserva el derecho de corregirlos antes de su publicación con el fin de mejorar la comprensión de los mismos. Recordamos a los lectores que el propósito final de este medio es informar. Para recibir soporte sobre dispositivos o problemas particulares les invitamos a contactar con el correspondiente servicio de atención al cliente.