Los algoritmos de aprendizaje profundo de Nvidia para ‘completar’ las imágenes

A finales del mes pasado, analizamos un algoritmo, desarrollado por un equipo de investigadores para Nvidia que permitía aplicar el estilo de una imagen en otra con efectos fotorrealistas de forma rápida y eficiente. Ahora, otro equipo de investigadores ha desarrollado, para esta misma compañía, unos algoritmos basados en deep learning –aprendizaje profundo– que son capaces de “completar” imágenes a las que les falta información con bastante precisión.

Hablamos del clásico problema de rellenar una información inexistente a partir de la información del entorno, que se conoce habitualmente bajo el nombre de content-aware. La idea es poder deducir que información debe ir en esos espacios en blanco para poder obtener un resultado global coherente con el resto de los datos disponibles.

En la actualidad, existen diversos algoritmos que realizan este tipo de operaciones, especialmente en los programas de edición fotográfica más conocidos, como Adobe Photoshop. Muchos de estos usan las respuestas de los filtros de convolución condicionadas tanto a los píxeles válidos como a los sustituidos, lo que da lugar, según este equipo de investigadores, a todo tipo de artefactos e inconsistencias.

De izquierda a derecha: imagen incompleta / imagen resultante / imagen real de referencia © Nvidia
De izquierda a derecha: imagen incompleta / imagen resultante / imagen real de referencia © Nvidia

Estos últimos proponen ahora realizar convoluciones parciales condicionadas solo a los píxeles válidos, y aplicar de forma iterativa una nueva máscara normalizada con la información del paso previo. Todo ello haciendo uso, por supuesto, de modelos de aprendizaje profundo, dentro del campo de la inteligencia artificial tan de boga hoy en día.

Todos los detalles de estos nuevos algoritmos se recogen en el artículo titulado “Image Inpainting for Irregular Holes Using Partial Convolutions“, donde se ilustran con ejemplos reales obtenidos a partes de imágenes de referencia. Según los investigadores, los resultados obtenidos sobrepasan con creces los de los actuales algoritmos, aunque reconocen que todavía existen limitaciones en su aplicación –como en algunas escenas con escasa estructura–. No obstante, en los casos en los que funciona, las imágenes resultantes son bastante espectaculares.

Más información en el paper de Nvidia.

1 Comentario

  1. Para comparación de perfiles o retrato robot parece una tecnologia interesante, es más, creo que por ahí van los tiros en el desarrollo de este tipo de algoritmos, que luego se apliquen en otros menesteres… pues muy bien. Por lo demás la imagen resultante es artificial, robótica, como si su fin fuera para lo comentado anteriormente.

Dejar una respuesta

¡Por favor, introduce tu comentario!
Por favor, introduce aquí tu nombre

       

Los comentarios en esta página pueden ser moderados; en tal caso no aparecerán inmediatamente al ser enviados. Las descalificaciones personales, los comentarios inapropiados, de extensión desmesurada o con demasiados errores ortográficos podrán ser eliminados. Asimismo, en caso de errores considerados tipográficos, el editor se reserva el derecho de corregirlos antes de su publicación con el fin de mejorar la comprensión de los mismos. Recordamos a los lectores que el propósito final de este medio es informar. Para recibir soporte sobre dispositivos o problemas particulares les invitamos a contactar con el correspondiente servicio de atención al cliente.