Investigación

Comprensión basada en bocetos

Dibujar es una de las formas más naturales de comunicarnos. Construimos codificadores que entienden bocetos y los conectan con fotografías: para búsqueda, localización, segmentación y generación.

La comprensión basada en bocetos es un proceso clave de la percepción visual. Dibujar es, además, un medio de comunicación natural y primitivo: así transmitían nuestros antepasados ideas, historias y actividades.

Dado el papel fundamental que el boceto cumple en la percepción visual, es natural incorporarlo a la visión por computador. De hecho, la comunidad ha mostrado un interés creciente en el tema, abordando tareas como la clasificación de bocetos, el aprendizaje de representaciones de bocetos, la localización de objetos guiada por bocetos, la recuperación de imágenes a partir de bocetos y la traducción de boceto a fotografía, entre otras. Este interés se explica por el desarrollo de redes neuronales profundas capaces de extraer representaciones semánticas de las imágenes y por el acceso cada vez mayor a teléfonos inteligentes que pueden usarse como tableta de dibujo.

Esquema del codificador visual basado en bocetos

Un codificador visual basado en bocetos: resultados experimentales

Para evaluar nuestro enfoque presentamos resultados cuantitativos y cualitativos. La tabla resume el desempeño de distintas estrategias de aprendizaje autosupervisado adaptadas a la recuperación de imágenes a partir de bocetos (SBIR) en dos conjuntos de referencia: Flickr15K y eCommerce. Nuestro modelo, S3BIR-DINOv3, supera de forma consistente a los métodos anteriores en todas las métricas, con mejoras significativas en precisión de recuperación.

Métricas de recuperación de estrategias SBIR autosupervisadas en Flickr15K y eCommerce

Los ejemplos visuales comparan los cinco primeros resultados obtenidos con S3BIR-DINOv2 y S3BIR-DINOv3 en Flickr15K y eCommerce, y muestran la mejor alineación semántica y precisión del nuevo modelo.

Cinco primeros resultados para un boceto de consulta, ejemplo 1
Cinco primeros resultados para un boceto de consulta, ejemplo 2
Cinco primeros resultados para un boceto de consulta, ejemplo 3
Cinco primeros resultados para un boceto de consulta, ejemplo 4

Modelos

Prueba skDINO en la demo Search Motor.

Proyectos asociados

  • Localización y detección guiadas por bocetos
  • Traducción de boceto a fotografía (ver Modelos generativos)
← Toda la investigación