Segmentación Semántica

La segmentación semántica es la tarea de visión por computador que asigna una etiqueta de clase a cada píxel de una imagen. En lugar de decir qué hay en la foto, dibuja un mapa denso donde cada punto queda rotulado como cielo, carretera, edificio, persona o vegetación. El resultado es una comprensión de la escena a resolución de píxel: no una respuesta global, sino millones de decisiones locales que, juntas, delimitan el contorno exacto de cada región.

Esa densidad es lo que la separa de otras tareas de reconocimiento. La segmentación semántica no cuenta objetos ni los individualiza: agrupa por significado. Todos los píxeles que pertenecen a la clase «coche» comparten la misma etiqueta, haya uno o veinte coches en la escena. Distinguirlos ya es otra tarea.

Frente a clasificación, detección e instancias

Conviene situarla en la familia de tareas de visión. La clasificación de imagen emite una sola etiqueta para toda la foto («hay un gato»). La detección de objetos va más allá y localiza cada objeto con una caja delimitadora, pero la caja es un rectángulo tosco que incluye píxeles de fondo. La segmentación semántica es más fina: etiqueta el interior exacto de cada forma, sin cajas.

Su límite conocido es que no separa individuos de una misma clase: dos personas abrazadas forman una única mancha «persona». Ahí entra la segmentación de instancias, que sí distingue el objeto 1 del objeto 2 aunque compartan clase. Y la segmentación panóptica combina ambas: asigna clase a cada píxel (lo semántico) y, a la vez, identidad a cada objeto contable (lo de instancias), unificando fondo y primer plano en un solo mapa.

Arquitecturas: de FCN y U-Net a DeepLab y SAM

El salto decisivo llegó en 2015 con las redes totalmente convolucionales (FCN) de Jonathan Long, Evan Shelhamer y Trevor Darrell. Su idea fue sustituir las capas finales de una red de clasificación por convoluciones, de modo que la red aceptara imágenes de cualquier tamaño y produjera un mapa de etiquetas del mismo tamaño, entrenado extremo a extremo, píxel a píxel. Ese esquema popularizó el enfoque moderno.

Sobre esa base surgió la arquitectura codificador-decodificador: un codificador comprime la imagen en rasgos y un decodificador la reconstruye a resolución completa. Su exponente en imagen biomédica es U-Net (Ronneberger, Fischer y Brox, 2015), que tiene ficha propia en este glosario. La familia DeepLab (Liang-Chieh Chen y colaboradores) aportó las convoluciones dilatadas o atrous, que amplían el campo de visión sin perder resolución, junto al módulo ASPP para captar objetos a varias escalas. En 2023, Meta AI presentó Segment Anything (SAM), un modelo de segmentación general y promptable, entrenado sobre más de mil millones de máscaras, capaz de segmentar casi cualquier objeto a partir de un punto o una caja, aunque por sí mismo no asigna la etiqueta de clase que define a la segmentación semántica.

Usos

El mapa denso resulta útil siempre que importa el «dónde» exacto. En diagnóstico médico por imagen, delimita tumores, órganos o lesiones en resonancias y tomografías, y ayuda a medir volúmenes con precisión. En conducción autónoma, separa carretera, acera, peatones y vehículos para que el sistema entienda el espacio transitable. Y en teledetección por satélite, clasifica cada píxel del terreno en cultivos, agua, bosque o zona urbana, base de la agricultura de precisión y la vigilancia ambiental. En todos los casos, la etiqueta por píxel convierte una imagen en una descripción operativa de la escena.