Generación de Texto

La generación de texto, o generación de lenguaje natural, es la tarea de producir automáticamente texto en lenguaje humano a partir de una entrada, que puede ser una indicación, unos datos estructurados u otro texto. Es la contraparte de la comprensión del lenguaje: mientras esta parte de un texto para extraer su significado, la generación parte de una intención o un contexto y decide cómo expresarlo en palabras.

Cómo funciona hoy

Muchos sistemas actuales se basan en la arquitectura Transformer y generan el texto de forma autorregresiva: predicen el siguiente token —una palabra o un fragmento— uno a uno, condicionado a todo lo anterior. En cada paso, el modelo produce una distribución de probabilidad sobre el siguiente token, y hay que decidir cuál elegir. Las estrategias van de la codificación voraz (tomar siempre el más probable) a métodos de muestreo que controlan la diversidad: la temperatura, que aplana o concentra la distribución, y los muestreos top-k y top-p (o de núcleo), que restringen la elección a los candidatos más probables.

Para qué sirve

La generación de texto está detrás del resumen, la traducción, la respuesta a preguntas, los chatbots, la redacción asistida, la generación de código y la elaboración de informes a partir de datos.

Cómo se evalúa y sus riesgos

La probabilidad del siguiente token no mide si una afirmación es verdadera. Un texto puede ser fluido y, aun así, incluir datos falsos o no respaldados; verificarlo contra fuentes externas sigue siendo necesario.