Un detector de texto de IA hecho con SVM recuerda por qué el contexto importa

Un experimento abierto de detección de texto generado por modelos de lenguaje está llamando la atención por una razón poco habitual: no recurre a otro gran modelo para juzgar el texto, sino a técnicas clásicas de aprendizaje automático. El proyecto AITextDetector transforma palabras y expresiones en señales estadísticas y usa máquinas de vectores de soporte, o SVM, para distinguir ficción creativa china humana de textos creados por varios LLM.

El autor informa de una precisión aproximada del 85% por frase en su conjunto de prueba. Es un resultado interesante para explorar cómo dejan huella los hábitos lingüísticos de un modelo. No es, sin embargo, la cifra que permitiría decidir quién escribió un texto en cualquier contexto. El propio repositorio advierte que la demo se entrenó exclusivamente con escritura creativa china y que usarla con otros tipos de contenido probablemente introduce sesgo sistemático.

Esa diferencia entre un clasificador en su dominio y un veredicto general es el centro de la historia.

Qué mide este clasificador

La idea técnica es relativamente sencilla. Primero, el texto se representa con TF-IDF, una forma de contar qué términos y combinaciones son característicos dentro de un conjunto de documentos. Después, un LinearSVC aprende una frontera estadística entre ejemplos etiquetados como humanos y ejemplos etiquetados como generados.

El autor reunió ficción humana publicada antes de 2023 y creó una colección de textos generados a partir de resúmenes de esas historias. Describe siete clasificadores binarios, asociados a distintos modelos generativos, y un sistema de voto: una frase se marca como sospechosa cuando al menos dos detectores la señalan. El código y parte de los modelos se han publicado en GitHub, algo valioso porque permite examinar el enfoque en lugar de aceptar una caja negra.

La elección de SVM no es extraña. La documentación de scikit-learn incluye las máquinas de vectores de soporte entre los métodos de aprendizaje supervisado apropiados para problemas de clasificación con datos etiquetados. “Clásico” no significa obsoleto: estos modelos pueden ser rápidos, transparentes en su planteamiento y eficaces cuando la tarea y los datos de entrenamiento se parecen mucho a los del uso real.

Pero esa última condición es decisiva. Un clasificador aprende regularidades de los ejemplos que recibe; no descubre una esencia universal del texto humano o del texto de IA.

Por qué una buena prueba interna no basta

El conjunto descrito por el autor es concreto: ficción creativa en chino, textos humanos de una época previa a ChatGPT y muestras de LLM generadas con un procedimiento específico. Si el detector se enfrenta a periodismo, deberes, correos, traducciones, código o escritura en otro idioma, el escenario cambia. También cambia si una persona edita con cuidado un borrador generado o si utiliza un modelo que no estaba en la colección de entrenamiento.

El proyecto incluye algunas comprobaciones sobre modelos no vistos y sobre textos humanos anteriores a 2022. Son datos útiles para entender su experimento, pero no sustituyen una evaluación independiente, con corpus publicados, criterios fijados antes de probar y resultados replicados por otros equipos. Tampoco convierten una probabilidad estadística en prueba de que una persona haya usado IA.

Los falsos positivos son el riesgo más importante. Etiquetar por error un texto humano como generado puede afectar a un estudiante, a un autor o a un profesional sin que exista un modo claro de deshacer el daño. Por eso el umbral elegido, el dominio de los textos y la forma de comunicar la incertidumbre importan tanto como la precisión media.

Una lección que ya conocía el sector

OpenAI retiró en 2023 su clasificador de texto de IA por su baja precisión. En la evaluación que publicó entonces, el sistema identificaba como probablemente escritos por IA el 26% de los textos generados del conjunto de reto y etiquetaba erróneamente como IA el 9% de los textos humanos. La empresa advirtió además que su herramienta no debía ser la base principal de una decisión, que funcionaba mal con textos cortos y que podía fallar fuera de los datos de entrenamiento.

Aquella retirada no demuestra que toda detección sea inútil. Sí demuestra que el problema no se resuelve con una etiqueta automática. Los métodos pueden servir para priorizar una revisión, investigar una campaña coordinada o analizar un corpus muy acotado. Para atribuir autoría, imponer una sanción o decidir sobre la integridad de una persona, hacen falta evidencias adicionales y un proceso que permita responder a un resultado.

AITextDetector aporta una demostración concreta: las señales estadísticas de algunos LLM pueden ser detectables dentro de un corpus bien definido. La lección más útil no es que ya exista un polígrafo del texto, sino que la evaluación debe ser igual de específica que el problema. Preguntar qué idioma, qué género, qué modelos, qué datos y qué coste tendría un error es más responsable que aceptar un porcentaje como sentencia.