Andrej Karpathy deja OpenAI para centrarse en proyectos personales

Andrej Karpathy anunció el 13 de febrero de 2024 que había dejado OpenAI el día anterior. En su mensaje dijo que la salida no respondía a un acontecimiento, problema o drama concreto y que su plan inmediato era trabajar en proyectos personales. Esa formulación importa: en esa fecha no había anunciado que uno de ellos fuera educativo, aunque su trayectoria pública como docente técnico hacía visible ese interés.

Una salida individual puede alimentar relatos sobre la estrategia de una empresa, pero el dato disponible era más estrecho. También ofrecía una puerta a una cuestión más duradera: Karpathy había construido materiales abiertos para aprender redes neuronales y modelos de lenguaje desde sus componentes. Seguir esa ruta permite sustituir la imagen de un chatbot como caja mágica por un sistema que se puede descomponer, entrenar y evaluar.

Lo conocido, lo atribuido y lo inferido

El anuncio de Karpathy es la fuente primaria sobre su decisión. Confirma fecha, salida, ausencia de un incidente señalado y proyectos personales. No identifica esos proyectos. «Se marcha para dedicarse a educación» habría convertido una trayectoria previa en un motivo declarado. La versión rigurosa conserva tres columnas: hecho comprobable, explicación de la persona e inferencia del observador.

Un hecho sería que dejó su puesto. Una atribución sería que, según él, no hubo drama. La fuente conoce su decisión, pero el lector no puede verificar de forma independiente todos sus motivos. Una inferencia sería que su siguiente trabajo probablemente aprovechará su experiencia docente. Puede ser razonable, pero debe estar etiquetada y no ocupar el lugar de una declaración inexistente.

El mismo método sirve al leer noticias sobre fichajes, despidos o dimisiones: localizar el mensaje original; copiar solo lo que sostiene; anotar qué preguntas deja abiertas; y buscar confirmación de la organización. La ausencia de evidencia de conflicto no demuestra que nada ocurriera, pero tampoco autoriza a inventarlo. «No sabemos» es una descripción informativa cuando delimita con precisión el vacío.

Tres niveles para entender un modelo

La primera capa es uso: escribir una instrucción y observar una salida. Enseña posibilidades y límites de interfaz, pero revela poco sobre el mecanismo. La segunda es inspección: variar una entrada, medir resultados y consultar documentación. La tercera es reconstrucción: implementar una versión pequeña para ver qué datos recibe, qué objetivo optimiza y cómo aparecen los errores. No hace falta reproducir GPT-4 para aprender la estructura que comparte con un modelo diminuto.

El curso Neural Networks: Zero to Hero de Karpathy sigue esa escalera. Empieza con retropropagación, continúa con un modelo de caracteres, tensores, particiones de entrenamiento, validación y prueba, y llega a un transformador tipo GPT y a su tokenizador. El requisito declarado es programación sólida en Python y matemáticas introductorias, no una infraestructura industrial.

La secuencia importa más que el docente. Retropropagación muestra cómo una pérdida modifica parámetros. Un modelo de caracteres enseña predicción del siguiente elemento sin ocultarse detrás de un vocabulario complejo. Las particiones separadas enseñan a detectar si el sistema memoriza el entrenamiento. El transformador añade atención y contexto. El tokenizador revela que el modelo no recibe palabras, sino identificadores cuyas fronteras pueden producir comportamientos extraños.

Un laboratorio pequeño y reproducible

El primer ejercicio necesita un corpus de texto que se pueda inspeccionar y redistribuir legalmente. Se conserva una copia original y se documenta la licencia. Después se divide en entrenamiento y validación antes de ajustar decisiones mirando resultados. Si se utiliza el mismo texto para aprender y evaluar, una pérdida baja puede medir memoria, no capacidad para predecir material nuevo.

El segundo paso es un modelo base tan simple que sus errores sean comprensibles: contar qué carácter suele seguir a otro. Se registra su pérdida en validación y se guardan muestras con una semilla fija. Luego se añade una red pequeña y se cambia una sola variable cada vez. La mejora debe aparecer en una métrica definida, no solo en una frase que «suena mejor» elegida después.

El tercero introduce un tokenizador. Se escriben varias frases con números, acentos, espacios, nombres y código; se observa cómo se fragmentan y cuántos tokens producen. Así se descubre por qué dos textos de longitud visual similar pueden consumir contextos distintos y por qué una palabra rara se divide en piezas. La tokenización es una etapa aprendida y separada del modelo que predice.

El cuarto construye atención causal: cada posición puede usar los tokens anteriores, no los futuros, para predecir el siguiente. Se comprueba con una máscara visible y una entrada corta. Después se apilan bloques, se añaden conexiones residuales y se entrena. Dibujar las dimensiones de cada tensor —lote, tiempo y características— evita que el código funcione sin que el estudiante sepa qué representa.

El repositorio nanoGPT ofrece una implementación compacta para entrenar o ajustar modelos tipo GPT. Su valor educativo no es prometer un competidor comercial en un portátil, sino mostrar un bucle de entrenamiento y una definición de modelo que se pueden leer. El propio repositorio diferencia una prueba pequeña sobre caracteres de la reproducción de GPT-2, que exige una infraestructura mucho mayor.

El cuaderno de evidencia

Cada experimento debe registrar versión del código, datos, semilla, número de parámetros, longitud de contexto, lotes, pasos, tasa de aprendizaje y pérdidas de entrenamiento y validación. También conserva muestras no seleccionadas a mano. Sin ese cuaderno, cambiar dos parámetros y quedarse con el texto más vistoso produce una demostración, no aprendizaje reproducible.

Hay tres preguntas al terminar una ejecución. ¿Mejoró la validación o solo el entrenamiento? ¿El resultado se mantiene con varias semillas? ¿Qué tipos de entrada empeoraron? Una tabla de fallos —repetición, pérdida de coherencia, nombres, secuencias largas— enseña más que una colección de mejores frases. Si el modelo repite el corpus, se revisan tamaño, regularización y partición antes de celebrar una muestra exacta.

La escala pequeña también enseña lo que no transfiere. Los sistemas comerciales incorporan más datos, cómputo, ajuste posterior, filtros, recuperación y herramientas. Un modelo de aula explica la predicción de tokens, no reconstruye esos procesos ni permite inferir el corpus privado de otro sistema. Saber dónde acaba la analogía es parte de comprenderla.

Una prueba de comprensión, no de memoria

El estudiante ha aprendido cuando puede predecir el efecto de un cambio antes de ejecutarlo y después explicar la discrepancia. Puede anticipar que reducir el contexto impide aprovechar dependencias lejanas, que una tasa excesiva vuelve inestable la pérdida o que un corpus estrecho limita el vocabulario. El objetivo no es repetir nombres de componentes, sino relacionar datos, cálculo y comportamiento.

Otra prueba consiste en desmontar una afirmación comercial. Si un proveedor promete «más contexto», se pregunta cuánto se usa con calidad; si ofrece «mejor razonamiento», se pide el conjunto de tareas y el criterio; si afirma «aprende de tus documentos», se distingue recuperación de entrenamiento. Construir un modelo pequeño proporciona el vocabulario para formular esas preguntas sin atribuir conciencia a una predicción estadística.

La noticia del 13 de febrero era la marcha de una figura técnica y su decisión declarada de explorar proyectos personales. Lo formativo no exige adivinar cuáles serían. Sus materiales ya permitían recorrer el camino desde un carácter hasta un transformador y, sobre todo, aprender a medir. La capacidad que queda es doble: separar hechos de inferencias al leer una salida profesional y separar una interfaz de sus componentes al estudiar un modelo de lenguaje.

Lo que se supo cinco meses después

El 16 de julio de 2024, cinco meses después de la salida, Karpathy anunció Eureka Labs, una empresa de IA y educación concebida como una escuela nativa de IA. Ese dato posterior confirma que uno de sus proyectos personales tomó una dirección educativa. No autoriza a retrocederlo hasta febrero ni a presentarlo como el motivo que declaró al marcharse.

La fecha delante del contexto conserva la secuencia: en febrero se conocían la salida y los proyectos personales; en julio se conoció la naturaleza de uno. Esta distinción sirve para actualizar cualquier historia sin reescribir el pasado. Un desenlace posterior puede explicar qué ocurrió después, pero solo una fuente contemporánea puede sostener lo que una persona dijo, sabía o pretendía entonces.