Modelos de lenguaje

Modelos de lenguaje

Redes recurrentes para modelar secuencias de lenguaje

Una red neuronal recurrente procesa una secuencia manteniendo un estado que resume información de pasos anteriores. La pieza delimita el error costoso: El estado es finito, los gradientes pueden degradarse y una secuencia larga no garantiza que el modelo conserve la dependencia relevante. Enseña cómo relacionar arquitectura, contexto efectivo, objetivo de entrenamiento y error antes de comparar modelos de lenguaje.

4 min 9 may. 2023

Modelos de lenguaje

Destilación del conocimiento: cómo leer la promesa de un modelo pequeño

«El 40 % más pequeño, el 60 % más rápido, y conserva el 97 % de su capacidad». La frase es real, está en un artículo de 2019 y describe un método que hoy explica por qué su teléfono responde sin conexión. También es tres afirmaciones distintas disfrazadas de una. Aprender a separarlas sirve para cualquier anuncio de modelo pequeño que venga después.

4 min 9 may. 2023

Modelos de lenguaje

Modelos de lenguaje basados en redes neuronales convolucionales

El campo del procesamiento del lenguaje natural (PLN) ha experimentado una evolución significativa en la última década, principalmente debido a la integració...

5 min 9 may. 2023

Modelos de lenguaje

Introducción a los modelos de lenguaje en la inteligencia artificial

Una predicción de lenguaje reconstruida paso a paso: tokens, embeddings, posiciones, Q/K/V, máscaras, capas, logits, objetivos y decodificación.

4 min 9 may. 2023

Modelos de lenguaje

Modelos de lenguaje estadísticos: fundamentos y aplicaciones

De los n-gramas a BERT y GPT: una guía para leer un modelo de lenguaje por su unidad, contexto, estimación, objetivo, evaluación y sistema.

4 min 9 may. 2023

Modelos de lenguaje

De los n-gramas a Transformer: cómo evolucionan los modelos de lenguaje

Una historia de los modelos de lenguaje leída en cinco ejes: representación, objetivo, contexto, adaptación y evaluación.

4 min 9 may. 2023

Modelos de lenguaje

Sistemas de reglas en el lenguaje: por qué siguen vivos donde hace falta responder «por qué»

Un informe de 1966 hundió la financiación de la traducción automática por reglas y el relato dice que aquello murió. No murió: hoy hay una plataforma libre con 51 pares de lenguas estables funcionando así. Saber cuándo conviene una regla y cuándo un modelo —y cómo distinguir cuál tiene delante— es una destreza que no caduca con la próxima versión.

4 min 9 may. 2023

Modelos de lenguaje

Stability AI lleva su apuesta abierta al texto con StableLM

Stability AI ha presentado StableLM, una familia abierta de modelos de lenguaje que comienza con versiones de 3.000 y 7.000 millones de parámetros. El movimiento traslada al texto la estrategia que popularizó con Stable Diffusion.

4 min 23 abr. 2023

Modelos de lenguaje

OpenAI abre la API de ChatGPT y Whisper desde 0,002 dólares

OpenAI permite integrar el modelo de ChatGPT en aplicaciones mediante gpt-3.5-turbo y ofrece Whisper como servicio de transcripción. El precio reduce de forma drástica la barrera para añadir conversación y voz a productos de terceros.

4 min 1 mar. 2023