Diccionario IA / Transformer
🧠 Fundamentos
Transformer
Arquitectura en la que se basan los modelos de lenguaje actuales. La "T" de GPT.
El Transformer es una arquitectura de red neuronal descrita por investigadores de Google en el artículo "Attention Is All You Need" de 2017. Su idea clave es el mecanismo de atención, que permite al modelo ponderar cuánto se relacionan entre sí las distintas palabras del texto, independientemente de la distancia entre ellas. Es precisamente el transformer el que ha permitido el salto de calidad que observamos desde hace años: escala extraordinariamente bien con la cantidad de datos y potencia de cálculo. La letra "T" del nombre GPT viene precisamente de transformer; prácticamente todos los modelos de lenguaje punteros se basan en esta arquitectura.
Conceptos relacionados