RAG, en detalle
El nombre viene de un artículo de investigación de 2020. El proceso tiene tres pasos: los documentos se trocean y se indexan, normalmente como vectores que representan su significado; ante una pregunta, se recuperan los fragmentos más parecidos; y el modelo redacta la respuesta citando esos fragmentos. La calidad depende más de la recuperación que del modelo: si el fragmento correcto no llega, la respuesta será plausible y errónea.
RAG no es la única forma de dar contexto a un modelo. Cuando los datos viven en un sistema con buena búsqueda o una API, suele funcionar mejor darle al modelo una herramienta para consultarlos. Y cuando el corpus es pequeño, cabe entero en el contexto. RAG compensa con muchos documentos que cambian a menudo y cuando hace falta enseñar la fuente de cada afirmación.