Desarrollo de sistemas RAG

Cómo funciona

Cómo pasa un sistema RAG de sus documentos a una respuesta con citas

La generación aumentada por recuperación (RAG) consiste en que el sistema busca primero los pasajes que responden a una pregunta y después un modelo de lenguaje redacta la respuesta con ellos, con enlaces a la fuente. Casi todo el trabajo, y casi todos los fallos, ocurren antes de que el modelo escriba una sola palabra. Conviene planificar el proceso en siete pasos.

1. Documentos. Decida de qué fuentes pueden salir las respuestas, quién se encarga de cada una y cómo se actualizan.
2. Lectura y OCR. Convierta textos, tablas y escaneos en fragmentos (chunks) limpios que se puedan citar.
3. Índice vectorial y de palabras clave. Guarde cada fragmento como vector semántico y como palabras para la búsqueda por palabras clave.
4. Búsqueda híbrida. Combine los resultados semánticos y los de palabras clave en cada pregunta.
5. Ordenación. Puntúe los candidatos frente a la pregunta y quédese solo con los pocos que la responden.
6. Respuesta con citas. El modelo responde solo con esos pasajes y enlaza cada afirmación con su fuente.
7. Comprobación con un conjunto de referencia. Una lista fija de preguntas reales con respuestas conocidas se ejecuta antes de cada versión.

Documentos. Empiece por las preguntas, no por los archivos. Reúna unas decenas de preguntas que sus usuarios hacen de verdad y busque los documentos que las responden. Una fuente que nadie mantiene da respuestas en las que nadie confía, así que asigne un responsable a cada una.

Lectura y OCR. Muchas respuestas erróneas empiezan aquí. Una tabla aplanada en una sola línea o una página escaneada sin capa de texto son invisibles para la búsqueda. Divida los documentos por sus encabezados y no por una longitud fija, y conserve con cada fragmento el título del documento, el encabezado y el número de página, para que la respuesta pueda citarlos.

Índice vectorial y de palabras clave. Los vectores semánticos encuentran pasajes que dicen lo mismo con otras palabras. La búsqueda por palabras clave con BM25 detecta términos exactos, como códigos de producto, nombres o números de cláusula, que una coincidencia semántica puede dejar abajo en la lista. Trabajamos con Qdrant y Pinecone como bases de datos vectoriales, y con PostgreSQL cuando los datos ya están allí.

Búsqueda híbrida y ordenación. Lance las dos búsquedas en cada pregunta y una los resultados. Después, un modelo de reordenación puntúa cada pasaje candidato frente a la pregunta, y solo los mejores llegan al modelo de lenguaje. Más contexto no significa mejor respuesta. Los pasajes que no responden a la pregunta le dan al modelo algo en lo que equivocarse. Cuando una pregunta necesita varias consultas, la recuperación agéntica permite que el modelo vuelva a buscar con una consulta más precisa antes de responder.

Respuesta con citas. Pida al modelo que responda solo con los pasajes recibidos, que cite cada uno y que lo diga cuando no contengan la respuesta. Un enlace a la fuente permite comprobar una respuesta en segundos, y un sincero "esto no está en los documentos" vale más que una suposición dicha con seguridad. Nestwise da sus consejos de crianza con citas de fuentes de confianza (caso de éxito de Nestwise). Por qué una respuesta segura puede estar equivocada lo explicamos en el artículo sobre el efecto Dr. Fox y ChatGPT.

Comprobación con un conjunto de referencia. Guarde las preguntas del primer paso, cada una con la respuesta esperada y la fuente que debería citar. Esa lista es su conjunto de referencia. Evalúe por separado la recuperación y la respuesta. Compruebe si llegó la fuente correcta y si, con esa fuente, la respuesta fue correcta. Así sabrá si un fallo nace en el índice o en el prompt. Ejecute el conjunto tras cada cambio en los documentos, el índice, el prompt o el modelo, y compare cada ejecución con la anterior.

Un chatbot que responde con sus documentos

Un chatbot así es el proyecto RAG más habitual, y el proceso anterior es su núcleo. A su alrededor está lo que el usuario nota. La conversación no pierde el contexto, cada usuario recibe respuestas solo de los documentos que puede abrir y se pueden añadir documentos nuevos sin un desarrollador. Nestwise muestra el patrón. Su motor basado en RAG recuerda el contexto familiar entre sesiones y convierte una pregunta sobre crianza en un plan de acción paso a paso. Lo entregamos como prueba de concepto funcional, que permitió al cliente validar el encaje producto-mercado y recopilar comentarios reales de los usuarios (caso de éxito de Nestwise).

Análisis de documentos con LLM cuando un error sale caro

Cuando un modelo de lenguaje lee contratos, informes o currículums, la tarea cambia. En lugar de responder a una pregunta, el sistema extrae datos y conclusiones de cada documento. Dos costumbres lo hacen seguro. Haga que el modelo señale el lugar del documento del que sale cada dato extraído, para que una persona lo compruebe con un clic. Y envíe los resultados dudosos o de alto riesgo a una persona antes de que lleguen a una decisión. Persona, nuestra propia plataforma, usa IA para procesar currículums, emparejar candidatos y validar datos de empresas (caso de éxito de Persona).

Cuándo un sistema RAG necesita un grafo de conocimiento

Un índice vectorial encuentra pasajes que se parecen a la pregunta. No sabe que un producto pertenece a una línea de productos ni que un contrato modifica otro. Un grafo de conocimiento guarda esos vínculos como entidades y relaciones, para que la búsqueda pueda seguirlos. Añádalo cuando la respuesta correcta dependa de las conexiones entre registros y no de un solo pasaje, y manténgalo junto al índice, no en su lugar. Empiece sin grafo y añádalo cuando el conjunto de referencia muestre preguntas que la búsqueda simple sigue sin responder. Construimos ambos, el índice y el grafo, y los conectamos en un mismo paso de búsqueda.

El resto de nuestro trabajo con IA, de la visión artificial a los subtítulos en directo, está en la página de casos de éxito de IA, y el servicio más amplio es transformación con IA.

Lecturas relacionadas

• 

  Qué es el efecto Dr. Fox y por qué una respuesta segura de ChatGPT puede estar equivocada

  Una conferencia falsa en 1970 muestra por qué un tono seguro no es una prueba. Cómo afectan las respuestas convincentes, pero a veces erróneas, de ChatGPT a las comunidades de desarrolladores, y cómo pedir evidencias y no seguridad.

• 

  Cómo construimos sistemas de IA que piensan, actúan y orquestan

  Un análisis a fondo de los sistemas de IA que construimos en automatización de flujos de trabajo, inteligencia de contenido, copilotos de conocimiento y análisis de documentos fintech, y de cómo la orquestación agéntica y RAG aportan un impacto operativo real y un ROI medible.