18 · Evaluar la recuperación

Todo lo construido en las cinco partes anteriores —los filtros, los canales, los topes, el tamiz, el juez— comparte una propiedad incómoda: cada pieza puede convencer en una demo y arruinarse en producción, y ninguna conversación, por bien razonada que esté, puede decir cuál es el caso. Solo una cosa distingue un sistema que funciona de uno que parece que funciona: la medida. Este capítulo trata de cómo se mide una recuperación sin engañarse —el deporte nacional de esta disciplina—, y su pieza central es una herencia directa del primer libro: el dataset áureo, que validaba el corpus, se convierte aquí en el dataset de consultas que valida el acceso.

La vara: un conjunto de consultas con verdad conocida

Medir una recuperación exige responder a una pregunta previa: ¿contra qué? La respuesta del primer libro sirve tal cual, cambiando el objeto: un conjunto de consultas reales —del banco del capítulo uno, no inventadas— donde cada una lleva anotado su verdad de referencia: qué píldoras o documentos del corpus deberían salir, cuáles bastan y cuál es la respuesta exacta si la hay. Es la misma estructura del dataset áureo —pregunta, verdad, criterio— aplicada un eslabón más arriba: allí se validaba que el corpus contuviera el conocimiento; aquí se valida que el acceso lo encuentre.

Su construcción tiene tres reglas que valen su peso en mantenimiento. Primera: reales y representativas —cada tipo de consulta del capítulo dos debe tener su cuota: las fácticas de plazo, las navegacionales de tabla, las sintéticas de panorama; un dataset todo-fácticas evalúa un sistema que no existe—. Segunda: conducidas por el negocio —la verdad de referencia la firma el usuario, no el arquitecto; es la misma lección del Gold: la verdad del dominio no se deduce, se consulta—. Y tercera: viva —cada consulta sin respuesta del capítulo diez que resulta tener respuesta, cada caso real que el sistema falló en producción, entra al dataset; el conjunto crece por heridas, que es como crece lo que de verdad protege—. En el despacho acabó siendo unas ciento cincuenta consultas: pocas para presumir, suficientes para mentir con dificultad.

Las tres métricas, contadas para humanos

Con la vara construida, toca leerla. Tres métricas cubren lo esencial del acceso, y conviene entenderlas a fondo porque cada una delata un fallo distinto.

El recall@k responde la pregunta más importante del sistema: de todo lo que debería haberse encontrado, ¿cuánto se encontró dentro del tope? Si la verdad de referencia de una consulta son tres píldoras y el top-diez trae dos, el recall es 2/3. Es la métrica del olvido: el fallo que este libro declaró el más grave —la evidencia existía y no llegó— se manifiesta aquí como recall bajo. Por eso es la métrica contractual, la que tiene objetivo en el contrato: en el despacho, noventa por ciento de recall en el top-diez para fácticas. Bajo esa línea, no se discute rerank ni modelos: el sistema está perdiendo evidencia.

La MRR —Mean Reciprocal Rank, la media del inverso del puesto— responde otra pregunta: cuando el acierto aparece, ¿en qué puesto? Si la respuesta correcta sale primera, contribuye con un uno; si sale en el quinto, con un quinto (0,2); si no sale, con cero. Es la métrica de la cabeza: la que mejor captura la experiencia de quien pregunta —nadie mira el puesto nueve— y la que más se movió cuando el despacho instaló el rerank del capítulo quince. Un sistema puede tener recall decente y MRR penosa: encuentra todo, en el lugar equivocado —el usuario lo vive como un sistema que nunca acierta—.

El nDCG —la ganancia acumulada con descuento por posición— es el refinamiento que las consultas sintéticas exigen: no basta con que la evidencia esté, importa qué tan buena está en cada puesto y a qué distancia de la cabeza. Donde el recall cuenta píldoras y la MRR cuenta un único acierto, el nDCG puntúa escaleras: el panorama perfecto arriba vale más que el panorama perfecto abajo. Es la métrica más difícil de explicar en una reunión y la única honesta para evaluar entregas de conjunto —el capítulo catorce, la diversidad, se nota aquí como en ninguna otra parte—.

Una advertencia que ahorra meses: las métricas de recuperación no miden la respuesta. Un recall del cien por ciento no garantiza respuestas buenas —la redacción puede arruinar el mejor contexto—, y un recall mediocre puede convivir con respuestas aceptables si la evidencia clave era una sola píldora. Este capítulo mide la mitad del sistema que toca al acceso; la otra mitad —la calidad de la respuesta redactada— es otra disciplina, con sus propios datasets, que este libro delimita pero no agota.

El ritual: medir antes de creer

Las métricas solo valen dentro de un hábito, y el hábito es el siguiente: todo cambio del sistema se acompaña de su número. Antes-después sobre el mismo dataset, mismo umbral de aprobado, sin excepciones —el nuevo modelo de embeddings que "se nota mucho mejor", el parámetro movido "para probar", el motor nuevo que el folleto promete: todos pasan por la vara—. El ritual tarda minutos con el dataset automatizado —el capítulo siguiente lo convierte en integración continua— y ahorra los meses que cuesta descubrir en producción que la mejora de la demo era un espejismo del subconjunto que alguien miró.

Con el ritual viene la última pieza: objetivos por tipo, no objetivos globales. El contrato declara el objetivo por familia —recall del noventa en fácticas, MRR superior a 0,8 en navegacionales, nDCG objetivo en sintéticas— porque un número global único esconde siempre a las víctimas: el promedio que "va bien" mientras las sintéticas naufragan. Las métricas del acceso son como el filtro del capítulo ocho: también pueden ocultar huecos, y la defensiva es la misma —desagregar hasta que no queden sitios donde esconderse—.

Criterio de salida

Un dataset de consultas de referencia —reales, firmadas por el negocio, cubriendo los cuatro tipos de consulta, vivo por heridas— y las tres métricas operativas sobre él: recall@k contractual, MRR de cabeza y nDCG de conjunto. Objetivos declarados por tipo de consulta en el contrato; ningún cambio del acceso se aplica sin su número antes-después.

Medir una vez es un experimento; medir siempre es un sistema. Cómo convertir el ritual en una suite que corre sola y bloquea lo que degrada — la regresión del acceso — es el capítulo siguiente.