19 · La regresión del acceso

El primer libro contó cómo un cambio en el corpus puede romper en silencio algo que funcionaba, y cómo la prueba de aceptación y la suite de regresión convirtieron ese peligro en un semáforo. Este capítulo hace lo mismo con el acceso, y lo hace con más urgencia, por una razón que la experiencia cobra sin descuento: el acceso se cambia mucho más a menudo que el corpus. Un corpus maduro se toca poco a diario; un acceso se toca cada semana —un umbral aquí, el ancho del tamiz allá, el modelo de embeddings cuando el proveedor saca versión nueva—. Cada toque, por pequeño que parezca, puede mover la vara del capítulo dieciocho. La suite de regresión es la diferencia entre tocar el sistema sabiendo y tocarlo con los ojos cerrados.

Qué puede romper un cambio de acceso

Vale la pena hacer el inventario de los sospechosos, porque la intuición —"solo he cambiado un número"— es el mejor aliado de la degradación silenciosa. El caso fundacional del despacho, aún contado entre dientes: una revisión de la taxonomía —la del capítulo seis, un cambio aparentemente cosmético que fusionó dos valores de la faceta de materia— rompió diecisiete consultas del dataset porque los filtros de verdad de referencia usaban los valores antiguos. Nadie tocó el motor; el acceso cayó más de un diez por ciento de la noche a la mañana y se descubrió a los cuatro días, por la queja de un usuario. Ese tipo de incidente —el cambio inocente en una capa que otra capa leía— es exactamente lo que la suite existe para cazar en minutos.

El sospechoso mayor, por frecuencia y por daño, es el cambio de modelo de embeddings. El proveedor saca versión nueva, el folleto promete un punto de mejora en el benchmark, la tentación es profesional y legítima. Pero los vectores nuevos no son comparables con los viejos: cambia el espacio entero, cambian las escalas de similitud —los umbrales del capítulo trece quedan descalibrados de la noche a la mañana— y, si no se revectoriza el corpus entero, conviven dos geometrías incompatibles en el mismo Rack. La migración de embeddings es la única operación del acceso que merece protocolo propio, y el protocolo tiene cuatro pasos que aquí quedan declarados: revectorizar todo —sin excepciones ni fases mixtas—, recalibrar los umbrales con el banco, correr la suite completa, y comparar las métricas antes-después con umbral de aceptación decidido antes de empezar. Si las métricas nuevas no ganan con claridad, la versión nueva espera: el folleto no es una métrica.

Y hay sospechosos menores que la lista del contrato recoge: el cambio del modelo del tamiz —el rerank nuevo reordena distinto, y la cabeza del ranking puede mejorar en un tipo de consulta y hundirse en otro—; el ajuste de topes —subir k de entrega mejora el recall contractual y hunde la MRR percibida; ambos lados de la balanza deben verse—; la actualización del motor —las estrategias de filtrado y las escalas de score cambian entre versiones—; y la más traicionera de todas, el cambio de datos: el corpus crece, el universo de comparación se mueve, y consultas que acertaban por holgura empiezan a fallar por saturación. La suite no distingue qué capa causó la caída —eso lo diagnostica el equipo—; su trabajo es que nadie entre en producción sin pasar por la vara.

La suite: la vara convertida en semáforo

La suite de regresión del acceso es, en su fondo, el ritual del capítulo dieciocho automatizado hasta quitarle la posibilidad de la excepción: las consultas del dataset corren contra el sistema en cada propuesta de cambio —en el despacho, en cada pull request que tocara capas de acceso—, y las métricas se comparan contra las de referencia. La diferencia entre una suite profesional y una aspiración es el detalle que decide si existe: los umbrales de bloqueo. No basta con pintar el número; la suite falla —y bloquea— cuando el recall baja de su suelo, cuando la MRR cae más del margen pactado, cuando una consulta que era caso de éxito deja de acertar. Cada umbral de bloqueo es una decisión del contrato, no del capricho del equipo: en el despacho, el suelo era inamovible —cero consultas de éxito que se vuelvan fallo, ese es el bloqueo duro— y los márgenes agregados —no más de un punto de recall agregado— eran negociables con justificación.

Hay una pieza de la suite que merece nombre propio porque es la que revela lo que los agregados tapan: el registro por consulta. Las métricas medias pueden mejorar mientras cinco consultas concretas caen al abismo —el promedio las absorbe—; la suite profesional imprime, junto al semáforo agregado, la lista de consultas que cambiaron de estado —las que pasaron de acierto a fallo y viceversa—. Esa lista de nombres propios es, en la práctica, el documento más leído de todo el mecanismo: los cambios se discuten mirando casos, no decimales. Y alimenta el dataset: toda consulta nueva que entra a la suite por una herida, entra con su historia —por qué, cuándo, quién la firmó—, que es exactamente lo que hace que dentro de un año alguien respete el semáforo.

El traspaso con el corpus

Cierra el capítulo la frontera que este libro comparte con el anterior, porque el acceso no se rompe solo por cambios del acceso: también por cambios del corpus. Cada despliegue del pipeline del primer libro —una ingesta nueva, una revisión del Gold, la migración de facetas— es, para el acceso, un terremoto potencial: cambian los documentos, los vectores, los campos sobre los que filtran los capítulos siete a nueve. La decisión de arquitectura que lo ordena todo es simple de enunciar: la suite del acceso corre también con cada despliegue del corpus. Dos fábricas, un solo semáforo compartido: el corpus no se despliega sin la vara del acceso, y el acceso no se cambia sin la vara de la verdad del corpus. Ese acoplamiento —que en los sistemas novatos no existe, y se nota— es el primer acto del ciclo del conocimiento que el epílogo cerrará: las dos mitades de la serie vigilándose mutuamente.

Criterio de salida

La suite de regresión operativa en cada cambio de acceso y en cada despliegue del corpus: umbrales de bloqueo fijados en el contrato —con el bloqueo duro de cero aciertos perdidos—, registro por consulta con las caídas nombradas, protocolo escrito de migración de embeddings —revectorizado total, recalibración, suite, decisión antes-después—. Ningún cambio llega a producción sin número.

Medir en cada cambio protege contra lo que se ve venir. Queda lo que no se ve venir: lo que el sistema hace cuando nadie lo mira — y cómo mirarlo siempre. La observabilidad de la consulta, en la página siguiente.