16 · El LLM como juez

El tamiz del capítulo anterior reordena candidatos con una excelencia estadística admirable y una comprensión del asunto nula. Pregunta por encaje superficial —¿esto se parece a aquello?— y jamás por sustancia —¿esto responde a aquello?—. Hay, sin embargo, un modelo en el sistema que sí entiende de sustancia: el mismo LLM que redactará la respuesta final. Este capítulo trata de usarlo en su papel más discutido y más rentable bien entendido: el juez. Antes de redactar, el modelo examina los candidatos y emite veredictos: responde, no responde, responde parcialmente. Bien hecho, es la capa de calidad más alta del pipeline; mal entendido, es la más cara forma de autoengaño. La diferencia está, como siempre en este libro, en el diseño.

Qué cambia respecto al tamiz

El juez no compite con el reranker: mira otra cosa. El cruzado del capítulo quince calcula encaje —la correlación estadística entre consulta y candidato, aprendida de millones de parejas—; el juez lee el contenido con criterio del dominio: reconoce que el candidato menciona "plazo de notificación" pero de la relación laboral especial de altos cargos, que no es lo que se preguntaba; advierte que el párrafo responde a mitad —da el plazo pero de otra modalidad—; detecta la contradicción interna, la norma derogada que el capítulo nueve dejó pasar por un error de carga, la cita que no cuadra. Nada de eso está en la correlación estadística; todo eso está en la comprensión.

El uso que justificó el gasto en el despacho no fue el de ordenar —para ordenar ya estaba el tamiz, más barato— sino el de certificar: antes de ensamblar el contexto, cada candidato recibía un veredicto en tres clases —responde, parcial, no responde— y los "no responde" salían del contexto aunque su similitud fuera alta. En fácticas críticas —los plazos, los importes— ese filtro de sustancia valió su peso en oro: los falsos positivos del capítulo dos, invisibles para el primer filtro y apenas detectables por el tamiz, caían aquí por la borda. La respuesta final se redactaba solo con lo certificado; el "no lo sé" del capítulo diez ganaba una vía nueva: mejor vacío certificado que contexto adulterado.

Los vicios del juez — y sus antídotos

Ahora la parte del capítulo que el título no anuncia y que lo justifica: el LLM como juez tiene vicios estructurales, y usarlo sin conocerlos es pagar caro por engañarse con más autoridad. El primero es el veredicto complaciente: los modelos de lenguaje están afinados para ser útiles y agradables, y preguntados en crudo —¿es esto relevante?— tienden a decir que sí, sobre todo si el candidato es largo, técnico y con aspecto de respuesta. El antídoto es el diseño de la tarea: veredictos cerrados y forzados —tres clases, sin "en parte quizá"—, criterio de acierto en el enunciado —qué debe contener una respuesta a esta consulta—, y ejemplos de no-respuesta en la propia instrucción, para que el juez sepa que decir no es una opción honorable. El segundo vicio es la inconsistencia: el mismo par consulta-candidato puede recibir veredictos distintos en ejecuciones distintas, y un juez que cambia de opinión no es una fuente: es un clima. El antídoto es la revisión por muestreo: cada semana, un puñado de veredictos se contrasta con el criterio humano —Usuario cualquiera— y la tasa de desacuerdo es una métrica del sistema, con umbral en el contrato. El tercero es el sesgo de posición y longitud: los jueces automáticos favorecen lo largo y lo que va primero, defecto documentado hasta el hastío; el antídoto es el diseño del examen —candidatos presentados con longitud homogénea y orden alternado cuando el veredicto se reevalúa—.

Y una regla de contención que el libro declara como principio: el juez no juzga lo que no se le muestra, y nunca juzga a ciegas sobre el corpus. Su veredicto vale para los candidatos de esta consulta; no es una fuente de conocimiento ni un oráculo de derecho. La vez que el juez rechazó como "incorrecta" una píldora que citaba el convenio correcto —porque el juez "sabía" que el plazo era otro, por su memoria de preentrenamiento desactualizada— enseñó al equipo la lección definitiva: el juez certifica encaje consulta-candidato, no verdad jurídica. La verdad la trae el corpus validado del primer libro; el juez solo decide si el candidato la transporta intacta hasta la pregunta.

El coste: dónde sí y dónde no

El juez se paga en las dos monedas de siempre —factura por llamada o por lote, según el diseño, y segundos en el camino del usuario, que espera mientras el juez lee—. Esa factura obliga a la misma pregunta que el tamiz: ¿dónde merece? El criterio del despacho acabó simple y declarable. El juez solo atiende las consultas donde el coste del falso positivo supera con creces el del token: fácticas críticas —plazos, salarios, indemnizaciones— y todo lo que alimente comunicaciones al cliente. Nunca atiende navegacionales —el candidato es el documento, no hay nada que certificar—, y en sintéticas solo aclara los límites del conjunto —el descarte grueso ya lo hizo el tamiz—. Con esa dieta, la factura del juez quedó en el rango aceptable y su aportación —medida, no presumida— en el margen donde el contrato la justifica.

El antídoto final contra el coste es el más elegante: el veredicto se reutiliza. Las consultas se repiten en los despachos más de lo que nadie admite —los plazos, cada semana— y un veredicto emitido para un par consulta-candidato almacenable no se vuelve a comprar. El capítulo veinte, de observabilidad, dirá qué se guarda y cómo se vigila la caducidad de esos veredictos —porque el corpus cambia, y un certificado sobre una píldora que se actualizó es papel mojado—. El juez bien diseñado no es un gasto recurrente: es un activo que acumula juicio.

Criterio de salida

El LLM como juez operativo solo en las consultas de alto coste de error, con veredictos cerrados —responde, parcial, no responde—, instrucción con criterio y contraejemplos, prohibición expresa de juzgar verdad fuera de los candidatos, muestreo semanal de desacuerdo con el criterio humano y veredictos reutilizables. Los falsos positivos que el tamiz no caza caen aquí antes del ensamblado.

El pipeline ya tiene orden —filtros, canales, topes, tamiz, juez— pero aún no tiene entrega: qué llega al modelo que redacta, en qué orden, con qué citas y dentro de qué presupuesto. El ensamblado del contexto —la última milla del acceso— cierra la quinta parte en la página siguiente.