title: 14 · Diversidad: no repitas el mismo párrafo
14 · Diversidad: no repitas el mismo párrafo
El último componente del tope no añade una técnica nueva al embudo: reparte mejor las plazas que ya existen. Este capítulo trata de un mal que todo sistema de recuperación padece en silencio y que casi nadie mide —la redundancia— y de las tres herramientas que lo corrigen: la deduplicación, la cuota por fuente y la diversidad propiamente dicha. Su tesis cabe en una frase: ocho píldoras casi idénticas no son ocho evidencias; son un párrafo repetido ocho veces, cobrando ocho veces.
El mal: la falacia de la muestra repetida
El mecanismo del problema es estructural, no accidental, y nace de una virtud: los documentos importantes se parecen a sí mismos. El convenio que regula bien un asunto lo menciona en quince artículos; la sentencia que fija criterio lo repite en fundamentos cuarto y quinto; y —caso maestro— el Gold del primer libro sintetizó el concepto despido objetivo en una docena de píldoras hermanas que, como es natural, se parecen muchísimo entre sí y muchísimo a las píldoras de Silver que les dieron cuerpo. Cuando una consulta toca ese concepto, la similitud ordena en las primeras plazas no doce evidencias distintas, sino doce fotocopias de la misma evidencia.
¿Por qué es un mal y no una abundancia? Por tres vías, cada una con su factura. La primera es la de la atención: el modelo que redacta la respuesta lee el contexto como un todo, y media docena de variantes del mismo párrafo no le dan más certeza —le dan la certeza de una— mientras ocupan las plazas que habrían traído la otra mitad del cuadro: la otra fuente, la fecha distinta, el matiz de la provincia vecina. La respuesta sintética sale coja no por falta de corpus sino por reparto de plazas: el top-k estaba lleno de fotocopias. La segunda factura es la del coste: cada repetición entra en el presupuesto del capítulo trece y cobra igual que la original. Y la tercera es la del diagnóstico: un sistema que devuelve cinco variantes de lo mismo enseña al usuario que "no hay más", cuando lo único que no hay es variedad en el top. En consultas sintéticas —el panorama jurisprudencial— la redundancia no degrada la respuesta: la falsea.
La deduplicación: el filtro más barato del sistema
La primera herramienta es casi contable y conviene hacerla siempre: no pagar dos veces por lo mismo. Sus tres variantes, de la más burda a la más fina. La burda es la del documento padre: si dos píldoras nacen del mismo documento, no entra más de una —o n, con tope declarado— por documento y consulta. Es tosca y es útil: la familia entera de píldoras de una misma sentencia no puede acaparar el top. La fina es la de parecido entre candidatos: dos píldoras de documentos distintos cuyo texto es casi igual —la norma transcrita en la sentencia, el párrafo gemelo de dos convenios— se detectan comparando los vectores entre sí, sin modelo nuevo: si dos candidatos son casi el mismo texto, uno de los dos sobra. Y la institucional, la de unidad semántica: el Gold existe precisamente para que un concepto tenga una síntesis canónica; cuando el Gold cubre el concepto, es el Gold el que ocupa la plaza, y las variantes de Silver quedan para profundidad, no para repetición. Esta última es la más elegante porque no añade máquina: añade jerarquía —el primer libro construyendo, este libro cobrando—.
La cuota: plazas reservadas por familia
La segunda herramienta reparte el pastel por familias: cuota por fuente o por documento. Su lógica es de representación: si la consulta sintética merece un panorama, el panorama exige fuentes —y el top de cinco debe mostrar, cuando las haya, tres documentos o más, no cinco recortes de uno—. La cuota típica del despacho: máximo dos píldoras por documento en entregas sintéticas, máximo una por documento en fácticas. Es una regla tosca, declarable en el contrato, verificable en el log, y funciona —pero con una advertencia que la experiencia pagó cara: la cuota no es un filtro, es un reparto con memoria. Aplicarla como filtro duro produce los huecos del capítulo ocho: si solo hay un documento sobre el asunto, la cuota lo deja en una píldora aunque haya quince útiles. Cuota significa "reparte primero, rellena después": las plazas sobrantes siempre vuelven a los mejores candidatos, con cuota o sin ella.
La diversidad propiamente dicha: MMR
La tercera herramienta es la técnica con nombre propio, y conviene entenderla porque es la base teórica del reparto de plazas: Maximal Marginal Relevance. Su idea se cuenta en una frase: al rellenar plazas, la siguiente candidata no vale solo por su relevancia, sino por su relevancia menos lo que se parece a lo ya elegido. El primero entra por relevante, claro; el segundo ya compite con un matiz: si es casi gemelo del primero, su efectividad se descuenta; si aporta fuente, fecha o ángulo distinto, conserva la suya. Es el equilibrio —relevante pero no repetido— convertido en una regla de relleno. No exige ningún modelo nuevo: los mismos vectores del doble campo miden el parecido entre candidatos, gratis.
¿Y cuándo aplicarla? Con la misma separación de familias del capítulo ocho, porque MMR es, en el fondo, un filtro blando con memoria: en fácticas y navegacionales casi no hace falta —la respuesta es una píldora, no un mosaico—; en sintéticas es la diferencia entre panorama y fotocopia. La regla del despacho quedó simple: todo tipo de consulta sintética se ensambla con MMR activado y cuota por documento; los demás tipos, con deduplicación básica y las manos quietas. Cada maquinaria cobra en latencia y complejidad, y no toda consulta la necesita.
Antes de cerrar, la nota de honestidad que este libro se debe: la diversidad tiene un límite económico natural, y empujarla demasiado destruye el ranking. Si al segundo candidato se le descuenta demasiado por "parecido" con el primero, acabará entrando el noveno de la lista —relevante a medias, al menos distinto— y el panorama será variado y mediocre. El parámetro de equilibrio de MMR no es un detalle de afinación: es la declaración de cuánta variedad se compra con cuánta calidad, y se calibra con el banco de consultas del capítulo dieciocho como todo lo demás. La diversidad es una política de reparto, no un adorno estadístico.
Criterio de salida
Deduplicación operativa —por documento padre y por parecido entre candidatos—, cuota por documento según tipo de consulta con relleno posterior de plazas, y MMR activado en las consultas sintéticas con su equilibrio relevancia-variedad calibrado en el banco. El top entregado muestra fuentes distintas cuando el corpus las tiene; ninguna respuesta sintética se construye sobre variantes de un solo párrafo.
El embudo está completo: canales fusionados, topes con política, plazas sin fotocopias. Queda la pieza que la industria le pone encima a casi todo en cuanto el sistema deja de ser un juguete: el tamiz — el rerank. La quinta parte empieza en la página siguiente.