title: 12 · El híbrido: denso y disperso
12 · El híbrido: denso y disperso
De los dos canales de búsqueda que coexisten en todo sistema moderno, uno se quedó con todo el glamour y el otro con toda la utilidad. El canal denso —los vectores del capítulo anterior— es el protagonista de las demos: entiende paráfrasis, perdona erratas, aterriza intenciones difusas. El canal disperso —el de las palabras exactas, heredero de la búsqueda léxica de toda la vida, con BM25 como técnica estrella— no sale en los folletos desde 2019, y sin embargo es el que encuentra el convenio por su nombre exacto, la sentencia por su número y la sigla por sí misma. El híbrido es la decisión de ejecutar los dos y fusionar sus listas. Este capítulo defiende que no es una opción de refinamiento sino una necesidad de arquitectura —en corpus profesionales, casi siempre—, explica cómo se hace la fusión sin partir la escala de ninguno, y da el criterio para saber cuándo sobra.
Dos mediocridades complementarias
La mejor manera de entender el híbrido es mirar qué falla cada canal solo, porque el híbrido no suma virtudes: corrige vicios. El canal denso, se vio, es analfabeto de símbolos: no distingue una sigla de una nube semántica, y pierde las consultas de entidad exacta —la STS 249/2019, el plus de "actividad 4ª", el artículo 34.2 del Estatuto—. El canal disperso es justo lo contrario: un instrumento de precisión quirúrgica sobre las palabras, ciego al significado. Pregunta "estar de baja" y no encontrará nunca el texto que dice "situación de incapacidad temporal", porque no hay letra común entre la intención y la redacción. Uno entiende lo que quieres y no acierta el nombre; el otro acierta el nombre y no entiende nada.
Lo decisivo es que los vicios no se solapan: donde el denso cae, el disperso clava, y viceversa. La consulta "ERTE por fuerza mayor" la resuelve el disperso con precisión de relojero —el acrónimo está, literal, en el texto— y el denso aterriza en la zona pero ordena mal; la consulta "me pueden despedir estando de baja" la resuelve el denso —conecta con los textos de despido durante la IT sin compartir vocabulario— y el disperso devuelve ruido. Ningún corpus profesional es de un solo tipo de consulta: el despacho contó sus consultas reales y halló la mezcla que ya anticipa el capítulo uno —navegacionales con entidades exactas por doquier, fácticas parafraseadas a partes iguales—. Ese dato, y no la moda, es el que convierte el híbrido en obligación: la mixtura de la demanda manda sobre la pureza del motor.
Y conviene decirlo con ejemplo vivo, porque este es de los que se recuerdan: la tabla salarial. Un usuario preguntó "convenio metal Gipuzkoa tablas 2025". El canal denso devolvió párrafos sobre cómo se fijan los salarios en convenios —perfectamente parecidos, y perfectamente inútiles—; el disperso devolvió la tabla misma, porque la tabla es un documento cuyo título contiene, casi literal, la consulta. Hay consultas que no buscan significados: buscan cosas con nombre. En un corpus legal, ese tipo de consulta es la mitad del día.
La fusión: dos listas que no hablan la misma lengua
Ejecutar dos búsquedas es lo fácil; el híbrido de verdad está en fusionarlas, y el problema es de lenguas. Cada canal devuelve su lista ordenada, pero sus puntuaciones no son comparables: la similitud vectorial es un coseno entre menos uno y uno —y en la práctica, con los modelos actuales, las píldoras decentes se apiñan en una banda estrecha y alta, algo así como entre 0,7 y 0,9 según modelo y corpus—; el score del BM25 es un número sin techo, que en un corpus mediano puede ir de cinco a cuarenta. Comparar esas cifras directamente es comparar grados con kilos: la técnica ingenua de "sumar las puntuaciones normalizadas a mano" funciona el día de la demo y deja de funcionar el día que el corpus crece, porque la distribución de cada score cambia con los datos.
La solución que se ha vuelto estándar —y que este libro recomienda como punto de partida hasta que haya razones demostradas para otra cosa— es Reciprocal Rank Fusion, RRF para los íntimos, y su idea es de una elegancia desarmante: no comparemos puntuaciones, comparemos puestos. Cada lista aporta su orden —el primero, el segundo, el tercero—; cada píldora recibe puntos por el puesto que ocupa en cada lista —primera posición, muchos puntos; décima, poquitos— y la suma define el ranking fusionado. Nada de escalas: un puesto uno es un puesto uno en cualquier lista del mundo. La fusión por rangos es insensible a las distribuciones de cada score, no necesita calibración por corpus y con dos líneas de criterio se explica entera en un contrato. Sus límites son conocidos —es ciego a cuánto gana el primero sobre el segundo— y en la práctica importan menos que su robustez; los esquemas de fusión con pesos afinados ganan algo en benchmarks y pierden mucho en mantenimiento: cada peso es una opinión que hay que defender.
Hay una decisión de diseño que la fusión obliga a tomar y que conviene explicitar: qué ancho tiene cada lista. Fusionar dos listas de cinco puede dejar la fusión sin materia prima: si los canales coinciden en cuatro resultados —lo corriente en las consultas bien resueltas—, la unión entera son seis candidatos para un tope de cinco, y ninguna píldora que cada canal dejara fuera de su lista llega siquiera a competir; la práctica sana busca primero en cada canal más de lo que se entregará —el over-fetch del capítulo ocho aplicado a la fusión— y deja que la unión elija. La intuición correcta: los canales compiten por plazas y colaboran en las que comparten; para que eso ocurra hace falta sitio.
Cuándo no hace falta
La honestidad obliga a cerrar con la excepción, porque el híbrido también se vende como talismán. Hay corpus donde el canal disperso aporta poco: colecciones con vocabulario homogéneo, sin entidades nombradas, donde casi toda la demanda es de intención difusa —y hay sistemas donde el denso basta—. La forma de saberlo no es el argumento de autoridad de este capítulo sino la prueba del capítulo once: el banco de consultas reales, corrido por canal separado, con la mixtura de la demanda a la vista. Si la mitad de las consultas piden entidades exactas —y en derecho, en sanitario, en técnico, en jurídico-empresarial casi siempre las piden—, el disperso no es opcional. Si ninguna lo pide, la complejidad sobra: la segunda lista también se paga.
Y una nota de mantenimiento que nadie pone en los artículos: el canal disperso tiene vocabulario. Su potencia depende de que el texto de la píldora —el campo que indexa— esté bien escrito: erratas en el Silver salen baratas para el vector —que perdona— y caras para BM25 —que es un corrector de nada—. El híbrido, entre otras cosas, devuelve a la limpieza del corpus un precio que la búsqueda vectorial le había perdonado. En sistemas bien construidos, eso es una virtud: el canal exacto es el control de calidad del canal semántico.
Criterio de salida
Búsqueda híbrida operativa con fusión por rangos (RRF o equivalente declarado), listas de entrada más anchas que el tope final, y la decisión justificada con la mixtura del banco de consultas: qué porcentaje de la demanda real la resuelve cada canal solo. El canal exacto ha recuperado las consultas de entidad — sentencias, tablas, siglas — que el denso perdía.
Fusionados los canales, queda la pregunta que define el presupuesto de todo el sistema: cuánto entregamos. El tope —k, umbrales y presupuesto de contexto— es el capítulo que decide cuánto cuesta y cuánto ruido acepta cada respuesta, y merece el suyo entero.