En 2025, la Inteligencia Artificial Generativa (GenAI) está omnipresente: en navegadores, asistentes y en la nube, ofreciendo respuestas rápidas y directas a millones de personas en todo el mundo. Sin embargo, lo que la mayoría no sabe es que, para poder satisfacer estos requisitos, existe un conjunto de tecnologías que lo hacen posible, y el KV caching es una de ellas.
En el último Red Hat Summit 2025 en Boston, esta tecnología recibió precisamente un reconocimiento de la mano de Neural Magic, una empresa adquirida por Red Hat en enero de 2025 gracias a su experiencia en optimización de inferencia en modelos de IA.
Por cierto, el término inferencia proviene del latín ‘inferre’, que significa “llevar a” o “concluir“. En el ámbito general, la inferencia se refiere al acto de llegar a una conclusión basada en evidencias y razonamiento. En Inteligencia Artificial, se refiere al proceso mediante el cual un modelo, una vez entrenado, aplica lo aprendido para hacer predicciones o sacar conclusiones a partir de datos nuevos que nunca ha visto.
Esto, aunque puede parecer fácil para los humanos, en el campo informático es un desafío técnico gigantesco en áreas como los grandes modelos de lenguaje (LLM), como bien recuerda Brian Stevens, vicepresidente sénior y CTO de IA para Red Hat:
“¿Cómo podemos acelerar el servicio de grandes modelos lingüísticos, lo que conocemos como LLM? ¿Por qué es difícil? Conocemos muy bien las CPU, que tienen una enorme cantidad de memoria. Las GPU tienen toneladas de capacidad de cálculo, pero muy poca memoria. Y esa escasa memoria tiene que contener estas cosas que llamamos el peso del propio LLM”.
Índice de temas
¿Cómo funciona el KV Caching?
El término KV caching proviene de la expresión en inglés “Key-Value caching”, que se traduce como “caché de clave-valor”. Es, en esencia, un mecanismo que acelera drásticamente los tiempos de respuesta de los modelos de lenguaje grandes (LLM) y ayuda a reducir los costos operativos asociados.
Para ser más exactos, el KV caching nació de la necesidad de resolver una ineficiencia de los modelos de IA generativa basados en la arquitectura Transformer. Esta modalidad genera texto o respuestas de forma secuencial, token por token (palabras o fragmentos de palabras).
Sin optimización, este proceso sería excesivamente lento y costoso. En términos sencillos, el KV caching actúa como una memoria inteligente. Durante la generación de una respuesta, el modelo realiza complejos cálculos para cada token. Sin embargo, el KV caching almacena los resultados de ciertos cálculos intermedios para que no sea necesario volver a calcularlos.
Mirando hacia el futuro
Para gestionar la considerable huella de memoria del ‘KV cache’, se emplean diversas tecnologías. La cuantización es una de ellas, que consiste en reducir la precisión de los datos almacenados en la caché, logrando reducciones de memoria con un impacto mínimo o controlado en la precisión del modelo.
Otra técnica que vale la pena mencionar es PagedAttention, que gestiona la memoria de la caché en bloques o “páginas”, mitigando la fragmentación y permitiendo un uso más eficiente de los recursos.
Una estrategia avanzada es el prefix caching o caché de prefijos. Esta técnica permite que múltiples usuarios o consultas que comparten una parte inicial común (un prefijo) reutilicen el KV cache ya calculado. Esto acelera notablemente las respuestas en entornos con muchas solicitudes concurrentes.
