Herramienta
Calculadora de VRAM
La cuenta de la guía, hecha para tu caso: elige tamaño, precisión y usuarios, y mira cuánta memoria pide el modelo y qué equipo la cubre. Aritmética pública y a la vista; nada que descargar, nada que registrar.
Con 25 usuarios, de 3 a 7 conversaciones activas a la vez. Supuestos: entre el 10 y el 25% de los usuarios conectados está generando una respuesta en cada momento (como mínimo, una conversación); cada conversación lleva 8.192 tokens de contexto y la caché KV se guarda en FP8. El margen suma 2 GB y un 10% del peso para el servidor de inferencia.
Estimación orientativa con la aritmética pública de la guía: bytes por parámetro, la caché KV de las conversaciones activas y un margen para el servidor de inferencia. La caché por token sale de la configuración publicada de un modelo abierto de referencia de cada tamaño. El número fino depende del modelo exacto, del contexto y de tu patrón de uso: con documentos largos en RAG, la caché crece en proporción.
Si tu carga es puntual o experimental, no compres: alquila o quédate en la API. Esta cuenta es para uso sostenido y predecible.