Modelos abiertos
¿Qué equipo necesito para ejecutar Vikhr-Nemo-12B-Instruct-R-21-09-24 en local?
Con 25 usuarios simultáneos, el equipo más pequeño que ejecuta Vikhr-Nemo-12B-Instruct-R-21-09-24 es Starter (2 × NVIDIA DGX Spark o 1 × Apple Mac Studio M5 Ultra), en FP16: necesita hasta 33,6 GB de memoria y el equipo tiene 230 GB útiles. La cuenta parte de sus 12,25B parámetros según Hugging Face y es la misma de la calculadora de VRAM, que puedes abrir con este modelo ya cargado.
Memoria en cada precisión
| Precisión | Pesos | Con caché KV y margen | Equipo más pequeño |
|---|---|---|---|
| FP16 (2 bytes) | 24,5 GB | 31 a 33,6 GB | Starter |
| FP8 (1 byte) | 12,3 GB | 17,5 a 20,2 GB | Starter |
| NVFP4 (0,5625 bytes) | 6,9 GB | 11,6 a 14,3 GB | Starter |
Usuarios simultáneos en cada equipo
| Equipo | Memoria útil | Techo de usuarios | FP16 | FP8 | NVFP4 |
|---|---|---|---|---|---|
| Starter | 230 GB | 25 | 25 usuarios: 33,6 GB | 25 usuarios: 20,2 GB | 25 usuarios: 14,3 GB |
| Pro | 460 GB | 60 | 60 usuarios: 39 GB | 60 usuarios: 25,5 GB | 60 usuarios: 19,6 GB |
| Business | 670 GB | 500 | 500 usuarios: 113 GB | 500 usuarios: 99,4 GB | 500 usuarios: 93,5 GB |
| Enterprise | 2000 GB | Sin techo | 1000 usuarios: 197 GB | 1000 usuarios: 183 GB | 1000 usuarios: 177 GB |
Los usuarios son las opciones de la calculadora (5, 25, 60, 200, 500, 1.000) hasta el techo de cada equipo. Enterprise no tiene techo en la cuenta: llega a 1.000, la opción más alta del selector.
La cuenta
En FP16 con 25 usuarios: 12,25B × 2 bytes = 24,5 GB de pesos + 2 a 4,7 GB de caché KV (3 a 7 conversaciones de 8.192 tokens, con la caché por token del tamaño de referencia de 14B de la calculadora) + 4,5 GB de margen (2 GB y un 10% de los pesos) = 31 a 33,6 GB.
Supuestos: entre el 10 y el 25% de los usuarios conectados está generando una respuesta en cada momento (como mínimo, una conversación); cada conversación lleva 8.192 tokens de contexto y la caché KV se guarda en FP8. El margen suma 2 GB y un 10% del peso para el servidor de inferencia.
Los parámetros son el recuento de los archivos safetensors que publica Hugging Face y puede no coincidir con la cifra de la ficha del modelo: algunos repositorios suman módulos de decodificación especulativa.
Datos del modelo
Licencia según Hugging Face: apache-2.0. Repositorio creado el 20 de septiembre de 2024. Datos de la API de Hugging Face del 22 de noviembre de 2026.
Ver Vikhrmodels/Vikhr-Nemo-12B-Instruct-R-21-09-24 en Hugging Face