URBANO DXIA ON-PREMISE
Menú
Cuéntanos tu caso

Modelos abiertos

¿Qué equipo necesito para ejecutar Ornith-1.5-35B-A3B en local?

Con 25 usuarios simultáneos, el equipo más pequeño que ejecuta Ornith-1.5-35B-A3B es Starter (2 × NVIDIA DGX Spark o 1 × Apple Mac Studio M5 Ultra), en FP16: necesita hasta 88,6 GB de memoria y el equipo tiene 230 GB útiles. La cuenta parte de sus 35,95B parámetros según Hugging Face y es la misma de la calculadora de VRAM, que puedes abrir con este modelo ya cargado.

Abrir esta cuenta en la calculadora de VRAM

Memoria en cada precisión

Memoria con 25 usuarios simultáneos y equipo más pequeño que la cubre
PrecisiónPesosCon caché KV y margenEquipo más pequeño
FP16 (2 bytes)71,9 GB84,3 a 88,6 GBStarter
FP8 (1 byte)36 GB44,8 a 49,1 GBStarter
NVFP4 (0,5625 bytes)20,2 GB27,5 a 31,8 GBStarter

Usuarios simultáneos en cada equipo

Usuarios con los que el modelo cabe en cada equipo y memoria que necesita
EquipoMemoria útilTecho de usuariosFP16FP8NVFP4
Starter230 GB2525 usuarios: 88,6 GB25 usuarios: 49,1 GB25 usuarios: 31,8 GB
Pro460 GB6060 usuarios: 97,2 GB60 usuarios: 57,7 GB60 usuarios: 40,4 GB
Business670 GB500500 usuarios: 215 GB500 usuarios: 176 GB500 usuarios: 158 GB
Enterprise2000 GBSin techo1000 usuarios: 350 GB1000 usuarios: 310 GB1000 usuarios: 293 GB

Los usuarios son las opciones de la calculadora (5, 25, 60, 200, 500, 1.000) hasta el techo de cada equipo. Enterprise no tiene techo en la cuenta: llega a 1.000, la opción más alta del selector.

La cuenta

En FP16 con 25 usuarios: 35,95B × 2 bytes = 71,9 GB de pesos + 3,2 a 7,5 GB de caché KV (3 a 7 conversaciones de 8.192 tokens, con la caché por token del tamaño de referencia de 32B de la calculadora) + 9,2 GB de margen (2 GB y un 10% de los pesos) = 84,3 a 88,6 GB.

Supuestos: entre el 10 y el 25% de los usuarios conectados está generando una respuesta en cada momento (como mínimo, una conversación); cada conversación lleva 8.192 tokens de contexto y la caché KV se guarda en FP8. El margen suma 2 GB y un 10% del peso para el servidor de inferencia.

Los parámetros son el recuento de los archivos safetensors que publica Hugging Face y puede no coincidir con la cifra de la ficha del modelo: algunos repositorios suman módulos de decodificación especulativa.

Datos del modelo

Licencia según Hugging Face: mit. Repositorio creado el 18 de agosto de 2026. Datos de la API de Hugging Face del 22 de noviembre de 2026.

Ver ornith-ai/Ornith-1.5-35B-A3B en Hugging Face