Guía técnica
Qué GPU necesita tu empresa para ejecutar IA en local
Elegir hardware para ejecutar modelos de lenguaje no va de comprar la GPU más cara, sino de hacer una cuenta bien hecha: cuánta memoria necesita tu modelo, en qué precisión sabe trabajar cada chip y qué carga vas a tener de verdad. Esta guía recorre esa cuenta con datos públicos.
La cuenta que manda: bytes por parámetro
Un modelo de lenguaje es, a efectos de memoria, sus parámetros multiplicados por el tamaño de cada uno. En FP16 cada parámetro ocupa 2 bytes; en FP8, 1 byte; en NVFP4, algo más de medio byte, porque a los 4 bits de cada valor se suma una escala FP8 por cada bloque de 16 (0,5625 bytes). Un modelo de 70.000 millones de parámetros (70B) necesita en torno a 140 GB en FP16, 70 GB en FP8 y 39 GB en NVFP4, solo para cargarse. Los checkpoints publicados pesan algo más, porque dejan algunas capas en 8 o 16 bits.
A eso hay que sumarle la caché de contexto (KV cache), que crece con el número de usuarios simultáneos y la longitud de las conversaciones, más un margen de trabajo del servidor. Un 70B denso típico guarda unos 160 KB por cada token de contexto con la caché en FP8: 1,3 GB por conversación de 8.192 tokens. Con 200 usuarios conectados y entre el 10 y el 25% generando a la vez, son de 20 a 50 conversaciones y de 27 a 67 GB de caché, casi tanto como el propio modelo en FP8. El margen del servidor de inferencia suma unos 2 GB y un 10% del peso.
Ojo con los modelos MoE (mixture of experts): aunque solo activan una parte de sus parámetros en cada token, para servirlos hay que cargar todos los parámetros en memoria. Un MoE grande puede necesitar cientos de GB aun siendo rápido de ejecutar.
La precisión nativa importa más que la ficha técnica
Cada generación de GPU entiende de forma nativa unas precisiones concretas. Ampere (A100) trabaja bien en FP16 e INT8. Hopper (H100, H200) añadió FP8 nativo. Blackwell (B200, B300 y derivados) añade NVFP4 y FP6 nativos, con lo que el mismo modelo cabe en la mitad o en algo más de la cuarta parte de la memoria sin cambiar de calidad de servicio.
La trampa está en ejecutar una precisión donde no es nativa: NVFP4 sobre una GPU Hopper funciona, pero por emulación software, con una penalización de rendimiento importante. La GPU correcta es la que entiende de forma nativa el formato en el que vas a servir tu modelo, no la de mayor precio de lista.
Las familias, en una frase cada una
A100 (Ampere): veterana y aún capaz para FP16, pero sin FP8 ni NVFP4; evitar para proyectos nuevos de inferencia intensiva.
H100 y H200 (Hopper): el estándar de la generación anterior, excelentes en FP8; la H200 sube la memoria a 141 GB HBM3e.
RTX 6000 Ada y RTX PRO (estación de trabajo): opción de sobremesa para investigación y cargas compactas, con menos memoria y sin los formatos más nuevos en el caso de Ada.
B200 y B300 (Blackwell y Blackwell Ultra): la generación actual de centro de datos, con NVFP4 nativo y hasta 288 GB de HBM3e por GPU en B300.
DGX Spark (GB10): el formato nuevo que cambia la conversación para pymes: un equipo de sobremesa con 128 GB de memoria unificada que ejecuta modelos que hace poco exigían sala de servidores, y que puede trabajar en pareja o en clúster.
DGX Station (GB300): una torre de estación de trabajo con 748 GB de memoria coherente (252 GB de HBM3e más 496 GB de LPDDR5X): capacidad de nodo de centro de datos en formato oficina.
Comprar o alquilar
La regla corta: carga sostenida y predecible, compra; carga variable o experimental, alquila. Si tu empresa usa IA a diario en procesos estables (atención al cliente, documentación, análisis), la curva de gasto por token acaba cruzando el coste del hardware propio, y a partir de ahí cada mes de alquiler es dinero que no vuelve.
Hay un segundo factor que las comparativas de precio por hora ignoran: dónde están tus datos. Alquilar GPU en la nube resuelve el coste, pero tus datos siguen saliendo de tu organización. Para sectores regulados, ese factor decide solo.
Dónde encaja cada tamaño de empresa
Con esa cuenta hecha, nuestra escalera queda así: Starter combina una pareja de DGX Spark o un Mac Studio M5 Ultra de 256 GB; Pro sube a 4 Spark o 2 Mac M5 Ultra de 256 GB cada uno. La DGX Station GB300 da el salto a cientos de usuarios, y un nodo HGX B300 NVL8 con 8 GPU Blackwell Ultra y 2,3 TB de HBM3e sirve a corporaciones enteras.
Los cuatro escalones ejecutan el mismo software, así que la decisión de hoy no te encierra: se entra por el tamaño que corresponde y se crece cambiando de hierro, no de proyecto.