Qué significa de verdad que tus datos no salgan del edificio

Qué sale exactamente en cada llamada

Cuando llamas a una API de IA, el prompt completo viaja por internet hasta los servidores del proveedor. Va cifrado en tránsito, sí, pero el cifrado solo protege el viaje. En destino, el texto se descifra y se procesa en claro: es la única forma de que el modelo lo lea. Todo lo que había en el prompt (datos de clientes, condiciones comerciales, historiales, código) existe durante ese momento en una máquina ajena.

A partir de ahí, todo depende del proveedor y del contrato. Muchos servicios guardan las peticiones un tiempo para detectar abusos. Casi todos se apoyan en subencargados: otras empresas que operan su infraestructura, su almacenamiento o su soporte. Y si el proveedor o sus subencargados están fuera del Espacio Económico Europeo, hay transferencia internacional de datos, con todo lo que el RGPD exige.

Lo que los contratos no resuelven

Un buen contrato de encargo de tratamiento, la cláusula de no entrenar con tus datos y la retención cero son mejoras reales y conviene exigirlas. Pero son promesas: cambian quién responde si algo sale mal, no dónde están los datos ni qué máquinas los tocan. Comparamos esas condiciones, proveedor por proveedor, en la alternativa on-premise a ChatGPT Enterprise.

Hay tres límites concretos. La cadena de subencargados: firmas con uno y tratas con muchos, y la lista puede cambiar con un preaviso que nadie lee. La jurisdicción: si el proveedor está sujeto a leyes de terceros países que pueden obligarle a entregar datos, tu cláusula europea no lo impide. Y la verificación: el RGPD te da derecho a auditar a tu encargado, pero pocas pymes pueden ejercerlo frente a un proveedor global. En la práctica firmas, confías y esperas.

Qué cambia físicamente con la IA en tu edificio

Con inferencia local, el modelo (los pesos, un fichero grande) vive en una máquina tuya. El prompt viaja por tu red interna y la respuesta vuelve por el mismo camino. No hay tercero, ni subencargado, ni transferencia. Los logs son tuyos, la retención la decides tú y, si quieres, esa máquina puede funcionar sin salida a internet.

La aritmética lo hace viable hoy. Un modelo de 70.000 millones de parámetros pesa unos 140 GB en FP16 (2 bytes por parámetro), 70 GB en FP8 y unos 39 GB en NVFP4 (0,5625 bytes por parámetro: 4 bits por valor y una escala FP8 por cada bloque de 16). Un equipo compacto como el DGX Spark, con 128 GB de memoria unificada, ya mueve modelos de ese tamaño cuantizados; una DGX Station GB300 con 748 GB o un HGX B300 con 2,3 TB de HBM3e cubren modelos mayores y más usuarios a la vez. Para dimensionar tu caso concreto, aquí explicamos qué GPU necesita tu empresa.

Con el fine-tuning pasa lo mismo: ajustar un modelo abierto con tus documentos internos, en tu máquina, significa que ni el corpus de entrenamiento ni el modelo resultante salen del edificio. El modelo ajustado es un activo tuyo, no una configuración en la cuenta de otro.

RGPD y AI Act: por qué la respuesta corta gana

Seamos precisos: ni el RGPD ni el AI Act prohíben usar APIs externas. Lo que cambia con la IA local es el tamaño de la respuesta cuando alguien pregunta.

Con una API, responder dónde se tratan los datos exige un párrafo: encargado, subencargados, cláusulas contractuales tipo, análisis de transferencias, y mantenerlo al día cada vez que cambia la lista. Con la IA en tu edificio, la respuesta es una frase: se tratan aquí, en este servidor, y no salen. Esa frase acorta evaluaciones de impacto, registros de actividades de tratamiento y cuestionarios de seguridad de tus propios clientes, que en banca, sanidad o legal son el verdadero peaje.

El AI Act empuja en la misma dirección: pide transparencia y documentación sobre los sistemas de IA que usas, y documentar un sistema que controlas de extremo a extremo es más simple que documentar el de un tercero. Es viento de cola, no una amenaza. Desconfía de quien te venda IA local agitando el miedo a las multas.

Cuándo una API sigue siendo la opción razonable

Toca ser honestos: hay casos en los que la API externa gana. Si tus prompts no llevan datos personales ni confidenciales, por ejemplo redactar contenido público o resumir documentación ya publicada, la soberanía aporta poco. Si estás en fase de prototipo y aún no sabes si el caso de uso funciona, la API es la forma barata de averiguarlo. Y si necesitas el último modelo de frontera para una tarea concreta, puede que un modelo abierto aún no llegue.

Nuestra regla comercial: si tu gasto en APIs y el tipo de datos que mueves no justifican el cambio, te lo decimos y te quedas como estás. La IA local compensa cuando el volumen es sostenido y los prompts llevan justo lo que no quieres que viaje: clientes, finanzas, historiales, código.