Cómo ejecutar un modelo de IA en tu ordenador

Una fisioterapeuta autónoma se pasa las tardes redactando informes a partir de notas garabateadas. Le gustaría que la IA las pusiera en limpio, pero no quiere enviar información de sus pacientes a un servicio en línea. Un compañero le dice: «Instálate un modelo en casa, no sale nada de tu ordenador». Es verdad y es factible. No es tan sencillo como parece, y el resultado no tiene la misma calidad que los grandes servicios.

Un modelo local es un modelo de lenguaje que descargas y haces funcionar en tu propia máquina, con un programa específico. Una vez instalado, funciona sin conexión. Aquí tienes lo que aporta, lo que cuesta en la práctica y cómo escribir prompts adaptados.

Lo que ganas

Tus textos se quedan en casa. Lo que escribes lo procesa tu ordenador y no se envía a ningún proveedor. Para notas sensibles, borradores confidenciales o documentos de empresa, es la razón principal para pasarse al local. Una salvedad: «local» no significa «conforme». Para datos de salud o de clientes, las obligaciones legales no desaparecen porque el tratamiento se haga en tu equipo. Si es tu caso, habla con tu delegado de protección de datos o con un profesional del derecho, y consulta primero lo que no deberías confiarle a un chatbot.

Puedes trabajar sin conexión. En un tren, en una obra, en un edificio sin red, el modelo responde igualmente.

Mantienes el control. El modelo no cambia de comportamiento de un día para otro por una actualización del proveedor. El tuyo se queda fijo mientras no lo sustituyas, lo que hace un prompt más reproducible.

Puedes experimentar sin llevar la cuenta. No hay un tope de mensajes fijado por una suscripción. El límite es la paciencia de tu máquina.

Lo que pierdes

Seamos claros: un modelo que cabe en un ordenador de sobremesa es bastante más pequeño que los que funcionan en los centros de cálculo de los grandes servicios. En general, razona peor, sigue peor las instrucciones largas, capta peor los matices, se equivoca más a menudo con los hechos y maneja peor los textos muy largos. Según la máquina, también puede ser lento.

Las tareas en las que se defiende bien son más bien simples y acotadas: reformular un texto, corregir, clasificar, extraer información de un texto que le das, resumir un documento corto, hacer borradores. Las tareas en las que decepciona: el razonamiento en varios pasos, las preguntas de cultura general muy precisas, la escritura larga y cuidada, y todo lo que exige exactitud factual sin fuente.

No es un detalle para quien cuenta con él sin revisar. Un modelo pequeño inventa con más facilidad: hay que controlar cada cifra y cada referencia, como se explica en el artículo sobre la reducción de las alucinaciones.

Qué hardware hace falta

El factor decisivo es la memoria. Un modelo es un archivo grande que se carga en memoria para responder, y si no cabe, la máquina se vuelve inutilizable de lenta. Tres nociones que conviene conocer.

El tamaño, en miles de millones de parámetros. Verás modelos descritos como «3B», «7B» o «70B». Cuanto mayor es la cifra, más capaz suele ser el modelo y más pesado es.

La cuantización. Es una compresión que reduce la precisión de las cifras del modelo para que quepa en menos memoria, a costa de una pequeña pérdida de calidad. La mayoría de los modelos que se ofrecen para descargar existen en varias versiones cuantizadas, y la herramienta te indica el tamaño del archivo.

La memoria disponible. En un ordenador, es la memoria RAM, o la de la tarjeta gráfica si tienes una dedicada. En algunos Mac recientes, la memoria se comparte entre el procesador y la parte gráfica, lo que ayuda. Una regla prudente: el archivo del modelo debe caber en tu memoria con un buen margen, porque también hace falta sitio para la conversación en curso (la ventana de contexto) y para el resto de tu sistema.

Con un ordenador reciente y poca memoria, apunta a modelos pequeños. Con mucha memoria o una buena tarjeta gráfica, puedes subir de tamaño. Las herramientas suelen indicar si un modelo tiene posibilidades de funcionar en tu máquina: hazles caso.

Las herramientas para empezar

Dos programas se usan mucho para empezar, y esta guía no pretende decirte cuál es mejor.

• LM Studio tiene interfaz gráfica: buscas un modelo en una lista, lo descargas y abres una ventana de chat. Es lo más sencillo para una primera prueba.
• Ollama funciona sobre todo desde la línea de comandos y sirve de base para otras aplicaciones. Va mejor si te manejas con un terminal o si quieres conectar el modelo a otras herramientas.

En ambos casos, el proceso es el mismo: instalar el programa, elegir un modelo pequeño, descargarlo (el archivo se mide en gigabytes, prevé el espacio y una buena conexión) y luego conversar.

Algunas precauciones. Descarga los modelos desde los catálogos integrados en las herramientas o desde fuentes reconocidas, no desde un enlace recibido por mensaje. Mira la licencia del modelo si piensas usarlo en un entorno profesional, porque no todas permiten el uso comercial. Y si activas funciones que consultan la web o envían datos a un servicio, tu tratamiento deja de ser totalmente local.

Escribir prompts para un modelo pequeño

Los principios siguen siendo los de escribir un prompt, pero un modelo pequeño exige más disciplina. Un gran servicio compensa tus aproximaciones; uno pequeño las sufre.

Una tarea por mensaje. En lugar de «resume, corrige y traduce», encadena los tres pasos, como en una cadena de prompts.

Instrucciones cortas y positivas. Una lista de doce reglas se olvidará a medias. Quédate con tres o cuatro instrucciones esenciales.

Un ejemplo. Los modelos pequeños ganan mucho viendo lo que se espera. La técnica se explica en el artículo sobre few-shot.

El texto que hay que procesar, proporcionado y delimitado. Pega la materia entre marcas claras y pide que no se añada nada.

Un formato sencillo. Una lista con viñetas o unas pocas líneas. Un formato muy estructurado sale bien con menos frecuencia que con un modelo grande.

Para la fisioterapeuta, este es un prompt que respeta esos principios. Sustituye los nombres por iniciales y conserva lo estrictamente necesario:

Pones en limpio notas de sesiones de fisioterapia.

Reglas:
- Escribe tres frases como máximo, en presente.
- No añadas ninguna información que no esté en las notas.
- Si parece faltar un dato (duración, zona tratada), escribe [POR PRECISAR].

Ejemplo.
Notas: rodilla D, dolor 6/10 -> 4/10, movilización, refuerzo cuádriceps, volver jueves
Informe: Sesión dedicada a la rodilla derecha. El dolor ha pasado de 6 a 4 sobre 10. Movilización y refuerzo del cuádriceps; próxima sesión el jueves.

Notas que hay que poner en limpio:
[TUS NOTAS]

Lee cada informe antes de archivarlo: un modelo pequeño puede intercambiar derecha e izquierda o redondear una cifra. Una ayuda a la redacción no sustituye la revisión del profesional que firma.

Si los resultados decepcionan, prueba en este orden: acortar el prompt, añadir un segundo ejemplo, pasar a un modelo más grande si tu memoria lo permite. Los ajustes como la temperatura se explican en el artículo sobre parámetros; suelen estar accesibles en la interfaz local y sirven para que las respuestas sean más estables.

Local o servicio en línea: cómo elegir

Quédate con un servicio en línea si necesitas la mejor calidad de razonamiento, documentos largos o búsquedas en la web. Pasa al local si el criterio número uno es que el texto no salga de tu máquina, si trabajas sin red o si quieres aprender cómo funcionan estos modelos. Mucha gente combina ambos: el local para las notas sensibles y las tareas simples, el servicio en línea para el resto, con datos depurados. Si quieres entender lo que ocurre por dentro, el artículo sobre el funcionamiento de un modelo de lenguaje da las bases. Y para un servicio europeo sin instalación, también está Le Chat de Mistral.

Una prueba esta noche

Instala LM Studio u Ollama, elige el modelo más pequeño recomendado para tu máquina y dale una tarea que te sepas de memoria: reformular un correo de tres líneas. Si el resultado es correcto, prueba con un texto más largo. Si tu máquina se atasca, es la señal de que necesitas un modelo más pequeño, no un prompt más largo.