Faire tourner un modèle d'IA sur ton ordinateur

Une kinésithérapeute libérale passe ses soirées à rédiger des comptes rendus à partir de notes griffonnées. Elle aimerait que l'IA les mette au propre, mais elle ne veut pas envoyer des informations sur ses patients à un service en ligne. Un collègue lui dit : « Installe un modèle chez toi, rien ne sort de ton ordinateur. » C'est vrai, et c'est faisable. Ce n'est pas aussi simple que ça en a l'air, et le résultat n'a pas la même qualité que les grands services.

Un modèle local est un modèle de langage que tu télécharges et que tu fais tourner sur ta propre machine, avec un programme dédié. Une fois installé, il fonctionne sans connexion. Voici ce que ça apporte, ce que ça coûte en pratique, et comment écrire des prompts adaptés.

Ce que tu gagnes

Tes textes restent chez toi. Ce que tu tapes est traité par ton ordinateur et n'est pas envoyé à un fournisseur. Pour des notes sensibles, des brouillons confidentiels ou des documents d'entreprise, c'est la raison principale d'y venir. Une réserve : « local » ne veut pas dire « conforme ». Pour des données de santé ou de clients, les obligations légales ne disparaissent pas parce que le traitement se fait sur ton poste. Si c'est ton cas, parles-en à ton référent protection des données ou à un professionnel du droit, et vois d'abord ce qu'on ne devrait pas confier à un chatbot.

Tu peux travailler hors ligne. Dans un train, sur un chantier, dans un bâtiment sans réseau, le modèle répond quand même.

Tu gardes la main. Le modèle ne change pas de comportement du jour au lendemain à cause d'une mise à jour du fournisseur. Le tien est figé tant que tu ne le remplaces pas, ce qui rend un prompt plus reproductible.

Tu peux expérimenter sans compter. Pas de plafond de messages fixé par un abonnement. La limite, c'est la patience de ta machine.

Ce que tu perds

Soyons clairs : un modèle qui tient sur un ordinateur de bureau est nettement plus petit que ceux qui tournent dans les centres de calcul des grands services. En général, il raisonne moins bien, suit moins bien les consignes longues, comprend moins bien les nuances, se trompe plus souvent sur les faits et gère moins bien les textes très longs. Selon la machine, il peut aussi être lent.

Les tâches où il se débrouille bien sont plutôt simples et bornées : reformuler un texte, corriger, classer, extraire des informations d'un texte que tu fournis, résumer un document court, faire des brouillons. Les tâches où il déçoit : le raisonnement en plusieurs étapes, les questions de culture générale pointues, l'écriture longue et soignée, et tout ce qui demande d'être factuellement exact sans source.

Ce n'est pas un détail pour qui compte sur lui sans relire. Un petit modèle invente plus facilement : il faut contrôler chaque chiffre et chaque référence, comme on l'explique dans l'article sur la réduction des hallucinations.

Ce qu'il faut comme matériel

Le facteur décisif est la mémoire. Un modèle est un gros fichier chargé en mémoire pour répondre, et s'il ne tient pas, la machine devient inutilisable de lenteur. Trois notions à connaître.

La taille, en milliards de paramètres. Tu verras des modèles décrits comme « 3B », « 7B » ou « 70B ». Plus le chiffre est grand, plus le modèle est capable en général, et plus il est lourd.

La quantification. C'est une compression qui réduit la précision des chiffres du modèle pour le faire tenir dans moins de mémoire, au prix d'une petite perte de qualité. La plupart des modèles proposés au téléchargement existent en plusieurs versions quantifiées, et l'outil t'indique la taille du fichier.

La mémoire disponible. Sur un ordinateur, c'est la mémoire vive, ou celle de la carte graphique si tu en as une dédiée. Sur certains Mac récents, la mémoire est partagée entre le processeur et la partie graphique, ce qui aide. Une règle prudente : le fichier du modèle doit tenir dans ta mémoire avec une bonne marge, car il faut aussi de la place pour la conversation en cours (la fenêtre de contexte) et pour le reste de ton système.

Avec un ordinateur récent et peu de mémoire, vise de petits modèles. Avec beaucoup de mémoire ou une bonne carte graphique, tu peux monter en taille. Les outils indiquent souvent si un modèle a des chances de tourner sur ta machine : fie-toi à ces avertissements.

Les outils pour débuter

Deux programmes sont très utilisés pour commencer, et ce guide ne cherche pas à te dire lequel est le meilleur.

• LM Studio a une interface graphique : tu cherches un modèle dans une liste, tu le télécharges, tu ouvres une fenêtre de discussion. C'est le plus simple pour un premier essai.
• Ollama fonctionne surtout en ligne de commande et sert de base à d'autres applications. Il convient mieux si tu es à l'aise avec un terminal ou si tu veux brancher le modèle sur d'autres outils.

Dans les deux cas, la démarche est la même : installer le programme, choisir un petit modèle, le télécharger (le fichier se compte en gigaoctets, prévois la place et une bonne connexion), puis discuter.

Quelques précautions. Télécharge les modèles depuis les catalogues intégrés aux outils ou depuis des sources reconnues, pas depuis un lien reçu par message. Regarde la licence du modèle si tu comptes t'en servir dans un cadre professionnel, car toutes ne permettent pas un usage commercial. Et si tu actives des fonctions qui consultent le web ou envoient des données à un service, ton traitement n'est plus entièrement local.

Écrire des prompts pour un petit modèle

Les principes restent ceux de l'écriture d'un prompt, mais un petit modèle demande plus de discipline. Un grand service rattrape tes approximations, un petit les subit.

Une tâche par message. Plutôt que « résume, corrige et traduis », enchaîne les trois étapes, comme dans une chaîne de prompts.

Des consignes courtes et positives. Une liste de douze règles sera oubliée à moitié. Garde trois ou quatre consignes essentielles.

Un exemple. Les petits modèles gagnent beaucoup à voir ce qu'on attend. La technique est expliquée dans l'article sur le few-shot.

Le texte à traiter, fourni et délimité. Colle la matière entre des repères clairs, et demande de ne rien ajouter.

Un format simple. Une liste à puces ou quelques lignes. Un format très structuré réussit moins souvent qu'avec un grand modèle.

Pour la kinésithérapeute, voici un prompt qui respecte ces principes. Elle remplace les noms par des initiales et conserve le strict nécessaire :

Tu mets au propre des notes de séance de kinésithérapie.

Règles :
- Écris trois phrases maximum, au présent.
- N'ajoute aucune information absente des notes.
- Si une information semble manquer (durée, zone traitée), écris [À PRÉCISER].

Exemple.
Notes : genou D, douleur 6/10 -> 4/10, mobilisation, renfo quadriceps, revoir jeudi
Compte rendu : Séance consacrée au genou droit. La douleur est passée de 6 à 4 sur 10. Mobilisation et renforcement du quadriceps ; prochaine séance jeudi.

Notes à mettre au propre :
[TES NOTES]

Elle lit chaque compte rendu avant de l'archiver : un petit modèle peut intervertir droite et gauche ou arrondir un chiffre. Une aide à la rédaction ne remplace pas la relecture du professionnel qui signe.

Si les résultats sont décevants, essaie dans cet ordre : raccourcir le prompt, ajouter un second exemple, passer à un modèle plus gros si ta mémoire le permet. Les réglages comme la température sont expliqués dans l'article sur les paramètres ; ils sont souvent accessibles dans l'interface locale et utiles pour rendre les réponses plus stables.

Local ou service en ligne : comment choisir

Reste sur un service en ligne si tu as besoin de la meilleure qualité de raisonnement, de longs documents ou de recherches sur le web. Passe au local si le critère numéro un est que le texte ne parte pas de ta machine, si tu travailles sans réseau, ou si tu veux apprendre comment ces modèles fonctionnent. Beaucoup de gens mélangent les deux : le local pour les notes sensibles et les tâches simples, le service en ligne pour le reste, avec des données épurées. Si tu veux comprendre ce qui se passe à l'intérieur, l'article sur le fonctionnement d'un modèle de langage donne les bases. Et pour un service européen sans installation, il y a aussi Le Chat de Mistral.

Un essai ce soir

Installe LM Studio ou Ollama, choisis le plus petit modèle conseillé pour ta machine, et donne-lui une tâche que tu connais par cœur : reformuler un mail de trois lignes. Si le résultat est correct, essaie un texte plus long. Si ta machine peine, c'est le signe qu'il te faut un modèle plus petit, pas un prompt plus long.