Ein KI-Modell auf deinem Computer laufen lassen

Eine freiberufliche Physiotherapeutin verbringt ihre Abende damit, aus hingekritzelten Notizen Behandlungsberichte zu schreiben. Sie würde sie gern von der KI ins Reine bringen lassen, will aber keine Informationen über ihre Patienten an einen Online-Dienst schicken. Ein Kollege sagt ihr: „Installier dir ein Modell zu Hause, dann verlässt nichts deinen Computer.“ Das stimmt, und es ist machbar. Es ist nicht so einfach, wie es klingt, und das Ergebnis hat nicht dieselbe Qualität wie bei den großen Diensten.

Ein lokales Modell ist ein Sprachmodell, das du herunterlädst und mit einem eigenen Programm auf deinem Rechner laufen lässt. Einmal installiert, funktioniert es ohne Verbindung. Hier steht, was das bringt, was es in der Praxis kostet und wie du passende Prompts schreibst.

Was du gewinnst

Deine Texte bleiben bei dir. Was du eintippst, verarbeitet dein Computer, und es wird nicht an einen Anbieter geschickt. Bei sensiblen Notizen, vertraulichen Entwürfen oder Unternehmensdokumenten ist das der Hauptgrund, hierher zu kommen. Ein Vorbehalt: „lokal“ heißt nicht „konform“. Bei Gesundheits- oder Kundendaten verschwinden die gesetzlichen Pflichten nicht, weil die Verarbeitung auf deinem Rechner stattfindet. Trifft das auf dich zu, sprich mit deiner Datenschutzbeauftragten oder einem Rechtsprofi und schau zuerst, was man einem Chatbot nicht anvertrauen sollte.

Du kannst offline arbeiten. Im Zug, auf der Baustelle, in einem Gebäude ohne Netz antwortet das Modell trotzdem.

Du behältst die Kontrolle. Das Modell ändert sein Verhalten nicht über Nacht wegen eines Updates des Anbieters. Deines bleibt festgeschrieben, solange du es nicht ersetzt, was einen Prompt reproduzierbarer macht.

Du kannst ohne Zählen experimentieren. Keine Nachrichtenobergrenze durch ein Abonnement. Die Grenze ist die Geduld deines Rechners.

Was du verlierst

Klar gesagt: Ein Modell, das auf einen Desktop-Computer passt, ist deutlich kleiner als die, die in den Rechenzentren der großen Dienste laufen. Im Allgemeinen denkt es schlechter, befolgt lange Vorgaben schlechter, versteht Nuancen schlechter, irrt sich häufiger bei Fakten und kommt mit sehr langen Texten schlechter zurecht. Je nach Rechner kann es auch langsam sein.

Gut kommt es bei eher einfachen, klar umrissenen Aufgaben zurecht: einen Text umformulieren, korrigieren, klassifizieren, Informationen aus einem von dir gelieferten Text ziehen, ein kurzes Dokument zusammenfassen, Entwürfe schreiben. Enttäuschend ist es bei mehrstufigem Denken, bei kniffligen Allgemeinwissensfragen, bei langem, sorgfältigem Schreiben und bei allem, was ohne Quelle sachlich korrekt sein muss.

Das ist kein Detail für jemanden, der sich ohne Gegenlesen darauf verlässt. Ein kleines Modell erfindet leichter: Du musst jede Zahl und jeden Verweis kontrollieren, wie es der Artikel über die Verringerung von Halluzinationen erklärt.

Welche Hardware du brauchst

Der entscheidende Faktor ist der Speicher. Ein Modell ist eine große Datei, die zum Antworten in den Speicher geladen wird, und passt sie nicht hinein, wird der Rechner vor Langsamkeit unbrauchbar. Drei Begriffe sind wichtig.

Die Größe, in Milliarden Parametern. Du wirst Modelle sehen, die als „3B“, „7B“ oder „70B“ beschrieben sind. Je größer die Zahl, desto leistungsfähiger ist das Modell im Allgemeinen und desto schwerer.

Die Quantisierung. Das ist eine Kompression, die die Genauigkeit der Zahlen des Modells verringert, damit es in weniger Speicher passt, um den Preis eines kleinen Qualitätsverlusts. Die meisten zum Download angebotenen Modelle gibt es in mehreren quantisierten Versionen, und das Tool zeigt dir die Dateigröße an.

Der verfügbare Speicher. Auf einem Computer ist das der Arbeitsspeicher oder, falls du eine dedizierte hast, der der Grafikkarte. Bei manchen neueren Macs teilen sich Prozessor und Grafikteil den Speicher, was hilft. Eine vorsichtige Regel: Die Modelldatei muss mit gutem Abstand in deinen Speicher passen, denn es braucht auch Platz für das laufende Gespräch (das Kontextfenster) und für den Rest deines Systems.

Mit einem neueren Computer und wenig Speicher peile kleine Modelle an. Mit viel Speicher oder einer guten Grafikkarte kannst du größer werden. Die Tools zeigen oft an, ob ein Modell auf deinem Rechner laufen dürfte: Verlass dich auf diese Warnungen.

Tools für den Einstieg

Zwei Programme werden zum Anfangen viel genutzt, und dieser Leitfaden will dir nicht sagen, welches das bessere ist.

• LM Studio hat eine grafische Oberfläche: Du suchst ein Modell in einer Liste, lädst es herunter und öffnest ein Chatfenster. Für einen ersten Versuch ist es das Einfachste.
• Ollama läuft vor allem in der Kommandozeile und dient als Grundlage für andere Anwendungen. Es passt besser, wenn du dich mit einem Terminal wohlfühlst oder das Modell an andere Tools anbinden willst.

In beiden Fällen ist das Vorgehen gleich: das Programm installieren, ein kleines Modell wählen, es herunterladen (die Datei misst Gigabyte, plane Platz und eine gute Verbindung ein) und dann chatten.

Einige Vorsichtsmaßnahmen. Lade Modelle aus den in die Tools eingebauten Katalogen oder aus anerkannten Quellen herunter, nicht über einen Link aus einer Nachricht. Schau auf die Lizenz des Modells, wenn du es beruflich nutzen willst, denn nicht alle erlauben eine kommerzielle Nutzung. Und aktivierst du Funktionen, die das Web abfragen oder Daten an einen Dienst schicken, ist deine Verarbeitung nicht mehr ganz lokal.

Prompts für ein kleines Modell schreiben

Die Prinzipien bleiben die des Schreibens eines Prompts, aber ein kleines Modell verlangt mehr Disziplin. Ein großer Dienst fängt deine Ungenauigkeiten auf, ein kleines muss sie ausbaden.

Eine Aufgabe pro Nachricht. Statt „fass zusammen, korrigiere und übersetze“ reihe die drei Schritte aneinander, wie in einer Prompt-Kette.

Kurze, positive Vorgaben. Eine Liste mit zwölf Regeln wird zur Hälfte vergessen. Behalte drei oder vier wesentliche Vorgaben.

Ein Beispiel. Kleine Modelle profitieren stark davon zu sehen, was man erwartet. Die Technik erklärt der Artikel über Few-Shot.

Der zu verarbeitende Text, geliefert und abgegrenzt. Füge das Material zwischen klaren Markierungen ein und bitte darum, nichts hinzuzufügen.

Ein einfaches Format. Eine Aufzählung oder einige Zeilen. Ein stark strukturiertes Format gelingt seltener als mit einem großen Modell.

Für die Physiotherapeutin hier ein Prompt, der diese Prinzipien beachtet. Sie ersetzt die Namen durch Initialen und behält nur das Nötigste:

Du bringst Notizen zu einer Physiotherapie-Sitzung ins Reine.

Regeln:
- Schreibe höchstens drei Sätze, im Präsens.
- Füge keine Information hinzu, die nicht in den Notizen steht.
- Scheint eine Information zu fehlen (Dauer, behandelte Region), schreibe [ZU KLÄREN].

Beispiel.
Notizen: Knie re., Schmerz 6/10 -> 4/10, Mobilisation, Kräftigung Quadrizeps, Wiedervorstellung Donnerstag
Bericht: Die Sitzung galt dem rechten Knie. Der Schmerz ist von 6 auf 4 von 10 gesunken. Mobilisation und Kräftigung des Quadrizeps; nächste Sitzung am Donnerstag.

Notizen, die ins Reine zu bringen sind:
[DEINE NOTIZEN]

Sie liest jeden Bericht, bevor sie ihn ablegt: Ein kleines Modell kann rechts und links vertauschen oder eine Zahl runden. Eine Schreibhilfe ersetzt nicht das Gegenlesen durch die Fachperson, die unterschreibt.

Sind die Ergebnisse enttäuschend, probiere in dieser Reihenfolge: den Prompt kürzen, ein zweites Beispiel hinzufügen, auf ein größeres Modell wechseln, wenn dein Speicher es zulässt. Einstellungen wie die Temperatur erklärt der Artikel über die Parameter; sie sind oft in der lokalen Oberfläche zugänglich und nützlich, um die Antworten stabiler zu machen.

Lokal oder Online-Dienst: wie du wählst

Bleib bei einem Online-Dienst, wenn du die beste Denkqualität, lange Dokumente oder Websuchen brauchst. Wechsle zu lokal, wenn das wichtigste Kriterium ist, dass der Text deinen Rechner nicht verlässt, wenn du ohne Netz arbeitest oder wenn du lernen willst, wie diese Modelle funktionieren. Viele mischen beide: lokal für sensible Notizen und einfache Aufgaben, den Online-Dienst für den Rest, mit bereinigten Daten. Willst du verstehen, was im Inneren passiert, liefert der Artikel über die Funktionsweise eines Sprachmodells die Grundlagen. Und für einen europäischen Dienst ohne Installation gibt es auch Le Chat von Mistral.

Ein Versuch heute Abend

Installiere LM Studio oder Ollama, wähle das kleinste für deinen Rechner empfohlene Modell und gib ihm eine Aufgabe, die du in- und auswendig kennst: eine Mail von drei Zeilen umformulieren. Ist das Ergebnis korrekt, probiere einen längeren Text. Hat dein Rechner zu kämpfen, ist das ein Zeichen, dass du ein kleineres Modell brauchst, nicht einen längeren Prompt.