Das letzte lange Maiwochenende habe ich unter anderem dazu genutzt, um endlich mal KI-Modelle lokal auf meinem Mac auszuprobieren. Zu diesem Zweck habe ich Ollama samt zweier Large Language Models installiert. Und natürlich war ich primär daran interessiert, ob und wie man diese lokalen LLMs auch in Obsidian nutzen kann.
Künstliche Intelligenz in Form von Large Language Models (LLMs) kann man nicht nur online im Internet oder über Apps am Smartphone nutzen, sondern diese auch lokal auf einem Rechner installieren. Dafür gibt es verschiedene Möglichkeiten, wie LM Studio oder Ollama. Die Open Source Plattform Ollama hat den Vorteil, dass man die damit lokal installierten großen Sprachmodelle einerseits ausführen und andererseits auch in andere Dienste und Apps lokal am Rechner einbinden kann. Das lokale Betreiben von LLMs mit Ollama bedeutet auch, dass die Inhalte, die man damit generiert, privat auf dem eigenen Gerät erstellt werden und somit unabhängig von einer Cloud-Lösung sind.
Ollama installieren
Die Installation von Ollama ist denkbar einfach und gelingt direkt über die Website. Allerdings hat Ollama keine grafische Benutzeroberfläche und läuft daher auf der Kommandozeile im Terminal. Deshalb müssen auch die Sprachmodelle zunächst über das Terminal geladen und installiert werden. Die Befehle dafür finden sich in der Readme-Datei auf der GitHub-Seite von Ollama.
Die Bedienung im Terminal ist ebenfalls nicht wirklich kompliziert. Allerdings neigen die beiden von mir bisher getesteten LLMs Llama 3.2 und Gemma 3 schon bei einfachen Fragestellungen zum Halluzinieren bzw. zu unpräzisen Antworten. So schlägt Llama 3.2 beispielsweise vor, dass man in Obsidian entweder das Plugin Obsidian LLM oder Linkable installieren soll, um damit direkt in Obsidian die KI-Funktionen nutzen zu können (siehe Screenshot oben). Letzteres existiert jedoch gar nicht. Zumindest nicht unter diesem Namen.
Ein vergleichender Test hat ergeben, dass ChatGPT von OpenAI hier wesentlich präziser antwortet und auch Erweiterungen auflistet, die es tatsächlich gibt. Wenngleich in der Liste mit dem Obsidian AI Assistant-Plugin auch eines dabei war, mit dem man lokale LLMs gar nicht nutzen kann.
Erweiterungen für Obsidian
Um lokale LLMs direkt in Obsidian zu verwenden, eignet sich nach ein paar Tests meiner Meinung nach das ChatGPT MD-Plugin am besten. Es gibt noch eine Reihe weiterer Erweiterungen, die diesen Zweck erfüllen, wie beispielsweise das Obsidian LLM-Plugin, oder das Obsidian Local LLM-Plugin. Allerdings werden die meisten dieser Erweiterungen nicht so intensiv gewartet und seltener aktualisiert. Zudem bietet ChatGPT MD den Vorteil, dass man damit auch andere LLMs online nutzen kann, wie eben ChatGPT von OpenAI und der Wechsel zwischen den Modellen einfach zu bewerkstelligen ist.
Das ChatGPT MD-Plugin
Sobald man die Erweiterung installiert hat, sollte im Terminal noch der Befehl ollama serve ausgeführt werden. Damit können die mit Ollama installierten, lokalen LLMs über localhost:11434 genutzt werden. Diese Adresse ist in den Einstellungen des Plugins bereits vorab eingetragen. Möchte man zudem auch beispielsweise ChatGPT online nutzen, dann trägt man den entsprechenden API-Key in den Einstellungen der Erweiterung ein. Das setzt einen Account bei OpenAI voraus und dass man dort den eigenen Account auch mit einem Guthaben aufgeladen hat.
Sobald man die notwendigen Einstellungen wie API-Keys und Service URLs vorgenommen hat, kann man direkt in einer Notiz mit der KI der Wahl loslegen. Die übrigen Einstellungen kann man so belassen, wie sie nach der ersten Installation voreingestellt sind. Die Bedienung erfolgt entweder über die Befehlspalette oder mittels Tastenkürzel, was für häufig genutzte Befehle wie Chat oder Select Model durchaus praktisch ist.
Zunächst gibt man eine Frage an die KI direkt in den Text der Notiz ein und startet dann mit dem Befehl Chat die Unterhaltung. Bei der ersten Antwort braucht man bei lokalen Modellen ein paar Sekunden Geduld, bis man eine Rückmeldung erhält. Vermutlich liegt das daran, dass das lokale LLM im Hintergrund erst via Ollama aufgerufen bzw. gestartet werden muss. ChatGPT in der online-Version ist da deutlich flotter und auch die Antworten kommen zügiger daher.
Aber wie schon zuvor erwähnt, muss man insbesondere bei den lokalen Modellen mit den Antworten vorsichtig sein. Zum Beispiel hat Gemma 3 tatsächlich einen Link zu einem Plugin für Obsidian zur Nutzung lokaler LLMs angegeben, das es nicht gibt – ganz abgesehen davon, dass die Antwort zu einer auf Deutsch gestellten Frage in Englisch daherkommt. Ein Klick auf den Link führt dann natürlich auf eine 404-Seite, wie im Titelbild zu diesem Beitrag ersichtlich ist.
Beide lokal getesteten Modelle erledigen Aufgaben, wie das Zusammenfassen von Fachartikeln im Internet und ähnliches recht zufriedenstellend. Das Einfügen von Dateien für eine Interpretation ist in Obsidian nur eingeschränkt möglich. Selbst geschriebener Text, oder mittels Web Clipper importierter Text lässt sich auch mit den lokalen LLMs direkt in Obsidian interpretieren bzw. zusammenfassen. Dazu ist es allerdings notwendig, dass man den Befehl direkt in der jeweiligen Datei ausführt. Apropos Web Clipper: Auch dort kann KI eingebunden werden, um dann beim Speichern einer Website auch gleich eine kurze Zusammenfassung mit dabei zu haben.
Fazit
Das lokale Ausführen von Large Language Models (LLMs) auf dem eigenen Mac mittels Ollama bietet eine interessante und datenschutzfreundliche Alternative zu cloudbasierten Diensten. Für die Integration lokaler LLMs in Obsidian ist das ChatGPT MD-Plugin derzeit die empfehlenswerteste Erweiterung, da es eine hybride Nutzung sowohl mit lokalen LLMs, als auch mit dem Online-Modell ChatGPT von OpenAI unterstützt und regelmäßig gepflegt wird.
Insgesamt kann ich nach den ersten Tagen mit lokalen KI-Modellen, die ich direkt in Obsidian genutzt habe, zusammenfassen, dass die Bedienung gewöhnungsbedürftig ist und man generell bei lokalen Modellen die Ergebnisse kritisch bewerten sollte.