Ollama

Ollama lässt beliebte Open-Source-LLMs (Llama, DeepSeek, Mistral, Qwen …) mit einem einzigen Kommando lokal laufen — auf Mac, Linux oder Windows. Kein Setup, keine Cloud-Konten.

Damit werden datenschutzsensible Anwendungen möglich, in denen kein Prompt das Gerät oder Firmennetz verlässt.

• Ein-Kommando-Setup — „ollama run llama3“ — läuft.
• OpenAI-kompatible API — Bestehende Tools ohne Anpassung anschließen.
• Modellbibliothek — Dutzende getestete Modelle mit einem Klick verfügbar.
• GPU-Support — Nutzt lokale GPUs für schnelle Inferenz.

Entwickler:innen, IT und Datenschutz-bewusste Nutzer:innen, die LLMs lokal betreiben wollen.

Eine Anwältin will KI nutzen, ohne dass Mandantendaten das Notebook verlassen. Mit Ollama läuft ein leistungsfähiges LLM lokal — sie chattet mit ihren Fällen, ohne dass irgendetwas in die Cloud geht.

Für die stärksten aktuellen Modelle (GPT-5-Class) reicht lokale Hardware oft nicht — dafür bleibt Cloud nötig.