Wenn du einen KI-Assistenten willst, der ohne Internet auf deinem Handy läuft, ist das gewählte Modell wichtiger als alles andere. Das richtige Modell liefert dir schnelle, private und hochwertige Antworten. Das falsche liefert entweder Schneckentempo oder Antworten, die nicht gut genug sind, um nützlich zu sein.
Dieser Ratgeber erklärt, was „KI auf dem Gerät“ wirklich braucht, welche Modelle 2026 am besten funktionieren und wie du eines passend zur Hardware deines Handys auswählst.
Was „KI auf dem Gerät“ wirklich braucht
KI auf einem Handy auszuführen ist nicht dasselbe wie in einem Rechenzentrum. Drei Dinge müssen zusammenpassen:
- Modellgröße – kleinere Modelle laden schneller und brauchen weniger Speicher, geben aber eventuell kürzere oder weniger differenzierte Antworten.
- RAM des Handys – das Modell muss zusammen mit dem Betriebssystem und anderen Apps in den Arbeitsspeicher passen.
- Neuronaler Prozessor (NPU) oder GPU – moderne Handys haben Chips, die speziell für KI-Aufgaben gemacht sind.
Eine gute Erfahrung mit KI auf dem Gerät entsteht, wenn alle drei zusammenpassen. Ein Flaggschiff-Handy kann ein Modell mit 7B Parametern bequem ausführen. Ein Mittelklasse-Handy kommt besser mit einem 1B–3B-Modell zurecht.
Handy-Hardware – was du für lokale Modelle brauchst
Die meisten Smartphones der letzten zwei bis drei Jahre können lokale KI-Modelle ausführen. Die wichtigsten Daten sind RAM, Chipsatz und Speicher.
| Handyklasse | Typischer RAM | Empfohlene maximale Modellgröße (4 Bit) |
|---|---|---|
| Günstig / älter (2020–2022) | 4 GB | 0,5B–1B |
| Mittelklasse (2023–2024) | 6 GB | 1B–3B |
| Oberklasse (2024–2025) | 8 GB | 3B–4B |
| Flaggschiff (2025–2026) | 12–16 GB | 7B–8B |
Chipsätze, die gut mit KI auf dem Gerät zurechtkommen:
- Apple: A16, A17 Pro, A18, A18 Pro – alle haben Neural Engines mit 16+ Kernen. iPhone 15 Pro und neuer sind hervorragend für lokale KI.
- Qualcomm: Snapdragon 8 Gen 2, 8 Gen 3, 8 Elite – mit der für LLMs optimierten Hexagon-NPU.
- MediaTek: Dimensity 9300 und 9400 haben die APU 790 mit eigener LLM-Beschleunigung.
- Google: Tensor G3 / G4 – leistungsfähig, aber bei der LLM-Inferenz nicht so schnell wie die Flaggschiffe von Apple oder Qualcomm.
Speicher: Modelldateien sind zwischen 400 MB (kleines 1B-Modell, 4 Bit) und 5 GB (7B-Modell, 4 Bit) groß. Sorg vor dem Download für genug Platz.
Speicher vs. RAM – warum beides zählt (und es nicht dasselbe ist)
Viele verwechseln die beiden, aber für KI auf dem Gerät erfüllen sie ganz unterschiedliche Aufgaben:
- Speicher (interner Speicher / Flash) ist der Ort, an dem die Modelldatei liegt, wenn sie nicht benutzt wird. Stell es dir als Regal vor. Ein 3B-Q4-Modell belegt dauerhaft etwa 2 GB Speicher, auch wenn du gerade nicht damit chattest. Wenn dein Handy voll ist, kannst du das Modell schlicht nicht herunterladen.
- RAM (Arbeitsspeicher) ist der Ort, an dem das Modell tatsächlich läuft. Wenn du die App öffnest und eine Unterhaltung startest, wird das Modell aus dem Speicher in den RAM geladen, damit der Prozessor seine Gewichte schnell genug lesen kann, um Tokens zu erzeugen. Stell dir den RAM als deinen Schreibtisch vor – dort liegt nur, was du gerade aktiv benutzt.
Die praktische Regel: Der Speicher entscheidet, ob du das Modell behalten kannst; der RAM entscheidet, ob du es ausführen kannst. Ein Handy mit 256 GB Speicher, aber nur 4 GB RAM kann ein 7B-Modell speichern, wird es aber nur mit Mühe (oder gar nicht) ausführen. Ein Handy mit 12 GB RAM, aber nur 64 GB Speicher kann große Modelle schnell ausführen, hat aber eventuell keinen Platz, mehrere davon gleichzeitig herunterzuladen.
Für KI auf dem Gerät brauchst du genug von beidem: Speicher für den Download und RAM, der mindestens so groß ist wie das geladene Modell plus Reserve für das Betriebssystem.
Gib RAM frei, bevor du lokale KI ausführst
Weil das gesamte Modell während der Ausführung im RAM liegen muss, bremst alles, was ebenfalls Speicher beansprucht, die Inferenz direkt aus – oder bringt das Betriebssystem dazu, das Modell mitten in der Antwort zu entladen. Bevor du eine längere lokale KI-Sitzung startest:
- Schließe Apps im Hintergrund, die du gerade nicht nutzt – besonders Browser, Spiele, Video-Apps, Karten und die Kamera.
- Führe das Modell nicht aus, während ein großer Download, ein Cloud-Backup oder eine Fotosynchronisierung läuft.
- Unter iOS wischst du die Apps im App-Umschalter weg. Unter Android tippst du in der Übersicht der zuletzt verwendeten Apps auf „Alle schließen“.
- Starte das Handy neu, wenn es seit Tagen läuft – das ist der schnellste Weg, verlorenen Speicher zurückzugewinnen.
Den Unterschied merkst du meist sofort: Die Zeit bis zum ersten Token sinkt, Tokens erscheinen schneller, und Antworten bleiben viel seltener hängen. Auf einem Mittelklasse-Handy kann schon 1–2 GB freier RAM den Unterschied ausmachen, ob sich ein 3B-Modell träge oder blitzschnell anfühlt.
Quantisierung verstehen (4 Bit, 8 Bit) und warum sie wichtig ist
Ein unbearbeitetes KI-Modell speichert jeden Parameter als 16- oder 32-Bit-Zahl. Ein Modell mit 3B Parametern in voller Genauigkeit ist etwa 6 GB groß – zu groß für die meisten Handys.
Quantisierung verringert die Genauigkeit dieser Zahlen. Die häufigsten Optionen:
| Genauigkeit | Größenfaktor | Qualität | Geschwindigkeit | Am besten für |
|---|---|---|---|---|
| FP16 (16 Bit) | 1x | Am höchsten | Langsam auf Mobilgeräten | Nur Server |
| Q8 (8 Bit) | ~0,5x | Nahezu identisch mit FP16 | Mittel | Oberklasse-Handys |
| Q4 (4 Bit) | ~0,25x | Geringer Verlust, kaum spürbar | Schnell | Empfohlen für die meisten Handys |
| Q3 / Q2 | ~0,2x oder weniger | Spürbarer Qualitätsverlust | Am schnellsten | Sehr alte Geräte / wenig RAM |
Der ideale Wert für Mobilgeräte ist Q4 – genauer gesagt Q4_K_M im GGUF-Format, das die meisten Apps für KI auf dem Gerät (auch aiME) verwenden. Du bekommst ungefähr dieselbe Antwortqualität wie beim vollständigen Modell, bei etwa einem Viertel des Speichers und viel schnellerer Inferenz.
Die besten KI-Modelle für das Gerät im Jahr 2026
Diese Modelle führen derzeit bei KI auf dem Gerät für Handys. Alle sind Open-Weight und in quantisierten Formaten verfügbar.
Llama 3.2 (1B und 3B)
Metas Llama 3.2 ist eigens für Edge-Geräte gebaut. Das 1B-Modell ist für seine Größe erstaunlich leistungsfähig, und das 3B-Modell kann mit deutlich größeren Modellen von vor einem Jahr mithalten. Hervorragende Mehrsprachigkeit und gutes Befolgen von Anweisungen.
- Am besten für: Allgemeine Chats, Hilfe beim Schreiben, Zusammenfassungen
- Speicher (Q4): ~700 MB (1B) / ~2 GB (3B)
- Läuft auf: Mittelklasse-Handys und besser
Gemma 2 / Gemma 3 (2B)
Googles Gemma-Familie ist auf Effizienz optimiert. Gemma 2 2B schlägt sich bei Reasoning-Benchmarks besser, als seine Größe vermuten lässt, und läuft flüssig auf bescheidener Hardware.
- Am besten für: Denkaufgaben, knappe Antworten, Nutzung mit geringer Latenz
- Speicher (Q4): ~1,5 GB
- Läuft auf: Mittelklasse-Handys und besser
Phi-3.5 Mini (3.8B)
Microsofts Phi-Reihe ist dafür bekannt, klein, aber scharfsinnig zu sein. Phi-3.5 Mini ist für seine Größe besonders gut bei strukturierten Ausgaben, Code und Mathematik.
- Am besten für: Hilfe beim Programmieren, Mathematik, strukturierte Aufgaben
- Speicher (Q4): ~2,3 GB
- Läuft auf: Oberklasse-Handys
Qwen 2.5 (0.5B / 1.5B / 3B)
Alibabas Qwen-2.5-Familie bietet einige der besten mehrsprachigen Leistungen auf dem Gerät. Die 0.5B-Variante ist ideal für Geräte mit sehr wenig Ressourcen, und die 3B-Variante kann mit Llama 3.2 3B mithalten.
- Am besten für: Mehrsprachige Nutzung, flexible Größen
- Speicher (Q4): ~400 MB (0.5B) / ~1 GB (1.5B) / ~2 GB (3B)
- Läuft auf: Jedem modernen Handy (0.5B); Mittelklasse und besser (3B)
SmolLM2 (135M / 360M / 1.7B)
SmolLM2 von HuggingFace ist speziell für Edge-Geräte gebaut. Das 1.7B-Modell ist für seinen winzigen Platzbedarf bemerkenswert leistungsfähig.
- Am besten für: Ältere Handys, sehr schnelle Antworten
- Speicher (Q4): ~100 MB (135M) / ~1 GB (1.7B)
- Läuft auf: Fast jedem Handy, auch auf älteren Geräten
So wählst du ein Modell für dein Handy
Passe das Modell an deine Hardware an. Hier eine einfache Entscheidungshilfe:
Wenn dein Handy 4 GB RAM oder weniger hat:
- Nutze Qwen 2.5 0.5B oder SmolLM2 1.7B (Q4)
- Rechne mit einfachen, aber brauchbaren Antworten
Wenn dein Handy 6 GB RAM hat:
- Nutze Llama 3.2 1B oder Gemma 2 2B (Q4)
- Gute Balance aus Geschwindigkeit und Qualität für den Alltag
Wenn dein Handy 8 GB RAM hat:
- Nutze Llama 3.2 3B oder Qwen 2.5 3B (Q4)
- Das ist für die meisten Nutzer die beste Stufe – hohe Qualität, schnell, bequeme Speicherreserve
Wenn dein Handy 12 GB oder mehr hat:
- Du kannst 7B-Modelle wie Mistral 7B oder Llama 3.1 8B (Q4) ausführen
- Die beste Antwortqualität, die auf dem Gerät möglich ist, wenn auch langsamer als 3B-Modelle
Wenn du speziell Hilfe beim Programmieren brauchst:
- Phi-3.5 Mini oder Qwen 2.5 Coder (3B, Q4)
Das beste Modell für Antworten in Echtzeit
„Echtzeit“ bedeutet auf einem Handy, dass das erste Token nach etwa 200 Millisekunden erscheint und die Antwort flüssig fließt. Kleinere Modelle sind schneller.
Empfohlen für Echtzeit: Llama 3.2 1B (Q4) oder Gemma 2 2B (Q4). Auf einem Flaggschiff-Chip wie dem Snapdragon 8 Gen 3 oder A17 Pro können diese Modelle Antworten mit 20–40 Tokens pro Sekunde ausgeben. Auf Mittelklasse- oder älteren Handys ist mit niedrigeren Geschwindigkeiten zu rechnen – die tatsächliche Leistung hängt ganz von der Hardware deines Geräts und dem verfügbaren RAM ab.
Wer die schnellstmögliche Antwort will und dafür etwas Qualität opfert, kommt an SmolLM2 1.7B (Q4) kaum vorbei.
Das beste Modell für den Datenschutz
Datenschutz ist keine Eigenschaft des Modells selbst – sondern davon, wo das Modell läuft. Jedes dieser Modelle wird zur „privaten KI“, sobald es ohne Netzwerkverbindung auf dem Gerät läuft.
Die eigentliche Datenschutzfrage betrifft die App, nicht das Modell. Wähle eine App, die:
- das Modell komplett auf deinem Gerät ausführt
- keine Prompts oder Antworten an einen Server sendet
- für die Grundfunktionen kein Konto verlangt
aiME erfüllt alle drei Kriterien. Sobald du in aiME ein Modell heruntergeladen hast, wird jeder Prompt lokal verarbeitet. Nichts wird übertragen. Eine ausführlichere Erklärung findest du in Warum KI auf dem Gerät die Zukunft des Datenschutzes ist.
Unsere Empfehlung für die Offline-Nutzung
Wenn du eine klare Antwort willst: Llama 3.2 3B mit Q4-Quantisierung ist 2026 das beste Allround-Modell für das Gerät. Es läuft gut auf jedem Handy mit 6 GB RAM oder mehr und bewältigt allgemeine Chats, Schreiben, Zusammenfassungen und einfaches logisches Denken. Die Antwortgeschwindigkeit hängt von deinem Gerät ab – auf Flaggschiff-Handys läuft es flüssig, auf Mittelklasse-Geräten dauert es eventuell einen Moment länger.
Wenn dein Handy älter ist oder weniger RAM hat, wechsle zu Llama 3.2 1B oder Gemma 2 2B, ohne allzu viel zu verlieren. Wenn du ein Flaggschiff hast und maximale Qualität willst, steig auf Mistral 7B oder Llama 3.1 8B um.
Speziell für die Offline-Nutzung – Flüge, Reisen, Funklöcher, datenschutzsensible Arbeit – trifft die 3B-Stufe die richtige Balance. Du bekommst wirklich nützliche Antworten, ohne den Akku leer zu saugen oder dein Handy zu überhitzen.
In aiME kannst du mehrere Modelle herunterladen und zwischen ihnen wechseln. Fang mit Llama 3.2 3B an, wenn dein Handy es unterstützt, behalte ein 1B-Modell als leichte Reserve und probiere von dort aus weiter.
Häufig gestellte Fragen
Was ist das beste KI-Modell für die Nutzung auf dem Handy?
Für die meisten modernen Handys mit 6–8 GB RAM sind Llama 3.2 (1B oder 3B), Gemma 2 (2B), Qwen 2.5 (1.5B oder 3B) und Phi-3.5 Mini die besten Modelle für das Gerät. Ein 4-Bit-quantisiertes 3B-Modell bietet die beste Balance aus Antwortqualität, Geschwindigkeit und Speicherbedarf. Mit Apps wie aiME kannst du diese Modelle herunterladen und komplett offline ausführen.
Wie viel RAM braucht ein KI-Modell auf dem Gerät?
Ein 4-Bit-quantisiertes 1B-Modell braucht etwa 700 MB bis 1 GB RAM. Ein 3B-Modell braucht etwa 2–3 GB. Ein 7B-Modell braucht ungefähr 4–5 GB. Dein Handy braucht außerdem Reserven für das Betriebssystem und andere Apps, deshalb wird für 3B-Modelle ein Gerät mit mindestens 6 GB RAM empfohlen und für 7B-Modelle 8 GB oder mehr.
Was ist 4-Bit-Quantisierung, und warum ist sie für mobile KI wichtig?
Quantisierung verringert die Genauigkeit der Gewichte eines Modells, um es kleiner und schneller zu machen. Ein 4-Bit-quantisiertes Modell braucht ungefähr ein Viertel des Speichers der Version mit voller Genauigkeit, bei nur geringem Qualitätsverlust. Genau das macht es möglich, leistungsfähige KI-Modelle direkt auf einem Handy statt auf einem Server auszuführen.
Das beste Modell für dich ist das, das zu deinem Handy passt und zu der Art, wie du KI nutzt. Wenn du die kurze Antwort willst: Wähle ein 3B-Modell in Q4, führe es mit aiME aus, und du hast einen leistungsfähigen, privaten Offline-KI-Assistenten in der Tasche.
Passende Ratgeber: