如果你想要一个无需联网就能在手机上运行的 AI 助手，你选择的模型比其他任何因素都重要。选对了模型，你会得到快速、私密、高质量的回复。选错了，你得到的要么是慢得像蜗牛的速度，要么是质量不够、派不上用场的回答。
本指南将介绍“端侧 AI”实际上需要什么、2026 年哪些模型表现最好，以及如何根据手机的硬件来挑选。
“端侧 AI”实际上需要什么
在手机上运行 AI，和在数据中心里运行不是一回事。有三样东西必须相互匹配：
- 模型大小——较小的模型加载更快、占用内存更少，但回答可能更简短、不够细腻。
- 手机内存——模型必须和操作系统以及其他 App 一起装进内存。
- 神经网络处理器（NPU）或 GPU——新款手机都配备了专为 AI 工作负载设计的芯片。
良好的端侧 AI 体验，来自这三者的匹配。旗舰手机可以轻松运行 70 亿参数的模型。中端手机运行 10 亿–30 亿参数的模型会更顺畅。
手机硬件——运行本地模型需要什么
过去两三年发布的大多数智能手机都能运行本地 AI 模型。关键规格是内存、芯片和存储空间。
| 手机档次 | 典型内存 | 推荐的最大模型大小（4 位） |
|---|---|---|
| 入门 / 较旧（2020–2022 年） | 4 GB | 0.5B–1B |
| 中端（2023–2024 年） | 6 GB | 1B–3B |
| 高端（2024–2025 年） | 8 GB | 3B–4B |
| 旗舰（2025–2026 年） | 12–16 GB | 7B–8B |
能很好地处理端侧 AI 的芯片：
- Apple：A16、A17 Pro、A18、A18 Pro——都配备了 16 核以上的神经网络引擎。iPhone 15 Pro 及更新机型非常适合运行本地 AI。
- 高通：骁龙 8 Gen 2、8 Gen 3、8 至尊版——配备了针对大语言模型优化的 Hexagon NPU。
- 联发科：天玑 9300 和 9400 配备了 APU 790，带有专门的大语言模型加速功能。
- Google：Tensor G3 / G4——能力不错，但在大语言模型推理方面不如 Apple 或高通的旗舰芯片快。
存储空间：模型文件在 400 MB（4 位小型 1B 模型）到 5 GB（4 位 7B 模型）之间。下载前请确保有足够的空间。
存储空间与内存——为什么两者都重要（而且它们不是一回事）
人们常常把这两者混为一谈，但对于端侧 AI 来说，它们承担的工作截然不同：
- 存储空间（内部存储 / 闪存）是模型文件在不使用时存放的地方。可以把它想象成书架。一个 3B Q4 模型会永久占用大约 2 GB 的存储空间，即使你没有在和它聊天也是如此。如果你的手机满了，你就根本无法下载这个模型。
- 内存（RAM）是模型实际运行的地方。当你打开 App 开始对话时，模型会从存储空间加载到内存中，这样处理器才能足够快地读取它的权重来生成 token。可以把内存想象成你的书桌——只有你正在使用的东西才会放在上面。
实用的规则是：存储空间决定你能不能保存这个模型；内存决定你能不能运行它。一部有 256 GB 存储空间但只有 4 GB 内存的手机，可以存放一个 7B 模型，但运行起来会很吃力（甚至失败）。一部有 12 GB 内存但只有 64 GB 存储空间的手机，可以快速运行大模型，但可能没有空间同时保存好几个下载好的模型。
对于端侧 AI，两者都需要足够：存储空间用于下载，内存至少要等于模型加载后的大小，再加上留给操作系统的余量。
运行本地 AI 之前先释放内存
由于整个模型在运行时必须驻留在内存中，任何其他争夺内存的东西都会直接拖慢推理速度——或者导致操作系统在回复中途卸载模型。在开始长时间的本地 AI 会话之前：
- 关闭你没有在使用的后台 App——尤其是浏览器、游戏、视频 App、地图和相机。
- 避免在进行大型下载、云备份或照片同步时运行模型。
- 在 iOS 上，从 App 切换器中向上轻扫关闭 App。在 Android 上，在最近任务界面中点击“全部清除”。
- 如果手机已经连续开了好几天，重启一下——这是回收泄漏内存最快的方法。
你通常会立刻感受到区别：首个 token 的延迟降低，token 输出得更快，回复也更不容易卡住。在中端手机上，哪怕只释放 1–2 GB 内存，也可能让一个 3B 模型从感觉迟缓变成感觉即时。
了解量化（4 位、8 位）及其重要性
原始的 AI 模型用 16 位或 32 位数字存储每一个参数。一个全精度的 30 亿参数模型大约有 6 GB——对大多数手机来说太大了。
量化会降低这些数字的精度。最常见的选项有：
| 精度 | 大小倍数 | 质量 | 速度 | 最适合 |
|---|---|---|---|---|
| FP16（16 位） | 1 倍 | 最高 | 在移动设备上很慢 | 仅限服务器 |
| Q8（8 位） | 约 0.5 倍 | 与 FP16 几乎相同 | 中等 | 高端手机 |
| Q4（4 位） | 约 0.25 倍 | 略有下降，几乎察觉不到 | 快 | 推荐大多数手机使用 |
| Q3 / Q2 | 约 0.2 倍或更小 | 质量明显下降 | 最快 | 非常旧或内存很小的设备 |
移动设备的最佳选择是 Q4——具体来说是 GGUF 格式的 Q4_K_M，大多数端侧 AI App（包括 aiME）都使用这种格式。你能获得与完整模型大致相同的回答质量，而内存只占大约四分之一，推理速度也快得多。
2026 年最佳端侧 AI 模型
这些是目前在手机端侧 AI 领域领先的模型。它们都是开放权重的，并且都提供量化格式。
Llama 3.2（1B 和 3B）
Meta 的 Llama 3.2 是专为边缘设备打造的。1B 模型的能力在同等大小中出人意料地强，而 3B 模型可以与一年前大得多的模型相媲美。多语言支持出色，遵循指令的能力也很强。
- 最适合：通用聊天、写作帮助、总结
- 内存（Q4）：约 700 MB（1B）/ 约 2 GB（3B）
- 适用于：中端及以上手机
Gemma 2 / Gemma 3（2B）
Google 的 Gemma 系列针对效率进行了优化。Gemma 2 2B 在推理基准测试中的表现超出其体量，在配置一般的硬件上也能流畅运行。
- 最适合：推理任务、简洁的回答、低延迟使用
- 内存（Q4）：约 1.5 GB
- 适用于：中端及以上手机
Phi-3.5 Mini（3.8B）
微软的 Phi 系列以小而精著称。就其大小而言，Phi-3.5 Mini 在结构化输出、代码和数学方面尤其出色。
- 最适合：编程帮助、数学、结构化任务
- 内存（Q4）：约 2.3 GB
- 适用于：高端手机
Qwen 2.5（0.5B / 1.5B / 3B）
阿里巴巴的 Qwen 2.5 系列（通义千问）提供了端侧最出色的多语言表现之一。0.5B 版本非常适合资源极其有限的设备，3B 版本则可以与 Llama 3.2 3B 一较高下。
- 最适合：多语言使用、灵活的大小选择
- 内存（Q4）：约 400 MB（0.5B）/ 约 1 GB（1.5B）/ 约 2 GB（3B）
- 适用于：任何新款手机（0.5B）；中端及以上（3B）
SmolLM2（135M / 360M / 1.7B）
HuggingFace 的 SmolLM2 是专为边缘设备打造的。就其极小的体积而言，1.7B 模型的能力相当惊人。
- 最适合：较旧的手机、非常快的回复
- 内存（Q4）：约 100 MB（135M）/ 约 1 GB（1.7B）
- 适用于：几乎所有手机，包括较旧的设备
如何为你的手机选择模型
让模型与你的硬件相匹配。下面是一份简单的决策指南：
如果你的手机内存为 4 GB 或更少：
- 使用 Qwen 2.5 0.5B 或 SmolLM2 1.7B（Q4）
- 可以期待基础但可用的聊天回复
如果你的手机内存为 6 GB：
- 使用 Llama 3.2 1B 或 Gemma 2 2B（Q4）
- 日常使用时速度与质量的良好平衡
如果你的手机内存为 8 GB：
- 使用 Llama 3.2 3B 或 Qwen 2.5 3B（Q4）
- 这是最适合大多数用户的档次——质量高、速度快，内存余量也很充裕
如果你的手机内存为 12 GB 或更多：
- 你可以运行 Mistral 7B 或 Llama 3.1 8B（Q4）等 7B 模型
- 端侧能获得的最佳回复质量，不过速度比 3B 模型慢
如果你专门需要编程帮助：
- Phi-3.5 Mini 或 Qwen 2.5 Coder（3B，Q4）
实时回复的最佳模型
在手机上，“实时”意味着首个 token 在大约 200 毫秒内出现，并且回复流畅地输出。模型越小，速度越快。
推荐用于实时回复：Llama 3.2 1B（Q4）或 Gemma 2 2B（Q4）。在骁龙 8 Gen 3 或 A17 Pro 这样的旗舰芯片上，这些模型可以每秒输出 20–40 个 token。在中端或较旧的手机上，速度会慢一些——实际性能完全取决于你设备的硬件和可用内存。
如果愿意牺牲一些质量来换取尽可能快的回复，SmolLM2 1.7B（Q4）很难被超越。
隐私方面的最佳模型
隐私不是模型本身的属性——而是模型在哪里运行的属性。任何一个模型，只要在设备上运行、不连接网络，就会立刻成为“私密 AI”。
真正的隐私问题在于 App，而不是模型。选择一款这样的 App：
- 完全在你的设备上运行模型
- 不把提示词或回复发送到服务器
- 核心功能不需要账户
aiME 满足全部三个条件。在 aiME 中下载模型后，每一条提示词都在本地处理，不会传输任何内容。更深入的解释请查看为什么端侧 AI 是隐私的未来。
我们对离线使用的建议
如果你想要一个明确的答案：Q4 量化的 Llama 3.2 3B 是 2026 年综合表现最好的端侧模型。它在任何 6 GB 或以上内存的手机上都能运行良好，可以处理通用聊天、写作、总结和基础推理。回复速度取决于你的设备——旗舰手机用起来会很流畅，中端设备则可能稍慢一点。
如果你的手机较旧或内存较小，可以降级到 Llama 3.2 1B 或 Gemma 2 2B，不会损失太多。如果你用的是旗舰手机，想要最高的质量，可以升级到 Mistral 7B 或 Llama 3.1 8B。
专门针对离线使用——航班上、旅途中、信号盲区、注重隐私的工作——3B 档次正好取得了恰当的平衡。你能获得真正有用的回复，又不会耗尽电量或让手机过热。
在 aiME 中，你可以下载多个模型并在它们之间切换。如果你的手机支持，就从 Llama 3.2 3B 开始，再保留一个 1B 模型作为轻量级的备选，然后在此基础上尝试。
常见问题
手机端侧使用的最佳 AI 模型是哪个？
对于大多数内存为 6–8 GB 的新款手机来说，最佳端侧模型是 Llama 3.2（1B 或 3B）、Gemma 2（2B）、Qwen 2.5（1.5B 或 3B）和 Phi-3.5 Mini。一个 4 位量化的 3B 模型，能在回复质量、速度和内存占用之间取得最佳平衡。aiME 这样的 App 让你可以下载这些模型并完全离线运行。
端侧 AI 模型需要多少内存？
一个 4 位量化的 1B 模型大约需要 700 MB 到 1 GB 内存。一个 3B 模型大约需要 2–3 GB。一个 7B 模型大约需要 4–5 GB。你的手机还需要为操作系统和其他 App 留出余量，所以运行 3B 模型推荐至少 6 GB 内存的设备，运行 7B 模型则推荐 8 GB 或以上。
什么是 4 位量化？它为什么对移动 AI 很重要？
量化会降低模型权重的精度，让模型更小、更快。一个 4 位量化的模型，占用的内存大约只有全精度版本的四分之一，而质量只会略有下降。正是这一点，让能力强大的 AI 模型可以直接在手机上而不是服务器上运行。
最适合你的模型，就是适合你的手机、符合你使用 AI 方式的那一个。如果你想要简短的答案：选一个 Q4 的 3B 模型，用 aiME 运行它，你的口袋里就会有一个能干、私密的离线 AI 助手。
相关指南：