手机端 LLM 部署实例：从 MLCChat 到本地推理

手机端 LLM 部署实例：从 MLCChat 到本地推理

本教程将引导你一步步在 Android 手机上完成大语言模型（LLM）的本地部署，实现完全离线推理。我们将使用 MLCChat 这个基于 Apache TVM Unity 的轻量级聊天应用，它在手机端高效运行量化模型，无需联网，保护隐私，还能做到实时响应。无论你是 LLM 爱好者、移动端开发者，还是对边缘推理感兴趣的用户，都能跟着操作完成安装体验。

为什么选择手机端本地 LLM

• 隐私优先：所有对话数据留在设备上，不会上传云服务器。
• 低延迟：远离网络波动，响应速度仅受本地芯片性能限制。
• 免费使用：无需 API 费用，完全你自己的硬件运行。
• 离线可用：飞行模式、地铁、山区也能与 AI 对话。

环境与硬件要求

本实例以 Android 设备为主，推荐配置：

• 系统：Android 8.0 及以上
• 内存：至少 6GB RAM（4GB 机型可通过 swap 勉强运行，但体验欠佳）
• 存储空间：预留 2‑4GB 空间存放模型
• GPU：Adreno 系列（骁龙处理器）或 Mali（部分联发科/麒麟）均可利用 OpenCL 加速；无 GPU 也可纯 CPU 推理

注：本教程也适用于部分通过 WSA (Windows Subsystem for Android) 的 PC 环境，但性能优化针对 ARM 移动平台。

认识 MLCChat

MLCChat 是 MLC‑LLM 项目推出的演示应用，它将 TVM 编译的模型部署到手机。它支持多种开源模型，如 Llama‑2、Mistral、RedPajama 等，并以统一的大模型运行时驱动，目前有 APK 安装包可直接使用，也可以从源码构建。

核心组件

• 模型库（Model lib）：针对特定芯片优化的机器学习编译产物。
• 量化权重： 4‑bit 或更低精度的模型参数，大幅减小体积和内存占用。
• 推理引擎：集成 TVM Unity，支持 Vulkan、OpenCL 后端，兼顾兼容性与性能。

第一步：下载并安装 MLCChat APK

1. 下载 APK 请从 MLC‑LLM 的 GitHub Releases 页面 找到最新的 MLCChat-{version}.apk。

   为确保安全，建议核对文件校验码。通常提供 SHA256 值，可在下载后验证。

2. 安装应用 将 APK 传输到手机并点击安装。首次安装时系统可能要求允许“安装未知应用”，请在设置中临时开启该权限。

3. 首次启动 打开 MLCChat，你会看到一个模型列表，提示需要下载模型。此时需要手动导入模型文件，因为默认的模型中心可能因网络问题无法自动下载。

第二步：获取量化模型权重与模型库

模型需要两部分：.so 格式的模型动态库和量化参数文件（如 params_shard_*.bin）。

2.1 从官方模型库下载

官方提供了预编译好的模型组合，推荐方案：

• 访问 MLC 预构建模型页面，按设备 GPU 选择分支（如 model-Llama-2-7b-chat-hf-q4f16_1）。
• 对多数骁龙设备，选用 Vulkan 编译的模型库；对较旧的 Mali GPU，可尝试 OpenCL 编译版本。

2.2 手动下载示例（以 Llama‑2‑7B‑Chat‑INT4 为例）

1. 下载模型权重 mlc-chat-Llama-2-7b-chat-hf-q4f16_1 的压缩包，解压后得到：

   params_shard_0.bin
   params_shard_1.bin
   ...
   tokenizer.model
   mlc-chat-config.json
   

2. 下载对应的模型库 libmlc_llm.so，命名通常为 libmlc_llm_model.so。

2.3 精简选择：使用 RedPajama‑3B 或 TinyLlama‑1.1B

若手机配置有限，可选择更小的模型。例如 TinyLlama‑1.1B‑Chat‑INT4 量化包，占用约 600MB 存储，运行时内存约 1.8GB，对 4GB RAM 设备也较为友好。

第三步：导入模型到 MLCChat

1. 创建模型目录 在手机内部存储根目录下创建 MLCChat 文件夹，再在此文件中以模型名新建子目录，例如：

   /storage/emulated/0/MLCChat/Llama-2-7b-chat-hf-q4f16_1/
   

2. 放置文件 将解压后的全部文件与 libmlc_llm.so 复制到上述目录。确保目录结构包含：

   Llama-2-7b-chat-hf-q4f16_1/
   ├── libmlc_llm.so
   ├── params_shard_0.bin
   ├── params_shard_1.bin
   ├── tokenizer.model
   └── mlc-chat-config.json
   

3. 触发加载 启动 MLCChat，它会自动扫描 MLCChat 目录下的模型。如果识别成功，列表中将出现对应的模型名称，点击即可加载。

权限提示：部分安卓 11+ 系统对 内部存储/MLCChat 的访问可能受限，建议通过系统文件管理器或连接电脑传输。确保应用拥有“读写外部存储”权限。

第四步：运行本地推理

1. 模型加载 点击模型卡片，应用会加载 so 和权重，耗时数秒至一分钟（视模型大小和存储速度而定）。加载时可见进度指示。

2. 开始对话 加载完成后进入聊天界面。在输入框键入问题，点击发送。首次推理会有延迟（数秒），随后 token 逐个生成，就如主流聊天应用。

3. 性能参考（实录数据）

   • 设备：骁龙 8 Gen 1，12GB RAM，Llama‑2‑7B‑INT4
   • 生成速度：约 7‑12 tokens/秒
   • 内存占用：约 4.8GB

   较小模型如 TinyLlama‑1.1B 在相同设备上可达 30+ tokens/秒，体验流畅。

4. 设置调整 点击右下角设置按钮可调节：

   • 温度（Temperature）：控制随机性，默认 0.7。
   • 最大生成长度：防止内存溢出。
   • 重复惩罚：减少循环输出。
   • 系统提示词：自定义角色设定。

第五步：故障排除

第六步：进阶玩法

6.1 定制自己的模型

你可以用 MLC‑LLM 的 Python 工具编译任何 HuggingFace 模型。

1. 安装 mlc-llm：

   pip install mlc-llm
   

2. 转换模型（以 Mistral‑7B 为例）：

   mlc_llm convert_weight ./mistral-7b-v0.1-hf/ --quantization q4f16_1 -o mistral-7b-q4/
   

3. 编译模型库：

   mlc_llm compile mistral-7b-q4/mlc-chat-config.json --device android -o mistral_lib.so
   

4. 将生成的 so 和权重一起放入手机对应目录即可。

6.2 量化策略选择

• q4f16_1：4‑bit 分组量化，平衡速度与精度，推荐。
• q4f16_2：较新策略，进一步减少内存带宽需求，适合内存受限设备。
• q3f16_1：3‑bit 量化，内存更省但质量下降明显，建议仅用于小参数模型。

6.3 启用多会话与对话保存

MLCChat 默认支持历史会话保存。长按对话可重命名或删除。聊天记录以明文 JSON 形式存放在应用内部，便于手动导出备份。

性能优化小贴士

• 关闭其他应用：释放更多 RAM 给 LLM。
• 使用散热背夹：持续推理会导致手机发热降频，外部散热可维持高 tok/s。
• 选择合适的量化：4‑bit 量化已质量尚可，不建议追求更低 bit 而损失可用性。
• 固定 CPU 大核：部分内核管理工具可将 TVM 线程绑定到大核，提升稳定性（需要 root）。

常见模型推荐与适用场景

隐私与安全说明

• 所有推理完全在本地 CPU/GPU 运行，无任何网络请求。
• 应用不收集任何个人数据，可离线使用。
• 如从不明来源下载模型权重，请核对文件哈希值，防止恶意篡改。

总结

通过 MLCChat，你现在可以在 Android 手机上轻松运行量化大模型，享受本地推理带来的自由与隐私保护。从下载 APK、导入模型到最终聊天，整个流程无需编译代码，对初学者十分友好。当掌握基本用法后，还可以尝试编译个人专属模型，进一步探索移动端 LLM 的无限可能。

赶快拿起你的手机，部署第一个本地 AI 助手吧！