传统FFN：

hidden -> Linear(4h) -> GELU -> Linear(h)

MobileLLM优化的FFN：

hidden -> Linear(2.67h) -> SiLU -> Linear(h) (SwiGLU变体)

### 2.3 注意力机制轻量化

- **共享键值投影（GQA/MQA）**：使用分组查询注意力或Multi-Query Attention，大幅降低KV缓存的内存占用，这对长文本生成时的设备内存尤为重要。
- **滑动窗口与局部注意力**：结合部分层的局部窗口注意力，让模型专注于附近上下文，减少全局注意力的计算开销。MobileLLM通常在底层使用局部注意力，顶层仍保留全局注意力，保障语义连接。

### 2.4 层配置的非均匀化

并非所有Transformer层贡献相等。MobileLLM允许：
- **不同层使用不同的注意力头数或FFN膨胀系数**，将更多容量分配给关键层。
- **跳层连接（LayerDrop）**在训练时随机丢弃层，推理时可选择性跳过部分层实现动态计算，节省能耗。

### 2.5 嵌入与输出层的参数共享

对极小模型（≤350M），嵌入矩阵与输出分类头共享权重，节省可观的参数量。这一技巧在参数极度稀缺时，能有效避免因嵌入矩阵过大而挤占Transformer层的容量。

---

## 3. 预训练与对齐策略

### 3.1 数据配比
MobileLLM特别重视数据质量胜过数据量。其预训练语料经过精心筛选：
- 高比例教科书、百科类知识文本，确保紧凑的信息密度。
- 代码与数学数据，增强逻辑推理。
- 多轮对话示例，提前注入对话能力。
- 严格去重与过滤，提升数据“信息/Token”比率。

通常训练数据量在1T Token左右，采用多阶段训练：先在通用语料上训练，后期用精选的高质量小数据集进行继续训练（cont. pre-training），进一步拔高性能。

### 3.2 训练优化方法
- **知识蒸馏**：以更大的教师模型（如7B模型）的logits作为软标签，指导MobileLLM学习概率分布。
- **渐进式学习**：先从短序列开始训练，逐步增加上下文长度，降低训练波动，使模型更好地利用长文本。
- **表征对齐**：添加辅助损失，让MobileLLM的中间层表征与教师模型的对齐，传递深层语义知识。

### 3.3 指令微调与偏好对齐
移动端场景需要模型能精确遵循指令，且回复安全无害。MobileLLM的微调流程包括：
- 高质量多样化指令数据集，覆盖知识问答、实用工具、角色扮演等。
- 使用DPO（Direct Preference Optimization）或RLHF进行人类偏好对齐，防止有害输出。
- 量化感知微调（QAT），让模型提前适应低精度带来的影响，减少部署时的性能损失。

---

## 4. 部署与推理优化

为了让MobileLLM真正在手机上跑起来，除了模型本身的轻量，还需一系列工程优化。

### 4.1 量化方案
- **INT4/INT8权重量化**：模型权重静态量化，内存占用降至1/4或1/2。
- **动态激活量化**：中间张量使用INT8或FP16，平衡精度与速度。
- **混合精度推理**：对注意力层等敏感操作保留FP16，其他使用INT8。

实测显示，经过QAT的MobileLLM-350M-INT4在多个基准上仅比浮点模型低不到1%，但内存占用可以低至250MB以下。

### 4.2 推理引擎加速
使用针对移动SoC优化的推理框架，如：
- **MediaPipe** / **TensorFlow Lite**：支持GPU委托、XNNPACK加速。
- **llama.cpp** / **MNN**：高效利用CPU SIMD指令（如ARM NEON）和NPU。
- **qualcomm AI Engine Direct**：针对骁龙芯片的Hexagon处理器优化。

关键算子（如矩阵乘法、注意力计算）被定制为针对移动GPU/NPU的内存访问模式，大幅提升吞吐量。

### 4.3 内存优化
- **键值缓存（KV Cache）量化**：缓存也采用INT8存储，进一步降低长对话时的内存增长。
- **提前停止与投机解码**：使用小语言模型做草稿生成，MobileLLM验证，加速解码。
- **共享参数层**：以深度可分离卷积的思路优化FFN，减少参数副本。

### 4.4 首Token与解码速度参考
在典型的中端手机（如骁龙8 Gen2）上，MobileLLM-350M参数模型：
- 首Token延迟：约80ms
- 解码速度：30～50 tokens/秒
- 内存占用：~300MB（INT4量化）
满足聊天、摘要等准实时场景。

---

## 5. 性能表现与对比

在 0-shot 常识推理、BoolQ、PIQA、HellaSwag、ARC-e 等基准上，MobileLLM-125M/350M/600M 分别超越了相似参数规模的 OPT、Pythia、Gemma-Nano 等模型，展现出卓越的参数效率。

| 模型                  | 参数量 | ARC-e | HellaSwag | PIQA  | 内存占用(INT4) |
|-----------------------|--------|-------|-----------|-------|----------------|
| MobileLLM-125M        | 125M   | 57.2% | 40.1%     | 66.5% | 120 MB         |
| MobileLLM-350M        | 350M   | 67.8% | 55.3%     | 71.2% | 280 MB         |
| OPT-350M              | 331M   | 47.6% | 37.1%     | 63.7% | 310 MB         |
| Pythia-410M           | 405M   | 51.4% | 41.3%     | 66.0% | 370 MB         |

即使在600M级别，MobileLLM也展现出与部分1B+模型相当的能力，证明了架构设计的有效性。

---

## 6. 快速上手：在你的应用中集成MobileLLM

### 步骤1：获取模型
通常从官方发布仓库下载预训练的MobileLLM文件（例如`.gguf`格式或MLX格式）。以llama.cpp为例：

```bash
# 下载模型文件（示例）
wget https://huggingface.co/your-org/MobileLLM-350M-GGUF/resolve/main/mobilellm-350m-q4_K_M.gguf

步骤2：选择推理引擎

对于Android，推荐llama.cpp的Android封装或MNN-LLM；iOS可使用llama.cpp Metal加速或Core ML转换。

步骤3：编写示例代码（Android + llama.cpp）

// 初始化模型
LLamaModel model = new LLamaModel(context, "mobilellm-350m-q4_K_M.gguf");
// 设置参数
model.setTemperature(0.7);
model.setMaxTokens(512);
// 运行推理
String response = model.generate("请用一句话介绍北京", new ILLamaInferenceCallback() {
    @Override
    public void onToken(String token) {
        runOnUiThread(() -> textView.append(token));
    }
});