HaluEval 幻觉检测
学习 HaluEval 幻觉评估数据集，包含自动生成和人工标注的幻觉样本，用于检测和缓解模型幻觉。
幻觉评估 TruthfulQA
使用 TruthfulQA 基准测试模型回答的真实性，检测模型在面对虚假前提问题时是否产生幻觉。
SEED-Bench
了解 SEED-Bench 的多维度生成式评测，涵盖图像和视频理解，为多模态模型提供精细化能力诊断。
MMBench 评测
学习使用 MMBench 对多模态模型进行评估，其覆盖 20 个能力维度，以选择题形式衡量模型的视觉理解。
医疗大模型 HuatuoGPT
了解 HuatuoGPT 如何利用大量医学文献和对话数据进行训练，在医疗咨询和辅助诊断中表现突出。
WizardMath 数学微调
学习 WizardMath 如何利用进化式指令数据增强，提升开源模型在 GSM8k 和 MATH 等数学基准上的表现。
DeepSeek-Coder
学习 DeepSeek-Coder 系列在代码生成和补全上的能力，特别是仓库级代码理解与填充。
StarCoder 代码生成
了解 StarCoder 与 StarCoder2，学习其基于 Stack 数据集的训练过程以及多语言代码生成与填充功能。
Code Llama 实践
学习使用 Meta 开源的 Code Llama 系列，掌握其代码填充能力、多种规模选择及本地推理部署。
QLoRA 微调完整流程
从零开始实践 QLoRA 微调，涵盖 4-bit 量化加载、LoRA 配置、训练监控，以及训练后权重合并与导出。
多 GPU 微调技巧
学习利用 DeepSpeed ZeRO 和 PyTorch FSDP 将微调扩展到多卡，处理显存与通信瓶颈，训练更大模型。
Firefly 微调框架
学习 Firefly 框架，支持 QLoRA 和全量微调，专注于中文大模型的增量预训练与指令微调，资源友好。
LLaMA-Factory 微调框架
掌握 LLaMA-Factory 的使用，通过 Web 界面或命令行对上百种模型进行 LoRA、QLoRA 等微调，降低门槛。
使用 Axolotl 微调
使用 Axolotl 框架通过 YAML 配置文件轻松微调 Llama、Mistral 等模型，支持 QLoRA、全参数等多种模式。
Gemini 多模态模型
学习谷歌 Gemini 系列，理解其原生多模态设计，无缝处理文本、图像、音频和视频，与长达百万 Token 的上下文窗口。
Claude 模型使用
学习 Anthropic 的 Claude 模型，掌握其 API 使用、超长上下文能力和宪法 AI 训练带来的独特安全特性。
通义千问 Qwen-VL
深入 Qwen-VL 架构，学习其如何将视觉编码与大语言模型结合，实现图像描述、问答和视觉定位等多模态能力。
Baichuan 大模型
学习百川智能开源的 Baichuan 系列模型，了解其在中文 NLP 任务上的表现、模型架构及微调应用。
DeepSeek MoE 架构
学习 DeepSeek 提出的混合专家架构，结合细粒度专家和共享专家，在提升模型容量同时控制计算成本。
软混合专家 Soft MoE
学习 Soft MoE 如何将 Token 以连续权重分配给所有专家，并先合并输入再分派，在完全可微分的同时更易训练。
混合专家 MoE 深入
深入 MoE 架构，解析 Top-K 路由、专家负载均衡损失和容量因子的设计，实现参数总量巨大但计算量恒定的大模型。
ALiBi 线性偏置
学习 ALiBi 如何直接在注意力分数上加一个随距离递减的线性偏置，无需学习复杂位置编码即可实现上下文外推。
FlashDecoding 加速
针对 FlashAttention 在解码阶段利用率低的问题，学习 FlashDecoding 如何并行处理长 KV 序列以加速生成。
分组查询注意力 GQA
在 MHA 和 MQA 之间折中，将 Query 头分组共享 KV，以较少质量损失换取显著推理加速，成为 Llama 2 等模型标配。
多查询注意力 MQA
学习 MQA 让所有 Query 头共享同一套 Key/Value 投影，大幅减少推理时的 KV 缓存，加速自回归生成。
稀疏注意力 Sparse Attn
学习通过稀疏化注意力矩阵，如局部窗口、空洞窗口和全局标记等方式，显著降低计算量并扩展模型上下文长度。
RetNet 保留网络
学习 RetNet 如何将注意力机制替代为多尺度保留机制，实现 Transformer 式的并行训练与 RNN 式的 O(1) 高效推理。