DeepSeek满血微调秘籍开源！站在巨人肩膀打造私有模型，一手教程在此

今天小编分享的科学经验：DeepSeek满血微调秘籍开源！站在巨人肩膀打造私有模型，一手教程在此，欢迎阅读。

DeepSeek 爆火甚至引发 API 低价内卷……

但是别忘了开源模型的最大好处是提供了" 巨人的肩膀 "啊！

微调 DeepSeek-V3/R1，低成本打造高质量私有模型、提高业务竞争力，或许才是当下行业内更迫切的需求。

就在刚刚，已收获近4 万 GitHub StarColossal-AI 发布开源大模型后训练工具箱，它包含：

DeepSeek-V3/R1 满血 671B LoRA 低成本 SFT 微调；

完整的强化学习工具链 PPO、GRPO、DPO、SimPO 等；

无缝适配DeepSeek 系列蒸馏模型在内的 HuggingFace 开源模型；

兼容支持英伟达 GPU、华为昇腾 NPU等多种硬體；

支持混合精度训练，gradient checkpoint 等训练加速降低成本；

灵活的训练配置接口，支持自定义奖励函数、损失函数等；

提供灵活的并行策略配置接口，包括数据并行、模型并行、专家并行、ZeRO 和 Offload 等，以适应不同硬體规模。

开源地址：https://github.com/hpcaitech/ColossalAI

低成本监督微调满血版 DeepSeek-V3/R1-671B

6710 亿参数规模的 DeepSeek-V3/R1 低成本微调，仅需以下几步，即可快速完成。

数据集准备

该脚本接收 JSONL 格式的檔案作为输入数据集，例如：

https://github.com/hpcaitech/ColossalAI/blob/main/applications/ColossalChat/examples/training_scripts/lora_sft_data.jsonl。

数据集的每一行应为一个聊天对话列表。例如：

[ {"role": "user", "content": " 你好，最近怎么样？"}, {"role": "assistant", "content": " 我很好。今天有什么可以帮你的吗？"} ] [ {"role": "user", "content": " 火烧赤壁曹操为何不拨打 119 求救？"}, {"role": "assistant", "content": " 因为在三国时期，还没有电话和现代的消防系统，所以曹操无法拨打 119 求救。"} ]

该数据格式，兼容 Huggingface chat template，支持自定义 system prompt，因此可灵活按需配置。

模型权重准备

为保证更好的微调效果，使用 BF16 权重进行微调。

使用方法

在准备好数据集和模型权重后，可使用 Colossal-AI 提供的一键启动脚本 https://github.com/hpcaitech/ColossalAI/blob/main/applications/ColossalChat/examples/training_scripts/lora_finetune.py。

该脚本与常见 SFT 脚本类似，且完全兼容 HuggingFace PEFT，启动命令：

colossalai run — hostfile path-to-host-file — nproc_per_node 8 lora_finetune.py — pretrained path-to-DeepSeek-R1-bf16 — dataset path-to-dataset.jsonl — plugin moe — lr 2e-5 — max_length 256 -g — ep 8 — pp 3 — batch_size 24 — lora_rank 8 — lora_alpha 16 — num_epochs 2 — warmup_steps 8 — tensorboard_dir logs — save_dir DeepSeek-R1-bf16-lora

有关每个参数的更多详细信息，可以运行 python lora_finetune.py — help 查看。该脚本可通过 tensorboard 记录学习率、loss、grad norm 信息，方便对训练进行监控。

使用 LoRA 优化硬體资源消耗

通过使用 LoRA 等优化，示例命令已将 SFT DeepSeek-V3/R1-671B最低硬體要求降低近 10 倍，可使用 32 个 Ascend 910B NPU 64GB（使用 ep=8,pp=4）或 24 个 H100/H800 GPU（使用 ep=8,pp=3）。如果你通过— zero_cpu_offload 启用 CPU offload，硬體要求可以进一步降低，但会损失一定的训练速度。

如下图验证，在 SFT DeepSeek V3/R1 671B 时，Loss 可以顺利降低。