简介

ms-swift（Scalable lightWeight Infrastructure for Fine-Tuning）是由 ModelScope（魔搭）社区提供的大模型和多媒体大模型微调与部署框架。它支持对 600+ 纯文本大模型与 400+ 多模态大模型进行训练（预训练、微调、人类对齐）、推理、评估、量化和部署。

支持的部分纯文本大模型包括：Qwen3、Qwen3.5、InternLM3、GLM4.5、Mistral、DeepSeek-R1、Llama4 等；多模态大模型包括：Qwen3-VL、Qwen3-Omni、Llava、InternVL3.5、MiniCPM-V-4、Ovis2.5、GLM4.5-V、DeepSeek-VL2 等。

主要功能

• 模型与数据集支持：支持 600+ 纯文本大模型、400+ 多模态大模型以及 All-to-All 全模态模型从训练到部署的全流程，对热门模型提供 Day-0 支持；内置 150+ 预训练、微调、人类对齐及多模态等任务数据集，也支持自定义数据集，一键训练。
• 硬件支持：兼容 A10/A100/H100、RTX 系列、T4/V100、AMD GPU（如 MI300 系列）、CPU、MPS，以及国产硬件昇腾 NPU 等。
• 轻量级训练：支持 LoRA、QLoRA、DoRA、LoRA+、LLaMAPro、LongLoRA、LoRA-GA、ReFT、RS-LoRA、Adapter、LISA 等轻量微调方法。
• 量化训练：支持在 BNB、AWQ、GPTQ、AQLM、HQQ、EETQ 量化模型上训练，7B 模型仅需 9GB 训练资源。
• 显存优化：集成 GaLore、Q-Galore、UnSloth、Liger-Kernel、Flash-Attention 2/3，以及 Ulysses、Ring-Attention 序列并行技术，降低长文本训练显存消耗。
• 分布式训练：支持 DDP、device_map 简单模型并行、DeepSpeed ZeRO2/ZeRO3、FSDP/FSDP2，以及 Megatron 分布式训练。
• 多模态训练：支持多模态 packing 技术（训练速度提升 100%+）、文本/图像/视频/音频混合模态数据训练，可独立控制 vit/aligner/llm。
• Agent 训练：支持 Agent 模板，一份数据集可训练不同模型。
• 训练任务：支持预训练、指令微调，以及 DPO、GKD、KTO、RM、CPO、SimPO、ORPO 等偏好学习算法，也支持 Embedding/Reranker 与序列分类任务。
• Megatron 并行：提供 TP/PP/SP/CP/ETP/EP/VPP 并行策略，加速 MoE 模型训练；支持 300+ 纯文本与 100+ 多模态模型的全参数/LoRA 训练，以及 CPT/SFT/GRPO/DPO/KTO/RM 任务。
• 强化学习：内置丰富 GRPO 系列算法（GRPO、DAPO、GSPO、SAPO、CISPO、CHORD、RLOO、Reinforce++ 等），支持同步/异步 vLLM 引擎推理加速，可通过插件扩展奖励函数、多轮推理 Schedulers 与环境。
• 全流水线能力：覆盖训练、推理、评估、量化、部署全流程；推理/评估/部署加速支持 vLLM、SGLang、LMDeploy，量化支持 GPTQ、AWQ、BNB、FP8。
• UI 训练：提供 Web-UI 界面，用于训练、推理、评估和量化，完成完整流程。

适用场景

• 需要对各类开源大语言模型或多模态大模型进行预训练、监督微调或人类对齐（如 DPO/GRPO）的研究与工程人员。
• 希望在消费级或国产算力（如昇腾 NPU）上以低显存开销进行轻量微调或量化训练的用户。
• 需要利用 Megatron 并行或分布式技术加速大规模/MoE 模型训练的场景。
• 需要一站式完成模型训练、推理、评估、量化及部署，或使用 Web 界面降低操作门槛的团队。
• 开展 Agent 训练、多模态混合数据训练或强化学习算法实验的开发者和研究者。

交流渠道

可通过 Discord 与微信社群联系和沟通：