MiniCPM-V & o Cookbook

MiniCPM-V & o Cookbook

简介

MiniCPM-V & o Cookbook 是一个面向 MiniCPM-V、MiniCPM-o 以及 MiniCPM LLM 系列模型的综合应用指南与资源库。它致力于帮助用户轻松构建出色的 AI 应用，将文本、视觉、语音和实时流媒体能力直接带到用户指尖。

主要功能

最新版本发布

• MiniCPM-V 4.6：包含指令版与思考版两种变体，采用 Qwen3.5 混合骨干网络，支持 256K 上下文长度，并简化了视觉合并器架构。

推理能力

• 单图问答（Single-image QA）
• 多图问答（Multi-image QA）
• 视频问答（Video QA）
• OCR 文本识别
• PDF 解析
• 视觉定位（Visual Grounding）

部署支持

• vLLM：生产级 GPU 推理
• SGLang：高吞吐量 GPU 推理
• llama.cpp：最快 CPU 推理
• Ollama：最简单的设置方案

量化方案

• GGUF、BNB、AWQ 等多种量化格式

微调支持

• Transformers 全参数 / LoRA 微调
• LLaMA-Factory
• SWIFT
• Align-anything

适用场景

个人开发者

• 在本地机器上轻松推理，支持 CPU + GPU，兼容 macOS / Linux / Windows，甚至可在手机上运行
• 推荐方案：Ollama（最简单）、llama.cpp（最快 CPU 推理）、iOS 演示应用（iPhone / iPad）

企业用户

• 高吞吐量、可扩展的服务部署
• 推荐方案：vLLM（生产级 GPU 推理）、SGLang（高吞吐量 GPU 推理）

研究人员

• 训练、微调与定制模型
• 支持官方脚本、LLaMA-Factory、SWIFT、Align-anything 等工具链

版本追踪

该 Cookbook 持续追踪当前支持的 MiniCPM 各版本发布：

系列	版本	状态	模态	规模	亮点	上下文
MiniCPM-V	4.6 (latest)	推荐	图像、视频	~1.2B	手机就绪的边缘 MLLM，LLaVA-UHD v4 视觉塔	256K
MiniCPM-V	4.5	稳定	图像、视频	9B	图像+视频理解，可选思考模式	32K
MiniCPM-o	4.5 (latest)	推荐	图像、视频、音频	9B	端到端全模态（视觉+语音+TTS），全双工流式传输	32K
MiniCPM (LLM)	4.1 (latest)	推荐	文本	8B	混合推理，EAGLE3，InfLLM-V2	128K
MiniCPM (LLM)	4	稳定	文本	0.5B / 8B	InfLLM-V2，FRSpec 推测解码	128K
MiniCPM-SALA	研究	文本	8B	稀疏+线性混合注意力	1M+

用户可通过侧边栏的版本切换器在不同版本间跳转。

相关资源

• HuggingFace
• ModelScope
• 技术博客
• Discord 社区
• GitHub Issues