开源模型 | 余天予

MiniCPM-OCR

Wed, 28 Oct 2026 00:00:00 +0000

首个集高效准确解析与可靠质量判定于一体的完整 OCR 解决方案。

MiniCPM-OCR 1.0 (1.3B) 是 MiniCPM-V/o 家族首个 OCR 专用模型，面向以文字为中心的文档理解，覆盖文本、表格、公式、图表与印章识别和结构化信息抽取。

🏆 SOTA 的文档解析能力：MiniCPM-OCR 1.0 在真实场景文档解析评测 Real5-OmniDocBench 上取得 93.68 的 SOTA 成绩，并在 OmniDocBench v1.6、Wild-OmniDocBench 和 olmOCR-Bench 等评测中展现领先的解析能力。模型支持中英双语文档与 PDF 解析，兼顾标准文档和复杂采集条件，在扫描、弯曲、拍照、倾斜及翻拍等场景下保持稳定表现。
⚡ 高效推理。 基于 DSpark 解码加速（DSpark-BF16、DSpark-GGUF），MiniCPM-OCR 1.0 的端到端处理效率提升 55%。其处理吞吐量约为 PaddleOCR-VL-1.6 的 1.49 倍、MinerU2.5 Pro 的 3.62 倍，降低大规模文档解析的时间开销。

MiniCPM-OCR Jev 是面向文本、公式和表格的 OCR 质量判别决策模型。输入图像及对应的 OCR 结果，即可获得 0–1 的质量评分，用于筛选可靠结果、定位待复核内容。

Mon, 12 Oct 2026 00:00:00 +0000

MiniCPM-V 4.7 是 MiniCPM-V 系列的最新模型，提供 35B-A3B 和 1B 两种规格，其中 35B-A3B 是 MiniCPM-V 系列首个 MoE 模型。

🚀 性能与效率的新帕累托前沿。 MiniCPM-V 4.7 以 35B-A3B 与 1B 分别刷新了多模态大模型的性能—效率的帕累托前沿。在 Instruct 模式下，35B-A3B 以更短的推理时间取得比 Qwen3.6 35B-A3B 更高的综合得分；1B 版本相比 MiniCPM-V 4.6 持续提升基础能力，并在综合得分和推理效率上均显著领先 Qwen3.5 0.8B。
📱 首个端侧无损流畅的开源 MoE。基于最新的 LES（前瞻专家调度）推理加速技术，MiniCPM-V 4.7 35B-A3B 成为首个支持端侧无损流畅运行的开源 MoE 模型，在 iPhone 17 Pro Max 上以仅 3GB 内存达到 13+ token/s 的解码速度。我们也适配了 DSpark 投机采样，并提供 1B（DSpark-BF16、DSpark-GGUF）和 35B-A3B（DSpark-BF16、DSpark-GGUF）的投机采样头。
🛠️ 多平台支持，开发者友好。 MiniCPM-V 4.7 同时支持 iOS、安卓和鸿蒙，并适配Intel、AMD、Arm、瑞芯微、后摩等芯片平台，覆盖更多移动设备与本地计算场景。同步开源 Self-Replay Fine-Tuning (SRFT) 微调方案，帮助开发者低成本扩展模型能力和减少遗忘，方便二次开发。

Mon, 11 May 2026 00:00:00 +0000

该模型基于 SigLIP2-400M 和 Qwen3.5-0.8B LLM 构建。其延续了 MiniCPM-V 在单图、多图和视频理解方面的强大能力，同时显著提升了计算效率，还首次支持了 4倍/16倍混合视觉 token 压缩率。

极致高效架构。 MiniCPM-V 4.6 基于 LLaVA-UHD v4，引入 ViT 内部视觉 token 早压缩机制，将视觉编码阶段计算量降低 50% 以上，在效率上甚至超越部分更小的模型，相比 Qwen3.5-0.8B 实现约 1.5 倍的 token 吞吐；同时支持 4 倍/16 倍混合视觉 token 压缩率，在精度与速度之间灵活切换。
广泛的手机平台支持。 MiniCPM-V 4.6 可在 iOS、安卓、鸿蒙三大主流手机平台完成部署，并开源配备了端侧适配代码。

Tue, 03 Feb 2026 00:00:00 +0000

首个全双工全模态大模型。

MiniCPM-o 4.5 是 MiniCPM-o 系列的最新模型，是一个 9B 端到端全模态模型。它可以在生成语音和文字的同时持续接收视频与音频输入，实现边看、边听、边说的实时交互。

模型亮点：

🔥 接近 Gemini 2.5 Flash 的视觉能力。 在 OpenCompass 的 8 项主流基准上取得 77.6 的平均分。仅 9B 参数，视觉理解超过 GPT-4o 和 Gemini 2.0 Pro，并在同一模型中支持指令模式与思考模式。
🎙 强大的语音能力。 支持音色可配置的中英双语实时语音对话，对话更加自然、富有表现力且稳定。也可通过简单的参考音频进行声音克隆和角色扮演，声音克隆表现超越 CosyVoice2 等优秀 TTS 工具。
🎬 全双工、可主动的实时交互。 以端到端的方式同时处理实时连续的视频和音频输入流，并同步生成文本和语音输出流，且互不阻塞。这使得 MiniCPM-o 4.5 能够同时“看、听、说”，提供流畅的实时全模态对话体验。除了被动响应，模型还能进行主动交互，例如基于对场景的实时持续理解，主动发起提醒或评论。

Thu, 01 Jan 2026 00:00:00 +0000

我是 MiniCPM-V/o 多模态模型系列的核心贡献者，参与后训练、评测、发布与迭代，并作为 MiniCPM-V 学生一作和 MiniCPM-V 4.5 第一作者推进相关工作。

我的工作关注后训练 recipe，使高效多模态大模型在多模态理解、文档智能与真实部署场景中保持强能力。

最新视觉语言模型见 MiniCPM-V 4.7；文档解析与 OCR 质量评估项目见 MiniCPM-OCR。

Tue, 26 Aug 2025 00:00:00 +0000

该模型基于 Qwen3-8B 与 SigLIP2-400M 构建，总参数量为 8B。其在性能上较前代 MiniCPM-V 与 MiniCPM-o 有显著提升，并引入了一系列全新的实用特性。

高效的高帧率与长视频理解。 借助全新的图像-视频统一 3D-Resampler，MiniCPM-V 4.5 能够实现 96 倍视频 token 压缩率，即将 6 帧 448x448 视频帧联合压缩为 64 个 token（大多数多模态大模型需约 1536 个 token）。这意味着模型在语言模型推理成本不增加的情况下，可以感知显著更多的视频帧。
可控的快思考 / 深思考模式。 MiniCPM-V 4.5 同时支持快思考（用于高频高效推理，性能具竞争力）与深思考（用于复杂问题求解）。用户可根据不同场景对效率与性能的权衡，自由切换两种模式，实现高度可控的推理过程。