首个全双工全模态大模型。
MiniCPM-o 4.5 是 MiniCPM-o 系列的最新模型,是一个 9B 端到端全模态模型。它可以在生成语音和文字的同时持续接收视频与音频输入,实现边看、边听、边说的实时交互。
模型亮点:
- 🔥 接近 Gemini 2.5 Flash 的视觉能力。 在 OpenCompass 的 8 项主流基准上取得 77.6 的平均分。仅 9B 参数,视觉理解超过 GPT-4o 和 Gemini 2.0 Pro,并在同一模型中支持指令模式与思考模式。
- 🎙 强大的语音能力。 支持音色可配置的中英双语实时语音对话,对话更加自然、富有表现力且稳定。也可通过简单的参考音频进行声音克隆和角色扮演,声音克隆表现超越 CosyVoice2 等优秀 TTS 工具。
- 🎬 全双工、可主动的实时交互。 以端到端的方式同时处理实时连续的视频和音频输入流,并同步生成文本和语音输出流,且互不阻塞。这使得 MiniCPM-o 4.5 能够同时“看、听、说”,提供流畅的实时全模态对话体验。除了被动响应,模型还能进行主动交互,例如基于对场景的实时持续理解,主动发起提醒或评论。