MiniCPM-o 4.5

首个全双工全模态大模型。

MiniCPM-o 4.5 是 MiniCPM-o 系列的最新模型,是一个 9B 端到端全模态模型。它可以在生成语音和文字的同时持续接收视频与音频输入,实现边看、边听、边说的实时交互。

模型亮点:

  • 🔥 接近 Gemini 2.5 Flash 的视觉能力。 在 OpenCompass 的 8 项主流基准上取得 77.6 的平均分。仅 9B 参数,视觉理解超过 GPT-4o 和 Gemini 2.0 Pro,并在同一模型中支持指令模式与思考模式。
  • 🎙 强大的语音能力。 支持音色可配置的中英双语实时语音对话,对话更加自然、富有表现力且稳定。也可通过简单的参考音频进行声音克隆和角色扮演,声音克隆表现超越 CosyVoice2 等优秀 TTS 工具。
  • 🎬 全双工、可主动的实时交互。 以端到端的方式同时处理实时连续的视频和音频输入流,并同步生成文本和语音输出流,且互不阻塞。这使得 MiniCPM-o 4.5 能够同时“看、听、说”,提供流畅的实时全模态对话体验。除了被动响应,模型还能进行主动交互,例如基于对场景的实时持续理解,主动发起提醒或评论。

官方介绍

余天予
余天予
清华大学博士生

高效多模态大模型、可信多模态对齐与 LLM/MLLM 后训练。