余天予

余天予

清华大学博士生

清华大学

简介

我是清华大学计算机技术专业的博士研究生，师从刘知远教授。本科毕业于北京航空航天大学软件工程专业，师从刘偲教授与葛宁教授；硕士阶段在清华大学计算机技术专业就读，导师为郑海涛教授。目前的研究方向主要围绕高效多模态大模型以及大模型后训练。作为 MiniCPM-V/o 系列多模态模型的核心贡献者，我主要负责该系列模型的后训练工作。

近期项目：MiniCPM-V 4.7 · MiniCPM-OCR · MiniCPM-o 4.5

开源模型

MiniCPM-OCR

首个集高效准确解析与可靠质量判定于一体的完整 OCR 解决方案。

MiniCPM-OCR 1.0 支持中英文档与 PDF 解析，在扫描、拍照、弯曲和翻拍等复杂场景下兼顾解析质量与处理效率。MiniCPM-OCR Jev 对 OCR 解析结果进行区域级质量判断，识别有问题与无问题的区域，可搭配不同解析模型，帮助用户定位需要复核的内容。

代码 OCR 1.0 Jev 在线体验
MiniCPM-V 4.7
首个端侧无损流畅运行的开源 MoE 模型，刷新多模态性能—效率帕累托前沿。
代码 35B-A3B 1B 在线体验
MiniCPM-o 4.5
首个全双工全模态大模型。它可以在生成语音和文字的同时持续接收视频与音频输入，实现边看、边听、边说的实时交互。
代码 模型 在线体验 论文
展开更多模型 收起更多模型
MiniCPM-V 4.6
极致高效架构。MiniCPM-V 4.6 基于 LLaVA-UHD v4，引入 ViT 内部视觉 token 早压缩机制，将视觉编码阶段计算量降低 50% 以上；同时支持 4 倍/16 倍混合视觉 token 压缩率，在精度与速度之间灵活切换。
代码 模型 在线体验
MiniCPM-V 4.5
高效的高帧率与长视频理解。借助全新的图像-视频统一 3D-Resampler，MiniCPM-V 4.5 能够实现 96 倍视频 token 压缩率，即将 6 帧 448x448 视频帧联合压缩为 64 个 token（大多数多模态大模型需约 1536 个 token）。
代码 模型 在线体验 论文
其他更早的 MiniCPM-V/o 模型
MiniCPM-V 4.0、MiniCPM-o 2.6、MiniCPM-V 2.6 等更早版本。
代码 历史模型

部分论文

Deep Pre-Alignment for VLMs
通过模块化视觉编码器替换实现更深层的多模态预对齐。
Tianyu Yu, Kechen Fang, Zihao Wan, Kaidong Zhang, Yicheng Zhang, Jun Song, Bo Zheng, Yuan Yao ICML 2026
Paper Code
MiniCPM-o 4.5: Towards Real-Time Full-Duplex Omni-Modal Interaction
基于统一流式框架实现实时全双工全模态交互。
Junbo Cui, Bokai Xu, Chongyi Wang, Tianyu Yu, Weiyue Sun, Yingjing Xu, +28 more authors, Zhiyuan Liu, Yuan Yao Preprint
Paper Code
MiniCPM-V 4.5: Cooking Efficient MLLMs via Architecture, Data, and Training Recipe
覆盖架构、数据与训练策略的高效多模态大模型构建方案。
Tianyu Yu, Zefan Wang, Chongyi Wang, Fuwei Huang, Wenshuo Ma, Zhihui He, +26 more authors, Zhiyuan Liu, Maosong Sun CVPR 2026
Paper Code
Efficient GPT-4V Level Multimodal Large Language Model for Deployment on Edge Devices
面向端侧部署的高效 GPT-4V 级多模态大模型。
Yuan Yao, Tianyu Yu, Ao Zhang, Chongyi Wang, Junbo Cui, Hongji Zhu, +16 more authors, Zhiyuan Liu, Maosong Sun Nature Communications 2025
Paper Code
RLAIF-V: Open-Source AI Feedback Leads to Super GPT-4V Trustworthiness
用于可信多模态对齐的开源反馈数据。
Tianyu Yu, Haoye Zhang, Qiming Li, Qixin Xu, Yuan Yao, Da Chen, +8 more authors, Tat-Seng Chua, Maosong Sun CVPR 2025 Highlight
Paper Code
RLHF-V: Towards Trustworthy MLLMs via Behavior Alignment from Fine-grained Correctional Human Feedback
用细粒度纠错式人类反馈减少多模态大模型幻觉。
Tianyu Yu, Yuan Yao, Haoye Zhang, Taiwen He, Yifeng Han, Ganqu Cui, +3 more authors, Maosong Sun, Tat-Seng Chua CVPR 2024
Paper Code
Cross-Modal Omni Interaction Modeling for Phrase Grounding
用于短语定位的跨模态交互建模。
Tianyu Yu, Tianrui Hui, Zhihao Yu, Yue Liao, Sansi Yu, Faxi Zhang, Si Liu ACM MM 2020
Paper

荣誉奖项

2026 中国科协青年人才托举工程博士生专项
2024 英特尔中国学术成就奖
2021 北京市优秀毕业生
2020 北京航空航天大学“沈元奖章”提名奖（本科生最高荣誉，10/3800+）
2019 本科生国家奖学金（前 1%）
2018 本科生国家奖学金（前 1%）

联系

yiranytianyu@gmail.com Twitter / X