MiniCPM-V4.5是由面壁智能与清华大学NLP实验室联合推出的一款多模态端侧大语言模型，它支持单图、多图及视频理解，并在高分辨率图像处理、OCR以及多语言支持等方面表现出色。
1. 主要功能
1.1 多模态任务支持
视觉能力：可处理高达180万像素（1344x1344）的图像，支持任意宽高比，OCR性能在OCRBench上超越GPT-4o、Gemini1.5Pro等主流专有模型。
多图与视频理解：在Mantis-Eval、BLINK和Video-MME等基准测试中，展现出领先的多图推理和视频时空信息处理能力，适用于复杂场景下的内容分析。
多语言支持：支持英语、中文、德语、法语、意大利语、韩语等30多种语言，为全球用户提供无缝的多模态交互体验。
1.2 高效部署
高token密度：处理180万像素图像仅需640个视觉token，较多数模型减少75%，在推理速度、首token延迟、内存占用和功耗上均有显著优化。
多种部署方式：支持llama.cpp、Ollama、vLLM和SGLang等多种部署方式，并提供iOS应用支持，极大降低了开发者的使用门槛。
1.3 可控思考模式
快思考模式：效率高，响应快，适合日常高频使用，如图片内容识别、简单问答。
深度思考模式：推理更精准，能解决复杂多步骤问题，如专业文档解析、视频内容深度分析。
1.4 强大的OCR与文档解析
高分辨率图片支持：能处理任意长宽比、最高180万像素的图片，视觉token用量比其他模型少4倍。
性能领先：在OCRBench上超过GPT-4o-latest和Gemini2.5等商用模型。
手写体OCR支持：无论是英文手写还是中文手写，都能准确识别。
文档解析能力：在OmniDocBench上表现第一，支持复杂表格、多栏文档、混合图文的PDF解析。
1.5 可信性与多语言支持
可信性：基于RLAIF-V和VisCPM技术，模型生成内容的可信度更高，在MMHal-Bench上超过GPT-4o-latest。
多语言支持：不仅能识别多语言图片/文档，还能进行多语言对话。
2. 技术原理
2.1 稀疏注意力机制
限制注意力计算范围，将传统O(n²)的计算复杂度降低到接近线性，通过局部窗口注意力、跨距离跳跃连接和块状稀疏模式等策略，实现高效计算
2.2 BitCPM量化技术
采用三值权重压缩，大幅减少模型体积，提高推理效率
2.3 3D-Resampler技术
将大量视频帧“压缩”成少量token，例如6个448×448分辨率的视频帧，其他多模态模型通常需要1536个token来处理，而MiniCPM-V4.5仅需64个token，相当于压缩了96倍
2.4 端侧Comfy框架
如CPM.cu、vLLM、SGLang等全链整合，支持框架无缝部署
3. 应用场景
3.1 实时视频分析
适用于交通监控、工业质检等场景，开启端侧摄像头实时解析，结合MiniCPM-V CookBook部署工具，免云端传输保障隐私
3.2 文档处理流水线
OCR提取票据，CoT自动汇总金额，生成Excel表格，例如10张报销小票30秒完成总账计算
3.3 多语言适配
通过ollama或vLLM框架加载模型，支持中/英/日等语言混合指令。
3.4 教育、医疗、内容创作
从单图描述、多图关联分析到视频问答等任务，为教育、医疗、内容创作等行业带来新的可能性。
4. 使用方法
4.1 下载与安装
模型权重已开源于Hugging Face和GitHub，iOS应用也已开源，支持图像理解、多轮对话，完全脱离云端运行。
4.2 部署与调用
支持llama.cpp、Ollama、vLLM和SGLang等多种部署方式，通过enable_thinking参数控制快/深度思考模式。
5. 适用人群
5.1 开发者
提供开源模型权重和iOS应用，降低开发门槛，适合有一定技术基础的开发者进行二次开发和应用集成。
5.2 企业用户
可用于实时视频分析、文档处理等业务场景，提升工作效率和数据处理能力。
5.3 教育、医疗、内容创作等行业从业者
可直接使用模型进行单图描述、多图关联分析、视频问答等任务，辅助日常工作和创作。
6. 优缺点介绍
6.1 优点
高效部署：专为边缘设备优化，推理速度快，首token延迟低，内存占用和功耗小。
多模态能力：支持单图、多图及视频理解，OCR性能强大，支持多种语言。
开源生态：遵循Apache2.0许可证，向学术研究人员完全开源，商业用户通过简单注册即可免费使用。
6.2 缺点
技术门槛：虽然提供了多种部署方式和开源应用，但对于没有技术背景的用户，部署和使用仍可能存在一定难度。
性能限制：尽管在多种测试中表现优异，但在处理一些极端复杂的任务时，可能仍不如一些更大规模的模型。
分类标签
多模态、端侧部署、语言模型、视频理解、OCR、文档解析