多模态Agent：视觉+文本联合推理的技术架构

多模态Agent：视觉+文本联合推理的技术架构

纯文本Agent无法处理截图、图表和PDF扫描件——而这恰恰是企业场景中最常见的信息载体。多模态Agent的架构通常包含：视觉编码器（将图片转为特征向量）、投影层（将视觉特征映射到LLM的文本空间）、LLM本体（在统一的嵌入空间中联合推理）。

当前最成熟的实现是LLaVA架构——用CLIP ViT做视觉编码，通过一个简单的线性投影层连接LLaMA/千问。工程上的主要挑战是分辨率与延迟的权衡：高分辨率图片的视觉token可能超过2000个，将7B模型的推理时间从1秒拖到8秒。解决方案是对图片做自适应切分——先低分辨率全局理解，只对需要细节的区域做高分辨率编码。