大模型在给图片打“质量分”时,往往容易看走眼。一张干净的照片与一张加了噪声或被压缩模糊的退化版,在人类眼中天差地别,但在多模态大模型(MLLM)的视觉表征中,这两者却几乎一模一样。因此,模型给出的分数往往是“凭感觉”估算的,而非基于客观证据。
针对这一痛点,西北工业大学与香港科技大学的研究团队推出了一个新的框架——IQA-T1。该框架首次让多模态大模型在评估图像质量时,学会了像专业检测员一样工作:不再仅凭直觉“瞥一眼”,而是主动调用一套专业分析工具,生成噪声残差图、梯度分布、傅里叶频谱等结构化的“视觉证据”,再逐步基于证据做出判断。
从“凭感觉打分”到“拿证据说话”,IQA-T1在7个图像质量评估基准上取得了综合最优的SOTA成绩,平均PLCC和SRCC分别达到0.795和0.784,且评估过程具备可解释性和可追溯性。目前论文与代码均已开源。
**大模型打分为何会“凭感觉”?**
图像质量评估(IQA)的目标是让机器的分数贴近人类主观感受。虽然多模态大模型崛起后,人们尝试用其推理能力来做IQA,但研究团队指出其根本缺陷:现有方法依赖带有语义偏见的内部表征,而非可验证的底层退化证据。简单来说,大模型视觉编码器擅长理解“这是一只猫”等高层语义,却对噪声、模糊等底层退化极不敏感。这种“语义偏见”导致模型缺乏感知退化的信息,只能靠猜。
现有方法试图修补,但要么是纯文本推理(缺乏视觉锚点),要么是区域裁剪推理(图像块无结构解释)。一句话总结:它们都没能给推理过程提供“证据”。
**核心思路:给大模型配一个“检测工具箱”**
IQA-T1的解法类似于医生看病的进化:从靠经验的老中医进化到能主动开CT、验血的现代医生。团队为模型配备了一个感知工具库,推理时模型自主决定调用工具,将肉眼难以察觉的画质退化转化为结构化的证据图。
具体工具包括:NoiseResidualMap(噪声残差图)、FourierMagnitudeSpectrum(傅里叶幅度谱)、GradientOrientationCoherenceMap(梯度方向一致性图)等。这些证据图会被逐步融入推理链,成为模型每一步判断的“物证”。
工具库的设计基于7个关键感知属性——结构、锐度、噪声、伪影、亮度、色彩、自然度,并据此设计了15种视觉证据。所有工具还满足统一调用接口、输出适度下采样以及结果完全确定性等工程约束。
**从“会用工具”到“会挑时机”:两阶段训练**
要让模型真正掌握这套本领,需要两种能力:知道怎么用工具,以及知道什么时候该用。IQA-T1用一条两阶段训练流水线来解决。
第一阶段是监督微调(SFT),在自建的Q-Tool数据集上进行训练,让模型掌握遵循结构化推理模板、使用规范工具调用语法,以及将视觉证据与质量判断关联起来的能力。
第二阶段是强化学习(RL),利用GRPO打磨模型自适应调用工具的策略。奖励函数由格式奖励、打分奖励、工具使用奖励和重复惩罚四部分组成,鼓励模型用最少的工具、拿最足的证据。
**数据集Q-Tool:首个“证据推理”IQA数据集**
现有IQA数据集没有一个支持“视觉证据推理”。团队构建了首个支持该特性的数据集Q-Tool,包含11k条高质量多模态推理链。该数据集通过人类专家写好推理模板,约束GPT-4o生成推理链,并经过严格验证,确保工具使用正确、证据被引用且结论被支撑。
**实验结果:7大基准综合SOTA**
团队在KonIQ上训练,并在覆盖真实失真、合成失真、算法退化和AI生成内容的7个基准上评测。结果显示,IQA-T1在7个数据集上均取得平均PLCC 0.795和SRCC 0.784的第一名。
对比只会打分、不会解释的MLLM方法,IQA-T1在保持高精度的同时,还能给出可解释的推理链。对比同样带推理的方法,它在合成失真和算法退化数据集上刷新了最好成绩。更有趣的是消融实验显示,工具不是用得越多越好,无关工具反而会引入冗余。IQA-T1的动态调用平均每张图只用2.34个工具,却拿到了全场最好的效果,证明了其“基于证据推理”的高效性。
此外,将框架换到Qwen3-VL-2B、InternVL3.5-4B等不同基座上,性能趋势依旧稳定,证明了“工具化视觉证据推理”是一种通用机制。
**团队信息**
这项工作由西北工业大学与香港科技大学联合完成。论文第一作者为西北工业大学的Jinjian Wu与香港科技大学的Jiaqi Tang,通讯作者为西北工业大学的Wei Wei教授与香港科技大学的Qifeng Chen教授。
**相关资源**
论文:https://arxiv.org/abs/2607.12375v1
代码:https://github.com/zibuyu-02/IQA-T1
模型:https://huggingface.co/zibuyu-02/IQA-T1
数据:https://huggingface.co/datasets/zibuyu-02/Q-Tool
Demo:https://huggingface.co/spaces/Jiaqi-hkust/IQA-T1
