大模型在给图片打“质量分”时,往往容易看走眼。一张干净的照片与一张加了噪声或被压缩模糊的退化版,在人类眼中天差地别,但在多模态大模型(MLLM)的视觉表征中,这两者却几乎一模一样。因此,模型给出的分数往往是“凭感觉”估算的,而非基于客观证据。

针对这一痛点,西北工业大学与香港科技大学的研究团队推出了一个新的框架——IQA-T1。该框架首次让多模态大模型在评估图像质量时,学会了像专业检测员一样工作:不再仅凭直觉“瞥一眼”,而是主动调用一套专业分析工具,生成噪声残差图、梯度分布、傅里叶频谱等结构化的“视觉证据”,再逐步基于证据做出判断。

从“凭感觉打分”到“拿证据说话”,IQA-T1在7个图像质量评估基准上取得了综合最优的SOTA成绩,平均PLCC和SRCC分别达到0.795和0.784,且评估过程具备可解释性和可追溯性。目前论文与代码均已开源。

**大模型打分为何会“凭感觉”?**

图像质量评估(IQA)的目标是让机器的分数贴近人类主观感受。虽然多模态大模型崛起后,人们尝试用其推理能力来做IQA,但研究团队指出其根本缺陷:现有方法依赖带有语义偏见的内部表征,而非可验证的底层退化证据。简单来说,大模型视觉编码器擅长理解“这是一只猫”等高层语义,却对噪声、模糊等底层退化极不敏感。这种“语义偏见”导致模型缺乏感知退化的信息,只能靠猜。

现有方法试图修补,但要么是纯文本推理(缺乏视觉锚点),要么是区域裁剪推理(图像块无结构解释)。一句话总结:它们都没能给推理过程提供“证据”。

**核心思路:给大模型配一个“检测工具箱”**

IQA-T1的解法类似于医生看病的进化:从靠经验的老中医进化到能主动开CT、验血的现代医生。团队为模型配备了一个感知工具库,推理时模型自主决定调用工具,将肉眼难以察觉的画质退化转化为结构化的证据图。

具体工具包括:NoiseResidualMap(噪声残差图)、FourierMagnitudeSpectrum(傅里叶幅度谱)、GradientOrientationCoherenceMap(梯度方向一致性图)等。这些证据图会被逐步融入推理链,成为模型每一步判断的“物证”。

工具库的设计基于7个关键感知属性——结构、锐度、噪声、伪影、亮度、色彩、自然度,并据此设计了15种视觉证据。所有工具还满足统一调用接口、输出适度下采样以及结果完全确定性等工程约束。

**从“会用工具”到“会挑时机”:两阶段训练**

要让模型真正掌握这套本领,需要两种能力:知道怎么用工具,以及知道什么时候该用。IQA-T1用一条两阶段训练流水线来解决。

第一阶段是监督微调(SFT),在自建的Q-Tool数据集上进行训练,让模型掌握遵循结构化推理模板、使用规范工具调用语法,以及将视觉证据与质量判断关联起来的能力。

第二阶段是强化学习(RL),利用GRPO打磨模型自适应调用工具的策略。奖励函数由格式奖励、打分奖励、工具使用奖励和重复惩罚四部分组成,鼓励模型用最少的工具、拿最足的证据。

**数据集Q-Tool:首个“证据推理”IQA数据集**

现有IQA数据集没有一个支持“视觉证据推理”。团队构建了首个支持该特性的数据集Q-Tool,包含11k条高质量多模态推理链。该数据集通过人类专家写好推理模板,约束GPT-4o生成推理链,并经过严格验证,确保工具使用正确、证据被引用且结论被支撑。

**实验结果:7大基准综合SOTA**

团队在KonIQ上训练,并在覆盖真实失真、合成失真、算法退化和AI生成内容的7个基准上评测。结果显示,IQA-T1在7个数据集上均取得平均PLCC 0.795和SRCC 0.784的第一名。

对比只会打分、不会解释的MLLM方法,IQA-T1在保持高精度的同时,还能给出可解释的推理链。对比同样带推理的方法,它在合成失真和算法退化数据集上刷新了最好成绩。更有趣的是消融实验显示,工具不是用得越多越好,无关工具反而会引入冗余。IQA-T1的动态调用平均每张图只用2.34个工具,却拿到了全场最好的效果,证明了其“基于证据推理”的高效性。

此外,将框架换到Qwen3-VL-2B、InternVL3.5-4B等不同基座上,性能趋势依旧稳定,证明了“工具化视觉证据推理”是一种通用机制。

**团队信息**

这项工作由西北工业大学与香港科技大学联合完成。论文第一作者为西北工业大学的Jinjian Wu与香港科技大学的Jiaqi Tang,通讯作者为西北工业大学的Wei Wei教授与香港科技大学的Qifeng Chen教授。

**相关资源**
论文:https://arxiv.org/abs/2607.12375v1
代码:https://github.com/zibuyu-02/IQA-T1
模型:https://huggingface.co/zibuyu-02/IQA-T1
数据:https://huggingface.co/datasets/zibuyu-02/Q-Tool
Demo:https://huggingface.co/spaces/Jiaqi-hkust/IQA-T1

最新快讯

2026年10月25日

03:56
据鼓狮财经10月24日消息,本周国内生猪价格呈现震荡下行走势,周均价出现环比下跌。根据中国养猪网监测数据,10月23日生猪(外三元)价格为9.66元/公斤,较上周五(10月16日)的9.88元/公斤下跌2.2%。从周均价角度分析,本周生猪均价录得9.83元/公斤,较上周10.01元/公斤的均价下降了1.8%。
03:56
据鼓狮财经10月24日报道,依据CME“美联储观察”的数据显示,市场预计美联储在10月份维持利率不变的概率为90.6%,累计加息25个基点的概率为9.4%。展望12月,美联储维持利率不变的概率为25.8%,累计加息25个基点的概率升至67.5%,累计加息50个基点的概率为6.7%。
03:56
据鼓狮财经10月24日报道,受法国政治动荡持续冲击,对冲基金对欧元的看空押注已攀升至2020年3月以来的最高水平。美国商品期货交易委员会(CFTC)周五公布的数据显示,截至10月20日当周,杠杆交易员持有的欧元净空头头寸达到约118亿欧元(132亿美元),较前一周增加1,305份合约,总数升至94,138份,创下自2020年3月以来的最高纪录。 本月以来,法...
03:25
10月24日,土耳其、埃及、巴基斯坦和沙特阿拉伯四国外长在伊斯坦布尔举行会谈,并发表联合声明。声明就巴勒斯坦问题、也门局势及霍尔木兹海峡通航等议题阐明了共同立场,并同意保持密切磋商。 声明强调,以色列的占领行为是造成地区局势动荡的根本原因。各方呼吁依据联合国相关决议,尽快落实“两国方案”,支持巴勒斯坦以1967年边界为基础、以东耶路撒冷为首都,建立拥有主权的...
03:25
10月24日,据鼓狮财经报道,乌克兰总统泽连斯基于23日在美国哈得孙研究所举行的线上会议上强调,安全保障是乌方谈判的基石,且必须切实可靠。 泽连斯基指出,自冲突全面爆发以来,已有约950万乌克兰公民流离失所,这一数字占该国总人口的20%至25%。面对数百万民众失去生命、家园和工作的惨痛现状,乌方迫切需要从合作伙伴处获得坚实的安全保障。 目前,泽连斯基表示,乌...
03:25
鼓狮财经10月24日讯,衡量美元对六种主要货币表现的美元指数当日上涨0.2%,最终收于101.811。截至纽约汇市收盘,欧元兑美元汇率报1.1193,较前一交易日有所回落;英镑兑美元汇率报1.3371,亦低于前一日的1.3400。相比之下,美元对日元汇率升至156.87,高于前值的156.78;美元对瑞郎汇率报0.8252,高于前值的0.8205。美元对加元...
02:54
鼓狮财经10月23日讯,晶澳科技发布公告,宣布董事会已审议通过终止实施2025年员工持股计划的议案。鉴于当前宏观经济形势、行业发展趋势、市场环境变化以及公司实际经营状况等多重因素,公司认为继续推进该计划已难以达到预期的激励效果。为此,公司决定终止该计划,并同步废止相关管理办法。 计划终止后,公司将择机处置项下标的股票,并将资金按原始出资金额加上不超过银行同期...
02:54
据鼓狮财经10月23日消息,创维数字发布最新业绩公告。数据显示,公司前三季度经营稳健,实现营业收入85.97亿元,同比增长33.15%;归属于上市公司股东的净利润达2.44亿元,同比增长184.42%。 分季度来看,第三季度单季表现尤为突出。公司实现营业收入32.26亿元,同比增长36.60%;归母净利润8211.42万元,同比增长154.47%。基于此前数...
02:54
据鼓狮财经10月25日消息,当地时间10月24日,尼日利亚塔拉巴州警方对外通报了一起严重袭击事件。据悉,该州卡里姆-拉米多地方政府区的一个社区于23日下午遭到武装分子大规模越境袭击,目前已有至少37名平民遇难。 警方发言人证实,武装分子在闯入社区后实施了无差别射击,并对大量房屋与商铺进行了大肆洗劫与纵火。针对这一局势,当地警方已启动红色预警,并联合尼日利亚陆...
02:54
10月24日晚,法国内政部长努内兹透露,警方在当天的全国性抗议示威活动中逮捕了近千人。努内兹指出,执法人员当天面临持续的投掷物袭击和烟火攻击,部分现场的暴力程度较高,警方已对相关违法行为采取了干预措施。 此次全国性示威活动始于17日。据法国政府统计,约有55万人参加,而示威组织方则声称人数达到80万。目前,部分城市的示威活动中已出现暴力冲突。
02:54
鼓狮财经10月25日讯,当地时间10月24日,葡萄牙主要城市再次掀起抗议浪潮。民众通过示威游行和集会,强烈要求政府采取有效措施应对日益严峻的住房危机。里斯本、波尔图、科英布拉等城市均爆发了大规模聚集活动。抗议者向政府提出了多项具体诉求,包括停止在缺乏替代方案时强行拆除房屋或驱逐租客、增加公共住房供应、实施租金管制,以及将闲置房产重新投入住房市场等。目前,这场...