大模型在给图片打“质量分”时,往往容易看走眼。一张干净的照片与一张加了噪声或被压缩模糊的退化版,在人类眼中天差地别,但在多模态大模型(MLLM)的视觉表征中,这两者却几乎一模一样。因此,模型给出的分数往往是“凭感觉”估算的,而非基于客观证据。

针对这一痛点,西北工业大学与香港科技大学的研究团队推出了一个新的框架——IQA-T1。该框架首次让多模态大模型在评估图像质量时,学会了像专业检测员一样工作:不再仅凭直觉“瞥一眼”,而是主动调用一套专业分析工具,生成噪声残差图、梯度分布、傅里叶频谱等结构化的“视觉证据”,再逐步基于证据做出判断。

从“凭感觉打分”到“拿证据说话”,IQA-T1在7个图像质量评估基准上取得了综合最优的SOTA成绩,平均PLCC和SRCC分别达到0.795和0.784,且评估过程具备可解释性和可追溯性。目前论文与代码均已开源。

**大模型打分为何会“凭感觉”?**

图像质量评估(IQA)的目标是让机器的分数贴近人类主观感受。虽然多模态大模型崛起后,人们尝试用其推理能力来做IQA,但研究团队指出其根本缺陷:现有方法依赖带有语义偏见的内部表征,而非可验证的底层退化证据。简单来说,大模型视觉编码器擅长理解“这是一只猫”等高层语义,却对噪声、模糊等底层退化极不敏感。这种“语义偏见”导致模型缺乏感知退化的信息,只能靠猜。

现有方法试图修补,但要么是纯文本推理(缺乏视觉锚点),要么是区域裁剪推理(图像块无结构解释)。一句话总结:它们都没能给推理过程提供“证据”。

**核心思路:给大模型配一个“检测工具箱”**

IQA-T1的解法类似于医生看病的进化:从靠经验的老中医进化到能主动开CT、验血的现代医生。团队为模型配备了一个感知工具库,推理时模型自主决定调用工具,将肉眼难以察觉的画质退化转化为结构化的证据图。

具体工具包括:NoiseResidualMap(噪声残差图)、FourierMagnitudeSpectrum(傅里叶幅度谱)、GradientOrientationCoherenceMap(梯度方向一致性图)等。这些证据图会被逐步融入推理链,成为模型每一步判断的“物证”。

工具库的设计基于7个关键感知属性——结构、锐度、噪声、伪影、亮度、色彩、自然度,并据此设计了15种视觉证据。所有工具还满足统一调用接口、输出适度下采样以及结果完全确定性等工程约束。

**从“会用工具”到“会挑时机”:两阶段训练**

要让模型真正掌握这套本领,需要两种能力:知道怎么用工具,以及知道什么时候该用。IQA-T1用一条两阶段训练流水线来解决。

第一阶段是监督微调(SFT),在自建的Q-Tool数据集上进行训练,让模型掌握遵循结构化推理模板、使用规范工具调用语法,以及将视觉证据与质量判断关联起来的能力。

第二阶段是强化学习(RL),利用GRPO打磨模型自适应调用工具的策略。奖励函数由格式奖励、打分奖励、工具使用奖励和重复惩罚四部分组成,鼓励模型用最少的工具、拿最足的证据。

**数据集Q-Tool:首个“证据推理”IQA数据集**

现有IQA数据集没有一个支持“视觉证据推理”。团队构建了首个支持该特性的数据集Q-Tool,包含11k条高质量多模态推理链。该数据集通过人类专家写好推理模板,约束GPT-4o生成推理链,并经过严格验证,确保工具使用正确、证据被引用且结论被支撑。

**实验结果:7大基准综合SOTA**

团队在KonIQ上训练,并在覆盖真实失真、合成失真、算法退化和AI生成内容的7个基准上评测。结果显示,IQA-T1在7个数据集上均取得平均PLCC 0.795和SRCC 0.784的第一名。

对比只会打分、不会解释的MLLM方法,IQA-T1在保持高精度的同时,还能给出可解释的推理链。对比同样带推理的方法,它在合成失真和算法退化数据集上刷新了最好成绩。更有趣的是消融实验显示,工具不是用得越多越好,无关工具反而会引入冗余。IQA-T1的动态调用平均每张图只用2.34个工具,却拿到了全场最好的效果,证明了其“基于证据推理”的高效性。

此外,将框架换到Qwen3-VL-2B、InternVL3.5-4B等不同基座上,性能趋势依旧稳定,证明了“工具化视觉证据推理”是一种通用机制。

**团队信息**

这项工作由西北工业大学与香港科技大学联合完成。论文第一作者为西北工业大学的Jinjian Wu与香港科技大学的Jiaqi Tang,通讯作者为西北工业大学的Wei Wei教授与香港科技大学的Qifeng Chen教授。

**相关资源**
论文:https://arxiv.org/abs/2607.12375v1
代码:https://github.com/zibuyu-02/IQA-T1
模型:https://huggingface.co/zibuyu-02/IQA-T1
数据:https://huggingface.co/datasets/zibuyu-02/Q-Tool
Demo:https://huggingface.co/spaces/Jiaqi-hkust/IQA-T1

最新快讯

2026年07月22日

22:56
鼓狮财经7月22日电,奥比中光(688322.SH)发布公告称,公司正在筹划在香港发行H股股票并计划在联交所挂牌上市。这一举措旨在深化全球化战略布局,构建国际化资本运作平台,同时拓宽多元化的融资渠道。目前,相关具体细节尚未敲定。值得注意的是,本次H股发行不会导致公司实际控制权发生变更。后续,该方案尚需提交董事会及股东大会审议,并需获得中国证监会及香港联交所等...
22:25
7月22日,鼓狮财经报道,恩捷股份(002812.SZ)发布公告,宣布拟采用集中竞价交易方式回购公司股份。本次回购金额不低于1亿元且不超过2亿元,回购价格上限为93元/股。 公告指出,回购的股份将用于实施股权激励计划或员工持股计划。回购期限自董事会审议通过之日起六个月内。
22:25
鼓狮财经7月22日讯,容百科技(688005.SH)披露了2024年半年度报告。数据显示,公司上半年实现营业收入87.21亿元,同比增长39.57%;归属于上市公司股东的净利润达到1.09亿元,成功实现扭亏为盈。 业绩回暖主要得益于海外客户订单放量、三元及钠电正极材料销量增长、磷酸锰铁锂产品满产满销,以及原材料价格上涨带来的成本传导。财务数据显示,第二季度单...
22:24
【热点】华电辽能澄清不涉及算电协同项目;立新能源表示无算力产业相关业务布局 【项目投资】金安国纪拟20亿元投建珠海国纪增资扩产项目;奥海科技控股子公司拟投建智新控制研发中心及生产基地 【业绩预告】南网数字预计上半年净利润同比增长1051.24%至1511.74%;奥浦迈预计上半年净利润同比增加约229% 【中标合同】平治信息预中标3亿元算力服务采购项目;许继...
22:17
《科创板日报》7月22日讯,继澜起科技与普冉股份之后,佰维存储成为本月第三家宣布回购方案的存储企业。7月22日盘后,佰维存储发布公告,由董事长孙成思提议以集中竞价交易方式回购公司股份。回购资金总额拟定为2亿元至2.5亿元,价格上限设定为不超过董事会决议前30个交易日均价的150%,或不超过558.44元/股。佰维存储强调,此次回购旨在维护公司价值和股东权益,...
21:52
7月22日,据鼓狮财经报道,东北制药(000597.SZ)发布公告称,公司已正式收到国家药品监督管理局核准签发的《化学原料药上市申请批准通知书》,获批生产玛巴洛沙韦原料药。该药品为抗流感病毒药物,主要适用于成人和儿童流感患者。此次获批将有助于丰富公司产品管线,增强市场竞争力,但具体投产销售时间及实际销售情况仍存在不确定性。
21:52
鼓狮财经7月22日讯,长江证券(000783.SZ)发布公告,董事长刘正斌提议使用公司自有资金,通过集中竞价交易方式回购股份。本次回购金额不低于1亿元,不超过2亿元。回购资金将主要用于实施员工持股计划、股权激励,或用于维护公司价值及股东权益。
21:51
7月21日至22日,国务院国资委举办中央企业负责人研讨班。会议强调,要高质量实施新一轮国资国企改革方案,推动改革工作向纵深发展。 在改革重点上,会议提出明确要求:在主业管理方面,需进一步优化企业功能分类;在重组整合方面,要确保新组建企业起步即加速。在深化公司治理方面,要加强党委(党组)前置研究的实质把关,差异化完善二、三级子企业董事会建设;同时要强化经理层成...
21:51
今日,多家A股公司密集披露2026年半年报及业绩预告,业绩表现亮眼。其中,益生股份净利暴增近49倍,联讯仪器、南网数字净利最高预增均超9倍,中微半导净利增逾九成,贝达药业、奥浦迈等公司亦有预增公告。 以下是详细情况: 益生股份:上半年净利同比增4897% 公司公告称,2026年上半年实现营业收入16.97亿元,同比增长28.44%;归属于上市公司股东的净利润...
21:15
鼓狮财经7月22日讯,好上好(001298.SZ)发布公告称,公司于7月22日收到深交所上市审核中心出具的审核中心意见告知函。深交所审核确认,公司符合发行条件、上市条件及信息披露要求。目前,公司后续将向证监会履行注册程序。值得注意的是,该事项尚需获得证监会的同意注册,最终结果仍存在不确定性。
21:15
据鼓狮财经7月22日报道,保加利亚议会当日通过表决,批准美军在2026年7月24日至10月1日期间,于贝兹梅尔空军基地驻扎。具体部署内容包括最多8架美国空军KC-135空中加油机及其机组人员、最多250名配备个人武器的士兵,以及相关机场设备。 7月21日,保加利亚外交部证实已收到伊朗驻保加利亚大使馆发出的外交照会,内容涉及美军可能在该基地部署加油机一事。对此...