大模型在给图片打“质量分”时,往往容易看走眼。一张干净的照片与一张加了噪声或被压缩模糊的退化版,在人类眼中天差地别,但在多模态大模型(MLLM)的视觉表征中,这两者却几乎一模一样。因此,模型给出的分数往往是“凭感觉”估算的,而非基于客观证据。

针对这一痛点,西北工业大学与香港科技大学的研究团队推出了一个新的框架——IQA-T1。该框架首次让多模态大模型在评估图像质量时,学会了像专业检测员一样工作:不再仅凭直觉“瞥一眼”,而是主动调用一套专业分析工具,生成噪声残差图、梯度分布、傅里叶频谱等结构化的“视觉证据”,再逐步基于证据做出判断。

从“凭感觉打分”到“拿证据说话”,IQA-T1在7个图像质量评估基准上取得了综合最优的SOTA成绩,平均PLCC和SRCC分别达到0.795和0.784,且评估过程具备可解释性和可追溯性。目前论文与代码均已开源。

**大模型打分为何会“凭感觉”?**

图像质量评估(IQA)的目标是让机器的分数贴近人类主观感受。虽然多模态大模型崛起后,人们尝试用其推理能力来做IQA,但研究团队指出其根本缺陷:现有方法依赖带有语义偏见的内部表征,而非可验证的底层退化证据。简单来说,大模型视觉编码器擅长理解“这是一只猫”等高层语义,却对噪声、模糊等底层退化极不敏感。这种“语义偏见”导致模型缺乏感知退化的信息,只能靠猜。

现有方法试图修补,但要么是纯文本推理(缺乏视觉锚点),要么是区域裁剪推理(图像块无结构解释)。一句话总结:它们都没能给推理过程提供“证据”。

**核心思路:给大模型配一个“检测工具箱”**

IQA-T1的解法类似于医生看病的进化:从靠经验的老中医进化到能主动开CT、验血的现代医生。团队为模型配备了一个感知工具库,推理时模型自主决定调用工具,将肉眼难以察觉的画质退化转化为结构化的证据图。

具体工具包括:NoiseResidualMap(噪声残差图)、FourierMagnitudeSpectrum(傅里叶幅度谱)、GradientOrientationCoherenceMap(梯度方向一致性图)等。这些证据图会被逐步融入推理链,成为模型每一步判断的“物证”。

工具库的设计基于7个关键感知属性——结构、锐度、噪声、伪影、亮度、色彩、自然度,并据此设计了15种视觉证据。所有工具还满足统一调用接口、输出适度下采样以及结果完全确定性等工程约束。

**从“会用工具”到“会挑时机”:两阶段训练**

要让模型真正掌握这套本领,需要两种能力:知道怎么用工具,以及知道什么时候该用。IQA-T1用一条两阶段训练流水线来解决。

第一阶段是监督微调(SFT),在自建的Q-Tool数据集上进行训练,让模型掌握遵循结构化推理模板、使用规范工具调用语法,以及将视觉证据与质量判断关联起来的能力。

第二阶段是强化学习(RL),利用GRPO打磨模型自适应调用工具的策略。奖励函数由格式奖励、打分奖励、工具使用奖励和重复惩罚四部分组成,鼓励模型用最少的工具、拿最足的证据。

**数据集Q-Tool:首个“证据推理”IQA数据集**

现有IQA数据集没有一个支持“视觉证据推理”。团队构建了首个支持该特性的数据集Q-Tool,包含11k条高质量多模态推理链。该数据集通过人类专家写好推理模板,约束GPT-4o生成推理链,并经过严格验证,确保工具使用正确、证据被引用且结论被支撑。

**实验结果:7大基准综合SOTA**

团队在KonIQ上训练,并在覆盖真实失真、合成失真、算法退化和AI生成内容的7个基准上评测。结果显示,IQA-T1在7个数据集上均取得平均PLCC 0.795和SRCC 0.784的第一名。

对比只会打分、不会解释的MLLM方法,IQA-T1在保持高精度的同时,还能给出可解释的推理链。对比同样带推理的方法,它在合成失真和算法退化数据集上刷新了最好成绩。更有趣的是消融实验显示,工具不是用得越多越好,无关工具反而会引入冗余。IQA-T1的动态调用平均每张图只用2.34个工具,却拿到了全场最好的效果,证明了其“基于证据推理”的高效性。

此外,将框架换到Qwen3-VL-2B、InternVL3.5-4B等不同基座上,性能趋势依旧稳定,证明了“工具化视觉证据推理”是一种通用机制。

**团队信息**

这项工作由西北工业大学与香港科技大学联合完成。论文第一作者为西北工业大学的Jinjian Wu与香港科技大学的Jiaqi Tang,通讯作者为西北工业大学的Wei Wei教授与香港科技大学的Qifeng Chen教授。

**相关资源**
论文:https://arxiv.org/abs/2607.12375v1
代码:https://github.com/zibuyu-02/IQA-T1
模型:https://huggingface.co/zibuyu-02/IQA-T1
数据:https://huggingface.co/datasets/zibuyu-02/Q-Tool
Demo:https://huggingface.co/spaces/Jiaqi-hkust/IQA-T1

最新快讯

2026年10月17日

16:45
**AI算力的终极指向究竟何方?若聚焦国内市场,答案已然清晰——AI漫剧。** 对比中美两国AI算力的最终流向,美国约58%的算力资源被用于代码生成和企业自动化流程,而中国用于软件开发的算力仅占15%。反观国内,高达55%的算力资源投向了AI微短剧与短视频生成,24%则投入电商带货与营销图文制作。简而言之,美国人用AI编写代码,而中国人用AI拍摄“爽剧”。这...
15:39
近期,“AI缺钱”的担忧情绪在市场中甚嚣尘上,导致美股科技股集体下挫,能源板块亦受波及。下周,这一担忧将迎来重大考验——美股科技巨头财报季开启。当地时间10月21日美股收盘后,Meta将率先发布第三季度财报,成为首家接受市场审视、检验AI资本开支成效的科技巨头。 BNY Wealth高级股票分析师Kevin Shea指出,本轮财报季的关键看点之一,在于超大规...
15:01
鼓狮财经10月17日电,美国总统特朗普16日说,他并未要求美国太空探索技术公司限制乌克兰使用“星盾”卫星通信系统。他认为,他本人和太空探索技术公司创始人马斯克都与乌方使用的“星盾”服务被限速无关。特朗普当天在白宫告诉媒体记者:“不是我。而且我认为也不是埃隆(·马斯克)……据我所知,它(星盾)和以前一样。”
15:01
据中国人民银行消息,2026年10月14日至16日,中国人民银行行长潘功胜在出席国际货币基金组织(IMF)和世界银行年会期间,先后会见了泰国、印尼、马来西亚、印度、澳大利亚、土耳其、埃及、尼日利亚及格鲁吉亚等国家的央行行长,就全球经济形势及深化双边务实金融合作等议题深入交换了意见。中国人民银行副行长宣昌能也参与了相关会见活动。 10月15日,在IMF和世界银...
14:27
鼓狮财经10月17日讯,欧洲央行行长拉加德表示,地缘冲突加剧了通胀上行风险。她强调,财政可持续性依然是维持整体经济稳定的“重要支柱”,各国政府需确保针对能源冲击的财政措施具备临时性、精准性及适配性。当前经济前景面临下行风险,通胀风险则呈上行态势,因此应实施适度政策以遏制通胀。
14:27
鼓狮财经10月17日电,欧洲央行管委雷恩周六表示,政策制定者将继续警惕能源价格上涨引发第二轮通胀效应的风险,因为这种效应可能在不知不觉中逐渐显现。雷恩在曼谷的一场活动上表示:“目前没有出现第二轮通胀效应的迹象,但我们将保持警惕,因为这种效应可能在不知不觉中悄然显现。”
14:27
从机舱Wi-Fi到手机直连:SpaceX离挑战美国三大运营商还有多远? 9月,大韩航空和韩亚航空的部分航班率先开通了Starlink。仅仅一个月后,10月8日,美国航空宣布了一项宏大的计划:拟为超过1000架干线客机安装Starlink。而就在同一天,SpaceX又以收购覆盖全美的800MHz频谱作为“信号”,正式向美国三大移动运营商发起挑战。从机舱内的Wi...
14:27
本轮厄尔尼诺或为史上最强,对宏观经济的影响节奏如何,结构有何特征?本文分析,供参考。1. “超强”厄尔尼诺影响的“时间线”要点1:本轮厄尔尼诺或演为史上最强[1],持续时间可能在1年以上。厄尔尼诺是赤道中东太平洋海温持续偏高并引起大气环流变化的现象;通常而言,该地区海温指数(NINO 3.4指数,太平洋海报温度与常年均值的差)高于0.5℃即判定为厄尔尼诺事件...
13:13
据鼓狮财经10月17日报道,“风清”人工智能全球短中期集合天气预报系统V1.0已顺利通过业务化评审,正式投入运行。该系统依托国家超算互联网核心节点的十万卡AI4S计算集群完成了全程训练,成为全国首个实现数据、模型、算力全自主的业务应用气象AI集合预报模型。该系统具备11天的全球有效预报时效,综合预报效果更是超越了欧洲中期天气预报中心(ECMWF)的人工智能集...
13:13
鼓狮财经10月17日消息,备受瞩目的第六届RISC-V中国峰会定档10月18日至20日,将在深圳会展中心(福田)拉开帷幕。作为全球开源硬件与RISC-V生态领域的重要年度盛会,本届峰会将汇聚顶尖科学家、核心架构师、行业决策者、技术开发者及生态伙伴,预计吸引超过3600位线下专业观众以及450余家参展机构。 市场前景方面,据弗若斯特沙利文数据,中国RISC-V...