大模型在给图片打“质量分”时,往往容易看走眼。一张干净的照片与一张加了噪声或被压缩模糊的退化版,在人类眼中天差地别,但在多模态大模型(MLLM)的视觉表征中,这两者却几乎一模一样。因此,模型给出的分数往往是“凭感觉”估算的,而非基于客观证据。

针对这一痛点,西北工业大学与香港科技大学的研究团队推出了一个新的框架——IQA-T1。该框架首次让多模态大模型在评估图像质量时,学会了像专业检测员一样工作:不再仅凭直觉“瞥一眼”,而是主动调用一套专业分析工具,生成噪声残差图、梯度分布、傅里叶频谱等结构化的“视觉证据”,再逐步基于证据做出判断。

从“凭感觉打分”到“拿证据说话”,IQA-T1在7个图像质量评估基准上取得了综合最优的SOTA成绩,平均PLCC和SRCC分别达到0.795和0.784,且评估过程具备可解释性和可追溯性。目前论文与代码均已开源。

**大模型打分为何会“凭感觉”?**

图像质量评估(IQA)的目标是让机器的分数贴近人类主观感受。虽然多模态大模型崛起后,人们尝试用其推理能力来做IQA,但研究团队指出其根本缺陷:现有方法依赖带有语义偏见的内部表征,而非可验证的底层退化证据。简单来说,大模型视觉编码器擅长理解“这是一只猫”等高层语义,却对噪声、模糊等底层退化极不敏感。这种“语义偏见”导致模型缺乏感知退化的信息,只能靠猜。

现有方法试图修补,但要么是纯文本推理(缺乏视觉锚点),要么是区域裁剪推理(图像块无结构解释)。一句话总结:它们都没能给推理过程提供“证据”。

**核心思路:给大模型配一个“检测工具箱”**

IQA-T1的解法类似于医生看病的进化:从靠经验的老中医进化到能主动开CT、验血的现代医生。团队为模型配备了一个感知工具库,推理时模型自主决定调用工具,将肉眼难以察觉的画质退化转化为结构化的证据图。

具体工具包括:NoiseResidualMap(噪声残差图)、FourierMagnitudeSpectrum(傅里叶幅度谱)、GradientOrientationCoherenceMap(梯度方向一致性图)等。这些证据图会被逐步融入推理链,成为模型每一步判断的“物证”。

工具库的设计基于7个关键感知属性——结构、锐度、噪声、伪影、亮度、色彩、自然度,并据此设计了15种视觉证据。所有工具还满足统一调用接口、输出适度下采样以及结果完全确定性等工程约束。

**从“会用工具”到“会挑时机”:两阶段训练**

要让模型真正掌握这套本领,需要两种能力:知道怎么用工具,以及知道什么时候该用。IQA-T1用一条两阶段训练流水线来解决。

第一阶段是监督微调(SFT),在自建的Q-Tool数据集上进行训练,让模型掌握遵循结构化推理模板、使用规范工具调用语法,以及将视觉证据与质量判断关联起来的能力。

第二阶段是强化学习(RL),利用GRPO打磨模型自适应调用工具的策略。奖励函数由格式奖励、打分奖励、工具使用奖励和重复惩罚四部分组成,鼓励模型用最少的工具、拿最足的证据。

**数据集Q-Tool:首个“证据推理”IQA数据集**

现有IQA数据集没有一个支持“视觉证据推理”。团队构建了首个支持该特性的数据集Q-Tool,包含11k条高质量多模态推理链。该数据集通过人类专家写好推理模板,约束GPT-4o生成推理链,并经过严格验证,确保工具使用正确、证据被引用且结论被支撑。

**实验结果:7大基准综合SOTA**

团队在KonIQ上训练,并在覆盖真实失真、合成失真、算法退化和AI生成内容的7个基准上评测。结果显示,IQA-T1在7个数据集上均取得平均PLCC 0.795和SRCC 0.784的第一名。

对比只会打分、不会解释的MLLM方法,IQA-T1在保持高精度的同时,还能给出可解释的推理链。对比同样带推理的方法,它在合成失真和算法退化数据集上刷新了最好成绩。更有趣的是消融实验显示,工具不是用得越多越好,无关工具反而会引入冗余。IQA-T1的动态调用平均每张图只用2.34个工具,却拿到了全场最好的效果,证明了其“基于证据推理”的高效性。

此外,将框架换到Qwen3-VL-2B、InternVL3.5-4B等不同基座上,性能趋势依旧稳定,证明了“工具化视觉证据推理”是一种通用机制。

**团队信息**

这项工作由西北工业大学与香港科技大学联合完成。论文第一作者为西北工业大学的Jinjian Wu与香港科技大学的Jiaqi Tang,通讯作者为西北工业大学的Wei Wei教授与香港科技大学的Qifeng Chen教授。

**相关资源**
论文:https://arxiv.org/abs/2607.12375v1
代码:https://github.com/zibuyu-02/IQA-T1
模型:https://huggingface.co/zibuyu-02/IQA-T1
数据:https://huggingface.co/datasets/zibuyu-02/Q-Tool
Demo:https://huggingface.co/spaces/Jiaqi-hkust/IQA-T1

最新快讯

2026年07月22日

21:52
7月22日,据鼓狮财经报道,东北制药(000597.SZ)发布公告称,公司已正式收到国家药品监督管理局核准签发的《化学原料药上市申请批准通知书》,获批生产玛巴洛沙韦原料药。该药品为抗流感病毒药物,主要适用于成人和儿童流感患者。此次获批将有助于丰富公司产品管线,增强市场竞争力,但具体投产销售时间及实际销售情况仍存在不确定性。
21:52
鼓狮财经7月22日讯,长江证券(000783.SZ)发布公告,董事长刘正斌提议使用公司自有资金,通过集中竞价交易方式回购股份。本次回购金额不低于1亿元,不超过2亿元。回购资金将主要用于实施员工持股计划、股权激励,或用于维护公司价值及股东权益。
21:51
7月21日至22日,国务院国资委举办中央企业负责人研讨班。会议强调,要高质量实施新一轮国资国企改革方案,推动改革工作向纵深发展。 在改革重点上,会议提出明确要求:在主业管理方面,需进一步优化企业功能分类;在重组整合方面,要确保新组建企业起步即加速。在深化公司治理方面,要加强党委(党组)前置研究的实质把关,差异化完善二、三级子企业董事会建设;同时要强化经理层成...
21:51
今日,多家A股公司密集披露2026年半年报及业绩预告,业绩表现亮眼。其中,益生股份净利暴增近49倍,联讯仪器、南网数字净利最高预增均超9倍,中微半导净利增逾九成,贝达药业、奥浦迈等公司亦有预增公告。 以下是详细情况: 益生股份:上半年净利同比增4897% 公司公告称,2026年上半年实现营业收入16.97亿元,同比增长28.44%;归属于上市公司股东的净利润...
21:15
鼓狮财经7月22日讯,好上好(001298.SZ)发布公告称,公司于7月22日收到深交所上市审核中心出具的审核中心意见告知函。深交所审核确认,公司符合发行条件、上市条件及信息披露要求。目前,公司后续将向证监会履行注册程序。值得注意的是,该事项尚需获得证监会的同意注册,最终结果仍存在不确定性。
21:15
据鼓狮财经7月22日报道,保加利亚议会当日通过表决,批准美军在2026年7月24日至10月1日期间,于贝兹梅尔空军基地驻扎。具体部署内容包括最多8架美国空军KC-135空中加油机及其机组人员、最多250名配备个人武器的士兵,以及相关机场设备。 7月21日,保加利亚外交部证实已收到伊朗驻保加利亚大使馆发出的外交照会,内容涉及美军可能在该基地部署加油机一事。对此...
21:15
据刚果(金)卫生部7月22日发布的消息,该国埃博拉疫情累计死亡病例已达999例。本轮疫情由本迪布焦型埃博拉病毒引发,截至目前,刚果(金)与乌干达两国累计报告的死亡病例已超过1000例。 根据刚果(金)卫生部截至7月20日的统计,该国共报告确诊病例2473例,死亡999例。同期,乌干达卫生部数据显示,该国累计确诊病例为20例,其中2例死亡。 目前,刚果(金)共...
21:15
过去两年,人们热议AI时代需要什么样的人才,却鲜有人深究:AI时代到底需要什么样的教育?这个问题无人敢轻易作答,但硅谷的科技与金融精英们,早已用真金白银投出了答案。这两年,硅谷悄然兴起一股反常趋势:一群最信奉科技的人,正砸下数十万美元,将孩子送入一种“非典型”的新式学校。它们有一个共同的名字——替代教育。 这些所谓的替代教育,学费高昂得令人咋舌。今年秋天,曼...
21:15
2026世界人工智能大会的整体基调相较往年显得更为务实。本届大会以“智能伙伴 共创未来”为主题,在百余场论坛与活动中,超过10%的场次聚焦于智能体领域,大会遴选的十款“镇馆之宝”中亦有四款为智能体相关产品。作为行业发展的风向标,WAIC释放出新的信号:当前AI产业正告别参数与算力至上的“上半场”,全面驶入智能体落地、服务实体产业的“下半场”。 第一,产业技术...
20:44
7月22日,速达股份发布公告称,公司董事会秘书兼财务总监谢立智基于对公司未来发展前景的坚定信心及对公司价值的认可,决定提前终止原定的减持计划。谢立智同时承诺,自公告披露之日起六个月内,不再减持其持有的公司股份。截至公告披露日,谢立智在此次减持计划执行期间未进行任何减持操作,其持股数量及比例均保持不变。
20:44
据鼓狮财经7月22日报道,杭氧股份发布公告称,董事长郑伟提议在符合相关法律法规及《公司章程》规定的利润分配政策前提下,以2026年度中期分红股权登记日的总股本为基数,实施2026年度中期利润分配,且分配金额不低于公司2026年半年度归属于上市公司股东净利润的30%。
20:44
据鼓狮财经7月22日消息,永和股份(605020.SH)发布公告,宣布已取得中国工商银行衢州分行出具的股票回购专项贷款承诺函。根据该函件,银行承诺提供不超过2.7亿元的贷款,贷款期限为3年,资金将专项用于公司股份回购。 此前,永和股份已制定股份回购计划,拟动用资金1.5亿元至3亿元,用于实施注销减资及员工持股计划。