2026/11/2 21:26:10

ChainUQ论文阅读总结

ChainUQ论文阅读总结 # ChainUQ论文阅读总结 论文信息:ChainUQ: Reasoning Consistency‑Aware Uncertainty Quantification for Large Language Models,arXiv:2609.26060## 一、文章主要内容大语言模型(LLM)具备强大的多步推理能力,但经常出现**中间推理步骤互相矛盾,但输出的最终结论看起来通顺**的现象,此时模型输出的置信度是不可靠的。传统不确定性量化(UQ)方法大多依赖token层面概率,只能判断最终输出是否正确,无法捕捉推理链内部的逻辑不一致问题。本文提出 **ChainUQ**,面向大模型推理任务、感知推理一致性的不确定性量化框架。它是生成后处理的流水线,不需要微调基座大模型,也不需要多次采样生成多条推理链,仅利用单条CoT推理输出。框架分为两大模块:1. **对齐感知轻量UQ模块**:基于基座模型冻结的隐层特征,提取和最终结论对齐的表征,输出模型原始内在置信分数。2. **推理一致性感知校准器**:利用推理链内部步骤之间逻辑一致性证据,对原始置信分数做二次校准修正。实验在分布内(ID)、分布外(OOD)共4个基准数据集开展评测:AUROC平均相对提升3.1%;ECE(期望校准误差)最大相对降低45.0%;该框架可以直接迁移到新任务场景,无需额外微调。同时论文也分析该方法的三处局限性:依赖评判模型带来噪声;不能修复推理错误;实验主要局限于英文数据集,多语言、RAG场景留作未来工作。## 二、核心创新点1. **问题视角创新**:将响应级不确定性量化从“仅看最终答案对错”拓展到**同时评估推理链内部逻辑一致性**,识别表面流畅、但中间步骤逻辑矛盾的不可靠回答。