AV2T-Gen环境和车辆的状态引导下的航拍RGB转红外任务概览、带有环境/车辆元数据的配对RGB-T数据航拍RGB转热红外并不是说要“换一种灰度风格””而是为了得到更准确的热红外图像同一个目标在不同的环境和运动状态中热辐射的特点是不一样的AV2T-Gen 明确地加入了温度、湿度、气压、风速等环境因素同时把车辆运动或者静止的状态当作是细粒度的控制信号并且建立29672组带有环境和车辆状态注释的航拍RGB-T数据环境感知车辆状态感知论文核心速览论文标题AV2T-Gen: Aerial Visible to Thermal Generation with Environment and Vehicle State Guidance作者Kun Yang, Yuxiang Liu, Yihan Wang, Shen Yan, Maojun Zhang, Yu Liu*, Xue Wang, Qing Wang单位为西北工业大学、国防科技大学论文链接https://eccv.ecva.net/virtual/2026/poster/3919代码https://github.com/NPU-CVPG/AV2T一句话总结AV2T-Gen 将环境参数和车辆运动状态显式地包含在航拍可见光→热红外扩散生成中并且同时构建带有丰富的环境/目标元数据的配对RGB-T数据集。从环境条件到热红外生成一条“物理感知”条件链路目前可见光到热的方法虽然已经从GAN发展到了Diffusion/Flow但是很多方法仍然比较接近于“外观或风格变换”。对于真实的热成像来说还不行因为环境温度、湿度、气压、风速以及车辆是否运动都会改变热红外响应。因此作者并不是仅仅为了视觉上的“像热红外”而进行创作同时还希望能够得到的结果既符合物理一致性与上下文一致性。这也是本文最重要的起始点。物理一致性不是简单的风格迁移Part 1方法拆解四种信息怎样进入到扩散模型中并不是要给扩散模型增加一个提示词而是要把场景条件拆分成可以对齐、可以控制的多个模态表征。环境侧用GPS和拍摄时间来关联温度、湿度、气压和风速从而形成文本Prompt车辆侧通过YOLOv11和时序信息来判断moving/stationary/unknown并且和通用标签进行融合Ram-Grounding 提供标签和框SAM 提取对象 MaskCLIP 编码标签和环境文本最后把条件嵌入、可见光潜变量一起进入UNet一步步得到热红外潜变量。① 环境条件链路。通过GPS以及采集的时间来得到该区域的时间、温度、湿度、大气压强、风速等并且通过插值得到连续的时间条件然后组合成环境Prompt。② 车辆状态链路。首先使用YOLOv11在航拍可见光序列中检测出车辆然后结合时序来判断同一个车辆是stationary、moving或者unknown并把状态写入目标标签。③ 基础模型条件提取。Ram-Grounding 负责通用标签和 bounding box 的处理工作SAM 会根据框来生成准确的 Mask EmbeddingCLIP 负责编码 Label 与环境 Prompt经过 Mask、Label 和 MLP 的融合之后再和 Prompt Embedding 合并成为 UNet 控制条件的一部分。潜空间生成。冻结的 VAE 负责RGB/thermal潜空间映射训练的UNet负责在条件引导下完成去噪预测。论文中已经明确指出 RAM、SAM、CLIP 等大模型保持冻结状态只有 MLP 和 UNet 参与到训练当中。CLIP/SAM/RAM-Grounding多模态条件控制Part 2实验结果不仅要判断“是否相似”还要看它能否被推广到其他场景中去并且能够被用来进行检测主要结果All Scenes 上 PSNR 24.08、SSIM 0.750、FID 67.45、LPIPS 0.29在统一的数据和设置之下AV2T-Gen 在四个独立的场景以及All Scenes汇总测试中都取得了论文报告的最佳成绩作者还在LLVIP上做零样本和微调的测试并且用leave-one-out的方式去验证跨场景迁移的效果。实验数据与训练。作者创建了四个航拍场景substation 3,175 对、school 9,428 对、square 10,505 对、driving school 6,564 对总共29672对640×512 RGB-T按照 9:1 的比例进行划分训练100个epoch并且使用了8个RTX 4090显卡总共有24GB显存。主结果。在 All Scenes 汇总测试中AV2T-Gen 报告 PSNR 24.08、SSIM 0.750、FID 67.45、LPIPS 0.29论文表 1 中这四条都比 DiffV2IR、PID、sRGB-TIR 和 ThermalGen 好。跨数据、跨场景。LLVIP 上除了做零样本学习之外还做了微调同时用leave-one-out的方法做四个场景的实验来检验场景的特异性。论文由此认为模型所学到的条件映射具有一定的迁移能力并不是仅仅记住一个场景的统计数据。计算开销。完整的框架大约有15.5亿个参数主要是对基础模型和扩散模型进行冻结论文给出的640×512单张图片总的推理时间大约为10秒所以它的定位是离线高保真数据生成引擎并不是实时机载部署模型。29672 对 RGB-T跨数据、跨场景验证Part 3训练的目标是条件嵌入、扩散去噪和结构保持VAE 将 RGB 与真实热红外映射到潜空间中冻结的编码/解码器负责对紧凑表征和重建环境Prompt、Mask Embedding和Label Embedding一起组成了条件控制UNet在可见光潜变量、条件嵌入以及共同约束之下进行迭代去噪训练的目标是潜空间L1、Sobel边缘L1以及VGG感知损失它们的权重分别是1.0/0.5/0.25。VAE 编码和解码可见光输入首先会被编码成潜变量然后预测出的潜变量再进行解码得到热红外图像。条件嵌入环境Prompt和经过Mask/Label融合之后得到的对象上下文一起组成了最后的控制条件。扩散去噪在每一个时间步中UNet 同时接收到噪声潜变量、条件嵌入和可见光潜变量。总损失潜空间L1保证整体映射Sobel边缘损失加强结构VGG感知损失补充细节。潜空间扩散边缘感知约束消融结论。完整的模型在All Scenes上的分数是24.08/0.750/67.45/0.29。去掉环境Prompt之后降到22.29/0.700/77.66/0.31说明环境条件不是装饰性的输入。环境变量敏感性。论文还进一步去掉Temperature、Humidity、Wind Speed、Air Pressure并给出各因素的重要性排序如下THVP。下游检测。在相同的车辆检测器下生成热红外的检测结果中Ours达到mAP 15.6%mAP50 35.9%mAP75 11.1%mAP_s 14.2%这就表明评价不仅仅是停留在像素/感知指标上还会涉及到任务可用性的方面。环境变量THVP车辆检测可用性本文最值得一看的地方是把环境因素和车辆状况把它们变成显式的可控制变量并使Visible-to-Thermal生成从“视觉拟态”向“上下文/物理一致性”的方向发展。局限也很明确15.5B 级完整框架和大约 10s/张图片的推理成本使得目前它更适合用作离线数据生成器。作者在结论部分提出的下一步工作就是把实时传感器的数据融合进来并且用时序来追踪历史从而得到更加精细的车辆Prompt。往期推荐END