游客发表

英国帝国理工学院(Imperial College London)计算机系主导的帝国一项突破性研究,于2026年6月23日以预印本形式发布(论文编号:arXiv:2606.24457)。理工量级立体类方该成果已被收录至2026年IEEE/CVF计算机视觉与模式识别会议(CVPR)相关系列。出轻这项研究推出了名为 LAS2 (Lite Any Stereo V2)的视觉神经超快速立体匹配模型系列,旨在打破“精度与速度不可兼得”的网络传统认知,在保持极低延迟的比同同时,实现强大的法快零样本泛化能力。
人类双眼通过融合略有差异的画面来感知深度,这一过程对机器而言却是理工量级立体类方计算机视觉领域的长期难题。立体匹配(Stereo Matching)技术旨在从左右摄像头图像中计算像素级深度信息,出轻是视觉神经自动驾驶、机器人导航、网络AR及工业检测的比同核心基石。
当前深度学习方案面临严峻的法快两难困境:
* 高精度大模型:计算量巨大,推理缓慢,如同“博学的专家”,虽准确但响应迟滞。
* 轻量级小模型:推理迅速,但泛化能力弱,尤其在面对未见过的“零样本”新场景时表现不佳,往往需针对特定场景重新调优。
帝国理工团队认为这一困境可被打破。LAS2 系列模型的目标是:无需针对新场景重新调整,即可在各类真实世界中保持高精度与低延迟。
理解 LAS2 的创新,可将其类比为裁缝量体裁衣:
* 传统精准模型:如老裁缝,做工精细但耗时极长。
* 传统轻量模型:如快手裁缝,速度快但只擅长固定款式,换体型(新场景)即出错。
LAS2 旨在培养一位“既快又能应对各种体型”的裁缝。其难点在于:
1. 架构妥协:以往轻量模型为求快,在关键的“成本聚合”步骤上过度简化,导致几何信息理解不足。
2. 数据偏差:仅在合成数据上训练,难以应对真实世界中复杂的光线、材质和遮挡,导致泛化能力差。
LAS2 从架构与训练两个维度提出了系统性解决方案。
传统高精度模型依赖三维卷积进行代价聚合(Cost Aggregation),即在高度、宽度和深度差三个维度密集计算,效率低下。
* LAS2 决策:彻底移除三维聚合,采用纯二维代价聚合框架。
* 实现方式:引入 U-Net 风格的聚合网络,通过多尺度压缩与恢复,在捕捉宏观结构的同时保留细节,以“平面搜索策略”弥补维度降低带来的信息损失。
研究团队拒绝仅参考理论计算量(MACs)的选型标准,转而直接在真实硬件上测量推理延迟。
* 骨干网络选择:选定 FasterNet作为特征提取与聚合基础。尽管其理论 MACs 略高于 MobileNetV2,但在 GPU 和嵌入式设备上的实际推理速度更快,更符合部署导向。
LAS2-H 引入了类似“反复检查”的迭代细化流程:
1. 初始估计:使用 LAS2-M 快速生成初始深度图,并保留特征图与匹配代价。
2. 循环修正:利用轻量级 ConvGRU(循环神经网络)反复查看局部匹配信息与上下文,进行 4 次迭代修正。
3. 优势:复用 LAS2-M 预训练权重,避免从头训练开销;单次迭代计算量远低于 IGEV 等竞品,总延迟显著降低。
为解决零样本泛化难题,团队设计了类似工匠成长的三阶段训练策略:
为防止教师模型错误误导,研究团队设计了三层过滤机制及误差截断技巧:
在四个权威基准(Middlebury, ETH3D, KITTI 2012/2015)上进行零样本测试(未参与训练):
torch.compile等实现加速,统一测试条件,确保数据可比性。LAS2 证明了轻量级模型具备强大的零样本泛化能力,为机器人、无人机、智能汽车及 VR 设备提供了低功耗、高精度的三维感知方案。未来,低成本大规模获取高质量真实立体数据将成为该领域关键研究方向。
Q1:LAS2 系列模型和普通的深度估计模型有什么本质区别?
A:LAS2 是立体匹配模型,需输入左右双摄像头图像,通过像素位置差推断距离,具备几何精确性;普通深度估计模型仅输入单张图像,依赖语义先验猜测深度,缺乏几何精确性。LAS2 专为边缘设备实时部署优化。
Q2:LAS2 的三阶段训练策略为什么比直接用真实数据训练效果更好?
A:直接使用真实数据面临无精确标注及训练不稳定的问题。三阶段策略通过:①合成数据建立基础;②自蒸馏增强鲁棒性;③高质量伪标签平滑迁移,分阶段解决不同问题,效果显著优于单阶段方案。
Q3:LAS2 在哪些真实设备上做过测试,实际速度怎么样?
A:测试涵盖 RTX 4090、A5000、A100、H200 及 NVIDIA Orin NX 8G。以 LAS2-M 为例,在 H200 上约 8ms,在 Orin NX 8G 上约 101ms,比同类前馈模型快 1.6-1.9 倍,且能在内存限制内成功部署(部分大型竞品在 Orin 上因内存不足无法运行)。
随机阅读
热门排行
友情链接