网站开发人员是做什么的,网站的宣传推广包括,如何下载ppt模板免费,室内设计工作室排名Abstract 随着计算机视觉的最新进展#xff0c;自动驾驶迟早成为现代社会的一部分#xff0c;然而#xff0c;仍有大量的问题需要解决。尽管现代计算机视觉技术展现了优越的性能#xff0c;他们倾向于将精度优先于效率#xff0c;这是实时应用的一个重要方面。大型目标检测…
Abstract 随着计算机视觉的最新进展自动驾驶迟早成为现代社会的一部分然而仍有大量的问题需要解决。尽管现代计算机视觉技术展现了优越的性能他们倾向于将精度优先于效率这是实时应用的一个重要方面。大型目标检测模型通常需要更高的计算能力这是通过使用更复杂的机载硬件来实现的对于自动驾驶来说这些要求转化为燃料成本的增加并最终导致里程的减少此外尽管有计算需求但现有的目标检测器还远远不能满足实时性的要求。在本研究中我们评估了我们先前提出的高效行人检测器LSFM在成熟的自动驾驶基准上的鲁棒性包括不同的天气状况和夜间场景。我们将LSFM模型扩展到一般的目标检测以实现交通场景中的实时目标检测。我们在交通目标检测数据集上评估了其性能、低延迟性和可推广性。进一步地我们讨论了当前自动驾驶背景下目标检测系统所采用的关键性能指标的不足并提出了一种更适合的、包含实时性要求的替代方案。
Introduction 自动驾驶旨在通过替代人类驾驶员来改善道路安全性、舒适性、交通拥堵和油耗等问题。自动驾驶的承诺是革命性的但也伴随着诸多挑战。自动驾驶系统的管道由众多模块组成感知是第一位的。感知系统的主要功能是从自车周围环境中获取至关重要的信息并以易于消费的格式传输给自主系统。计算成本直接影响自动驾驶车辆的行驶里程因为它直接转化为燃料成本并增加了硬件需求。一个合理的设置和一个强大的GPU可以单独花费大量的里程而现有的目标检测方法远远没有达到实时的( 30F P S)。除目标检测外感知模块还具有多个感知子程序进一步收紧了约束。因此需要一种具有优越精度、最小硬件占用和计算效率的轻量级目标检测器。 行人是自动驾驶感知的重要交通目标并且由于他们不太的衣服和体型导致行人检测非常困难。在研究领域中使用复杂的目标检测架构进行行人检测是一种普遍的做法。然而如果一个架构在附加约束的行人检测中表现良好那么当扩展到其他交通对象时它应该表现良好。最近提出的LSFM在行人检测上取得了最佳的性能。它对运动模糊具有鲁棒性推理时间较短效果良好特别是在小遮挡和严重遮挡的情况下。在这篇工作中我们扩展了LSFM到多类目标检测并且证明了在交通目标检测的泛化性。我们还评估了其在合成数据集上以及在恶劣天气和光照条件下(包括夜间)的泛化能力。
主要工作如下
1、我们评估了LSFM [ 15 ]在夜晚场景中的可推广性并在KITTI [ 16 ]排行榜上进行了比较。
2、我们通过结合多类目标检测来扩展LSFM [ 15 ]以方便交通目标检测。
3、我们提出了一种新的实时目标检测的关键性能指标。
4、我们使用传统的和实时的评价指标在公认的自动驾驶基准上评估LSFM [ 15 ]用于交通目标检测的性能。
Efficient traffic object detection LSFM是一个有效的行人检测器。由于行人是最具挑战性的交通对象一个高效、高性能的行人检测架构应该能够很好地推广到其他交通对象。
3.1 Localized Semantic Feature Mixers LSFM把RAW images作为输入使用ConvMLPPin backbone去提取高级语义特征。这些特征然后送入SP3将其分割成不同大小的patch使得每个阶段的特征图产生等数量的patch。除此之外把空间相似度高的patch对齐、展平然后凭借从单一的1D向量。它们通过一个单一的全连接层以局部化(localized)的方式进行过滤和富集。此外DFDN通过MLPMixer块混合这些局部语义特征来检测目标因此命名为局部语义特征混合器(Localized Semantic Feature Mixers)
3.2 Extension for Traffic Object Detection LSFM 使用了行人的高层语义特征表示即中心、尺度和偏移表示。在检测头中制定了3个目标每个目标都用一个专用的子网络进行优化。使用有Fcoal loss的二元交叉熵损失去进行中心预测以使训练对严重的前后背景不平衡更鲁棒。具体来说使用焦点损失的α变体[ 19 ]其中α是高斯基惩罚减少项以减轻中心学习。为了扩展行人检测模型并实现多类目标检测需要改变检测头部以进行多类分类。此外尺度和偏移预测分支可以不受影响因为这些属性可以以类不可知的方式进行学习。对于行人检测该损失通过对象实例的数量进行归一化这允许在训练期间对拥挤和更简单的场景进行统一的关注。然而如果简单地将所有类的损失累加并与实例总数进行归一化处理则优化结果会偏向于密度较高的类。为了解决这个问题我们将每个类别的中心损失分别用批次中出现的次数进行归一化。则多目标最终的中心损失方程为C是类别数量Kc是一个类的实例数量和是惩罚因子和焦点损失但针对某一类。 3.3 Real-Time Objective Performance 由于自动驾驶需要时间关键的感知因此目标检测等感知任务需要实时工作虽然不同领域对实时性的定义不同但30F P S是自动驾驶情况下可接受的阈值。平均精度( mean average precisionmAP )是目标检测的一个著名的关键性能指标然而它与推理时间无关因此不适合自动驾驶等实时系统。为此我们提出了实时目标性能( Real-Time Objective Performance简称mAP )它是由实时系统的mAP衍生出来的一个关键性能指标。下面的方程表示RTOP与性能p和FPS的关系。p是性能评估mAP是基本单元T为实时帧率b是调整缩放的权重设置T30b2。 Results 首先验证了在LSFM在变化光照条件下的性能。
4.1 Evaluation on KITTI Pedestrian Benchmark 为了确保公平的比较KITTI数据集[ 16 ]的测试集在官方服务器上被保留这些数据集的评估只能通过在官方服务器上的请求来实现。 LSFM [ 15 ]比现有的基于相机的方法有显著的优势表现出对严重遮挡的鲁棒性。 4.2 Performance at the night Time 运动模糊是造成目标检测器定位不准确的主要因素之一由于运动模糊是由于相机快门打开时场景的变化引起的。为了评估LSFM [ 15 ]在极端低照度条件下(夜晚)的性能以及它对强化运动模糊的鲁棒性我们在Euro City Persons [ 23 ]夜晚数据集上进行了测试。LSFm在夜间合理且较小的情况下性能优于SPNet但是LSFM和SPNEt在夜间的性能差距小于白天的这蒸馏了LSFM对强烈运动模型具有鲁棒性
