内容摘要
本白皮书解释了机器学习系统中性能的含义，以及用于评估机器学习模型有效性的关键性能指标 (KPI)。在高级驾驶辅助系统（ADAS）感知系统的背景下，本白皮书将分析各种关键性能指标以及它们如何转化为实际驾驶场景。本文将帮助读者更好地理解召回率、精确度和特异性等关键绩效指标，并解释真阳性、真阴性、假阴性、假阳性和混淆矩阵等概念。
类标签和混淆矩阵
灵敏度、特异性、精确度和召回率是机器学习中用于评估对象检测和分类模型性能的几个关键绩效指标。在了解这些关键绩效指标以及如何解释这些指标之前，先要了解正负类标签和混淆矩阵。
真阳性是指模型正确预测出阳性输出的结果。真阴性是指模型正确预测了阴性输出的结果。预测结果与真阳性和真阴性实例的实际输出结果相同。实际输出也被称为 “基准真实值”。
假阳性是指模型预测了阳性输出，但观察到的却是阴性输出的结果。反之，假阴性是指模型预测的是阴性输出，但观察到的却是阳性输出。为了理解这些概念，请考虑一家使用机器学习来判断司机是否会发生事故的保险公司，并使用以下数据集来训练其模型。
表 1 – 示例训练数据集
系统训练完成后，将根据机器学习模型未知但实际结果已知的新数据集进行测试。例如，假设测试模型的新数据集有 100 个客户名单，模型预测 30 个客户会发生事故，70 个客户不会。已知的实际结果显示，在预测会发生事故的 30 名客户中，只有 10 名客户发生了事故。同样，在预测不会发生事故的 70 名客户中，有 5 人发生了事故，65 人没有发生事故，如下表所示：
Table 2 – Confusion matrix
根据上述混淆矩阵
真阳性 = 10
真阴性 = 65
假阳性 = 20
假阴性 = 5
灵敏度和特异性
灵敏度也称为 “召回率”，将在下一节详细解释。特异性衡量模型正确识别的真阴性例子的比例，计算公式为
特异性 = （真阴性）/（真阴性 + 假阳性）
使用混淆矩阵中的数据、
特异性 = 65/(65+20) = 0.76
在某些情况下，例如检测道路上的障碍物时，评估特异性更为重要。例如，考虑一辆在高速公路上巡航的车辆，它具有自适应巡航控制、自动变道和自动紧急制动功能。当护栏出现时，车辆正在高速巡航。某些感知系统可能会错误地将护栏检测为不同的物体，从而可能导致车辆不必要地转向、启动紧急制动和/或与道路上的其他车辆发生事故。这种假想而现实的情况就是假阳性（在没有障碍物的情况下检测到障碍物）造成的。感知系统的目标之一就是尽量减少误报。
精度和召回率作为关键绩效指标
精度是指在模型做出的所有真阳性预测中，真正的阳性预测所占的比例。换句话说，精度衡量的是模型预测阳性标签的准确度。精确度得分高，说明模型在预测阳性类别时表现出色，很少出现假阳性预测。高精度对于更安全的高级驾驶辅助系统和提高消费者信任度至关重要。感知系统的误报意味着道路上存在一个并不存在的物体，并可能产生危及生命的后果。此类事件会给驾驶员和车内乘客造成巨大压力，并削弱人们对 ADAS 的信任。数学计算
精度 = （真阳性）/（真阳性 + 假阳性）
使用混淆矩阵中的数据、
精确度 = 10/(10+20) = 0.33
召回率又称 “灵敏度”，是指在所有实际阳性案例中，真正阳性预测的比例。召回分数高，表明模型能正确识别所有阳性实例，而错误的阴性预测很少。在感知和 ADAS 系统中，高召回分数至关重要。召回分数低意味着误报率高，这意味着感知系统无法检测到现实中存在的物体。在实际驾驶条件下，假阴性可能意味着检测不到汽车、行人或任何其他物体，从而导致事故。数学计算
召回率 =（真阳性）/（假阳性 + 假阴性）
使用混淆矩阵中的数据、
召回率 = 10/(10+5) = 0.67
精确度和召回率都是衡量分类模型性能的基本指标，通常一起用于评估模型的整体有效性。不过，精确度和召回率之间需要权衡，因为增加一个指标往往会导致另一个指标的下降。
例如，假设我们为模型设置了一个非常高的阈值，以将样本分类为阳性。在这种情况下，我们可能会获得很高的精确度，但召回率却很低，因为模型只有在非常有把握时才会做出阳性预测，而可能会漏掉其他预测。相反，假设我们为模型设置了一个非常低的阈值，让它将样本分类为阳性。在这种情况下，我们可能会获得很高的召回率，但精确度却很低，因为模型即使在信心不足的情况下也会做出阳性预测，而其中许多预测可能是不正确的。这些不正确的预测给感知系统开发人员带来了严峻的挑战。感知系统是应该偏重于减少假阳性预测，避免因幻影物体造成事故，还是应该偏重于减少假阴性预测的比例，避免可能驶入物体？一个高性能的感知系统应该同时减少误判和误报。
评估现实世界中的传感器融合与感知解决方案
传感器融合是将来自至少两个传感器的数据进行合并。感知是指处理和解释传感器数据，以检测、识别、跟踪和分类物体。传感器融合和感知使自动驾驶辅助系统能够建立周围环境的三维模型，并将其输入车辆控制单元。
许多传感器融合解决方案执行的是目标级融合，其中每个传感器（如摄像头、雷达、激光雷达）都有其固有的局限性，需要单独对目标进行识别和分类。目标级融合技术在单个传感器数据上运行基于机器学习的感知算法。然而，这样做的结果是性能低下，并非最佳，因为没有一个传感器能在所有条件下探测到所有物体，下表中的优缺点就凸显了这一点。此外，如果不对传感器数据进行融合，系统可能会从传感器获得相互矛盾的输入，从而无法确定下一步行动。
表 3 – 用于 ADAS 和 AD 应用的传感器比较
为车辆 ADAS 系统提供三维环境模型的先进解决方案利用了底层融合技术，即融合来自车载所有传感器的原始数据（从而弥补其他传感器的不足），然后在此组合数据集上运行感知机器学习算法。
LeddarVision™ 是一个底层传感器融合和感知平台，可生成一个全面的三维环境模型，支持用于高级驾驶辅助系统的摄像头、雷达和激光雷达等多传感器配置。LeddarVision 的主要特点是高性能、高成本效益、可扩展性和传感器无关性。不过，在本白皮书中，重点将放在使用前几节讨论的指标评估性能上。
在理想情况下，机器学习模型的精确度和召回率都应达到 1，即零误报或零误报，这仍然是我们的目标，即建立性能尽可能接近 1 的模型。目标级融合等传统技术会在精确度和召回率之间进行调整，并仅限于在黑虚线范围内提供性能，而底层融合不仅会在精确度和召回率之间进行调整，还会推动性能的提升，以提供更好的平均精确度（mAP）。平均精度是用于评估快速 R-CNN、YOLO*、掩码 R-CNN 等物体检测模型的指标。与传统的 “物体融合 ”解决方案相比，它的原始数据融合技术能以更高的检测率和更低的误报率检测到道路上非常小的障碍物。
图 1- 基于人工智能的 LeddarVision 推动性能发展，提高精确度和召回率
总结
误报是传感器融合和感知系统的一个重要组成部分，会对 ADAS 系统的性能产生重大影响，从导致死亡的碰撞到令人讨厌的错误激活警告系统，不一而足。然而，即使是看似无害的错误激活警告系统也会造成严重后果。
评估机器学习模型的一种方法是通过特异性、精确性和召回率（即灵敏度）等关键性能指标，为模型的性能赋予一个数学数字。传统的目标级融合只能在精确度和召回率之间进行调整，而底层融合则能提高性能，提供出色的平均精确度得分，这是一种用于评估性能的指标。请参考以下资源，了解更多有关底层融合、LeddarTech 的技术和产品以及技术和行业资源的信息。
Performance Videos LeddarVision
Products for ADAS Perception FAQs
*只看一次
本白皮书不构成参考设计。此处包含的建议按 “原样 ”提供，不保证完整性或正确性。LeddarTech® 已尽一切努力确保本文档中包含的信息准确无误。此处的任何信息均按 “现状 ”提供。LeddarTech 不对本文档中的任何错误或遗漏负责，也不对本文档中提供的信息引起的或与之相关的任何损害负责。LeddarTech 保留自行决定随时修改设计、特性和产品的权利，恕不另行通知。LeddarTech 不控制其产品的安装和使用，如果产品用于不适合的应用，LeddarTech 不承担任何责任。您应自行负责 (1) 为您的应用选择合适的产品，(2) 验证、设计和测试您的应用，以及 (3) 确保您的应用符合适用的安全和安保标准。此外，LeddarTech 产品的提供必须遵守 LeddarTech 的销售条款和条件或书面约定的其他适用条款。购买 LeddarTech 产品，即表示您同意仔细阅读所购产品随附的《用户指南》中包含的信息，并受其约束。
