NHTSA有缺陷的自动驾驶安全研究被揭露

安全监管机构声称自动驾驶仪减少了40%的撞车事故,这是基于有缺陷的数据和分析,并试图保密。

通过 爱德华Niedermeyer | 更新 2019年7月15日上午8:17
NHTSA有缺陷的自动驾驶安全研究被揭露
分享

两年前,人们对特斯拉自动驾驶系统安全性的担忧达到了顶峰。在乔什·布朗(Josh Brown)的致命车祸中,一辆S型汽车在自动驾驶仪(Autopilot)状态下高速直接撞上了一辆卡车。事故发生后,人们对这款系统的设计和营销提出了严肃的质疑,因为它的免提操作模糊了人们对自动驾驶和驾驶员辅助系统之间界限的认识。然后,在奥巴马政府的最后一天,国家公路交通安全管理局(NHTSA)出台了报告[PDF]声称“安装自动驾驶系统后,特斯拉汽车的碰撞率下降了近40%。”有了这一发现,NHTSA凭一己之力打消了公众对自动驾驶仪的担忧,并消除了采取监管行动的任何动力。

我立刻对NHTSA的发现持怀疑态度因为它似乎没有控制自动紧急制动(AEB)和前方碰撞警告(FCW)的效果,而高速公路安全保险协会(IIHS)发现,这两种系统可以减少40%的正面碰撞。质量控制系统公司(Quality Control Systems)的兰迪·惠特菲尔德(Randy Whitfield)对国家公路交通安全管理局的自动驾驶仪研究有自己的疑问,并提交了一份《信息自由法》(FOIA),要求获得基础数据,但被拒绝了。作为回应,惠特菲尔德起诉了NHTSA, 2018年11月,NHTSA终于公布了这些数据。现在,多亏了惠特菲尔德的法律纠纷后续分析[PDF]我们知道NHTSA的发现是基于错误的数据和更糟糕的分析。在随后发生致命的自动驾驶仪事故后,特斯拉一再声称车祸减少了40%,这一说法现在已被彻底揭穿。

这种情况引发了一系列问题,一个比一个更令人不安,其中许多问题我们仍然没有答案。虽然我们正在努力寻找一些更广泛问题的答案,但我们至少可以解释NHTSA的分析是如何大错特错的。

在Whitfield的《信息自由法》诉讼中,NHTSA透露,在调查Josh Brown车祸的过程中,它曾向特斯拉发送了一封信息请求信。NHTSA曾要求特斯拉提供“The

作为回应,特斯拉发送了“安装自动驾驶系统前的行驶里程”和“安装自动驾驶系统后的下一行驶里程”数据,以及安全气囊激活后的碰撞数据。NHTSA利用这些数据得出了减少40%碰撞的结论,该机构称这一过程“检查了自动转向启动前的行驶里程、自动转向启动后的行驶里程、自动转向启动前的安全气囊展开事件和自动转向启动后的安全气囊展开事件的总和。”

质量控制系统

Whitfield发现,在研究的43781辆汽车中,只有5714辆拥有完整的、可验证的数据,可以支持NHTSA的调查结果。Whitfield对安装自动驾驶系统前后的完整里程数据进行了同样的分析,发现安装自动驾驶系统后,安全气囊的使用率增加了59%。即便如此,在不知道安全气囊发生碰撞的确切里程的情况下,也很难得出有关该系统相对安全性的具体数据。但是,通过统计回归,Whitfield确定,在控制暴露里程的情况下,自动驾驶系统的安装与安全气囊碰撞风险的降低无关。他的分析实际上发现,“自动驾驶实际上与安全气囊展开的优势比增加了2.4倍以上。”

根据Whitfield的分析,NHTSA似乎对14,791辆未报告“安装自动转向系统前的行驶里程”和“安装自动转向系统后的下一行驶里程”的车辆使用了单独的暴露里程计算方法。他指出,这些车辆的所有行驶里程都被计入“安装自动驾驶系统后的下一行驶里程”,但在安装自动驾驶系统之前,三次安全气囊的部署都被计算在内,这从根本上扭曲了数据,有利于减少安装自动驾驶系统后的撞车事故。

Whitfield研究了8881辆“安装自动转向系统前的行驶里程”和“安装自动转向系统后的行驶里程”之间存在差距的汽车,他发现这个差距是安装自动转向系统前总行驶里程的2.6倍,比安装自动转向系统后的行驶里程小8%。通过将这一差距与安装自动转向前后的累积里程进行比较,他发现有证据表明,“在安装自动转向之前,实际暴露里程被大大低估了”,从而导致“在安装自动转向之前,计算出的碰撞风险比安装自动转向之后计算出的风险更大”。

Whitfield研究了14,260辆安装了自动驾驶系统的车辆,这些车辆没有报告安装自动驾驶系统后的确切行驶里程,但报告了“安装自动驾驶系统后的下一行驶里程”。他发现,NHTSA在计算碰撞率时根本没有将暴露里程计算在内,尽管在这零行驶里程中有15个安全气囊展开。显然,计算15个零英里以上的部署,几乎占整个研究人口的三分之一,从根本上排除了最终的碰撞率,从而更有可能找到安装后减少的方法。

质量控制系统

最终,惠特菲尔德令人信服地证明,NHTSA的分析存在根本性缺陷,这使得特斯拉更有可能获得有利的结果。虽然对一小部分数据完整的车辆进行的统计回归表明,在安装了自动驾驶系统后,使用安全气囊的撞车事故有所增加,但样本的规模太小,以及对整体情况的质疑数据集的准确性很难确定。由于车辆在安装了安全气囊后就离开了道路,AEB和FCW等系统的影响并没有得到控制,而且有些车辆可能在自动驾驶仪可用之前就已经报废了,因此他得出结论,这些数据“不一定是对自动驾驶进行风险分析的最佳选择。”

但是,正如惠特菲尔德在结论中指出的那样,这种情况最令人不安的方面是“NHTSA和特斯拉都愿意投入大量资源来阻止公众监督……基于对特斯拉受到竞争损害的担忧。国家公路交通安全管理局对其得出减少40%的结论所采用的方法以及依据的数据从来不透明,如果不是惠特菲尔德坚持起诉国家公路交通安全管理局,真相可能永远不会大白于世。这就提出了一个NHTSA必须回答的根本问题:为什么它更关心对特斯拉的竞争损害,而不是对公众的透明度,公众的税收为其提供了预算,而且它表面上是为谁服务的?如果不解决这个问题,我们永远不会知道NHTSA在这件事上是无能,还是它(或它的一名或多名员工)实际上与特斯拉勾结,提供了有关自动驾驶仪安全性的误导性数据。

我们知道特斯拉反复地把

easily-debunked统计将其数据隐藏在一个尽可能缺乏透明度和问责制的系统中这是为了让Autopilot看起来更安全。我们还知道,特斯拉最初称自动驾驶是一项“便利功能”,直到乔什·布朗撞车事故前后才开始将其作为一项“安全功能”推出。如果NHTSA没有意识到特斯拉一再试图利用糟糕的统计数据来操纵公众对自动驾驶仪的看法,它应该已经意识到了。

Whitfield指出,这一发现并没有促使NHTSA重新展开对Autopilot的调查,这意味着该机构仍在拖延。考虑到全国运输安全委员会对乔什·布朗车祸的调查得出的结论是,自动驾驶仪有两个基本的设计问题,导致了布朗的死亡,即缺乏足够的驾驶员注意力监控和缺乏严格的操作设计领域限制,NHTSA的不作为和最可以被称为无能的结合,尤其令人恼火。

监管自动驾驶系统并不容易,毫无疑问,错误已经出现,而且还会继续出现。但是,忽视像美国国家运输安全委员会这样的彻底调查,从事像“40%”分析这样毫无价值和误导性的研究,并努力阻止这些研究结果的透明度,这些都构成了一种只能用危机来形容的事态。

国家公路交通安全管理局(NHTSA)或其监察长不仅需要对这里发生的事情给出答案,还需要采取具体措施重建公众信任。自动驾驶安全问题非常重要,不容忽视。

Baidu