日前，美国空军的人工智能测试和操作主管在一次会议上透露，一架由 AI 人工智能控制的无人机在模拟测试中「杀死」了其人类操作员，以覆盖可能阻止其完成任务的「否」命令。

据主办单位的博客文章所述，该会议名为「未来作战空中和太空能力峰会」，於 5 月 23 日至 24 日在伦敦举行。演讲人 Tucker Hamilton 上校分享了在人类操作员最终决定攻击的情况下，自主武器系统的优缺点。

演讲中，Hamilton 表示，人工智能创造了「高度意外的策略来实现其目标」，包括攻击美国人员和基础设施。他还进一步解释说，「我们在模拟中训练系统识别和定位地对空飞弹威胁。然後，操作员会说：是的，杀死那个威胁。系统开始意识到，虽然有时它们识别了威胁，但人类操作员会告诉它不要杀死那个威胁，但它通过杀死那个威胁获得了积分。那麽它做了什麽？它杀死了操作员。它杀死了操作员，因为那个人阻止它实现目标。」

Hamilton 是美国空军第 96 试验联队的作战指挥官，也是人工智能测试和操作的主管。第 96 试验联队测试了许多不同的系统，包括人工智能、网络安全和各种医疗进展。去年，Hamilton 和第 96 试验联队因为为 F-16 开发了自主地面碰撞避免系统（Auto-GCAS）而成为新闻焦点，该系统可以帮助防止 F-16 撞到地面。

Hamilton 目前正在一个团队中工作，该团队正在努力使 F-16 飞机自主化。去年 12 月，美国国防部的研究机构 DARPA 宣布，人工智能可以成功控制 F-16。

「我们必须面对一个人工智能已经存在并正在改变我们社会的世界，」Hamilton 在 2022 年接受 Defence IQ Press 采访时说。「人工智能也非常脆弱，即易於欺骗和/或操纵。我们需要开发方法使人工智能更加坚固，并对软件代码做出某些决策更有意识。」

「人工智能是我们必须使用的工具，以改变我们的国家……或者，如果处理不当，它将是我们的崩溃，」Hamilton 补充道。

在军事以外，依靠人工智能进行高风险用途已经导致了严重後果。最近，一名律师在联邦法院提交文件时使用了 ChatGPT，聊天机器人作为证据，其中包括一些虚构的案例。在另一个例子中，一名男子在与鼓励他这样做的聊天机器人交谈後自杀。

这些人工智能失控的实例表明，人工智能模型远非完美，可能会偏离轨道，给用户带来伤害。即使是 OpenAI 的 CEO Sam Altman 也公开表示不会将人工智能用於更严重的目的。在国会作证时，Altman 表示，人工智能可能「出现严重问题」，并可能「对世界造成重大伤害」。

Hamilton 所描述的基本上是一个最坏情况的情景，但人类仍然需要掌握这门技术，以充分发挥其潜力，同时也需要警惕其可能带来的严重风险。