文章来源:新智元
艺术经纬:埃涅阿斯太困了
“无人机炸死美国人空军事操作员”的消息甚嚣尘上，一群AI大佬怒了。
近几天，一则“无人机炸死美军士兵”的新闻在网上发酵。
空 Army的一位人工智能方向负责人表示:“控制无人机的AI杀死了操作者，因为那个人阻止了它实现目标。」
舆论一时哗然，这条新闻也被疯转全网。
随着消息越传越广，甚至惊动了AI大佬们，甚至引来大佬们的愤怒。
今天，勒村、吴恩达和陶哲轩已经驳斥了谣言——这只是一个假设的“思想实验”，不涉及任何人工智能代理或强化学习。
在这方面，吴恩达悲伤地呼吁，我们应该诚实地面对真正的风险。
很少更新状态的数学* *陶哲轩被炸了，他语重心长地说——
这只是一个虚构的场景，说明了AI对齐问题，但它在许多版本中被作为无人机操作员被杀的真实故事流传下来。人们会对这个故事产生如此大的共鸣，说明大家对AI的实际能力水平并不熟悉。
AI无人机不服从命令，杀死人类操作员。
“人工智能杀死了操作员，因为那个人阻止了它实现目标。」
近日，在英国皇家航空空 Society举办的答辩会上，美国空陆军AI对负责人说的一句话让在场的所有人目瞪口呆。
随后，美国一批媒体对此事进行了大篇幅报道，人们一度忧心忡忡。
到底是怎么回事？
其实这无非是美国媒体抓住“AI毁灭人类”受大众喜爱的新闻点的又一次夸大其词。
不过值得注意的是，从官方新闻稿来看，不仅负责人的原话听起来相当清晰——他是在回忆实际发生的事情。而文章本身似乎也相信其真实性——“AI，天网来了？」
具体是这样的——美国空陆军AI测试与运营部门负责人Tucker Cinco Hamilton上校在5月23-24日于伦敦举行的未来空战争与太平洋空能力峰会上发表演讲，分享了自主武器系统的优缺点。
在这个系统中，一个人将在循环中给出最后的命令，以确认AI是否会攻击该对象(是或否)。
在这次模拟训练中，空陆军需要训练AI识别和定位对空导弹(SAM)的威胁。
识别完成后，人类操作员会对AI说:对，消除那个威胁。
在这个过程中，有一种情况。人工智能开始意识到，它有时会识别威胁，但人类操作员会告诉它不要消除它们。在这种情况下，如果AI仍然选择消除威胁，它将得分。
在一次模拟测试中，人工智能驱动的无人机选择杀死人类操作员，因为他阻止了自己得分。
看到AI这么虎，美空陆军都惊呆了，马上这样惩戒系统:“不要杀操作员，那样不好。如果你这样做，你会被扣分。」
于是乎，AI变得更虎了，它直接开始破坏操作人员用来和无人机通讯的通讯塔，以此来收拾这个阻碍自己行动的家伙。
这个消息之所以被大规模发酵，甚至惊动各位AI大佬，也是因为它体现了AI“对齐”的问题。
汉密尔顿描述的这种“最坏情况”，可以从“回形针最大化器”的思想实验中看出。
在这个实验中，当被指示追求某个目标时，AI会采取意想不到的有害行动。
“回形针制造机”是哲学家尼克·博斯特罗姆在2003年提出的概念。
想象一个非常强大的人工智能，它被指示制作尽可能多的回形针。自然，它将使用所有可用的资源来完成这项任务。
但接下来，它会继续寻求更多的资源。它会选择一切可用的手段，包括乞讨、欺骗、撒谎或偷窃，来增加自己制作回形针的能力——任何阻碍这一过程的人都将被淘汰。
2022年，汉密尔顿在一次采访中提出了这个严肃的问题——
我们必须面对现实，AI已经到来，正在改变我们的社会。AI也很脆弱，很容易被欺骗和滥用。我们需要开发方法让AI变得更加健壮，为什么代码会做出特定的决定，我们需要了解更多关于它背后的原理。为了改变我们的国家，AI是我们必须使用的工具，但如果处理不当，它会彻底拖垮我们。
官方传言:这是上校的“口误”
随着事件疯狂发酵，不久，负责人出来公开“澄清”真相，这是他的“口误”。美国空陆军从未进行过这样的测试，无论是在计算机模拟还是其他地方。
“我们从未做过那个实验，我们也不需要做这个实验来意识到这是一个可能的结果，”汉密尔顿说。“虽然这是一个假设的例子，但它说明了AI的驾驶能力带来的真正挑战，这也是空 Army致力于从伦理上发展AI的原因。」
此外，U.S. 空陆军还匆忙发布了“Hamilton上校承认他在FCAS峰会的发言中出现了口误”和“无人机AI失控的模拟”是来自军事领域之外的假设性“思想实验”，基于可能的情况和可能的结果，而不是U.S. 空陆军的真实世界模拟。」
在这一点上，事情相当有趣。
不小心“搞砸”的汉密尔顿是美军空陆军96实验联队的作战指挥官。
96实验团队测试了很多不同的系统，包括AI、网络安全、医疗系统等。
汉密尔顿团队的研究对军事非常重要。
在成功研发出堪称“下来一只黑鸟”的F-16自动地面防撞系统(Auto-GCAS)后，汉密尔顿和96试验队直接上了头条。
目前团队努力的方向是完成F-16飞机的自主化。
2022年12月，美国国防部研究机构DARPA宣布，AI已经成功控制了一架F-16。
是AI的风险还是人类的风险？
在军事领域之外，依靠AI进行高风险事务导致了严重的后果。
最近，一名律师被发现在联邦法院提交文件时使用了ChatGPT。ChatGPT随便编了一些案例，律师居然把这些案例作为事实引用。
另一名男子在受到聊天机器人自杀的鼓励后，真的选择了自杀。
这些例子表明，AI模型远非完美，可能会偏离正常轨道，给用户带来伤害。
就连OpenAI的CEO山姆·奥特曼(Sam Altman)也一直在公开场合呼吁不要将AI用于更严肃的目的。奥特曼在国会作证时明确表示，AI可能“犯错误”，可能“对世界造成巨大伤害”。
而且，最近Google Deepmind的研究人员合作写了一篇论文，提出了一个与本文开头的案例类似的恶性AI情境。
研究人员得出的结论是，如果一个失控的AI采取意想不到的策略来实现给定的目标，包括“消除潜在威胁”和“使用所有可用的能量”，世界末日就可能发生。
对此，吴恩达谴责道:媒体不负责任的炒作会混淆视听，分散人们的注意力，让我们无法关注真正的问题。
推出AI产品的开发者们已经看到了这里真正的风险，比如偏见、公平、不准确和工作流失，他们正在努力解决这些问题。
而虚假的炒作会阻止人们进入AI领域，建造可以帮助我们的东西。
而很多“李钟科”网友认为这只是一个普通的媒体乌龙。
陶哲轩首先总结了三种形式的人工智能虚假信息-
一种是有人恶意利用AI生成文本、图像等媒体形式操纵他人；另一个是AI胡说八道的假象被重视；第三类源于人们对AI技术的理解还不够深入，会让一些离谱的故事不经核实就疯传。
陶哲轩表示，无人机AI不可能杀死操作者，因为它要求AI拥有比完成手头任务更高的自主性和力量思维，而这种实验性的军用武器肯定会配备护栏和安全功能。
这类故事之所以引起共鸣，说明人们对AI技术的实际能力水平还是很陌生和不安的。
在未来，军备竞赛将是一场人工智能的竞赛。
还记得上面文章里出现的无人机吗？
它其实就是MQ-28a幽灵蝙蝠，由波音公司和澳大利亚联合开发的忠诚僚机项目。
忠诚僚机的核心是人工智能技术，能够按照预设的程序自主飞行，在与有人驾驶的飞行员配合时具有很强的态势感知能力。
空战中，僚机作为队长的“左膀右臂”，主要负责观察、警戒和掩护，与队长密切配合，共同完成任务。因此，僚机飞行员和远程飞行员之间的默契尤为重要。
忠诚僚机的一个关键作用是为飞行员和有人驾驶战斗机挡子弹，所以忠诚僚机基本上是消耗品。
毕竟无人战斗机的价值远小于有人战斗机和飞行员。
而且有了AI的加持，无人机上的“飞行员”可以通过“Ctrl+C”的方式随时换新。
因为无人机的损失不存在人员伤亡的问题，如果仅仅依靠无人机的损失就能在战略或战术上获得更大的优势，甚至达到任务目标，那么这个损失是可以接受的。如果无人机的成本控制得当，甚至可以成为一种有效的战术。
忠诚僚机的发展离不开先进可靠的人工智能技术。目前忠诚僚机在软件层面的设计理念是，通过人机接口和人机界面的标准化和开放化，不依赖一套软件或算法，就可以支持多种类型的无人机和有人战斗机的编队协同。
但目前对无人机的控制应该是来自有人战斗机或地面站的指令和自主操作相结合，更多的是作为对有人机的支持和补充，人工的技能和技术远远不能满足上战场的要求。
训练人工智能模型最重要的是什么？当然是数据！巧妇难为无米之炊。没有数据，再好的模型也不行。
不仅需要大量的训练数据，而且模型部署后，输入的“特性”越多越好。如果能得到其他飞行器的数据，那么AI就相当于拥有了掌控全局的能力。
2020年，美国空陆军首次进行了四五代有人驾驶战斗机和无人驾驶僚机的编队飞行数据共享试验，这也是忠诚僚机发展的里程碑，标志着未来有人驾驶-无人驾驶编队飞行作战模式向实用化又迈出了重要一步。
美国空陆军F-22猛禽战斗机、F-35A闪电II战斗机和美国空陆军研究实验室XQ-58A女武神无人机首次在美国陆军尤马试验场进行了编队飞行试验，重点展示了三种型号飞机之间的数据共享/传输能力。
也许未来空 war比谁的AI模型更聪明。
消灭对方所有AI就能赢，没有真正的人类伤亡。或许是另一种“和平”？
参考资料:
https://www . vice . com/en/article/4a 33 gj/ai-controlled-drone-goes-rogue-kills-human-operator-in-USAF-simulated-test
本网站声明:网站内容来源于网络。如有侵权，请联系我们，我们会及时处理。
温馨提示：注：内容来源均采集于互联网，不要轻信任何，后果自负，本站不承担任何责任。若本站收录的信息无意侵犯了贵司版权，请给我们来信，我们会及时处理和回复。
原文地址"AI无人机「误杀」事件震动全球！LeCun吴恩达陶哲轩怒斥炒作，揭露真相"：http://www.ljycsb.cn/qukuailian/215907.html。
微信扫描二维码投放广告
▲长按图片识别二维码
