有人加入OpenAI，有人成立创业公司，有人坚守Google AI。是他们共同开启了今天AI发展的时代。
从ChatGPT到AI画图技术，最近人工智能领域的突破可能要归功于《变形金刚》。
今天是著名的变形金刚论文投稿六周年。
论文链接:https://arxiv.org/abs/1706.03762
六年前，一篇名字有些浮夸的论文被上传到预印论文平台arXiv。“xx就是你需要的全部”这句话被AI领域的开发者反复提及，甚至成为论文题目的趋势。Transformer不再意味着变形金刚，现在它代表了AI领域最先进的技术。
六年后，回过头来看这篇论文，可以发现很多有趣或鲜为人知的地方，这是英伟达的AI科学家Jim Fan总结的。
“注意机制”并不是《变形金刚》作者提出的变形金刚模型抛弃了传统的CNN和RNN单元，整个网络结构完全由注意机制组成。
虽然《变形金刚》的论文名字叫《注意力就是你所需要的一切》，我们也因为它而不断推崇注意力机制，但请注意一个有趣的事实:并不是《变形金刚》的研究者发明了注意力，而是他们把这种机制推向了极致。
注意力机制(Attention Mechani)是由深度学习先驱Yoshua Bengio领导的团队在2014年提出的:
“联合学习对齐和翻译的神经机器翻译”有一个简单的标题。
在这篇ICLR 2015论文中，本吉奥等人提出了RNN+“情境向量”(即注意力)的组合。虽然它是NLP领域最伟大的里程碑之一，但其受欢迎程度远低于《变形金刚》。Bengio的论文至今被引用29000次，Transformer有77000次。
AI的注意机制自然是模仿人类视觉注意的。人脑中有一种天生的能力:当我们看一张图片时，首先快速扫描图片，然后锁定需要聚焦的目标区域。
如果你不放过任何一个局部信息，你肯定会做很多无用功，不利于生存。同样，在深度学习网络中引入类似的机制可以简化模型，加快计算速度。注意力本质上是从大量的信息中挑选出少量的重要信息，并把注意力集中在这些重要的信息上，而忽略了大多数不重要的信息。
近年来，注意机制被广泛应用于深度学习的各个领域，如在计算机视觉方向捕捉图像上的感受野或在自然语言处理中定位关键的标记或特征。大量实验表明，具有注意机制的模型在图像分类、分割、跟踪、增强、自然语言识别、理解、问答、翻译等方面取得了明显的性能提升。
具有注意机制的变压器模型可视为通用序列计算机。注意机制允许模型在处理输入序列时，根据序列中不同位置的相关性分配不同的注意权重，使得转换器能够捕捉长距离依赖和上下文信息，从而提高序列处理的效果。
但在那一年，无论是《变形金刚》还是最初的关注论文，都没有谈到通用串行计算机。相反，作者认为它是一种解决一个狭隘而具体的问题的机制——机器翻译。因此，当我们在未来追溯AGI的起源时，也许我们可以追溯到“不起眼”的谷歌翻译。
虽然它被NeurIPS 2017接受了，但它甚至没有得到一个口腔变压器。虽然这篇论文现在已经很有影响力了，但是在全球顶级的AI大会NeurIPS 2017上连个口试都没拿到，更别说拿个奖了。当年大会共收到论文3240篇，其中有678篇论文被选为会议论文，《变形金刚》论文是被接受的论文之一。在这些论文中，40篇是口头论文，112篇是聚光灯论文，3篇是最佳论文，1篇是时间的考验奖。《变形金刚》无缘该奖项。
虽然无缘NeurIPS 2017论文奖，但《变形金刚》的影响力有目共睹。
Jim Fan评价:一个有影响力的研究在变得有影响力之前，人们很难意识到它的重要性，这不是评委的错。但是，有些论文幸运地在第一时间被发现。如何等人提出的ResNet获得了当年2016年最佳论文。这项研究实至名归，得到了AI峰会的正确认可。但在2017年的那个时刻，非常聪明的研究人员可能现在也无法预测LLM带来的变化。就像上世纪80年代，很少有人能预见到2012年以来深度学习带来的海啸。
八位作者，各有精彩人生。当时这篇论文有八位作者，分别来自谷歌和多伦多大学。五年后，大多数作者已经离开了他们原来的机构。
2022年4月26日，一家名为“Adept”的公司成立，有9名联合创始人，包括《变形金刚》论文的两位作者Ashish Vaswani和Niki Parmar。
Ashish Vaswani在南加州大学获得博士学位，师从中国学者梁，主要研究现代深度学习在语言建模中的早期应用。2016年加入谷歌大脑，领导变形金刚的研究，2021年离开谷歌。
尼基·帕尔马(Niki Parmar)毕业于南加州大学，硕士学位，2016年加入谷歌。在工作期间，她为谷歌搜索和广告开发了一些成功的问答和文本相似性模型。她领导了扩展Transformer模型的早期工作，并将其扩展到图像生成、计算机视觉等领域。2021年，她也离开了谷歌。
离职后，两人参与了Adept的创建，并分别担任首席科学家(Ashish Vaswani)和首席技术官(Niki Parmar)。Adept的愿景是创建一个名为“人工智能队友”的AI，它被训练使用各种软件工具和API。
2023年3月，Adept宣布完成3.5亿美元B轮融资，公司估值超过10亿美元，晋升独角兽。然而，在Adept公开融资的时候，Niki Parmar和Ashish Vaswani已经离开了Adept，创办了自己的新AI公司。不过这个新公司还在保密阶段，我们无法得到公司的详细信息。
另一位论文作者诺姆·沙泽尔(Noam Shazeer)是谷歌最重要的早期员工之一。他于2000年底加入谷歌，直到2021年最终离职，后来成为一家名为“Character”的初创公司的首席执行官。艾”。
除了《人物》的创始人诺姆·沙泽尔。AI是丹尼尔·德·弗雷塔斯(Daniel De Freitas)，两人都来自谷歌的LaMDA团队。此前，他们在谷歌建立了一个语言模型LaMDA来支持对话程序。
今年3月，性格。AI宣布完成1.5亿美元融资，估值10亿美元。它是为数不多的有潜力与ChatGPT子公司OpenAI竞争的初创公司，也是少有的在短短16个月内成长为独角兽的公司。它的应用，性格。AI，是一个神经语言学模型的聊天机器人，它可以生成类似人类的文本响应，并参与上下文对话。
性格。AI于2023年5月23日在苹果应用商店和谷歌Play商店发布，第一周下载量超过170万次。2023年5月，该服务增加了每月9.99美元的付费订阅，名为c.ai+，允许用户优先访问聊天，获得更快的响应时间，并提前获得新功能。
Aidan N. Gomez早在2019年就离开了谷歌，之后担任. ai的研究员，现在是Cohere的联合创始人兼CEO。
科恩是一家生成式AI创业公司，成立于2019年。其核心业务包括提供NLP模型，帮助企业改善人机交互。三位创始人分别是伊万·张(Ivan Zhang)、尼克·弗罗斯特(Nick Frosst)和艾丹·戈麦斯(Aidan Gomez)，其中戈麦斯和弗罗斯特是谷歌大脑团队的前成员。2021年11月，谷歌云宣布他们将与科恩合作。谷歌云将使用其强大的基础设施来支持科恩平台，科恩将使用云的TPU来开发和部署其产品。
值得注意的是，Cohere刚刚获得2.7亿美元C轮融资，成为市值22亿美元的独角兽。
ukasz Kaiser于2021年离开谷歌，在谷歌工作了7年零9个月。现在是OpenAI的研究员。在谷歌担任研究科学家期间，他参与了机器翻译、解析等算法和生成任务的SOTA神经模型的设计，是TensorFlow系统和Tensor2Tensor库的合著者。
Jakob Uszkoreit于2021年离开谷歌，在谷歌工作了13年，之后加入Inceptive，担任联合创始人。Inceptive是一家AI制药公司，致力于利用深度学习设计RNA药物。
Jakob Uszkoreit在谷歌工作期间，参与组建了谷歌助手的语言理解团队，早期还在谷歌担任翻译。
Illia poloskhin于2017年离开谷歌，现为NEAR的联合创始人兼CTO。艾，一家的科技公司。
唯一还留在谷歌的是Llion Jones，今年是他在谷歌的第九个年头。
现在，距离《关注就是你所需要的一切》这本书出版已经过去了六年。有的原作者选择离开，有的选择留在谷歌。不管怎样，变形金刚的影响还在继续。
温馨提示：注：内容来源均采集于互联网，不要轻信任何，后果自负，本站不承担任何责任。若本站收录的信息无意侵犯了贵司版权，请给我们来信，我们会及时处理和回复。
原文地址"Transformer六周年：当年连NeurIPS Oral都没拿到，8位作者已创办数家AI独角兽"：http://www.ljycsb.cn/qukuailian/215004.html。
微信扫描二维码投放广告
▲长按图片识别二维码
