Transformer 作家中独一去了 OpenAI 的那位，公开承认了：他参与了 Q * 名目短视频，是这项新技巧的发明者之一。

这几天除了英伟达老黄组局把 Transformer 作家聚王人，他们中的几位还接受了连线杂志的采访，期间出了这样一个小插曲。

当记者试图究诘 Lukasz Kaiser 更多对于 Q * 的问题庸俗，OpenAI 的公关东说念主员果真跳过桌子去捂他的嘴。

勾搭阿尔特曼在接受采访时，绝不彷徨地拒却了干系发问，“咱们还没准备好挑剔这个话题”。

奥密 Q*，成了 OpenAI 面前最需要保守的机密之一。

不外对于 Transformer 背后的开辟内幕，以及谷歌究竟为什么没能在获取这项技巧之后抢先推出漂泊宇宙的 AI 家具，作家们败露了不少：

Noam Shazeer（现 Character.AI 首创东说念主）才是孝顺最大的

谷歌早在 2012 年尝试开辟生成式 AI 搜索

2017 年他们就建议教练万亿参数大模子，但未被高层摄取

总之短视频，信息量比几位在老黄的圆桌论坛上买卖互吹要高得多。

《Attention is all you need》发表于 2017 年，到现在被引次数已跳动 11 万。

它不仅是现在 ChatGPT 为代表的大模子技巧发祥之一，其中先容的 Transformer 架构和细腻力机制也被用在了 Sora、AlphaFold 等繁密更正宇宙的 AI 技巧之中，是当之无愧的传奇。

为什么是谷歌能搞出这等效果？谷歌又为什么在其后的大模子竞争中过时？

通盘故事还要从 2012 年提及。

2011 年底，苹果细腻推出 Siri，试图在对话中提供对问题的谜底。

谷歌高层小题大作，认为 Siri 可能会抢走他们的搜索流量。

2012 年，一个团队神敢于开辟新功能，祈望能在搜索页面上平直回答用户的问题，而无谓点击聚首跳转到其他网站。

最终这项努力催生出了 Transformer 架构，能灵验在数据和算力上膨胀，导致了通盘 AI 界限紧要突破。

Jokob Uszkoreit（现 AI 生物技巧公司 Inceptive 结伴首创东说念主）等于在这个时候清除攻读博士学位加入了这个团队，成为 Transformer 最先的起始。

他来自德国，硕士毕业于柏林工业大学，父亲 Hans Uszkoreit 是著名狡计谈话学家、欧洲科学院院士。

在 Uszkoreit（后简称乌兹哥）现在看来，谷歌高层那时对 Siri 的恐忧是没必要的，Siri 从未信得过胁迫到过谷歌的业务，但他很欢欣能有契机深远商量 AI 和对话系统。

2012 年亦然 AlexNet 在狡计机视觉大收效利、神经齐集复兴的时候，谷歌猖獗地安排职工尝试雷同的技巧，但愿能开辟出自动补全电子邮件的功能，或相对简便的客户做事聊天机器东说念主。

那时最被认同的有筹备是是非期记挂齐集 LSTM，但这项技巧只可按照公法处理句子，无法灵验诓骗著述背面可能出现的踪迹。

直到 2014 年傍边才有了新进展，乌兹哥初始尝试现在被称为“自细腻力”的才能。

乌兹哥认为自细腻力模子可能比轮回神经齐集更快、更灵验，处理信息的方式也相等稳妥擅长并行处理的 GPU。

但那时，包括他的学术大牛父亲在内，很多东说念主都不看好，认为放置了轮回神经齐集等于一种异端。

乌兹哥花了一些力气劝服几位共事一齐历练新主张，并于 2016 年发表了一篇干系论文。

在这项商量中只使用了极小的文本教练（SNLI 数据集，包含 57 万个东说念主类写的英语句子）。

乌兹哥但愿进一步推动他们的商量，但他的合营者都不感兴致再连接了。

其他商量东说念主员就像在答题闯关中刚答对了一说念题就带着浮浅的奖金离开，但乌兹哥坚握认为自细腻力机制可以阐发更大的作用，初始在公司里到处找东说念主安利他的主张。

2016 年的一天，他终于遭受志同说念合的东说念主 Illia Polosukhin（现区块链公司 NEAR Protocol 首创东说念主）。

Polosukhin（后简称菠萝哥）那时已在谷歌责任三年，被分派到为搜索问题平直提供谜底的团队。

菠萝哥的进展不得手，因为从用户体验开赴，需要在几毫秒内对问题产生回话，那时还莫得这样高性能的措置有筹备。

乌兹哥与菠萝哥共进午餐的时候别传这事，绝不游移的安利起他的自细腻力机制。

菠萝哥曾败露，他其后以为 A 自细腻力就像科幻演义《你一世的故事》以及改编电影《驾临》里外星东说念主“七肢桶”的谈话，莫得先后公法，而是像几何图案一样胪列。

总之，菠萝哥其后不仅应允尝试，还拉来了第三位成员 Ashish Vaswani 合营（先后创办了 Adept AI 和 Essential AI）。

Vaswani（后简称瓦斯哥）来自印度，博士毕业于南加州大学后加入谷歌大脑，信服神经齐集将促进东说念主类全体的会通身手。

三位商量东说念主员共同草拟了 Transformer 的联想文档，他们从第一天初始就选拔了相同代表“变形金刚”的这个名字，因为“系统会更正吸收到的信息”，也因为菠萝哥小时候可爱玩变形金刚玩物。

不外菠萝哥没过多久就从谷歌离开去创业了，同期，其他成员络续加入这个小队伍。

2017 年头，第四位成员 Niki Parmar（后简称帕姐）加入，他与瓦斯哥相同来自印度、也都毕业于南加大，其后两东说念主也成了创业伙伴。

背面几位成员的加入几许都带点戏剧性。

第五位 Llion Jones（后简称囧哥）来自英国，2009 年硕士毕业于伯明翰大学，但有好几个月找不到责任靠营救金责任。2012 年他先加入 Youtube 团队，后插足谷歌商量院。

他是团队中最晚从谷歌去职的，旧年在日本栽培了 Sakana AI。

囧哥是从另一位共事 Mat Kelcey（他就出现一次，无谓简称了）何处别传 Transformer 的，不外 Kelcey 我方那时并不看好这个名目。

Kelcey 信奉贝叶斯，他的头像是 AI 展望他是技巧宅的概率为 60%。其后他认为没加入 Transformer 团队这是他一世中最大的展望诞妄。

话说回来，第六位 Aidan Gomaz（后简称割麦子，现 AI 公司 Cohere 首创东说念主）是最年青的，他在多伦多大学读大三时加入 Hinton 的本质室，主动给谷歌里多样写过专诚想论文的东说念主发邮件肯求合营。

第七位 Lukasz Kaiser（后简称凯哥，现 OpenAI 商量员）邀请了割麦子参与实习。直到几个月后，割麦子才知说念这实习正本是针对博士生的，而不是他一个本科生。

凯哥来自波兰，正本作念的是表面狡计机责任，其后发现自细腻力对他们那时正在措置的问题（可漫衍式狡计的大型自追想模子）是一种有出息且更激进的有筹备，两东说念主就加入了 Transformer 团队。

六东说念主（菠萝哥也曾创业去了）聚到一齐后，团队初始把历练主义定在机器翻译，使用 BLEU 基准测试来把模子翻译终结与东说念主工翻译作念比较。

早期 Transformer 原型阐发可以，但仅仅与 LSTM 有筹备差未几，并莫得更好。

此时，第八位关键成员 Noam Shazeer（后简称沙哥）出场了，他毕业于杜克大学，2000 年加入谷歌，那时全公司只好 200 东说念主傍边，

其后他成为谷歌里面的传奇东说念主物，参与了谷歌搜索的拼写改造功能，也负责过早期告白系统，2021 年离开谷歌后创办了 Character.AI。

据沙哥回忆，那时他正在办公楼走廊里走，经过凯哥的工位时听到热烈的对话：瓦斯哥正在挑剔怎么使用自细腻力，而帕姐对此很兴盛。

沙哥以为这是一群意旨的智慧东说念主在作念有出息的责任，最终被凯哥劝服加入。

至此，8 位传奇东说念主物终于全部登场。

沙哥的加入至关弥留，他用我方的主张从头编写了通盘代码，把通盘系统升迁到了一个新的水平。

团队一下充满能源，初始拚命卷我方，想在 2017 年 NIPS（后更名 NeurIPS）限度的 5 月 19 日之前完成。

Deadline 前的临了两周，他们大部分时刻都在咖啡机隔邻的办公室，很少就寝。

割麦子当作实习生欺压地猖獗调试，历练多样妙技和齐集模块的胪列组合。

最终在沙哥的匡助下，东说念主们现在所知说念的 Transformer 架构出生了，比拟历练中的其他有筹备显得相等“极简主义”。他们这样评价：

Noam（沙哥）是一个巫师。

沙哥狠恶，可是沙哥并不自知。看到论文草稿的时候，他发现我方是一作还很诧异。

计整齐番后，最终他们决定残害学术界一作二作通信作的章程，随即排序，并给每个东说念主名字后都打上星号，脚注表明都是对等孝顺者。

在给论文取名字的阶段，来自英国的囧哥提倡借用披头士乐队的歌曲《All You Need Is Love》，改成《Attention is all you need》，其他东说念主也应允了。

他们教练了基础和大杯两个模子，其中 65M 基础版就打败了通盘同级竞争敌手，213M 大杯版致使破了 BLEU 测试的记载，同期狡计效力也更高。

直到限度日历临了几分钟，他们还在连接采集本质终结，英法翻译的数据是临了 5 分钟出来的，论文在临了两分钟提交。

那时学术会议审稿东说念主的响应不一，一个评价积极，一个评价相等积极，第三个评价是仅仅“还算 ok”。

到了 12 月会议细腻线下举办的时候，这篇论文引起了漂泊。4 小时的会议上挤满了想要了解更多的科学家。

参会的几位作家一直聊到嗓子沙哑，临了形势闭馆时仍然东说念主头攒动，临了被保安清场。

从通盘 Transformer 出生历程来看，谷歌昔日的通达包容的文化是必弗成少的：

这八个东说念主聚在一齐，是靠走廊里的偶遇和午餐时聊天。

回到论文撰写过程中的某一天，瓦斯哥累得瘫倒在办公室的沙发上，盯着窗帘看出了幻觉，以为布料上的图案就像突触和神经元。

那天他一会儿坚韧到，他们正在作念的事情将迥殊机器翻译。

最终就像东说念主脑一样，将通盘语音、视觉等通盘模态谐和在一个架构下。

沙哥则在应用方进取有惊东说念主的远见，论文发表前后就给谷歌高管去了一封信。

他提倡公司清除通盘搜索索引，并用 Transformer 架构教练一个弘远的神经齐集替代，基本上是在建议谷歌更正通盘信息组织的方式。

那时团队里凯哥都还认为这个主张很极端。但如今看来，谷歌正执政这个主义努力，仅仅个时刻问题了。

乌兹哥其后复盘，在 2019 年约略 2020 年谷歌就有契机推出 GPT-3，致使是 GPT-3.5 等第的模子，还发出灵魂发问：

咱们看到了可能性，但为什么不采选行动呢？

终结却是敌手 OpenAI 的首席科学家 Ilya Sutskever 在论文发表今日就坚韧到“它给了咱们想要的一切”，并建议共事 Alec Radford 初始入手商量。

Radford 先开辟了 GPT 的原型，然后 OpenAI 调理更多东说念主从机器东说念主、DOTA 游戏等名目转型，参与进来开辟了 GPT-1、GPT-2…… 这等于另外一个故事了。

打造一种能同期在数据和算力上膨胀的模子，是 Transformer 架构的起点，亦然其班师的关键。

但少了顶层联想和推动，谷歌也就只可停步于此，单靠职工自愿也曾无法组织起得志 Scaling Law 发展下去需要的东说念主力物力财力。

OpenAI 的组织形态既有从下到上的天真、又有从上至下的专注，能在这条路上走的更远果真是弗成幸免的。

OpenAI CEO 阿尔特曼曾评价，谷歌高层那时似乎没东说念主相识到 Transformer 信得过意味着什么。

如今 8 位作家也陆络续续从谷歌去职，既然公司迟迟不愿用 Transformer 搞事情，那就我方去搞。

除了最早离开的菠萝哥的区块链公司除外，其它成员的的行止都和 Transformer 干系。

2019 年，实习生割麦子毕业没多久，就先带头创办 Cohere，为企业提供大模子措置有筹备，面前估值 22 亿好意思元。

2021 年头始，成员聚首出走。

瓦斯哥和帕姐先后联袂创办 Adept AI（估值 10 亿好意思元）、Essential AI（融资 800 万好意思元），都是自动化责任历程主义。

沙哥创办 AI 扮装束演聊天平台 Character.AI，现在估值约 50 亿好意思元，用户活跃度和留存率比 OpenAI 都高。

乌兹哥回到德国创办的生物 AI 技巧公司 Inceptive，估值 3 亿好意思元。致使乌兹哥败露，他的狡计谈话学家老父亲也在筹整齐家新的 AI 公司，相同基于 Transformer。

只好凯哥莫得创业，2021 年他加入了 OpenAI，其后参与了 GPT-4，以及 Q * 名目。

临了离开的是囧哥，23 年他到日本创办的 Sakana AI 估值 2 亿好意思元，最新效果是用擅长不同界限的大模子会通，勾搭进化算法，搞出更强的模子。

……

很多谷歌老职工月旦谷歌逐渐从一个以鼎新为中心的游乐场，滚动为一个戒备利润的官僚机构。

致使在 2020 年，谷歌 Meena 聊天机器东说念主发布后，沙哥又发了一封里面信“Meena 同一宇宙”，其中的关键论断是：

谈话模子将以多样方式越来越多地融入咱们的生存，何况将在寰球算力中占主导地位。

这太有前瞻性了，果真准确预言了其后 ChatGPT 期间发生的事，也等于现在进行时。

但那时谷歌高层仍旧不为所动，关键决策者忽略致使讥笑他。

谷歌曾领有通盘 AI 王国的通盘钥匙，却弄丢了钥匙链。

参考聚首：

[1]https://www.wired.com/story/eight-google-employees-invented-modern-ai-transformers-paper/

[2]https://www.youtube.com/watch?v=zBK2CPka5jo

[3]https://www.semianalysis.com/p/google-gemini-eats-the-world-gemini

本文来自微信公众号：量子位 （ID：QbitAI），作家：梦晨

告白声明：文内含有的对外跳转聚首（包括不限于超聚首、二维码、口令等时势），用于传递更多信息，勤俭甄选时刻，终结仅供参考短视频，IT之家通盘著述均包含本声明。

• OpenAI
• 短视频
• 公管
• 起来
• 捂他