Attention Is All You Need

简单来说，他们发明了什么？

• 早期的模型逐字阅读文本，就像透过钥匙孔一样。长句子会丢失开头，而且科学研究无法加速，因为每个步骤都在等待前一步。
• Transformer 同时查看整个句子。每个单词的注意力（attention）机制会计算哪些其他单词对它重要。在句子“猫没有进箱子，因为它太小了”中，注意力将“它”连接到“箱子”，而不是“猫”。
• 多头注意力（multi-head）并行查看各种关系：句法、语义、远距离引用。
• 既然一切都是同时计算的，那么学习过程就可以分配到许多显卡上。这正是通往在大规模文本语料库上训练的模型的道路。

后来发生了什么？

• 2018年： BERT (Google) 采用了 Transformer 的“阅读”部分，而 GPT (OpenAI) 采用了“写作”部分。
• 2020–2022年： GPT-3，然后是 ChatGPT。相同的架构，只是规模大千倍。
• 今天： Transformer 可以翻译、编写代码、识别图像并将文本转换为向量。

这篇论文是计算机科学史上被引用次数最多的论文之一：超过 100 千次引用。

这在我们的实验室里是如何体现的？

• 在实验室数据库中（最近几个月的约 15.6 千篇论文和条目），在发表八年后，有 288 篇文本的标题中包含单词 “transformer”。
• 该标题已成为科学家笑话的模板。我们有三个改编版本：“Attention is all you profile”、“Attention is all you have” 和 “Attention Is All You Need (to Avoid Spurious Oscillations)”。
• 在第 43 周的报告中，来自 arXiv 的论文中有高达 42.4% 涉及大型语言模型，也就是实际上是 Transformer 的后代。
• 为我们的聊天和知识图谱计算向量的两个模型也都是 Transformer。

Transformer 的局限性

• 注意力将每个词与每个词进行比较，因此成本大致随文本长度的平方增长。这就是为什么长上下文窗口成本高昂，供应商按 token 计费的原因。
• 模型并不“理解”世界。它根据模式预测下一个词，这也是产生幻觉的原因。