深入浅出：大语言模型的视觉解析

一系列工具与文章的汇编，直观易懂地解读复杂的 AI 概念

图片由作者利用 unDraw.co 的免费插图制作

在当今世界，大语言模型（LLM）成为了热门话题。几乎每天都有新的语言模型问世，让人们在 AI 领域怀有一种“不容错过”的紧迫感。尽管如此，许多人仍对大语言模型的基础概念一知半解，难以跟上技术的快速发展。本文致力于为那些想深入了解这些 AI 模型内部原理的读者提供帮助，以便他们能够牢固掌握这些知识。在此，我为您介绍几种工具和文章，以期简化并阐明大语言模型的概念，使之容易被理解。

1. 杰伊·阿拉马尔的《图解 Transformer》

这张由作者创作的 GIF 是基于杰伊·阿拉马尔的《图解 Transformer》。

我敢肯定，你们中的许多人已经对这篇具有标志性意义的文章不陌生。杰伊是最早在技术文章中融入生动视觉效果的先驱之一。只需简单浏览他的博客，你就能领会我的意思。多年来，他引领了众多作者追随其步伐，教程的形式也从单纯的文本和代码转变为富有沉浸感的视觉展示。言归正传，让我们回到《图解 Transformer》。Transformer 架构是构成所有基于 Transformer 的大语言模型（LLMs）的核心。因此，理解其基础知识至关重要，而杰伊的博客正是对此进行了精彩阐述。博客内容涵盖了以下重要概念：

Transformer 模型的高层视角 探索 Transformer 的编码和解码组件 自我关注机制 自我关注的矩阵运算 多头关注的原理 位置编码 Transformer 架构中的残差连接 解码器的最终线性层和 Softmax 层 模型训练中的损失函数 杰伊还制作了一个名为“叙事式 Transformer”的视频，为初学者提供了一种更易懂的学习方式。在阅读完这篇博文后，再结合阅读“注意力就是一切所需”论文和官方的 Transformer 博客文章，将对主题有更全面的理解。

链接：https://jalammar.github.io/illustrated-transformer/

2. 杰伊·阿拉马尔的《图解 GPT-2》

这张由作者创作的 GIF 基于杰伊·阿拉马尔的 《图解 GPT-2》。

杰伊·阿拉马尔的又一力作——《图解 GPT-2》。作为《图解 Transformer》的补充，这篇文章通过更多的视觉元素深入解析了 Transformer 的内部机制及其自初始论文发布以来的演进。文章中还特别介绍了 Transformer 在语言模型之外的应用场景。

链接：https://jalammar.github.io/illustrated-gpt2/

3. Brendan Bycroft 的大语言模型可视化

这张 GIF 是由作者基于 Brendan Bycroft 的大语言模型可视化创作的。

大语言模型可视化项目为我们提供了一种逐步了解 OpenAI ChatGPT 背后大语言模型算法的方式。它是深入探索算法的每一个步骤、实时观察整个过程的绝佳资源。

该项目的一大特色是一个包含 3D 效果的网页，展示了类似于 ChatGPT 所采用的小型大语言模型。这个工具通过交互式元素，为用户提供了对单个 token 推理过程的逐步指南。目前，项目已包含以下架构的可视化：

GPT-2（小型） Nano GPT GPT-2（超大型） GPT-3 链接：https://bbycroft.net/llm

4. 《金融时报》：生成式 AI 的诞生，离不开 Transformer 技术

此 GIF 由作者根据《金融时报》关于生成式 AI 和 Transformer 技术的报道(FT) 制作 | 本作品遵循 FT 的共享政策。

感谢《金融时报》的视觉故事团队和Madhumita Murgia使用生动的视觉材料深入浅出地解释了大型语言模型（LLM）的核心原理，尤其突出了自我关注机制和Transformer 架构的重要性。