聊聊普通工程师如何入坑大模型 | 附超详细教程！_大模型中的 tokenizer.json

前几天，跟强哥一起吃饭。他说，大模型的技术，真是太好玩了！他买了一台超高配置的游戏本，本来是想买回来打游戏放松放松的。结果后来发现，玩大模型的技术，比打游戏好玩太多了！我连连表示赞同，不错不错，关键是游戏本没白买啊，跑大模型正好也用得上（强哥是谁？不重要，你只需要知道是一位登上人生巅峰的技术大佬就好了）

认真地说，以大语言模型 (LLM) 为核心的AI技术，正在如火如荼地席卷整个行业。技术的发展日新月异，几乎每天都有突破性的进展。现在这种状态，让我们俨然回到了十年之前移动互联网刚刚兴起的那个年代。而且马化腾都说了，AI可不是互联网十年不遇的机会那么简单，这是几百年不遇的机遇。

作为工程师，我们能对这一势不可挡的新技术坐视不理吗？试想一下未来，我们面对的系统，背后都有一个AI位于核心的位置。以前我们为系统定义接口，系统能够提供的能力也由我们来设计；而在未来，核心系统的接口只有一个，那就是自然语言，而且它的能力是自己学来的。我们工程系统要围绕这个AI核心来搭建，工程师也需要比其他人更懂得怎样与AI交流（借助prompt工程）。

然而，从零入门大模型技术，其实还是有点门槛的。比如，没有大的内存和高性能的GPU卡，很难玩得转。大家应该都听说了，Meta发布的Llama 2系列模型（包括7B、13B、70B），预训练过程总共花费了3311616个GPU小时数。除此之外，令人眼花缭乱的各种新技术和工具，让人不知道从何入手。因此，最近我们团队的小伙伴们推出了一个“大模型入门系列教程”，针对没有大模型相关经验的同学，一步一步地接近这门技术。

现在就隆重向大家推荐这个教程，让你在自己的家用笔记本上也能体验和学习这门技术。下面的教程非常细致，你可以根据提示一步步来进行，也可以直接下载我们在github上的example。地址如下，可以先star