4 轮拿下字节 Offer，LLM面试题（附答案）_langchain面试题

作者：知新_RL | 2024-07-31 03:22:19

踩

langchain面试题

前言：

没有绝对的天才，只有持续不断的付出。对于我们每一个平凡人来说，改变命运只能依靠努力+幸运，但如果你不够幸运，那就只能拉高努力的占比。

在这里插入图片描述

下文内容涉及到：面试题（含答案）+学习笔记+电子书籍+学习视频，已经打包在文末。

大模型(LLMs)基础面

1.目前主流的开源模型体系有哪些?
2.prefix LM 和 causal LM 区别是什么?
3.涌现能力是啥原因?
4.大模型 LLM的架构介绍?

大模型(LLMs)进阶面

1.llama 输入句子长度理论上可以无限长吗?
2.什么是 LLMs 复读机问题?
3.为什么会出现 LLMs 复读机问题?
4.如何缓解 LLMs 复读机问题?
5.LLMs 复读机问题
6.lama 系列问题
7.什么情况用 Bert模型，什么情况用LLaMA、ChatGLM类大模型，咋选?8.各个专业领域是否需要各自的大模型来服务?
9.如何让大模型处理更长的文本?

大模型(LLMs)微调面

1.如果想要在某个模型基础上做全参数微调，究竟需要多少显存?
2.为什么 SFT之后感觉 LLM傻了?
3.SFT 指令微调数据如何构建?
4.领域模型 Continue PreTrain 数据选取?5.领域数据训练后，通用能力往往会有所下降，如何缓解模型遗忘通用能力?
6.领域模型 Continue PreTrain ，如何让模型在预训练过程中就学习到更多的知识?7.进行 SFT操作的时候，基座模型选用Chat还是 Base?
8.领域模型微调指令&数据输入格式要求?
9.领域模型微调领域评测集构建?
10.领域模型词表扩增是不是有必要的?
11.如何训练自己的大模型?
12.训练中文大模型有啥经验?
13.指令微调的好处?
14.预训练和微调哪个阶段注入知识的?15.想让模型学习某个领域或行业的知识，是
应该预训练还是应该微调?
16.多轮对话任务如何微调模型?
17.微调后的模型出现能力劣化，灾难性遗忘是怎么回事?

大模型(LLMs)langchain面

1.基于 LLM+向量库的文档对话基础面
2.基于 LLM+向量库的文档对话优化面
3.LLMs 存在模型幻觉问题，请问如何处理?4.基于LLM+向量库的文档对话思路是怎么样?
5.基于 LLM+向量库的文档对话核心技术是什么?
6.基于 LLM+向量库的文档对话 prompt 模板如何构建?
7.痛点1:文档切分粒度不好把控，既担心噪声太多又担心语义信息丢失
2.痛点2:在基于垂直领域表现不佳
3.痛点 3:langchain 内置问答分句效果不佳问题
4.痛点 4:如何尽可能召回与 query相关的Document 问题
5.痛点5:如何让 LLM基于 query和 context得到高质量的response
6.什么是 LangChain?
7.LangChain 包含哪些核心概念?
8.什么是 LangChain Agent?
9.如何使用 LangChain ?
10.LangChain 支持哪些功能?
11.什么是 LangChain model?
12.LangChain 包含哪些特点?

大模型(LLMs):参数高效微调(PEFT)面

1.LORA篇
2.QLoRA篇
3.AdaLoRA篇
4.LORA权重是否可以合入原模型?
5.LORA 微调优点是什么?
6.LORA微调方法为啥能加速训练?
7.如何在已有 LORA模型上继续训练?
1.1 什么是 LORA?
1.2 LORA 的思路是什么?
1.3 LORA 的特点是什么?
2.1 QLORA 的思路是怎么样的?
2.2 QLORA 的特点是什么?
8.3.1 AdaLoRA 的思路是怎么样的?为什么需要提示学习(Prompting)?
9.什么是提示学习(Prompting)?10.提示学习(Prompting)有什么优点?11.提示学习(Prompting)有哪些方法，能不能稍微介绍一下它们间?
4.4.1为什么需要 P-tuning v2?
4.4.2 P-tuning v2 思路是什么?
4.4.3 P-tuning v2 优点是什么?
4.4.4 P-tuning v2 缺点是什么?
4.3.1为什么需要 P-tuning?

大模型评测面(LLMs)

大模型怎么评测?
大模型的 honest原则是如何实现的?
模型如何判断回答的知识是训练过的已知的知识，怎么训练这种能力?
大模型(LLMs)强化学习面奖励模型需要和基础模型一致吗?
RLHF 在实践过程中存在哪些不足?
如何解决人工产生的偏好数据集成本较高很难量产问题?
如何解决三个阶段的训练(SFT->RM->PPO)过程较长，更新迭代较慢问题?
如何解决 PPO 的训练过程同时存在4个模型(2训练，2推理)，对计算资源的要求较高问题？

在这里插入图片描述

我为什么想要去字节跳动？（字节跳动的优势）

①福利待遇

我不是hr，也不是给字节打广告，这里真的要提一下字节跳动的福利待遇绝对是一线厂子里数一数二的。加上我是农村出身，这种待遇给我造成的落差感就更明显，让我觉得能够进字节跳动工作算是我最大的幸运了。

至于福利待遇，这里随便提及几点：

1.弹性打卡
2.房补（额度算很高了，算很人性化）
3.免费的三餐、下午茶（吃胖了）
4.免费健身房
5.顶配16寸MacBook
6.各种节日礼包

②巨大的知识库

字节跳动对于我来说，算是一个巨大的知识库，之所以这么说，从面试的流程及细节，到后来我入职之后工作上面的安排，都让我有不一样的触动。从这几方面，我们都能够感受到公司对于员工的职业规划非常重视，你的主管和导师都会主动去找你沟通这方面的，这对比我之前的实习工作，是截然不同的地方。而在这个交流过程中，我获得到的，不是一星半点。

最让我佩服的是，字节有统一的入口可以导航到海量的指南和知识沉淀，甚至是其他各个产品线整理的技术和业务文档等等。

③我看到了认同

来到字节，我看到了认同，收获了归属感。字节跳动虽然年轻，但在做事上有共同一致的目标，这里的人讲“字节范儿”，它不是条条框框的束缚，它是一种精神食粮，实质是一种价值认同。恰好，拥有同一种价值认同的人走到了一起。

④虽辛苦，但不感觉累

字节跳动是一家非常年轻化的公司，对于一线的互联网公司来说，996是常态，字节跳动也脱离不开“加班”二字。但是字节给我最大不同的感受是，忙碌且生机勃勃。在字节工作一段时间了，我也算是跟上了这里的节奏，虽然辛苦，但我却一点也不感觉累，因为在充实的工作环境中，我是有所收获的，在公司野蛮生长的同时，我个人也得到了快速的成长。

另外，别以为一线大厂的“打工人”只会死工作，字节人最大的特点就是年轻，他们同样会玩，每个人都有自己的爱好，骑行、狼人杀、健身、摄影、瑜伽等等，这与我之前对大厂人的印象显然不同，我也一点一点在慢慢被影响着。

⑤反思：关注工作效率

以前觉得自己的工作效率和时间管理做得还不错，至少能拿出时间做一点大家想做却没有做的事情，但现在才发现这也许只是错觉，你总做容易的事情，当然不会感觉到时间的压力，即便是项目进度比较紧的时候，加加班，搞搞996似乎也就那么回事。我们通常都会愿意延长时间，而不是考虑如何提高效率，在同样的时间内完成更多的工作，当然也有很多不言自明的客观原因。

来字节后，我才从身边同事的工作细节中看到了什么才是“效率”。

在这里插入图片描述