chatglm+langchain_langchain+chatglm

GitHub - imClumsyPanda/langchain-ChatGLM: langchain-ChatGLM, local knowledge based ChatGLM with langchain ｜ 基于本地知识库的 ChatGLM 问答

1. langchain介绍

Langchain是一个用于开发由语言模型驱动的应用程序的框架

1.1. 主要功能：

• 调用语言模型
• 将不同数据源接入到语言模型的交互中
• 允许语言模型与运行环境交互

1.2. Langchain中提供的模块

• Modules: 支持的模型类型和集成
• Prompt：提示词管理、优化和序列化
• Memory：内存是只在链/代理调用之间持续存在的状态。
• Indexes：当语言模型与特定于应用程序的数据相结合时，会变得更加强大-此模型包含用于加载、查询、更新外部数据的接口和集成。
• Chain：链是结构化的调用序列【对LLM或其他使用程序】
• Agents：代理是一个链，其中LLM在给定高级指令和一组工具的情况下，反复决定操作，执行操作并观察结果，直到高级指令完成。
• Callbacks：回调允许您记录和流式传输任何链的中间步骤，从而轻松观察、调试、评估应用程序的内部

1.3. Langchain应用场景

• 文档问答：常见的Langchain用例。在特定文档上回答问题，仅利用这些文档中的信息来构建答案。
• 个人助理：主要用例之一。个人助理采取行动，记住互动，并了解您的数据
• 查询表格数据：使用语言模型查询表类型结构化数据【csv，SQL,DataFrame】
• 与API交互：使用语言模型与API交互非常强大。它允许他们访问最新信息，并允许他们采取行动
• 信息提取：从文本中提取结构化数据
• 文档总结：压缩较长文档，一种数据增强生成。

1. chatglm-6B简介

ChatGLM-6B 是⼀个开源的、⽀持中英双语的对话语⾔模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。

2.1. chatglm应用：

大语言模型通常基于通识知识训练，因此面向以下场景，常常需要借助模型微调或提示词工程提升语言模型应用效果：

• 垂直领域知识
• 基于私有数据的问答

1. 如何实现基于本地知识的问答

知识库中有：QA对{'Langchain能够接入哪些数据类型啊？':'Langchain能够加载文本、PPT、图片、HTML、pdf等非结构化文件并转换为文本信息。'}
案例：
user_question：Langchain能够接入哪些数据类型啊？
agent_answer:Langchain能够加载文本、PPT、图片、HTML、pdf等非结构化文件并转换为文本信息。

1.1. 基于单一文档问答的实现原理

step1：加载本地文档【读取本地文档，加载为文本】
step2：文本拆分【按照字符如（'。','!'）、长度或语义拆分】，大语言模型有长度限制
step3：根据提问匹配文体【根据用户提问对文本进行字符匹配或语义检索】
step4：构建Prompt【将匹配文本、用户提问加入Prompt模板】
step5：LLM生成回答【将Prompt发送给LLM获取基于文档内容的回答】