devbox
从前慢现在也慢
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

如何拥有自己的本地大语言模型_bge-large-zh-v1.5

作者：从前慢现在也慢 | 2024-04-01 04:08:50

赞

踩

bge-large-zh-v1.5

一、环境需求

        本次demo是在win 11上进行搭建，模型选择为ChatGLM3-6B，python 版本为3.11，java 版本为jdk 17，node 版本为 node18.x。由于本人不擅长python，所以用java进行项目开发。

        项目思路是用ChatGLM3-6B开源大模型进行本地搭建，以api_server方式启动。此时搭配开源的ui框架就已经可以实现一个基本的GLM模型。进行模型微调和定制开发则采用spring ai + langchain4j。

        注意想在本地运行chatglm3-6b模型需要12G显存，否则以cpu方式运行程序会非常慢，内存要求也会要32g。

二、环境搭建

        conda安装直接跳过，直接进入正题

1、安装pytorch环境

        1.1官网 PyTorch

        1.2 pip安装

        注意安装时选择对应自己cuda版本的torch版本

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

2、下载ChatGLM3项目

        2.1仓库地址GitHub - THUDM/ChatGLM3: ChatGLM3 series: Open Bilingual Chat LLMs | 开源双语对话语言模型

3、下载chatglm3-6b模型

        3.1模型地址 https://huggingface.co/THUDM/chatglm3-6b

        3.2模型下载命令 

git clone https://huggingface.co/THUDM/chatglm3-6b

4、下载bge-large-zh-v1.5模型

        4.1模型地址https://huggingface.co/BAAI/bge-large-zh-v1.5

        4.2模型下载命令 

git clone https://huggingface.co/BAAI/bge-large-zh-v1.5
        上面这两个模型下载需要科学上网，后面补充网盘资源

        4.3把下载好的两个模型文件夹复制到ChatGLM3项目根目录下，复制好后文件目录如下        

        4.4修改openai_api_demo/api_server.py文件中设置模型路径的位置为以下路径

  1. # set LLM path
  2. MODEL_PATH = os.environ.get('MODEL_PATH', 'chatglm3-6b')
  3. TOKENIZER_PATH = os.environ.get("TOKENIZER_PATH", MODEL_PATH)
  4.  
  5. # set Embedding Model path
  6. EMBEDDING_PATH = os.environ.get('EMBEDDING_PATH', 'bge-large-zh-v1.5')

        4.5执行 下面命令以openai-api模式启动

 python ./openai_api_demo/api_server.py

         出现以下日志时启动成功        

        此时可以通过api形式进行访问，编写自己的程序了，如果想直接使用本地模型，官方提供了一个带ui的启动方式，启动前修改basic_demo/web_demo_streamlit.py文件中设置模型路径的位置如下

  1. MODEL_PATH = os.environ.get('MODEL_PATH', './chatglm3-6b')
  2. TOKENIZER_PATH = os.environ.get("TOKENIZER_PATH", MODEL_PATH)

        然后执行下面命令即可弹出一个webui界面

streamlit run basic_demo/web_demo_streamlit.py

5、下载ChatGPT-Next-Web项目（使用开源web-ui）

        5.1github地址 GitHub - ChatGPTNextWeb/ChatGPT-Next-Web: A cross-platform ChatGPT/Gemini UI (Web / PWA / Linux / Win / MacOS). 一键拥有你自己的跨平台 ChatGPT/Gemini 应用。

        5.2在项目目录下新建一个.env.local文件，指定大模型地址为本地大模型，内容如下

  1. OPENAI_API_KEY=none
  2. BASE_URL=http://0.0.0.0:8000

        5.3执行 yarn run dev即可启动ui项目

6、搭建spring ai环境

        注意，该项目必须使用jdk>=17。

       6.1 创建一个springboot 3.x项目，pom如下

  1. <?xml version="1.0" encoding="UTF-8"?>
  2. <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  3.          xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
  4.     <modelVersion>4.0.0</modelVersion>
  5.     <parent>
  6.         <groupId>org.springframework.boot</groupId>
  7.         <artifactId>spring-boot-starter-parent</artifactId>
  8.         <version>3.2.3</version>
  9.         <relativePath/> <!-- lookup parent from repository -->
  10.     </parent>
  11.     <groupId>com.iai</groupId>
  12.     <artifactId>iask</artifactId>
  13.     <version>0.0.1-SNAPSHOT</version>
  14.     <name>iask</name>
  15.     <description>iask</description>
  16.     <properties>
  17.         <java.version>17</java.version>
  18.         <spring-ai.version>0.8.0</spring-ai.version>
  19.     </properties>
  20.     <dependencies>
  21.         <dependency>
  22.             <groupId>org.springframework.boot</groupId>
  23.             <artifactId>spring-boot-starter-web</artifactId>
  24.             <exclusions>
  25.                 <exclusion>
  26.                     <groupId>org.springframework.boot</groupId>
  27.                     <artifactId>spring-boot-starter-tomcat</artifactId>
  28.                 </exclusion>
  29.             </exclusions>
  30.         </dependency>
  31.         <dependency>
  32.             <groupId>org.springframework.boot</groupId>
  33.             <artifactId>spring-boot-starter-undertow</artifactId>
  34.         </dependency>
  35.         <dependency>
  36.             <groupId>org.springframework.ai</groupId>
  37.             <artifactId>spring-ai-openai-spring-boot-starter</artifactId>
  38.         </dependency>
  39.  
  40.         <dependency>
  41.             <groupId>org.springframework.boot</groupId>
  42.             <artifactId>spring-boot-devtools</artifactId>
  43.             <scope>runtime</scope>
  44.             <optional>true</optional>
  45.         </dependency>
  46.         <dependency>
  47.             <groupId>com.mysql</groupId>
  48.             <artifactId>mysql-connector-j</artifactId>
  49.             <scope>runtime</scope>
  50.         </dependency>
  51.         <dependency>
  52.             <groupId>org.projectlombok</groupId>
  53.             <artifactId>lombok</artifactId>
  54.             <optional>true</optional>
  55.         </dependency>
  56.         <dependency>
  57.             <groupId>org.springframework.boot</groupId>
  58.             <artifactId>spring-boot-starter-test</artifactId>
  59.             <scope>test</scope>
  60.         </dependency>
  61.  
  62.         <dependency>
  63.             <groupId>dev.langchain4j</groupId>
  64.             <artifactId>langchain4j</artifactId>
  65.             <version>0.27.1</version>
  66.         </dependency>
  67.  
  68.         <dependency>
  69.             <groupId>dev.langchain4j</groupId>
  70.             <artifactId>langchain4j-spring-boot-starter</artifactId>
  71.             <version>0.24.0</version>
  72.         </dependency>
  73.     </dependencies>
  74.     <dependencyManagement>
  75.         <dependencies>
  76.             <dependency>
  77.                 <groupId>org.springframework.ai</groupId>
  78.                 <artifactId>spring-ai-bom</artifactId>
  79.                 <version>${spring-ai.version}</version>
  80.                 <type>pom</type>
  81.                 <scope>import</scope>
  82.             </dependency>
  83.         </dependencies>
  84.     </dependencyManagement>
  85.  
  86.     <build>
  87.         <plugins>
  88.             <plugin>
  89.                 <groupId>org.springframework.boot</groupId>
  90.                 <artifactId>spring-boot-maven-plugin</artifactId>
  91.                 <configuration>
  92.                     <excludes>
  93.                         <exclude>
  94.                             <groupId>org.projectlombok</groupId>
  95.                             <artifactId>lombok</artifactId>
  96.                         </exclude>
  97.                     </excludes>
  98.                 </configuration>
  99.             </plugin>
  100.         </plugins>
  101.     </build>
  102.     <repositories>
  103.         <repository>
  104.             <id>spring-milestones</id>
  105.             <name>Spring Milestones</name>
  106.             <url>https://repo.spring.io/milestone</url>
  107.             <snapshots>
  108.                 <enabled>false</enabled>
  109.             </snapshots>
  110.         </repository>
  111.     </repositories>
  112.  
  113. </project>

        6.2配置application.yaml

  1. server:
  2.   port: 8886
  3.   # undertow 配置
  4.   undertow:
  5.     # HTTP post内容的最大大小。当值为-1时，默认值为大小是无限的
  6.     max-http-post-size: -1
  7.     # 以下的配置会影响buffer,这些buffer会用于服务器连接的IO操作,有点类似netty的池化内存管理
  8.     # 每块buffer的空间大小,越小的空间被利用越充分
  9.     buffer-size: 512
  10.     # 是否分配的直接内存
  11.     direct-buffers: true
  12.     threads:
  13.       # 设置IO线程数, 它主要执行非阻塞的任务,它们会负责多个连接, 默认设置每个CPU核心一个线程
  14.       io: 8
  15.       # 阻塞任务线程池, 当执行类似servlet请求阻塞操作, undertow会从这个线程池中取得线程,它的值设置取决于系统的负载
  16.       worker: 256
  17. spring:
  18.   ai:
  19.     openai:
  20.       api-key: none
  21.       base-url: http://0.0.0.0:8000
  22.       chat:
  23.         options:
  24.           model: chatglm3-6b

        6.3解决undertow使用默认websocket缓冲池警告（非必须）

        创建一个配置类UndertowConfig.java

  1. package com.iai.iask.config;
  2.  
  3. import io.undertow.server.DefaultByteBufferPool;
  4. import io.undertow.websockets.jsr.WebSocketDeploymentInfo;
  5. import org.springframework.boot.web.embedded.undertow.UndertowServletWebServerFactory;
  6. import org.springframework.boot.web.server.WebServerFactoryCustomizer;
  7. import org.springframework.stereotype.Component;
  8.  
  9. /**
  10.  * @author: wongcai
  11.  * @date: 2024-03-12 15:42
  12.  * @description: 解决启动io.undertow.websockets.jsr UT026010: Buffer pool was not set on WebSocketDeploymentInfo, the default pool will be used的警告
  13.  */
  14. @Component
  15. public class UndertowConfig implements WebServerFactoryCustomizer<UndertowServletWebServerFactory> {
  16.  
  17.     /**
  18.      * 设置 Undertow 的 websocket 缓冲池
  19.      */
  20.     @Override
  21.     public void customize(UndertowServletWebServerFactory factory) {
  22.         // 默认不直接分配内存 如果项目中使用了 websocket 建议直接分配
  23.         factory.addDeploymentInfoCustomizers(deploymentInfo -> {
  24.             WebSocketDeploymentInfo webSocketDeploymentInfo = new WebSocketDeploymentInfo();
  25.             webSocketDeploymentInfo.setBuffers(new DefaultByteBufferPool(false, 512));
  26.             deploymentInfo.addServletContextAttribute("io.undertow.websockets.jsr.WebSocketDeploymentInfo", webSocketDeploymentInfo);
  27.         });
  28.     }
  29.  
  30. }

7、测试代码

        7.1编写测试AiController.java

        

  1. package com.iai.iask.aicontroller;
  2.  
  3.  
  4. import org.springframework.ai.openai.OpenAiChatClient;
  5. import org.springframework.beans.factory.annotation.Autowired;
  6. import org.springframework.web.bind.annotation.RequestMapping;
  7. import org.springframework.web.bind.annotation.RequestParam;
  8. import org.springframework.web.bind.annotation.RestController;
  9.  
  10. @RestController
  11. @RequestMapping("/api/v1")
  12. public class AiController {
  13.     private final OpenAiChatClient chatClient;
  14.  
  15.     @Autowired
  16.     public AiController(OpenAiChatClient chatClient) {
  17.         this.chatClient = chatClient;
  18.     }
  19.  
  20.     @RequestMapping("/chat")
  21.     public String chat(@RequestParam(value = "message",defaultValue = "Hi") String message){
  22.         return chatClient.call(message);
  23.     }
  24. }

        7.2浏览器访问测试

        

三、相关文件

        缺少部分逐渐补全

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/从前慢现在也慢/article/detail/347350
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号