Spring Boot与Ollama Embeddings的结合使用介绍及实例

一、Ollama Embeddings介绍

Ollama是一个支持多种大型语言模型（LLMs）的平台，允许用户在本地运行这些模型并生成嵌入（embeddings）。嵌入是一个由浮点数组成的向量，用于表示文本序列的关联关系。在Ollama中，嵌入模型可以用来支持各种应用，如文本检索、文本生成等。

二、Spring Boot与Ollama Embeddings的结合使用

在Spring Boot中使用Ollama Embeddings，可以允许开发者在本地环境中利用大型语言模型（LLMs）生成文本嵌入，从而支持各种文本处理和分析任务。以下是一个关于如何在Spring Boot项目中集成和使用Ollama Embeddings的详细指南，包括步骤和实例。

1. 安装Ollama：
   访问Ollama官方网站下载并安装Ollama。
   注意选择合适的模型，如gemma，因为它对中文支持较好。gemma模型包含多个版本，可以根据资源情况选择适合的版本（如7b或2b）。
2. 配置环境变量（可选）：
   如果希望将模型下载到非默认位置，可以通过设置环境变量OLLAMA_MODELS来指定模型存储路径。
3. 引入Spring Boot相关依赖：
   在Spring Boot项目的pom.xml文件中添加Ollama Embeddings的Maven依赖。例如，可以添加spring-ai-ollama-spring-boot-starter依赖来简化配置。

<dependency>  
    <groupId>org.springframework.ai</groupId>  
    <artifactId>spring-ai-ollama-spring-boot-starter</artifactId>  
</dependency>
1
2
3
4

或者，如果不使用Spring Boot Starter，可以单独添加spring-ai-ollama依赖。

三、使用Ollama Embeddings

1. 启动Ollama模型：
   使用命令行工具（如CMD或Terminal）启动选择的Ollama模型。例如，对于gemma模型，可以执行ollama run gemma命令。
2. 在Spring Boot中配置和使用Ollama Embeddings：
   在Spring Boot应用中，可以通过编程方式配置和使用Ollama Embeddings。
   以下是一个简单的示例，展示了如何在Spring Boot中创建一个使用Ollama Embeddings的客户端，并进行文本嵌入操作：

import org.springframework.ai.ollama.OllamaApi;  
import org.springframework.ai.ollama.OllamaEmbeddingClient;  
import org.springframework.ai.ollama.OllamaOptions;  
import org.springframework.ai.ollama.model.Document;  
import org.springframework.ai.ollama.model.EmbeddingResponse;  
import org.springframework.ai.ollama.model.VectorStore;  
import org.springframework.ai.ollama.model.SimpleVectorStore;  

import java.util.List;  
import java.util.Scanner;  

public class OllamaEmbeddingExample {  

    public static void main(String[] args) {  
        // 创建Ollama API客户端  
        OllamaApi ollamaApi = new OllamaApi();  

        // 创建Ollama Embedding客户端，并指定模型  
        OllamaEmbeddingClient embeddingClient = new OllamaEmbeddingClient(ollamaApi)  
            .withDefaultOptions(OllamaOptions.create().withModel("gemma"));  

        // 创建向量存储，用于保存文本嵌入  
        VectorStore vectorStore = new SimpleVectorStore(embeddingClient);  

        // 添加一些文本到向量存储中  
        List<Document> documents = List.of(  
            new Document("白日依山尽,黄河入海流。欲穷千里目,更上一层楼。"),  
            new Document("青山依旧在,几度夕阳红。白发渔樵江渚上,惯看秋月春风。"),  
            // 添加更多文档...  
        );  
        vectorStore.add(documents);  

        // 使用Scanner接收用户输入  
        Scanner scanner = new Scanner(System.in);  
        System.out.print("请输入关键词进行搜索: ");  
        String keyword = scanner.nextLine();  

        // 执行相似度搜索  
        List<Document> searchResults = vectorStore.similaritySearch(keyword);  

        // 输出搜索结果  
        System.out.println("查询结果:");  
        for (Document doc : searchResults) {  
            System.out.println(doc.getContent());  
        }  

        // 关闭Scanner  
        scanner.close();  
    }  
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50

Spring Boot与Ollama Embeddings的结合使用为开发者提供了一种高效、灵活的文本处理和分析方案。通过集成Ollama Embeddings，Spring Boot应用可以轻松地实现文本嵌入、文本相似度计算等功能，从而满足各种业务需求。