给开源大模型带来Function Calling、 Respond With Class

前言

> 推荐电脑阅读

OpenAI 在他的多个版本的模型里提供了一个非常有用的功能叫 Function Calling,就是你传递一些方法的信息给到大模型，大模型根据用户的提问选择合适的方法，然后输出给你，你再来执行。

为了便于理解，我们从聊天开始，你发给模型一个问题，是使用类似下面的json格式：

[{
"role": "user", 
"content": "What's the weather like in San Francisco, Tokyo, and Paris?"
 
 
}]

模型会返回一个json格式数据给你。这里我们问的是当前的天气问题，显然大模型不可能知道（当然了，很多模型服务自己内置了一些包括检索等插件，这是另外一个话题，单纯的大语言模型是无法调用外部工具来获取外部信息的。），所以这里我们需要提供一个计算天气的函数给他。他会在你问的确实是天气的情况下，选择这个计算函数，并且将问题里的信息拆解成函数参数提供给你，这样你可以根据他给到的信息直接执行函数。

我们来看看加了“函数” 加持的样子

[{
"role": "user", 
"content": "What's the weather like in San Francisco, Tokyo, and Paris?",
tools = [
        {
            "type": "function",
            "function": {
                "name": "get_current_weather",
                "description": "Get the current weather in a given location",
                "parameters": {
                    "type": "object",
                    "properties": {
                        "location": {
                            "type": "string",
                            "description": "The city and state, e.g. San Francisco, CA",
                        },
                        "unit": {"type": "string", "enum": ["celsius", "fahrenheit"]},
                    },
                    "required": ["location"],
                },
            },
        }
    ]
 
 
}]

相比第一个请求，我们加了一个tools字段，里面详细的描述了函数的名称，用法，参数列表，参数含义等等。相应的大模型会在他的返回字段里，多一个tool_calls 字段。你从这里可以拿到被选中的函数的具体信息，包括从问题抽取出来的参数值。接着你根据这些信息具体的调用你的函数，从而完成最后的天气调用。

所以实际上 function calling 的作用很简单，根据问题，根据你提供的函数列表，选择合适的一个或者多个函数给到你，你自己来执行。

那如果我想在开源大模型里用这个功能，怎么办呢？这不，Byzer-LLM 提供了一个比 OpenAI 更加易用的 Function Calling能力， 而且还额外送了个新的礼包：Respeond With Class, 就是真的把大模型当做一个方法调用，返回值要符合函数返回值的定义。来，我们一一来解读。

下载一个开源模型和安装 Byzer-LLM

首先，我们必须有一个开源的模型，这里我们从 ModelScope 下载 QWen-70B 大模型。选择 ModelScope 是因为 HuggingFace 下载速度太慢， 选择 QWen-70B 是因为 Function Calling 是比较吃大模型能力的，较为复杂的函数调用，还是需要大一点的模型。

从 ModelScope 下载模型：

git clone https://modelscope.cn/qwen/Qwen-72B-Chat.git

接着我们使用 [Byzer-LLM](https://github.com/allwefantasy/byzer-llm) 部署下模型。Byzer-LLM 一个基于Ray的，支持大模型预训练，微调和部署的 分布式Python 库。

在你的有显卡的机器（推荐 Ubuntu22 / 8卡 3090或4090）上安装下 Byzer-LLM:

git clone https://github.com/allwefantasy/byzer-llm
cd byzer-llm
pip install -r requirements.txt
pip install -U vllm
pip install -U byzerllm
 
 
ray start --head

部署 QWen 72B

假设你的模型地址为：

/home/byzerllm/models/Qwen-72B-Chat

那么你可以直接复制黏贴下面的代码，使用 python 运行即可。

import ray
ray.init(address="auto",namespace="default") 
llm = ByzerLLM()
 
 
model_location="/home/byzerllm/models/Qwen-72B-Chat"
max_model_len = 24000
 
 
llm.setup_gpus_per_worker(8).setup_num_workers(1).setup_infer_backend(InferBackend.VLLM)
llm.deploy(
    model_path=model_location,
    pretrained_model_type="custom/auto",
    udf_name=chat_model_name,
    infer_params={"backend.max_num_batched_tokens":24000,
                  "backend.max_model_len":max_model_len}
)
 
 
llm.setup_default_model_name("chat")
llm.setup_max_model_length("chat",max_model_len)
llm.setup_template("chat",Templates.qwen())

运行完成后，你可以简单测试下是不是可以聊天了：

t = llm.chat_oai([{
    "content":'''你好，你是谁''',
    "role":"user"    
}])
 
 
t[0].output

输出内容大概像这样：

我是通义千问，由阿里云开发的人工智能助手。我被设计用来回答各种问题、提供信息和与用户进行对话。有什么我可以帮助你的吗？
说明部署没问题。

准备一些函数

比如，用户经常会问，"最近xxx" 之类的问题，我们需要提取出精确的时间后改写query方便后续应用处理，这种情况，我们可以定义两个函数：

from typing import List,Dict,Any,Annotated
import pydantic 
import datetime
from dateutil.relativedelta import relativedelta
 
 
def compute_date_range(count:Annotated[int,"时间跨度，数值类型"],
                       unit:Annotated[str,"时间单位，字符串类型",{"enum":["day","week","month","year"]}])->List[str]:
    '''
    计算日期范围
    Args:
        count: 时间跨度，数值类型
        unit: 时间单位，字符串类型，可选值为 day,week,month,year
    '''        
    now = datetime.datetime.now()
    now_str = now.strftime("%Y-%m-%d %H:%M:%S")
    if unit == "day":
        return [(now - relativedelta(days=count)).strftime("%Y-%m-%d %H:%M:%S"),now_str]
    elif unit == "week":
        return [(now - relativedelta(weeks=count)).strftime("%Y-%m-%d %H:%M:%S"),now_str]
    elif unit == "month":
        return [(now - relativedelta(months=count)).strftime("%Y-%m-%d %H:%M:%S"),now_str]
    elif unit == "year":
        return [(now - relativedelta(years=count)).strftime("%Y-%m-%d %H:%M:%S"),now_str]
    return ["",""]
 
 
def compute_now()->str:
    '''
    计算当前时间
    '''
    return datetime.datetime.now().strftime("%Y-%m-%d %H:%M

第一个函数其实就是计算时间区间，第二个函数当用户问现在几点啦啥的，可以调用这个函数回答用户。

激动时刻来临了：将这些函数作为工具给到大模型

Byzer-LLM 将 Python 作为 LLM 的第一语言，你可以直接把函数传递给大模型，而不需要像 OpenAI 那样，写一堆的 json 描述文件。

具体用法如下：

t = llm.chat_oai([{
    "content":'''计算当前时间''',
    "role":"user"    
}],tools=[compute_date_range,compute_now],execute_tool=True)
 
 
t[0].values
 
 
## output: ['2023-12-18 17:30:49']

在上面的代码中，我们增加了两个参数：

1. tools:    一个函数列表
2. execute_tool: 是否直接执行选中的函数，而不是返回函数信息

我们让大模型计算下当前的时间，所以大模型选择了 compute_now 函数，然后因为我们配置了 execute_tool 为 True, 所以他直接运行了 compute_now 函数，你可以通过 t[0].values 拿到 compute_now 的返回值。

惊不惊喜，意不意外，使用竟然这么简单，这么 Python 化。

现在再让我们问两个问题：

t = llm.chat_oai([{
    "content":'''你吃饭了么？''',
    "role":"user"    
}],tools=[compute_date_range,compute_now],execute_tool=True)
 
 
if t[0].values:
    print(t[0].values[0])
else:
    print(t[0].response.output)   
 
 
## output: '您好，我是一个人工智能语言模型，暂时无法吃饭。'
我们问了一个和时间无关的问题，大模型很好的没有调用任何工具，单纯的返回说他没办法吃饭。

接着看看：

t = llm.chat_oai([{
    "content":'''最近三个月趋势''',
    "role":"user"    
}],tools=[compute_date_range,compute_now],execute_tool=True)
 
 
t[0].values
 
 
## output: [['2023-09-18 17:31:21', '2023-12-18 17:31:21']]
很精准。

还有这个：

t = llm.chat_oai([{
    "content":'''最近几天的趋势''',
    "role":"user"    
}],tools=[compute_date_range,compute_now],execute_tool=True)
 
 
t[0].values

不按常理出牌啊，竟然说的最近几天，那到底是几天阿呀喂。这个时候可能不同的模型会反应不一样，有的会无法调用函数，有的会自己给一个默认值，比如Qwen 给的默认值是 7。那我们怎么控制这种模糊的问发呢？直接修改我们的函数签名：

我们原先的写法：

def compute_date_range(count:Annotated[int,"时间跨度，数值类型"],
                       unit:Annotated[str,"时间单位，字符串类型",{"enum":["day","week","month","year"]}])->List[str]:

可以看到， count/unit 我们都没给默认值。我们直接给个默认值就行了：

def compute_date_range(count:Annotated[int,
                                       "时间跨度，数值类型,如果用户说的是几天，几月啥的，比较模糊，务必使用默认值"]=3,
                       unit:Annotated[str,"时间单位，字符串类型",
                                      {"enum":["day","week","month","year"]}]="day")->List[str]:

这里我们设置为默认值 count 为 3, 当然，光给一个默认值 3 还不够，因为大模型其实没那么聪明，你需要在参数解释里稍微说明下:如果用户说的是几天，几月啥的，比较模糊，务必使用默认值。这样就好了。

再执行，会返回三天的时间区域给你：

[['2023-12-18 13:00:07', '2023-12-21 13:00:07']]

这里我们提出一个新概念。

LLM友好函数

下面这段代码就是 LLM 友好函数，因为他包含了几个要素：

1. 函数命名，参数命名规范

2. 对函数有介绍和描述

3. 对参数指定了强类型，有描述，以及有默认值，如果是枚举值还指定了可选枚举值。

def compute_date_range(count:Annotated[int,                                       "时间跨度，数值类型,如果用户说的是几天，几月啥的，比较模糊，务必使用默认值"]=3,
                       unit:Annotated[str,"时间单位，字符串类型",
                                      {"enum":["day","week","month","year"]}]="day")->List[str]:
    '''
    计算日期范围
    '''

Respond with Class

这个属于额外复送的一个功能。我们看一眼代码，大家就知道有啥用了,

先定义一个类：

import pydantic 
 
 
class Story(pydantic.BaseModel):
    '''
    故事
    '''
 
 
    title: str = pydantic.Field(description="故事的标题")
    body: str = pydantic.Field(description="故事主体")

然后调用大模型：

t = llm.chat_oai([
{
    "content":f'''请给我讲个故事，分成两个部分，一个标题，一个故事主体''',
    "role":"user"
},
],response_class=Story)
 
 
t[0].value

我们额外加了一个参数，response_class=Story, 现在大模型不再返回一段文本，而是一个 Story 对象：

Story(
title='勇敢的小兔子', 
body='在一个美丽的森林里，住着一只可爱的小兔子。小兔子非常勇敢，有一天，森林里的动物们都被大灰狼吓坏了。只有小兔子站出来，用智慧和勇气打败了大灰狼，保护了所有的动物。从此，小兔子成为了森林里的英雄。')

酷不酷。

总结

这里我们用 ModelScope + Qwen72B + Byzer-LLM 演示了在开源模型使用OpenAI 类似的 Function Calling 功能，并且提供了额外的 Respond with Class 功能。我们把 Python 作为大模型第一语言，并且提出了 LLM 友好函数的概念。

此外，如果用户希望构建基于大模型的业务应用，我们推荐存储采用 [Byzer-Retrieval](https://github.com/allwefantasy/byzer-retrieval), 应用开发框架使用 [Byzer-Agent](https://github.com/allwefantasy/byzer-agent) ，并在允许的情况下，尽量使用更大的模型，从而保证减少工程量。

赠送架构图一份：