当前位置:   article > 正文

Ubuntu20.04部署Qwen2.openvino流程_怎么在乌班图虚拟机上部署qwen大模型

怎么在乌班图虚拟机上部署qwen大模型

下载代码

里面包含依赖

git clone https://github.com/OpenVINO-dev-contest/Qwen2.openvino.git
  • 1

在这里插入图片描述

python环境配置

创建虚拟环境
conda create -name qwen2openvino python==3.10
conda activate qwen2openvino
  • 1
  • 2
安装依赖
pip install wheel setuptools
pip install -r requirements.txt
  • 1
  • 2
配置镜像服务器来加快下载速度
export HF_ENDPOINT=https://hf-mirror.com
  • 1
下载模型
huggingface-cli download --resume-download --local-dir-use-symlinks False Qwen/Qwen1.5-0.5B-Chat --local-dir ./Qwen1.5-0.5B-Chat
  • 1
转换模型
python convert.py --model_id ./Qwen1.5-0.5B-Chat --precision int4 --output ./Qwen1.5-0.5B-Chat-ov
  • 1

在这里插入图片描述

在chat.py的前面加上,防止出现waring
import os
os.environ["TOKENIZERS_PARALLELISM"] = "false"
  • 1
  • 2

【问题解决】module ‘triton.compiler‘ has no attribute ‘OutOfResources‘

[已解決] huggingface/tokenizers: The current process just got forked. after parallelism has already been used. Disabling parallelism to avoid deadlocks

运行chat.py
python chat.py --model_path ./Qwen1.5-0.5B-Chat-ov --max_sequence_length 4096 --device GPU
  • 1

参考文章

(Qwen)通义千问大模型安装部署教程2024最新

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/码创造者/article/detail/870780
推荐阅读
相关标签
  

闽ICP备14008679号