devbox
神奇cpp
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

Datawhale AI夏令营第四期：动手学大模型应用全栈开发task1

作者：神奇cpp | 2024-08-13 05:38:22

赞

踩

Datawhale AI夏令营第四期：动手学大模型应用全栈开发task1

目录

一、环境配置

二、Demo搭建！

2.1文件下载

2.2安装前端工具 

2.3启动Demo

三、精读baseline

3.1 baseline代码

3.2解决遗留问题

速览：这边笔记将会带大家快速跑一遍baseline，再带大家精读一下baseline。

参考教程：Datawhale

一、环境配置

首先我们配置环境，这里笔者使用阿里云的PAI-DSW服务，可以申请试用，可获得 5000算力时！有效期3个月！开通方法可以参考Datawhale。

去到PAI-DSW创建一个PAI实例并打开：

打开后是这个界面：

二、Demo搭建！

2.1文件下载

我们可以用git将案例文件下来到服务器上：

点击终端出入以下命令后按回车：

  1. git lfs install
  2. git clone https://www.modelscope.cn/datasets/Datawhale/AICamp_yuan_baseline.git

2.2安装前端工具 

在终端输入以下命令，回车运行：

pip install streamlit==1.24.0

之后等待依赖安装成功即可。

2.3启动Demo

在终端输入以下命令，回车运行：

streamlit run AICamp_yuan_baseline/Task\ 1：零基础玩转源大模型/web_demo_2b.py --server.address 127.0.0.1 --server.port 6007

这个Demo是用Streamlit搭建的前端页面，Streamlit简单易上手~可以快速搭建自己的web页面，它还有如下特点：

 实时推理

将大模型部署在后台服务器上，通过 Streamlit 提供的接口，用户可以输入数据，实时获取模型的推理结果。

 交互式调参

使用 Streamlit 的滑块、选择框等组件，允许用户动态调整大模型的参数（如温度、最大生成长度等），并实时查看输出结果。

OK，现在我们点击链接，跳转到新页面：

  

  

等待后台模型下载完成之后就可以对话啦！

我们让他帮忙写一道leetcode：

  

    可以看到生成的代码通过了测试。我们可以多尝试一下，可以给出不同的解法：

我们再让它换一种解法： 

  

 发现报错，具体原因在下一章章节，精读baseline会提到。

三、精读baseline

3.1 baseline代码

  1. # 导入所需的库
  2. from transformers import AutoTokenizer, AutoModelForCausalLM
  3. import torch
  4. import streamlit as st
  5.  
  6. # 创建一个标题和一个副标题
  7. st.title("
    声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/神奇cpp/article/detail/973442
    推荐阅读
    相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。