当前位置:   article > 正文

昇思25天学习打卡营第9天|munger85

昇思25天学习打卡营第9天|munger85

MindNLP ChatGLM-6B StreamChat

终于要开始进行一些大语言模型的实验了。大模型才是比较火的。

实验环境已经预装了mindspore==2.2.14,如需更换mindspore版本,可更改下面mindspore的版本号

!pip uninstall mindspore -y
!pip install -i https://pypi.mirrors.ustc.edu.cn/simple mindspore==2.2.14
其实即使按照实验里面的脚本仍然不能够运行,因为它少了两个东西,所以你需要安装下面两个包。
!pip install mindnlp mdtex2html -Uq
这个就是如果你要从哈根上面下载模型,你就需要加速。需要设置这样的环境变量。但是实验里面的脚本是从摩达社区下载的。这就意味着你并不需要设置这个环境变量。
在这里插入图片描述
这就是下载这个模型和准备运行它的方法。这里面可以看到使用的精度是fp16
在这里插入图片描述
准备和这个模型聊天,你可以给他说你好。然后它就会输出来。你好,我是人工智能助手。
在这里插入图片描述
我可以再问他一些别的问题。他依然可以跟继续跟我聊天。在这里插入图片描述
借助于这个模型的方法设计,所以他会把聊天历史返回出来。我们只需要把这个返回出来的聊天历史又塞回去给到他的输入。然后他就能够记得整个你跟他聊天的历史,从而实现有上下文,有记忆的聊天。,在这里插入图片描述
聊天的历史是这个变量但是这个变量里面是一个,但是这个变量里面是一个数组。每一个元素都是一轮你跟他聊天的记录。前面一个是你的记录,后面一个是AI输出的记录。这样就可以组织成一个聊天的完整记录。在这里插入图片描述在这里插入图片描述

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/繁依Fanyi0/article/detail/875701
推荐阅读
  

闽ICP备14008679号