【清华AI大模型ChatGLM-6B系列教程:二】使用 P-tuning v2 对 ChatGLM-6B 进行微调

本教程出自元壤教育AIGC提示工程教研团队,未经授权,禁止转载,如需系统学习AIGC提示工程系列课程,请关注元壤教育公众号进入知识商城系统学习。

元壤教育:AIGC提示工程企业培训领导品牌,致力于通过AIGC企业培训赋能企业,助力千万家企业10倍效能提升。

准备

请先了解并学习 ChatGLM-6B 本地化部署

安装依赖

pip install rouge_chinese nltk jieba datasets -i https://mirror.sjtu.edu.cn/pypi/web/simple

获取微调数据集

下载 AdvertiseGen.tar.gz

cd ptuning

wget -O AdvertiseGen.tar.gz https://cloud.tsinghua.edu.cn/f/b3f119a008264b1cabd1/?dl=1

【清华AI大模型ChatGLM-6B系列教程:二】使用 P-tuning v2 对 ChatGLM-6B 进行微调

解压 AdvertiseGen.tar.gz

tar -xzvf AdvertiseGen.tar.gz

【清华AI大模型ChatGLM-6B系列教程:二】使用 P-tuning v2 对 ChatGLM-6B 进行微调

开始训练

bash train.sh

【清华AI大模型ChatGLM-6B系列教程:二】使用 P-tuning v2 对 ChatGLM-6B 进行微调
训练完成结果如下:
【清华AI大模型ChatGLM-6B系列教程:二】使用 P-tuning v2 对 ChatGLM-6B 进行微调

启动客户端

我们需要外网访问,所以需要 vi web_demo.py 修改 web_demo.py
【清华AI大模型ChatGLM-6B系列教程:二】使用 P-tuning v2 对 ChatGLM-6B 进行微调
修改内容为 share=True

demo.queue().launch(share=True, inbrowser=True)

【清华AI大模型ChatGLM-6B系列教程:二】使用 P-tuning v2 对 ChatGLM-6B 进行微调
esc,输入:wq,保存我们的修改并退出编辑页面

启动web_demo

bash web_demo.sh

【清华AI大模型ChatGLM-6B系列教程:二】使用 P-tuning v2 对 ChatGLM-6B 进行微调
启动后,控制台出现一下页面,输入 q
【清华AI大模型ChatGLM-6B系列教程:二】使用 P-tuning v2 对 ChatGLM-6B 进行微调
出现你确认退出的提示,然后输入 y
【清华AI大模型ChatGLM-6B系列教程:二】使用 P-tuning v2 对 ChatGLM-6B 进行微调
然后就可以看到外网的URL,浏览器打开当前网址
【清华AI大模型ChatGLM-6B系列教程:二】使用 P-tuning v2 对 ChatGLM-6B 进行微调
输入框输入以下内容,测试效果:

上衣材质:牛仔布n颜色:白色n风格:简约n图案:刺绣n衣样式:外套n破洞:破洞

微调后,测试效果:
【清华AI大模型ChatGLM-6B系列教程:二】使用 P-tuning v2 对 ChatGLM-6B 进行微调
微调前,测试结果:
【清华AI大模型ChatGLM-6B系列教程:二】使用 P-tuning v2 对 ChatGLM-6B 进行微调

问题集锦

运行 bash train.sh,出现 RuntimeError: Library cudart is not initialized

【清华AI大模型ChatGLM-6B系列教程:二】使用 P-tuning v2 对 ChatGLM-6B 进行微调

解决方法:
首先查看 cuda 版本,

conda list | grep cuda

【清华AI大模型ChatGLM-6B系列教程:二】使用 P-tuning v2 对 ChatGLM-6B 进行微调
下载 cudatoolkit=11.7

conda install cudatoolkit=11.7 -c nvidia

【清华AI大模型ChatGLM-6B系列教程:二】使用 P-tuning v2 对 ChatGLM-6B 进行微调
首先查看 cuda 版本,就可以看到 cudatoolkit

conda list | grep cuda

【清华AI大模型ChatGLM-6B系列教程:二】使用 P-tuning v2 对 ChatGLM-6B 进行微调

系列教程

发布者:AIGC博客派,未经授权,禁止转载,经授权后转载需请注明出处:https://blog.yredu.xyz/archives/4860

(1)
上一篇 2023年5月17日 下午2:41
下一篇 2023年5月17日 下午2:43

相关推荐

发表回复

登录后才能评论

联系我们

(010)82964070

在线咨询: QQ交谈

邮件:yuanrang@cldy.org

电话:15313090019

工作时间:周一至周日,9:30-18:30

关注专属客服
「提升生产力10倍?关注「元壤教育」公众号,系统学习 AIGC 提示工程课程。」