本教程出自元壤教育AIGC提示工程教研团队,未经授权,禁止转载,如需系统学习AIGC提示工程系列课程,请关注元壤教育公众号进入知识商城系统学习。
元壤教育:AIGC提示工程企业培训领导品牌,致力于通过AIGC企业培训赋能企业,助力千万家企业10倍效能提升。
环境准备
* 一台GPU服务器
* Github 账号
* 安装 conda
购买GPU服务器
腾讯云秒杀页面:https://cloud.tencent.com/act/cps/redirect?redirect=35793&cps_key=559649b94a9171a54e0530cdc50d0cad
可以在秒杀页面购买GPU服务器 GN7-T4
,60元/15天
github 账号
由于我们 git clone
MOSS 代码的时候需要输入用户名和密码,如果没有账号,需要打开
github.com 网址注册一个账号,点击 [Sign up] 进入到注册页面
按照提示内容,输入相应的信息
创建Token
进入 token 页面 https://github.com/settings/tokens
- 为你创建的token添加描述
- 选择token有效期时间,可以选择永不过期
- 为token赋予权限。如果从命令行操作仓库,至少选中repo
点击生成。生成之后先复制下来,后面会用到
克隆一个仓库,提示输入用户名和密码,此处就可以使用上面生成的token作为密码使用。
$ git clone https://github.com/username/repo.git
Username: your_username
Password: your_token
安装 conda
wget https://repo.anaconda.com/archive/Anaconda3-2023.03-1-Linux-x86_64.sh
bash Anaconda3-2023.03-1-Linux-x86_64.sh
需要按下ENTER
回车键,查看许可证,直到提示是否接受许可内容,然后输入yes
按下ENTER
回车键 进行安装,输入 yes
来确认使用 conda init
来启动
为了使命令生效我们可以关不shell,重新连接
项目部署
下载代码
git clone https://github.com/THUDM/ChatGLM-6B
cd ChatGLM-6B
创建conda环境
# 新建chatglm环境
conda create -n chatglm python=3.8
# 激活chatglm环境
conda activate chatglm
安装依赖
pip install -r requirements.txt -i https://mirror.sjtu.edu.cn/pypi/web/simple
运行demo
pip install streamlit
pip install streamlit-chat
streamlit run web_demo2.py --server.port 6006
运行效果
刚开始运行,需要等到1-2分钟加载本地模型:
系列教程
- 【清华AI大模型ChatGLM-6B系列教程:一】ChatGLM-6B 本地化部署:安装环境准备
- 【清华AI大模型ChatGLM-6B系列教程:二】使用 P-tuning v2 对 ChatGLM-6B 进行微调
- 【清华AI大模型ChatGLM-6B系列教程:三】基于ChatGLM-6B使用LoRA进行参数高效微调
- 【清华AI大模型ChatGLM-6B系列教程:四】ChatGLM-6B 结合 langchain 实现本地知识库
- 更多系列教程关注元壤教育进行系统学习。
发布者:AIGC博客派,未经授权,禁止转载,经授权后转载需请注明出处:https://blog.yredu.xyz/archives/4844