【清华AI大模型ChatGLM-6B系列教程:一】ChatGLM-6B 本地化部署:安装环境准备

本教程出自元壤教育AIGC提示工程教研团队,未经授权,禁止转载,如需系统学习AIGC提示工程系列课程,请关注元壤教育公众号进入知识商城系统学习。

元壤教育:AIGC提示工程企业培训领导品牌,致力于通过AIGC企业培训赋能企业,助力千万家企业10倍效能提升。

环境准备

* 一台GPU服务器
* Github 账号
* 安装 conda

购买GPU服务器

腾讯云秒杀页面:https://cloud.tencent.com/act/cps/redirect?redirect=35793&cps_key=559649b94a9171a54e0530cdc50d0cad

可以在秒杀页面购买GPU服务器 GN7-T460元/15天

【清华AI大模型ChatGLM-6B系列教程:一】ChatGLM-6B 本地化部署:安装环境准备

github 账号

由于我们 git clone MOSS 代码的时候需要输入用户名和密码,如果没有账号,需要打开
github.com 网址注册一个账号,点击 [Sign up] 进入到注册页面
【清华AI大模型ChatGLM-6B系列教程:一】ChatGLM-6B 本地化部署:安装环境准备
按照提示内容,输入相应的信息
【清华AI大模型ChatGLM-6B系列教程:一】ChatGLM-6B 本地化部署:安装环境准备

创建Token

进入 token 页面 https://github.com/settings/tokens
【清华AI大模型ChatGLM-6B系列教程:一】ChatGLM-6B 本地化部署:安装环境准备
【清华AI大模型ChatGLM-6B系列教程:一】ChatGLM-6B 本地化部署:安装环境准备

  • 为你创建的token添加描述
  • 选择token有效期时间,可以选择永不过期
  • 为token赋予权限。如果从命令行操作仓库,至少选中repo

【清华AI大模型ChatGLM-6B系列教程:一】ChatGLM-6B 本地化部署:安装环境准备

点击生成。生成之后先复制下来,后面会用到
【清华AI大模型ChatGLM-6B系列教程:一】ChatGLM-6B 本地化部署:安装环境准备

克隆一个仓库,提示输入用户名和密码,此处就可以使用上面生成的token作为密码使用。

$ git clone https://github.com/username/repo.git
Username: your_username
Password: your_token

安装 conda

wget https://repo.anaconda.com/archive/Anaconda3-2023.03-1-Linux-x86_64.sh
bash Anaconda3-2023.03-1-Linux-x86_64.sh

【清华AI大模型ChatGLM-6B系列教程:一】ChatGLM-6B 本地化部署:安装环境准备

需要按下ENTER回车键,查看许可证,直到提示是否接受许可内容,然后输入yes
【清华AI大模型ChatGLM-6B系列教程:一】ChatGLM-6B 本地化部署:安装环境准备
按下ENTER回车键 进行安装,输入 yes 来确认使用 conda init 来启动
【清华AI大模型ChatGLM-6B系列教程:一】ChatGLM-6B 本地化部署:安装环境准备

为了使命令生效我们可以关不shell,重新连接

【清华AI大模型ChatGLM-6B系列教程:一】ChatGLM-6B 本地化部署:安装环境准备

项目部署

下载代码

git clone https://github.com/THUDM/ChatGLM-6B
cd ChatGLM-6B

【清华AI大模型ChatGLM-6B系列教程:一】ChatGLM-6B 本地化部署:安装环境准备

创建conda环境

# 新建chatglm环境
conda create -n chatglm python=3.8
# 激活chatglm环境
conda activate chatglm

安装依赖

pip install -r requirements.txt -i https://mirror.sjtu.edu.cn/pypi/web/simple

运行demo

pip install streamlit
pip install streamlit-chat

streamlit run web_demo2.py --server.port 6006

【清华AI大模型ChatGLM-6B系列教程:一】ChatGLM-6B 本地化部署:安装环境准备

运行效果

刚开始运行,需要等到1-2分钟加载本地模型:
【清华AI大模型ChatGLM-6B系列教程:一】ChatGLM-6B 本地化部署:安装环境准备

系列教程

发布者:AIGC博客派,未经授权,禁止转载,经授权后转载需请注明出处:https://blog.yredu.xyz/archives/4844

(0)
上一篇 2023年5月14日 下午6:33
下一篇 2023年5月17日 下午2:42

相关推荐

发表回复

登录后才能评论

联系我们

(010)82964070

在线咨询: QQ交谈

邮件:yuanrang@cldy.org

电话:15313090019

工作时间:周一至周日,9:30-18:30

关注专属客服
「提升生产力10倍?关注「元壤教育」公众号,系统学习 AIGC 提示工程课程。」