ChatGLM3-6B Demo搭建

一、搭建虚拟环境

# 创建虚拟环境
conda create -n chatglm3-demo python=3.10
# 激活虚拟环境
conda activate chatglm3-demo

二、环境安装

首先需要下载本仓库：

git clone https://github.com/THUDM/ChatGLM3
cd ChatGLM3

然后使用 pip 安装依赖：

pip install -r requirements.txt

三、模型下载

软件依赖

pip install protobuf 'transformers>=4.30.2' cpm_kernels 'torch>=2.0' gradio mdtex2html sentencepiece accelerate

模型下载

modelscope API下载

pip install modelscope

from modelscope import snapshot_download 
model_dir = snapshot_download("ZhipuAI/chatglm3-6b", revision = "v1.0.0")

请注意，本项目需要 Python 3.10 或更高版本。

此外，使用 Code Interpreter 还需要安装 Jupyter 内核：

安装ipython3

sudo apt install ipython3

安装Jupyter内核

ipython3 kernel install --name chatglm3-demo --user

安装streamlit

conda install streamlit

设置模型本地路径

export MODEL_PATH=/home/jianhai/.cache/modelscope/hub/ZhipuAI/chatglm3-6b

启动demo

streamlit run main.py