Qwen72B-int4 服务器部署(服务器部署 和 web交互部署)

avatar
作者
猴君
阅读量:3

1.选择三张4090算力(两张4090需要扩数据盘)

我这里用的是算力云 选择的是两张4090 扩容是50G

接着就是创建你需要使用的框架这里我选的是pytorch

这是创建完之后的实例

2.获取模型(也可以先拉去代码框架)

这里我选择先拉取模型

进入终端输入命令切换文件 cd autodl-tmp

输入拉取模型命令 (三条)

curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh

sudo apt-get update

sudo apt-get install git-lfs

cd /autodl-tmp路径下,不创建环境,直接安包(两条命令)

1.pip install "transformers>=4.32.0" accelerate tiktoken einops scipy transformers_stream_generator==0.0.4 peft deepspeed
2.pip install auto-gptq optimum

3.安装flash-attention库

cd /autodl-tmp路径下

学术加速,flash-attention和modelscope包不用学术加速很慢(一条)

加速命令:source /etc/network_turbo

安装flash-attention库,实现更高的效率更低的显存占用(两条命令)

1.git clone https://github.com/Dao-AILab/flash-attention


2.cd flash-attention && pip install .(不要忘了这个点)

cd ..退出flash-attention文件,autodl-tmp路径下

安装模型时需要的modelscope包(一条命令)

pip install modelscope

取消加速(一条)

unset http_proxy && unset https_proxy

显示这样就取消成功了

4.久等了 接下来就开始下载模型咯

首先我们在cd/autodl-tmp路径下,新建笔记本

下载到cache_dir='/root/autodl-tmp'路径下(一条命令)

#模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('qwen/Qwen-72B-Chat-Int4',cache_dir='/root/autodl-tmp')

详细步骤:先复制 粘贴模型下载命令  然后运行 (运行之后稍微等2-3分钟 就可以看到正在下载模型了 下载模型大概需要半个小时左右)

出现这样 说明模型正在下载中咯 稍等片刻~

5.模型下载完 我们需要新建一个测试文件 test.py (复制下面代码)

from modelscope import AutoTokenizer, AutoModelForCausalLM

# 加载本地模型的路径
local_model_path = '/root/autodl-tmp/qwen/Qwen-72B-Chat-Int4'

# 加载本地模型
tokenizer = AutoTokenizer.from_pretrained(local_model_path, local_files_only=True, trust_remote_code=True)

model = AutoModelForCausalLM.from_pretrained(
    local_model_path, 
    local_files_only=True,
    device_map="auto",
    trust_remote_code=True
).eval()
response, history = model.chat(tokenizer, "你好", history=None)
print(response)

然后终端进行运行指令:

如果三张卡的话就是 显卡数量(3张) MLU_VISIBLE_DEVICES=0,1,2

如果是两张卡 (2张) MLU_VISIBLE_DEVICES=0,1

输入以下命令(一条 )

export MLU_VISIBLE_DEVICES=0,1,2 && python test.py

做到这里就可以在 服务器 访问 qwen72b模型了 

6.当然也可以进行web页面交互

以上拉取模型 步骤一致 

首先获取 框架 (一条命令)

git clone https://github.com/QwenLM/Qwen.git

然后安装 依赖包(两条)

pip install -r requirements.txt
pip install -r requirements_web_demo.txt

然后找到web_demo.py文件进行更改

# 48行附近 找到device_map = "auto" 修改为如下指定内容
device_map={'transformer.wte': 0, 'transformer.drop': 0, 'transformer.rotary_emb': 0, 'transformer.h.0': 0,'transformer.h.1': 0, 'transformer.h.2': 0, 'transformer.h.3': 0, 'transformer.h.4': 0, 'transformer.h.5': 0, 'transformer.h.6': 0, 'transformer.h.7': 0, 'transformer.h.8': 0, 'transformer.h.9': 0, 'transformer.h.10': 0, 'transformer.h.11': 0, 'transformer.h.12': 0, 'transformer.h.13': 0, 'transformer.h.14': 0, 'transformer.h.15': 0, 'transformer.h.16': 0, 'transformer.h.17': 0, 'transformer.h.18': 0, 'transformer.h.19': 0, 'transformer.h.20': 0, 'transformer.h.21': 0, 'transformer.h.22': 0, 'transformer.h.23': 0, 'transformer.h.24': 0, 'transformer.h.25': 0, 'transformer.h.26': 0, 'transformer.h.27': 0, 'transformer.h.28': 0, 'transformer.h.29': 0, 'transformer.h.30': 0, 'transformer.h.31': 0, 'transformer.h.32': 0, 'transformer.h.33': 0, 'transformer.h.34': 0, 'transformer.h.35': 0, 'transformer.h.36': 0, 'transformer.h.37': 0, 'transformer.h.38': 0, 'transformer.h.39': 0, 'transformer.h.40': 1, 'transformer.h.41': 1, 'transformer.h.42': 1, 'transformer.h.43': 1, 'transformer.h.44': 1, 'transformer.h.45': 1, 'transformer.h.46': 1, 'transformer.h.47': 1, 'transformer.h.48': 1, 'transformer.h.49': 1, 'transformer.h.50': 1, 'transformer.h.51': 1, 'transformer.h.52': 1, 'transformer.h.53': 1, 'transformer.h.54': 1, 'transformer.h.55': 1, 'transformer.h.56': 1, 'transformer.h.57': 1, 'transformer.h.58': 1, 'transformer.h.59': 1, 'transformer.h.60': 1, 'transformer.h.61': 1, 'transformer.h.62': 1, 'transformer.h.63': 1, 'transformer.h.64': 1, 'transformer.h.65': 1, 'transformer.h.66': 1, 'transformer.h.67': 1, 'transformer.h.68': 1, 'transformer.h.69': 1, 'transformer.h.70': 1, 'transformer.h.71': 1, 'transformer.h.72': 1, 'transformer.h.73': 1, 'transformer.h.74': 1, 'transformer.h.75': 1, 'transformer.h.76': 1, 'transformer.h.77': 1, 'transformer.h.78': 1, 'transformer.h.79': 1, 'transformer.ln_f': 1, 'lm_head': 1}

模型路径进行更改 

# 18行附近修改模型文件地址
DEFAULT_CKPT_PATH = '/root/autodl-tmp/Qwen/qwen72b/qwen/Qwen-72B-Chat-Int4'

接着 就是安装auto-gptq使用量化后的权重(一条)

pip install auto-gptq optimum

最后我们就可以在终端运行 代码了  (一条)

python web_demo.py

                                             效果展示 

如果对你有帮助的话 请点个关注吧~  谢谢~

广告一刻

为您即时展示最新活动产品广告消息,让您随时掌握产品活动新动态!