裸服务器上语音AI部署指南_业界新闻

发布时间:2024-08-19 12:01

阅读量:0

1. 概述

本指南详细介绍了如何在裸服务器上部署语音AI系统，包括环境配置、依赖安装、模型加载与API配置等关键步骤。使用的主要框架包括Langchain-Chatchat模型框架、ChatGLM3-6B模型、M3E-Base Embeddings模型，以及百度飞桨PaddleSpeech用于语音处理。

2. 环境准备

2.1 操作系统及基础环境

确保服务器运行CentOS 7或以上版本。
更新YUM源，并安装必要的开发工具和依赖。
需要安装gpu环境

2.2 安装必要的工具和依赖

安装wget
```
sudo yum install wget -y wget --version
```

安装常用开发工具

sudo yum groupinstall "Development Tools" sudo yum install \     openssl-devel \     bzip2-devel \     libffi-devel \     zlib-devel \     xz-devel \     readline-devel \     sqlite-devel \     tk-devel \     gdbm-devel \     ncurses-devel \     libuuid-devel \     libtirpc-devel

把基础包都装上，防止在后续安装的时候，缺各种依赖包。

手动安装OpenSSL 1.1.1
由于yum源中没有更新OpenSSL版本，处于较旧版本状态，需要手动安装openssl
openssl下载地址

下载、编译和安装OpenSSL 1.1.1。

配置软连接及环境变量。

tar -zxvf openssl-1.1.1w.tar.gz cd openssl-1.1.1w ./config --prefix=/usr/local/openssl --openssldir=/usr/local/openssl shared zlib make make install  # 切换目录/usr/bin，备份原始的openssl mv openssl openssl.bak pwd ll | grep openssl  # 创建软连接，使执行openssl时使用新版本的openssl ln -s /usr/local/openssl/bin/openssl /usr/bin/openssl ll | grep openssl  # 将安装路径添加到环境变量 cd /root vi .bashrc # 将"export LD_LIBRARY_PATH=/usr/local/openssl/lib:$LD_LIBRARY_PATH"添加到最末行

# 运行 source .bashrc 的目的是重新加载当前用户的 .bashrc 文件，以便应用其中所做的更改，而无需注销并重新登录 source .bashrc  # 更新共享库的链接器缓存 ldconfig  # 检查是否安装成功 openssl version

安装Python 3.10.14及Pip

# 删除旧版本 yum remove Python-3.10.14.tgz  # 安装 wget https://www.python.org/ftp/python/3.10.14/Python-3.10.14.tgz tar -xzf Python-3.10.14.tgz cd Python-3.10.14 ./configure --prefix=/usr/local/python3.10 --with-openssl=/usr/local/openssl make make install  #软链 ln -s /usr/local/python3.10/bin/python3.10 /usr/bin/python3 python3 --version

python3 -m pip install --upgrade pip # pip版本需要24.2 python3 -m pip --version

3. 框架及模型安装

3.1 安装PaddleSpeech

截至目前，PaddleSpeech仅支持最高版本为2.5.1的PaddlePaddle。许多人认为需要先手动安装PaddlePaddle，但实际上，在安装PaddleSpeech时，会自动下载安装与之兼容的PaddlePaddle版本。如果系统中已经存在更新的PaddlePaddle版本（如2.6.x），安装PaddleSpeech后将会被自动降级至2.5.1版本的PaddlePaddle-GPU。需要注意的是，PaddleSpeech默认安装的是GPU版本的PaddlePaddle-2.5.1。如果CUDA设备配置不正确，PaddlePaddle将默认使用CPU进行推理。因此，确保CUDA设备正确配置对于性能优化至关重要。

使用Pip安装PaddleSpeech：
```
pip install pytest-runner pip install paddlespeech
```
注意：Scipy版本不得高于1.10.1。

验证：参考官方文档

3.2 安装Anaconda

为了避免安装 langchain-chatchat 和 paddlespeech 时产生依赖冲突，建议使用 Anaconda 创建独立的 Python 虚拟环境。通过这种方式，可以确保两者的依赖项相互隔离，不会相互干扰。

下载并安装Anaconda。
创建Python虚拟环境并安装Pytorch。

wget -c 'https://repo.anaconda.com/archive/Anaconda3-2023.09-0-Linux-x86_64.sh' -P /opt/ --no-check-certificate bash Anaconda3-2023.09-0-Linux-x86_64.sh  # 后续按照提示安装即可

#创建conda环境 conda create -n chatchat python=3.10.14  #检查环境是否创建完成 conda info --envs

# 进入已经创建好的虚拟环境 conda activate chatchat  # 安装pytorch pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 -i https://pypi.tuna.tsinghua.edu.cn/simple

3.3 安装Langchain-Chatchat框架

克隆Langchain-Chatchat项目。
安装依赖包。

# 获取最新版本 git clone https://github.com/chatchat-space/Langchain-Chatchat.git  # 获取指定版本 git clone -b v0.2.9 https://github.com/chatchat-space/Langchain-Chatchat.git   cd Langchain-Chatchat  # 安装项目所需依赖包 pip3 install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple/

3.4 下载及配置模型

安装Git LFS并下载M3E-Base和ChatGLM3-6B模型。
修改配置文件以正确加载模型。

# 安装git lfs 管理大文件 yum install epel-release -y yum install git-lfs -y git lfs install  git clone https://gitee.com/hf-models/m3e-base.git git clone https://gitee.com/hf-models/chatglm3-6b.git  # 批量复制configs目录下所有的配置文件，去掉example后缀 python copy_config_example.py

修改model_config.py文件

修改m3e-base的模型本地路径：

修改server_config.py

4. 项目启动与API配置

4.1 初始化数据库

python init_database.py

4.2 启动服务

python startup.py -a

如果启动出现异常：
如：

异常1：ModuleNotFoundError: No module named 'llama_index.bridge' 解决：更换版本：“pydantic” 包的版本为 1.10.13，“llama-index” 包的版本为 0.9.35

异常2：AttributeError：“GenerationConfig”对象没有属性“_eos_token_tensor” 解决：Transformers 版本太新了，使用chatglm3的话可以把transformers版本降到4.40 pip uninstall transformers pip install transformers==4.40.0

注意：应用端口是8501，API接口调用端口是7861
出现以下则为启动成功：