在服务器上搭配大模型的运行环境详细版（docker+ollama+langchain等工具）

用到的工具

1.anaconda3环境安装

anaconda3导出环境

#导出环境 conda env export --name your_env_name > custom_environment.yaml #导入环境 conda env create -f environment.yaml 

2.前置的docker软件安装、docker镜像如何进行转移

sudo apt-get update #时期能访问阿里云 sudo apt install apt-transport-https ca-certificates curl gnupg-agent software-properties-common # 确认docker未被篡改 curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add - sudo apt-get update sudo apt install docker-ce 在测试或开发环境中 Docker 官方为了简化安装流程，提供了一套便捷的安装脚本，Ubuntu 系统上可以使用这套脚本安装，另外可以通过 --mirror 选项使用国内源进行安装： curl -fsSL get.docker.com -o get-docker.sh sudo sh get-docker.sh --mirror Aliyun  

添加用户

#将当前用户加入用户组 sudo gpasswd -a $USER docker 修改并保存完成后，重新加载守护并重启socket即可  sudo systemctl daemon-reload sudo systemctl restart docker.socket 

安装ollama命令 此为cpu版本 docker run -d -v /opt/ai/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama gpu版本 docker run --gpus all -d -v /opt/ai/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama  #docker装pgvector docker run --name pgvector --restart=always -e POSTGRES_USER=pgvector -e POSTGRES_PASSWORD=pgvector -v /srv/tlw/pgvectordata:/var/lib/postgresql/data -p 54333:5432 -d pgvector/pgvector:pg16 #docker装openwebui docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main  #docker装openwebui与ollama捆绑的 gpu版本 docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama    #以export import方式 docker export 容器名字 > container.tar cat container.tar | docker import - <新容器名称>  #save load方式 docker save -o my-open-webui-image.tar my-open-webui-image docker load -i my-open-webui-image.tar 这会将my-open-webui-image.tar文件中的镜像加载到Docker中，之后你就可以像使用任何其他本地镜像一样使用它了 docker run -it -d \   -p 3000:8080 \   --add-host=host.docker.internal:host-gateway \   -v /path/on/target/machine/open-webui:/app/backend/data \   --name new_open_webui \   my-open-webui-image     请确保替换/path/on/target/machine/open-webui为目标电脑上的实际路径。  通过以上步骤，你就能成功地将一个Docker容器转换为镜像，并将其转移到另一台电脑上使用了 

3.gpu环境配置

删除已安装的cuda环境

sudo apt-get --purge remove nvidia*

sudo apt autoremove

To remove CUDA Toolkit:

$ sudo apt-get --purge remove "*cublas*" "cuda*" 

To remove NVIDIA Drivers:

$ sudo apt-get --purge remove "*nvidia*" 

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \   && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \     sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \     sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list 这些命令有的需要关机之后才生效！！！ sudo apt-get update  # 更新源 sudo apt-get install -y nvidia-container-toolkit 这个工具也是需要安装的 此为gpu安装工具包 sudo apt-get install dkms 安装nvidia-smi ubuntu-drivers devices # 查看推荐安装的driver sudo apt install nvidia-driver-545-open # 进行安装之后需要重启计算机 输入nvidia-smi命令查看可安装版本 安装对应的版本 sudo dkms install -m nvidia -v 450.57 

4.pycharm配置

5.langchain环境搭配

langchain使用的技术有Agent、memory、分词器、pgvector

直接pip安装，后面缺什么按需要装什么就行了

在后台一直运行该项目

nohup streamlit run app.py > streamrun.log 2>&1 & 

6.网络方面

1.网络方面

查看防火墙

ufw status

添加端口开启

sudo ufw allow 22

iptables -nvL

添加用户

sudo useradd -r -m -s /bin/bash munan sudo passwd 。。。 #设置密码 切换用户 su 。。。 

2.unsloth（对大模型进行微调的框架）

官方地址：unslothai/unsloth: Finetune Llama 3, Mistral, Phi & Gemma LLMs 2-5x faster with 80% less memory (github.com)

unsloth如何使用

unsloth之后将模型保存，保存完之后需要进行量化操作

make clean && make all -j  python convert-hf-to-gguf.py /home/munan/fine_tune/lora_quantity_models/lama3-instruct/model #后面跟的是模型保存得路径，先将其转换为gguf格式 ./quantize /home/munan/fine_tune/lora_quantity_models/lama3-instruct/model/ggml-model-f16.gguf /home/munan/fine_tune/lora_quantity_models/lama3-instruct/quantity/ggml-model-q4_0.gguf q4_0 #该命令是对模型进行量化，后面得q4_0为进行4位量化 

量化完成之后将其导入到ollama

在ollama里面还需要Modelfile文件，防止模型进行胡言乱语。

# 导入ollama docker exec -it ollama-gpu /bin/bash -c "ollama create travel_llama3 -f /home/{your_path}/quantity/Modelfile.txt" #创建模型 docker exec -it ollama-gpu /bin/bash -c 'ollama rm travel_llama3' #将modelfile.txt复制一份到其他地方 #以交互式方式进入容器 docker exec -it ollama-gpu bash # 将modelfile.txt移动到容器内 docker cp /home/munan/fine_tune/lora_quantity_models/{your_path}/quantity/ ollama-gpu:/home/{your_path}/quantity/ 

3.phidata（大模型开发所要使用的框架）其中前端页面使用了streamlit框架

其中包含了可以加入Memory+Knowledge+Tools

官方地址：phidatahq/phidata: Build AI Assistants with memory, knowledge and tools. (github.com)

4.openwebui（大模型开发所要使用的框架）

实际体验中感觉openwebui比phidata好用。

官方地址：open-webui/open-webui: User-friendly WebUI for LLMs (Formerly Ollama WebUI) (github.com)

安装nodejs

运行将为 Node.js 20 包配置 APT 存储库的脚本。 sudo apt update && sudo apt install -y nodejs 

5.opencompass（对大模型进行评测的框架）

官方地址：open-compass/opencompass: OpenCompass is an LLM evaluation platform, supporting a wide range of models (Llama3, Mistral, InternLM2,GPT-4,LLaMa2, Qwen,GLM, Claude, etc) over 100+ datasets. (github.com)

看官方文档