服务器Ubuntu22.04系统下 ollama的详细部署安装和搭配open_webui使用

avatar
作者
筋斗云
阅读量:0

服务器Ubuntu22.04系统下 ollama的详细部署安装和搭配open_webui使用

一、ubuntu和docker基本环境配置

1.更新包列表:
  • 打开终端,输入以下命令:
sudo apt-get update 
sudo apt upgrade 

更新时间较长,请耐心等待

2. 安装docker依赖
sudo apt-get install ca-certificates curl gnupg lsb-release 
3. 添加docker密钥
curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add - 
4.添加阿里云docker软件源
sudo add-apt-repository "deb [arch=amd64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable" 
5.安装docker
apt-get install docker-ce docker-ce-cli containerd.i 
6.安装完成docker测试
docker -v 

在这里插入图片描述

7. docker配置国内镜像源
  • 7.1 编辑配置文件
vi /etc/docker/daemon.json 

按i进入编辑模式

加入以下内容:

{   "registry-mirrors": [     "https://docker.mirrors.ustc.edu.cn",     "https://hub-mirror.c.163.com",     "https://docker.m.daocloud.io",      "https://ghcr.io",     "https://mirror.baidubce.com",     "https://docker.nju.edu.cn"   ] } 

按ESC键退出编辑模式,接着输入:wq,保存并退出

  • 7.2 重新加载docker
sudo systemctl daemon-reload 
  • 7.3 重启docker
sudo systemctl restart docker 

二、安装英伟达显卡驱动

1.使用 Apt 安装

  • 配置存储库
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \     | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list \     | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' \     | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list 
  • 更新包列表
sudo apt-get update 
  • 安装 NVIDIA Container Toolkit 软件包
sudo apt-get install -y nvidia-container-toolkit 
  • 配置 Docker 以使用 Nvidia 驱动程序
sudo nvidia-ctk runtime configure --runtime=docker 
  • 重新启动docker
sudo systemctl restart docker 

三、使用docker安装ollama

1. 使用docker拉取ollama镜像
docker pull ollama/ollama:latest 

国内镜像

docker pull dhub.kubesre.xyz/ollama/ollama:latest 
2.使用docker运行以下命令来启动 Ollama 容器
docker run -d --gpus=all --restart=always -v /home/docker/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama 

使ollama保持模型加载在内存(显存)中

docker run -d --gpus=all -e OLLAMA_KEEP_ALIVE=-1 --restart=always -v /home/docker/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama 
3.使用ollama下载模型
  • 这里示例下载阿里的通义千问
docker exec -it ollama ollama run qwen2 
  • 运行效果如图:
    在这里插入图片描述

  • 模型库

模型参数数量大小下载方式
Llama 27B3.8GBdocker exec -it ollama ollama run llama2
Mistral7B4.1GBdocker exec -it ollama ollama run mistral
Dolphin Phi2.7B1.6GBdocker exec -it ollama ollama run dolphin-phi
Phi-22.7B1.7GBdocker exec -it ollama ollama run phi
Neural Chat7B4.1GBdocker exec -it ollama ollama run neural-chat
Starling7B4.1GBdocker exec -it ollama ollama run starling-lm
Code Llama7B3.8GBdocker exec -it ollama ollama run codellama
Llama 2 Uncensored7B3.8GBdocker exec -it ollama ollama run llama2-uncensored
Llama 213B7.3GBdocker exec -it ollama ollama run llama2:13b
Llama 270B39GBdocker exec -it ollama ollama run llama2:70b
Orca Mini3B1.9GBdocker exec -it ollama ollama run orca-mini
Vicuna7B3.8GBdocker exec -it ollama ollama run vicuna
LLaVA7B4.5GBdocker exec -it ollama ollama run llava
Gemma2B1.4GBdocker exec -it ollama ollama run gemma:2b
Gemma7B4.8GBdocker exec -it ollama ollama run gemma:7b

四、使用docker安装open-webui

1. docker部署ollama web ui

查看自己服务器的业务端口,我们这里是30131-30140
在这里插入图片描述
main版本

docker run -d -p 30131:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:main 

cuda版本

docker run -d -p 30131:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:cuda 
  • 安装成功后,可以在另一台计算机进行访问,如下:
    在这里插入图片描述
2.注册账号
  • 默认第一个账号是管理员
    在这里插入图片描述
3.成功进入:

在这里插入图片描述

4. 聊天界面

在这里插入图片描述
在这里插入图片描述

广告一刻

为您即时展示最新活动产品广告消息,让您随时掌握产品活动新动态!