一文教你在windows上实现ollama+open webui、外网访问本地模型、ollama使用GPU加速_业界新闻

发布时间:2024-07-28 19:53

阅读量:0

前言：

ollama工具的出现让大语言模型的部署变得格外的轻松，但是在windows系统部署之后发现无法使用GPU进行加速，通过多方面查找资料发现可以在docker中使用命令启用GPU加速。另外通过Docker也可以快速部署open webui,于是本文基于docker实现ollama模型的部署，以及webui部署。

最终部署成功后可以实现公网访问本地大语言模型功能。

环境：

系统：windows10

CPU：i5-9400

GPU：GTX1050ti

内容

安装docker

第一步：启动Hyper-v

如果之前没有安装过docker，需要先进行设置一下。

依次打开控制面板>程序>程序和功能>启用或关闭windows功能

勾选Hyper-V、虚拟机平台、Linux子系统并点击确认

确认后重启计算机

第二步：安装WSL

打开 powershell，以管理员的身份启动命令窗口

输入

wsl --update

安装

wsl --install

安装成功后重启电脑

第三步：访问Docker官网进行下载

点击下载链接：https://docs.docker.com/desktop/install/windows-install/

下载完成后，双击安装程序进行安装，如果是第一次安装，安装后会提示重启电脑，重启后点击桌面的Docker Desktop图标：选择先不注册直接登录即可。

打开Docker Desktop后，左下角显示是绿色的running就代表我们成功了：

在docker中使用GPU运行ollama

第一步：安装英伟达容器安装包

打开之前安装的ubuntu

依次将一下命令输入ubuntu

配置apt源

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \   && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \     sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \     sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

更新源

sudo apt-get update

安装工具包

sudo apt-get install -y nvidia-container-toolkit

第二步：使用GPU运行ollama

docker run --gpus all -d -v /opt/ai/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

第三步：使用ollama下载模型

docker exec -it ollama ollama run qwen:7b

如果想要下载其他的模型，点击连接：library，选择并于同的模型

选择不同的模型复制下载命令

docker exec -it ollama  ollama run llama3

在docker中安装webui

github开源地址：

https://github.com/open-webui/open-webui

直接复制命令在windows powershell中运行

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

等待安装完毕