【AI】Ollama+OpenWebUI+llama3本地部署保姆级教程,没有连接互联网一样可以使用AI大模型!!!

avatar
作者
猴君
阅读量:0

1 电脑配置

操作系统CPU内存
Windows 10以上12核16GB

2 安装Ollama

2.1 下载Ollama

登录Ollama官网下载Ollama安装包
GitHub:https://github.com/ollama/ollama?tab=readme-ov-file
在这里插入图片描述
在这里插入图片描述

2.2 安装Ollama

Windows下安装Ollama很简单,双击运行安装文件即可,此处不赘述。
打开终端,输入ollama,出现下图所示代表安装成功
在这里插入图片描述

注意:
windows 的安装默认不支持修改程序安装目录,
默认安装后的目录:C:\Users\username\AppData\Local\Programs\Ollama
默认安装的模型目录:C:\Users\username\ .ollama
默认的配置文件目录:C:\Users\username\AppData\Local\Ollama

2.3 配置Ollama的模型路径

由于Ollama的模型默认会在C盘用户文件夹下的.ollama/models文件夹中,可以配置环境变量OLLAMA_MODELS,设置为指定的路径:
在这里插入图片描述

2.4 下载llama3模型

llama3目前主要有8B和70B两个模型,分别代表80亿和700亿个训练参数。
在这里插入图片描述

8B模型一般16GB内存就可以跑的很流畅,70B模型则至少需要64GB内存,有CPU就可以跑,当然有GPU更好。
这里我安装的是8B的模型。
打开终端,输入命令:ollama run llama3默认安装8B模型,也可以使用ollama run llama3:8b来指定相应的模型,安装成功会有如下提示:
在这里插入图片描述

提问题,发现该模型给了很好的回复。
在这里插入图片描述

当然也可以写代码
在这里插入图片描述

至此,llama3本地部署已完成。
注意1:
在没有互联网的环境下部署,可以将下载好的Ollama安装包复制到此环境安装,然后将下载好的模型复制到相应路径就可以在无互联网的环境下使用。
注意2:
由于llama3对中文的支持并不是很好,需要中文的可以使用GitHub上开源的这个llama3中文微调模型https://github.com/LlamaFamily/Llama-Chinese

3 Ollama+OpenWebUI

前面部署的llama3是在命令行里面进行交互,体验感并不好,安装OpenWebUI可以使用web界面进行交互。这里我使用docker的方式部署OpenWebUI。

3.1 安装Docker

3.1.1 下载Docker

Docker下载
在这里插入图片描述

3.1.2 启动微软Hyper-V

  • 打开“控制面板->程序->启用或关闭Windows功能”
    在这里插入图片描述
    在这里插入图片描述

  • 勾选Hyper-V选项
    在这里插入图片描述

  • 重启电脑后安装成功
    Windows工具中可以看到Hyper-V已安装成功。
    在这里插入图片描述

注意:
若没有Hyper-V选项,可以使用如下命令安装:

pushd "%~dp0"  dir /b %SystemRoot%\servicing\Packages\*Hyper-V*.mum >hv.txt  for /f %%i in ('findstr /i . hv.txt 2^>nul') do dism /online /norestart /add-package:"%SystemRoot%\servicing\Packages\%%i"  del hv.txt  Dism /online /enable-feature /featurename:Microsoft-Hyper-V -All /LimitAccess /ALL  Pause 

将上述命令复制到Hyper-V.bat批处理文件中,然后以管理员身份运行。
在这里插入图片描述

3.1.3 安装Docker

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

打开之后是这个样子,一般不需要使用,用命令行操作即可。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3.1.4 切换国内镜像源

在这里插入图片描述

{   "registry-mirrors": [     "https://82m9ar63.mirror.aliyuncs.com",     "http://hub-mirror.c.163.com",     "https://docker.mirrors.ustc.edu.cn"   ],   "builder": {     "gc": {       "defaultKeepStorage": "20GB",       "enabled": true     }   },   "experimental": false,   "features": {     "buildkit": true   } } 

Docker中国区官方镜像地址
网易地址
中国科技大学地址
阿里巴巴

3.2 安装OpenWebUI

GitHub地址
在这里插入图片描述
在这里插入图片描述
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
浏览器输入http://localhost:3000/
在这里插入图片描述
注意:
注册时邮箱可以随便填写,例如:admin@111.com

3.3 web访问llama3

注册登录后可以看到直接可以选择之前部署好的llama3:8b模型,通过对话测试下它的能力。
在这里插入图片描述
写代码:
在这里插入图片描述
注意:
后台一定要运行着llama3,ollama run llama3:8b

3.4 离线部署

  1. 先安装Docker
  2. 将在线下载的docker images保存
    在这里插入图片描述
  3. 在离线的机器上装载该镜像
    docker load -i open-webui.tar
  4. 使用3.2章节的命令启动容器即可

广告一刻

为您即时展示最新活动产品广告消息,让您随时掌握产品活动新动态!