使用U盘的文件传输
1. 在外部可联网机器上下载目标资源保存到移动U盘上
2. 将U盘移动到内网服务器上
3. 执行以下命令移动U盘中的目标资源至内网服务器上
(1)检查内网服务器上是否识别到U盘
使用命令:
sudo fdisk -l
此命令会列出所有硬盘,需要自行根据U盘空间大小确定输出结果是否包含自己的U盘。
这里已识别出/dev/sdb1
的57.7G
大小的FAT32
存储格式的U盘。
(2)挂载U盘到目标位置
使用命令:
sudo mount [U盘位置] [目标位置]
例如我想将U盘挂载到
~/Hard_drive
目录下:sudo mount /dev/sdb1 ~/Hard_drive
(3)将U盘中的目标资源拷贝到内网服务器中
使用命令:
sudo cp [U盘中目标资源位置] [目标位置]
例如我想将U盘中的
qwen1_5-0_5b-chat-q4_k_m.gguf
文件拷贝到~/LLM_weights
目录下:sudo cp ~/Hard_drive/qwen1_5-0_5b-chat-q4_k_m.gguf ~/LLM_weights/
(4)目标资源传输完成,取消挂载,拔除U盘
先使用如下命令取消挂载:
sudo umount [挂载位置]
例如我想将U盘取消挂载:
sudo umount ~/Hard_drive
最后拔出U盘。
Miniconda的安装
1. 下载Miniconda Linux安装脚本
下载地址:Miniconda 官网
2. 将脚本传输至内网服务器
3. 离线安装Miniconda
执行命令:
bash ./Miniconda3-latest-Linux-x86_64.sh
然后根据安装提示顺利安装Miniconda
Ollama的安装
Ollama手动安装手册:Ollama github仓库
1. 下载Ollama
下载地址:https://ollama.com/download/ollama-linux-amd64
2. 将下载的文件传输至内网服务器
3. 将该文件保存为/usr/bin/ollama
(1)执行命令,将ollama-linux-amd64
文件移动到/usr/bin/
目录下:
sudo mv ollama-linux-amd64 /usr/bin/
(2)执行命令,将ollama-linux-amd64
重命名为ollama
sudo mv /usr/bin/ollama-linux-amd64 /usr/bin/ollama
(3)执行命令,给ollama
文件添加执行权限
sudo chmod +x /usr/bin/ollama
4. 将ollama
设置为服务
sudo useradd -r -s /bin/false -m -d /usr/share/ollama ollama
5. 创建/etc/systemd/system/ollama.service
文件
文件内容:
[Unit] Description=Ollama Service After=network-online.target [Service] ExecStart=/usr/bin/ollama serve User=ollama Group=ollama Restart=always RestartSec=3 [Install] WantedBy=default.target
6. 启动服务
依次执行以下两条命令:
sudo systemctl daemon-reload sudo systemctl enable ollama
7. 验证成功安装
输入ollama
观察输出结果。
Ollama内网部署大模型(以qwen为例)
ollama内网大模型部署文档:ollama离线部署大模型
1. 下载目标大模型的权重文件
注意要下载以.gguf
结尾的权重文件
2. 将权重文件传输到内网服务器
3. 创建Modelfile文件
文件内容如下:
FROM ./qwen1_5-0_5b-chat-q5_k_m.gguf # 需要指定.gguf文件位置 TEMPLATE """{{ if .System }}<|im_start|>system {{ .System }}<|im_end|>{{ end }}<|im_start|>user {{ .Prompt }}<|im_end|> <|im_start|>assistant """ PARAMETER stop "<|im_start|>" PARAMETER stop "<|im_end|>"
说明:不同模型的 Modelfile 内容不同,可参考 Ollama 官网
4. 在Ollama中创建模型
执行命令:
ollama create [模型名] -f [Modelfile位置]
5. 确认创建成功
运行如下命令,观察输出。
ollama list
外网环境整体迁移
参考链接:https://www.cnblogs.com/jack-nie-23/p/16900926.html
1. 打包外网机环境
(1)外网机安装conda-pack
conda install conda-pack
(2)外网机打包指定环境
conda pack -n [指定要打包的虚拟环境名xxx]
执行完成后会在当前终端目录下生成xxx.tar.gz
的压缩包文件。
2. 将torch.tar.gz
压缩包文件传输到内网服务器上
3. 内网机上新建文件夹
在内网机的miniconda安装目录下的envs目录中新建和打包环境名一致的文件夹。使用命令如下:
mkdir ~/miniconda3/envs/torch
4. 将torch.tar.gz
压缩包解压至miniconda
的envs/torch
目录下
tar -xzf env_name.tar.gz -C ~/miniconda3/envs/env_name/
5. 测试环境是否移植成功
使用命令切换环境,观察输出结果:
conda activate torch
内网机安装某个pip包(以rich
包为例)
参考链接imshuai
方法一:
1. 当前环境中无rich
包
2. 进入pypi 中搜索rich
,进入目标页面
3. 点击Download files
,选择.whl
库文件进行下载
4. 将下载的文件传输到内网服务器上
5. 使用命令安装
pip install rich-13.7.1-py3-none-any.shl
说明:
当没有依赖问题时使用此方法可直接安装相应库,如果遇到依赖问题,可尝试下面的方法二
方法二:
1. 在外网机上使用pip
下载rich
使用命令:
pip download rich
命令执行完成后,会在当前目录下生成所有依赖库。
2. 将其全部传输到内网服务器中
3. 使用命令安装
命令如下:
pip install --no-index --find-links=[所有依赖文件夹位置] rich-13.7.1-py3-none-any.whl