window11 部署llama.cpp并运行Qwen2-0.5B-Instruct-GGUF

avatar
作者
猴君
阅读量:1

吾名爱妃,性好静亦好动。好编程,常沉浸于代码之世界,思维纵横,力求逻辑之严密,算法之精妙。亦爱篮球,驰骋球场,尽享挥洒汗水之乐。且喜跑步,尤钟马拉松,长途奔袭,考验耐力与毅力,每有所进,心甚喜之。

 

吾以为,编程似布阵,算法如谋略,需精心筹谋,方可成就佳作。篮球乃团队之艺,协作共进,方显力量。跑步与马拉松,乃磨炼身心之途,愈挫愈勇,方能达至远方。愿交志同道合之友,共探此诸般妙趣。

诸君,此文尚佳,望点赞收藏,谢之!

1. 下载llama.cpp框架编译环境(llama.cpp/docs/build.md at master · ggerganov/llama.cpp · GitHub):

2. 下载w64devkit:Releases · skeeto/w64devkit · GitHub

3. 解压后直接运行w64devkit.exe:

4. 下载llama.cp源码:

git clone https://github.com/ggerganov/llama.cpp

进入llama.cpp目录,执行make命令:

5. 运行后,在llama.cpp目录找到llama-cli.exe表示安装成功

6. 下载Qwen2-0.5B-Instruct-GGUF格式模型:魔搭社区

7.在llama-cli.exe文件所在目录新建chat-with-qwen.txt文件,内容为:You are a helpful assistant.

在llama-cli.exe文件所在目录打开命中行,执行:

llama-cli.exe -m ..\Qwen2-0.5B-Instruct-GGUF\qwen2-0_5b-instruct-q5_k_m.gguf -n 512 -co -i -if -f chat-with-qwen.txt --in-prefix "<|im_start|>user\n" --in-suffix "<|im_end|>\n<|im_start|>assistant\n" -ngl 24

结果:

可以进行交互了~

8. 以服务的形式运行模型:

llama-server.exe -m ..\Qwen2-0.5B-Instruct-GGUF\qwen2-0_5b-instruct-q5_k_m.gguf -ngl 24 -fa

结果:

启动成功,使用postman测试:

广告一刻

为您即时展示最新活动产品广告消息,让您随时掌握产品活动新动态!