基于魔搭开源推理引擎 DashInfer实现CPU服务器大模型推理--实战篇

前言

        本篇关于Python语言接口使用 DashInfer引擎实现CPU大模型推理的是实战教学，如果想要了解相关技术原理的可以参考上篇文章：基于魔搭开源推理引擎 DashInfer实现CPU服务器大模型推理--理论篇-CSDN博客

 一、环境配置

• 模型: Qwen1.5-1.8-Chat
• 推理引擎: DashInfer
• 硬件: x86, Emerald Rapids, 96 vCPU @ 3.2GHz, 16GBx24 DDR
• CPU内存32G，16核
• 服务器基础环境ubuntu22.04，torch-cpu-2.1.2,python3.10

1.1、python 依赖

dashinfer sentencepiece accelerate transformers_stream_generator tiktoken

这里的主要的引擎dashinfer 我在win下pip install 一直失败，不知道是不是我环境的问题，还是本身包不支持win

还有就是protobuf好像需要3.18.0,因为我在测试出现过这个包协议错误问题，

TensorFlow官方的建议是不使用，可能会存在冲突，所以可能需要卸载

1.2、硬件支持

• x86 CPU：要求硬件至少需要支持AVX2指令集。对于第五代至强（Xeon）处理器（Emerald Rapids）、第四代至强（Xeon）处理器（Sapphire Rapids）等（对应于阿里云第8代ECS实例，如g8i），采用AMX矩阵指令加速计算。
• ARMv9 CPU：要求硬件支持SVE指令集。支持如倚天（Yitian）710等ARMv9架构处理器（对应于阿里云第8代ECS实例，如g8y），采用SVE向量指令加速计算。

1.3、数据类型

• x86 CPU：支持FP32、BF16。
• ARM Yitian710 CPU：FP32、BF16、InstantQuant（量化技术）。

二、推理实战

2.1、在单NUMA CPU上进行单NUMA推理

示例中默认使用的是单NUMA推理。 在单NUMA CPU上进行单NUMA推理不需要特殊的权限和配置。

2.2、在多NUMA CPU上进行单NUMA推理

在多NUMA节点的CPU上，若只需要1个NUMA节点进行推理，需要用numactl进行绑核。 该方式需要在docker run的时候添加--cap-add SYS_NICE --cap-add SYS_PTRACE --ipc=host参数。

使用单NUMA推理，需要将模型配置文件中的device_ids字段改成要运行的NUMA节点编号，并将multinode_mode字段设置为true。

"device_ids": [     0 ], "multinode_mode": true,

2.3、多NUMA推理

使用多NUMA推理，需要用mpirun+numactl进行绑核，以达到最佳性能。 该方式需要在docker run的时候添加--cap-add SYS_NICE --cap-add SYS_PTRACE --ipc=host参数。

使用多NUMA推理，需要将模型配置文件中的device_ids字段改成要运行的NUMA节点编号，并将multinode_mode字段设置为true。

"device_ids": [ 0, 1 ], "multinode_mode": true,

2.4、原始模型下载

## download model from modelscope original_model = {     "source": "modelscope",     "model_id": "qwen/Qwen1.5-1.8B-Chat",     "revision": "master",     "model_path": "" }  def download_model(model_id, revision, source="modelscope"):     """     x下载原始模型     :param model_id:     :param revision:     :param source:     :return:     """     print(f"Downloading model {model_id} (revision: {revision}) from {source}")     if source == "modelscope":         from modelscope import snapshot_download         model_dir = snapshot_download(model_id, revision=revision)     elif source == "huggingface":         from huggingface_hub import snapshot_download         model_dir = snapshot_download(repo_id=model_id)     else:         raise ValueError("Unknown source")      print(f"Save model to path {model_dir}")      return model_dir

2.5、prompt的组织格式

start_text = "<|im_start|>" end_text = "<|im_end|>" system_msg = {"role": "system", "content": "You are a helpful assistant."} user_msg = {"role": "user", "content": ""} assistant_msg = {"role": "assistant", "content": ""}  prompt_template = Template(     "{{start_text}}" + "{{system_role}}\n" + "{{system_content}}" + "{{end_text}}\n" +     "{{start_text}}" + "{{user_role}}\n" + "{{user_content}}" + "{{end_text}}\n" +     "{{start_text}}" + "{{assistant_role}}\n")

2.6、模型转换配置文件

config_qwen_v15_1_8b.json

{     "model_name": "Qwen1.5-1.8B-Chat",     "model_type": "Qwen_v15",      "model_path": "./dashinfer_models/",     "data_type": "float32",     "device_type": "CPU",     "device_ids": [         0     ],     "multinode_mode": false,     "engine_config": {         "engine_max_length": 2048,         "engine_max_batch": 8,         "do_profiling": false,         "num_threads": 0,         "matmul_precision": "medium"     },     "generation_config": {         "temperature": 0.95,         "early_stopping": true,         "top_k": 1024,         "top_p": 0.8,         "repetition_penalty": 1.1,         "presence_penalty": 0.0,         "min_length": 0,         "max_length": 2048,         "no_repeat_ngram_size": 0,         "eos_token_id": 151643,         "seed": 1234,         "stop_words_ids": [             [                 151643             ],             [                 151644             ],             [                 151645             ]         ]     },     "convert_config": {         "do_dynamic_quantize_convert": false     },     "quantization_config": {         "activation_type": "bfloat16",         "weight_type": "uint8",         "SubChannel": true,         "GroupSize": 256     } }

2.7、完整实战代码

传参配置格式化代码

文件名我这命名为llm_utils.py

# coding: utf-8  # @Time    : # @Author  : # @description : from typing import Tuple  class Role:     USER = 'user'     SYSTEM = 'system'     BOT = 'bot'     ASSISTANT = 'assistant'     ATTACHMENT = 'attachment'   default_system = 'You are a helpful assistant.' def history_to_messages(history, system: str):     """     格式化传参中的history和系统提示词     :param history: [[问题,回答],[问题,回答]]     :param system:     :return:     """     messages = [{'role': Role.SYSTEM, 'content': system}]     for h in history:         messages.append({'role': Role.USER, 'content': h[0]})         messages.append({'role': Role.ASSISTANT, 'content': h[1]})     return messages   def messages_to_history(messages):     """     历史聊天保留     :param messages:     :return:     """     assert messages[0]['role'] == Role.SYSTEM     system = messages[0]['content']     history = []     for q, r in zip(messages[1::2], messages[2::2]):         history.append([q['content'], r['content']])     return system, history   def message_to_prompt(messages) -> str:     """     提示词模板格式化     :param messages:     :return:     """     prompt = ""     for item in messages:         im_start, im_end = "<|im_start|>", "<|im_end|>"         prompt += f"\n{im_start}{item['role']}\n{item['content']}{im_end}"     prompt += f"\n{im_start}assistant\n"     return prompt

推理实战run.py

# coding: utf-8  # @Time    : # @Author  : # @description : import os import copy import threading import subprocess import random from typing import Optional  from llm_utils import history_to_messages, Role, message_to_prompt, messages_to_history  os.system("pip uninstall -y tensorflow tensorflow-estimator tensorflow-io-gcs-filesystem") os.environ["LANG"] = "C" os.environ["LC_ALL"] = "C"  from dashinfer.helper import EngineHelper, ConfigManager  log_lock = threading.Lock()  config_file = "config_qwen_v15_1_8b.json" config = ConfigManager.get_config_from_json(config_file)  def download_model(model_id, revision, source="modelscope"):     """     x下载原始模型     :param model_id:     :param revision:     :param source:     :return:     """     print(f"Downloading model {model_id} (revision: {revision}) from {source}")     if source == "modelscope":         from modelscope import snapshot_download         model_dir = snapshot_download(model_id, revision=revision)     elif source == "huggingface":         from huggingface_hub import snapshot_download         model_dir = snapshot_download(repo_id=model_id)     else:         raise ValueError("Unknown source")      print(f"Save model to path {model_dir}")      return model_dir  cmd = f"pip show dashinfer | grep 'Location' | cut -d ' ' -f 2" package_location = subprocess.run(cmd,                                   stdout=subprocess.PIPE,                                   stderr=subprocess.PIPE,                                   shell=True,                                   text=True) package_location = package_location.stdout.strip() os.environ["AS_DAEMON_PATH"] = package_location + "/dashinfer/allspark/bin" os.environ["AS_NUMA_NUM"] = str(len(config["device_ids"])) os.environ["AS_NUMA_OFFSET"] = str(config["device_ids"][0])  ## download model from modelscope original_model = {     "source": "modelscope",     "model_id": "qwen/Qwen1.5-1.8B-Chat",     "revision": "master",     "model_path": "" } original_model["model_path"] = download_model(original_model["model_id"],                                               original_model["revision"],                                               original_model["source"])  # GPU模型转换成CPU格式文件 engine_helper = EngineHelper(config) engine_helper.verbose = True engine_helper.init_tokenizer(original_model["model_path"]) ## convert huggingface model to dashinfer model ## only one conversion is required engine_helper.convert_model(original_model["model_path"])  # 转换，这里我记得文件不会覆盖，如果多次运行可能出现多个文件，运行后可以注释掉 engine_helper.init_engine() engine_max_batch = engine_helper.engine_config["engine_max_batch"]  def model_chat(query, history=None,system='You are a helpful assistant.') :     """     生成器输出流结果     :param query:     :param history:     :param system:     :return:     """     if query is None:         query = ''     if history is None:         history = []      messages = history_to_messages(history, system)     messages.append({'role': Role.USER, 'content': query})     prompt = message_to_prompt(messages)      gen_cfg = copy.deepcopy(engine_helper.default_gen_cfg)     gen_cfg["seed"] = random.randint(0, 10000)      request_list = engine_helper.create_request([prompt], [gen_cfg])      request = request_list[0]     # request_list[0].out_text     gen = engine_helper.process_one_request_stream(request)     return gen  def model_chat_all(query, history=None,system='You are a helpful assistant.') :     """     直接return结果，也是需要结果输出完成后才能打印     :param query:     :param history:     :param system:     :return:     """     if query is None:         query = ''     if history is None:         history = []      messages = history_to_messages(history, system)     messages.append({'role': Role.USER, 'content': query})     prompt = message_to_prompt(messages)      gen_cfg = copy.deepcopy(engine_helper.default_gen_cfg)     gen_cfg["seed"] = random.randint(0, 10000)      request_list = engine_helper.create_request([prompt], [gen_cfg])      request = request_list[0]     # request_list[0].out_text     gen = engine_helper.process_one_request_stream(request)     # 需要从生成器中取数据才能有结果     responses = [i for i in gen if i]  # 不取数据不会返回结果     result = request_list[0].out_text     return result  if __name__ == '__main__':     from IPython.display import display, clear_output      input_value = '写个四字成语'     gen = model_chat(input_value)     for part in gen: # 流式查看数据         clear_output(wait=True)         print(f"Input: {input_value}")         print(f"Response:\n{part}")

 git地址：GitHub - liukangjia666/dashinfer_demo: 魔搭CPU大模型推理引擎dashinfer的测试实战代码

2.8、推理效果分析

（1）内存占用情况，我这个使用的1.8b的模型占用内存大概在8-15g左右

（2）推理速度依赖CPU的计算能力

（3）推理结果精度和GPU推理是有些区别，但整体来说影响不大

（4）json文件中的推理参数可以自定义修改，如temperature，top_p等

2.9、模型配置文件

<path_to_dashinfer>/examples/python/model_config目录下提供了一些config示例。

以下是对config中的参数说明：

- `model_name`: DashInfer模型名称，自定义； - `model_type`: DashInfer模型类型，可选项：LLaMA_v2、ChatGLM_v2、ChatGLM_v3、Qwen_v10、Qwen_v15、Qwen_v20； - `model_path`: DashInfer模型导出路径； - `data_type`: 输出的数据类型，可选项：float32； - `device_type`: 推理硬件，可选项：CPU； - `device_ids`: 用于推理的NUMA节点，可以通过Linux命令`lscpu`查看CPU的NUMA信息； - `multinode_mode`: 是否在多NUMA CPU上进行推理，可选项：true、false； - `convert_config`: 模型转换相关参数；     - `do_dynamic_quantize_convert`: 是否量化权重，可选项：true、false，目前仅ARM CPU支持量化； - `engine_config`: 推理引擎参数；     - `engine_max_length`: 最大推理长度，<= 11000；     - `engine_max_batch`: 最大batch数；     - `do_profiling`: 是否对推理过程进行profiling，可选项：true、false，若要进行profiling，需要设置`do_profiling = true`，并且设置环境变量`AS_PROFILE=ON`；     - `num_threads`: 线程数，设置为单NUMA节点下的物理核数量时性能最佳，当设置的数值为0时，EngineHelper会自动解析`lscpu`的输出并设置，当设置的数值 > 0 时，采用设置的数值；     - `matmul_precision`: 矩阵乘法的计算精度，可选项：high、medium，设置为high时，采用fp32进行矩阵乘法计算，设置为medium时，采用bf16进行计算； - `generation_config`: 生成参数；     - `temperature`: 随机过程 temperature；     - `early_stopping`: 在生成stop_words_ids后是否停止生成，可选项：true、false；     - `top_k`: 采样过程，top k 参数，top_k = 0 时对全词表排序；     - `top_p`: 采样过程，top p 参数，0 <= top_p <= 1.0，top_p = 0 表示不使用topp；     - `repetition_penalty`: The parameter for repetition penalty. 1.0 means no penalty.     - `presence_penalty`: The parameter for presence penalty. 0.0 means no penalty.     - `min_length`: 输入+输出的最小长度，默认为0，不启用filter；     - `max_length`: 输入+输出的最大长度；     - `no_repeat_ngram_size`: 用于控制重复词生成，默认为0，If set to int > 0, all ngrams of that size can only occur once.     - `eos_token_id`: EOS对应的token，取决于模型；     - `seed`: 随机数seed；     - `stop_words_ids`: List of token ids of stop ids. - `quantization_config`: 量化参数，当 do_dynamic_quantize_convert = true 时需要设置；     - `activation_type`: 矩阵乘法的输入矩阵数据类型，可选项：bfloat16；     - `weight_type`: 矩阵乘法的权重数据类型，可选项：uint8；     - `SubChannel`: 是否进行权重sub-channel量化，可选项：true、false；     - `GroupSize`: sub-channel量化粒度，可选项：64、128、256、512；

代码开源地址：

https://github.com/modelscope/dash-infer

推理体验地址：

https://www.modelscope.cn/studios/modelscope/DashInfer-Demo

如有问题可评论区留言，或者关注下面公众号获取加群二维码进群交流