预训练模型加速秘籍：探索Megatron-LM、Colossal-AI与DeepSpeed等框架

PTM：大模型加速方法或框架(预训练阶段/推理阶段)的简介、常用框架(Megatron-LM/Colossal-AI/DeepSpeed等，FasterTransformer/FastLLM/vLLM/TurboTransformers等)、案例应用之详细攻略

导读
：不同训练框架实现参数高效微调算法的效率会存在很大差异：比如使用Huggingface Transformers、DeepSpeed和Alpa训练名为"OPT-30"的模型。相对于使用Alpa框架，使用Huggingface

Transformers

和

DeepSpeed

框架来训练OPT-30模型会

带来更低的资源消耗

。

目录