阅读量:1
AI之HardWare：人工智能领域之大模型部署硬件配置的简介(人工智能超算的GPU运算服务器硬件配置)、经验案例
目录
人工智能超算的GPU运算服务器硬件配置案例：8* A100-80G
大模型训练服务器集群服务器硬件配置案例：8* A800-80G
相关文章
AI之HardWare：人工智能领域之大模型部署两大设计方案(本地搭建服务器+调用云厂商服务)、服务器和硬件相关技术的简介(GPU/TPU、GeForce【3090-4090】/Tesla【A800-A100/V100】)、服务器搭建(GPU集群、节点、GPU卡/显卡)之详细攻略
大模型部署硬件配置
人工智能超算的GPU运算服务器硬件配置案例：8* A100-80G
型号 | 个数 | |
服务器平台 | 超微4U机架式8KGPU系统 | 可支持8个GPU显卡和4个冗余电源 |
GPU | NVIDIA显卡A100-80G | 6张，总容量共计480G显存 |
CPU | 采用AMD霄龙7702，64核心128线程 | 2颗 |
内存 | 内存三星64G DDR4 ECC | 8条，总容量共计512G内存 |
硬盘 | 英特尔1.92T企业级SSD | 8个 |
电源 | 2000瓦电源模块 | 4组，2+2冗余 |
散热器 | 塔式5导管散热器 | 2个 |
阵列卡 | SAS 12GB RAID1O阵列卡 | 1个 |
网卡 | NTL10G万兆网卡 | 1个 |
大模型训练服务器集群服务器硬件配置案例：8* A800-80G
型号 | 个数 | |
服务器平台 | ||
GPU | NVIDIA显卡A800-80G | 8张，总容量共计640G显存 |
CPU | ||
内存 | 内存条960G | 2块 |
硬盘 | 4T NVME 固态硬盘 | 2个 |
电源 | 3000瓦电源模块 | 4组 |
散热器 | 风扇 | 6组 |
阵列卡 | ||
网卡 | 200G IB网卡 | 1个 |
准系统：8*4090-24G
型号 | 个数 | |
服务器平台 | 准系统Barebone System 主板：超微SuperMicro主板支持8个PCIE4.0接口 电源：热插拔CRPS冗余电源模块 机箱：宽482.6mmx深650mmx高177.8mm(4U) | |
GPU | NVIDIA显卡GeForce RTX 4090-24G 涡轮公版 | 8张 |
CPU | 英特尔至强三代铂金Intel Xeon 8352V 36核2.2GHz | 2个 |
内存 | 服务器版DDR4 64G 2400MHz | 2块 |
硬盘 | SSD企业级480G固态、SSD企业级1.92T NVME | 2个 |
电源 | ||
散热器 | ||
阵列卡 | ||
网卡 | 10G万兆网卡-双光口模块 | 1个 |
