EPYC 9175Fワークステーションの構成検討

EPYCワークステーションの構成

第5世代AMD EPYC（Turin）の9175Fを使い、1兆パラメータ級MoEのCPU推論環境を検討しました。大きなL3キャッシュと高クロック、12チャネルのメモリ帯域を使う構成です。

候補はHPCT（株式会社高速計算機）のHPCT WCE51-GPです。LLMインフラ構築に必要なメモリ、拡張性、冷却をまとめて確認しました。

ASRock Rack GENOAD12M3-2Qなど、EPYC 9005対応マザーボードの単体購入も検討しました。ただしTDPは300W超で、12チャネルDDR5の排熱と電力管理が必要です。

見積もりはCPU約52万円、メモリ（32GB x 12）約74万円でした。高額な部品を安定して動かすため、シャーシ、電源、冷却を統合したワークステーションを選ぶ方針にしました。

HPCT WCE51-GPはSupermicroをベースにしています。

1ソケットEPYCをフルタワーに収めた構成です。

AMD EPYC 9175Fと768GBのDDR5-6400 ECC RDIMMを予定しています。12スロットを埋め、12チャネルの帯域でLLM decodeの速度を上げる狙いです。

GPU増設を想定したPCIe 5.0スロットがあります。

SATA3 x8、MCIO（PCIe 5.0 x8）x3を使い、NVMe SSDを構成できます。M.2は22110まで対応し、PLP（電力損失保護）付きSSDも搭載できます。

Broadcom BCM57416の10GBase-T x2とIPMI専用LANがあります。Supermicro Server Manager（SSM）やSuperDoctor 5で、OSからハードウェア状態を監視できます。

検討した構成には、12チャネルメモリと750W - 1500Wの電源が含まれます。長時間の推論を前提に、冷却と電力管理も合わせて選びます。

次は発注し、Ubuntu 24.04でKimi-K2.5などの1T MoEを動かす予定です。ここで扱ったのは構成検討で、推論性能の実測ではありません。