Panmnesia が世界初の2桁ナノ秒レイテンシを実現する CXL 対応コントローラ IP を発表、AI モデルの大規模化に対応

July 6, 2024July 18, 2024

Panmnesia が革新的な CXL 対応コントローラ IP「CXL-Opt」を発表した。この技術は、急速に肥大化する AI モデルに対応するため、世界で初めて 2 桁ナノ秒 (ns) のレイテンシを実現した。AI 業界に大きな影響を与える可能性のある画期的な技術革新だ。

AI モデルの大規模化がもたらす課題

近年、AI 技術の進歩に伴い、大規模言語モデル (LLM) をはじめとするディープラーニングモデルのサイズが急速に拡大している。10 億パラメータのモデルでも 16GB から 24GB のビデオメモリを消費するのが一般的となっており、100 億パラメータのモデルになると、現在のハイエンド GPU のビデオメモリ容量（通常 80GB が上限）を大きく超えてしまう。

この問題に対処するため、NVIDIA や AMD などの企業は共有仮想メモリ (UVM) という仕組みを導入してきた。UVM では、ランタイムソフトウェアを介して CPU と GPU が共有するメモリの仮想アドレス空間にアクセスする。しかし、この方式にも大きな課題があった。

UVM の限界と性能のボトルネック

UVM を使用する場合、GPU 側のメモリにないデータにアクセスすると、キャッシュミスとページフォルトが発生する。ホストランタイムがページフォルトを処理する際に、かなりのレイテンシが生じてしまい、結果として性能のボトルネックとなっていた。

この問題は、AI モデルの大規模化が進むにつれてより顕著になり、研究者や開発者にとって大きな障壁となっていた。

Panmnesia の革新的なアプローチ

Panmnesia は、この課題に対して斬新なアプローチを提案した。PCI Express の物理層を利用した CXL (Compute Express Link) を介して、汎用的な DRAM や NVMe SSD をエンドポイントとして GPU メモリを拡張するソリューションを開発したのだ。

CXL-Opt の開発

Panmnesia が開発した CXL-Opt は、以下の特徴を持つ革新的な技術だ。

主要な CXL サブプロトコルをサポートする基本的なハードウェアレイヤーをコントローラに統合
メモリと SSD コントローラの機能を組み合わせ、ホスト管理デバイスメモリ (HDM) として認識可能に
複数のルートポートを備えたホストブリッジを特徴とする CXL ルートコンプレックスの開発
HDM デコーダを介して、各ルートポートの物理アドレスを管理

この技術により、GPU のキャッシュシステムにエンドポイントとして認識される必要性にも対応できるようになった。

CXL-Opt の性能評価

Panmnesia は、開発した CXL-Opt をカスタム ASIC で実装した GPU で評価を行った。その結果、世界で初めて 2 桁ナノ秒単位のラウンドトリップレイテンシを実現することに成功した。

従来技術との比較

CXL-Opt の性能を従来の UVM と比較したところ、以下のような結果が得られた。Panmnesiaが発表したCXL対応コントローラIP「CXL-Opt」は、世界初の2桁ナノ秒レイテンシを実現し、AIモデルの大規模化に対応する革新的技術です。従来のUVMと比較して3.22倍の高速化を達成し、AIハードウェア業界に大きな影響を与える可能性があります。

実行時間が 1.94 倍速く
読み書きのレイテンシを隠蔽するソリューションを用いることで、さらに 1.66 倍高速化
GPU カーネル実行中の IPC (クロックあたりの命令実行数) が UVM と比較して 3.22 倍、Meta と Samsung が開発した CXL-Proto と比較して 1.65 倍の高速化