Panmnesia が革新的な CXL 対応コントローラ IP「CXL-Opt」を発表した。この技術は、急速に肥大化する AI モデルに対応するため、世界で初めて 2 桁ナノ秒 (ns) のレイテンシを実現した。AI 業界に大きな影響を与える可能性のある画期的な技術革新だ。
AI モデルの大規模化がもたらす課題
近年、AI 技術の進歩に伴い、大規模言語モデル (LLM) をはじめとするディープラーニングモデルのサイズが急速に拡大している。10 億パラメータのモデルでも 16GB から 24GB のビデオメモリを消費するのが一般的となっており、100 億パラメータのモデルになると、現在のハイエンド GPU のビデオメモリ容量(通常 80GB が上限)を大きく超えてしまう。
この問題に対処するため、NVIDIA や AMD などの企業は共有仮想メモリ (UVM) という仕組みを導入してきた。UVM では、ランタイムソフトウェアを介して CPU と GPU が共有するメモリの仮想アドレス空間にアクセスする。しかし、この方式にも大きな課題があった。
UVM の限界と性能のボトルネック
UVM を使用する場合、GPU 側のメモリにないデータにアクセスすると、キャッシュミスとページフォルトが発生する。ホストランタイムがページフォルトを処理する際に、かなりのレイテンシが生じてしまい、結果として性能のボトルネックとなっていた。
この問題は、AI モデルの大規模化が進むにつれてより顕著になり、研究者や開発者にとって大きな障壁となっていた。
Panmnesia の革新的なアプローチ
Panmnesia は、この課題に対して斬新なアプローチを提案した。PCI Express の物理層を利用した CXL (Compute Express Link) を介して、汎用的な DRAM や NVMe SSD をエンドポイントとして GPU メモリを拡張するソリューションを開発したのだ。
CXL-Opt の開発
Panmnesia が開発した CXL-Opt は、以下の特徴を持つ革新的な技術だ。
- 主要な CXL サブプロトコルをサポートする基本的なハードウェアレイヤーをコントローラに統合
- メモリと SSD コントローラの機能を組み合わせ、ホスト管理デバイスメモリ (HDM) として認識可能に
- 複数のルートポートを備えたホストブリッジを特徴とする CXL ルートコンプレックスの開発
- HDM デコーダを介して、各ルートポートの物理アドレスを管理
この技術により、GPU のキャッシュシステムにエンドポイントとして認識される必要性にも対応できるようになった。
CXL-Opt の性能評価
Panmnesia は、開発した CXL-Opt をカスタム ASIC で実装した GPU で評価を行った。その結果、世界で初めて 2 桁ナノ秒単位のラウンドトリップレイテンシを実現することに成功した。
従来技術との比較
CXL-Opt の性能を従来の UVM と比較したところ、以下のような結果が得られた。Panmnesiaが発表したCXL対応コントローラIP「CXL-Opt」は、世界初の2桁ナノ秒レイテンシを実現し、AIモデルの大規模化に対応する革新的技術です。従来のUVMと比較して3.22倍の高速化を達成し、AIハードウェア業界に大きな影響を与える可能性があります。
- 実行時間が 1.94 倍速く
- 読み書きのレイテンシを隠蔽するソリューションを用いることで、さらに 1.66 倍高速化
- GPU カーネル実行中の IPC (クロックあたりの命令実行数) が UVM と比較して 3.22 倍、Meta と Samsung が開発した CXL-Proto と比較して 1.65 倍の高速化
CXL-Opt が AI 業界にもたらす影響
CXL-Opt の登場は、AI モデルの大規模化に伴う課題に対する画期的な解決策となる可能性がある。この技術により、研究者や開発者は、より大規模で複雑な AI モデルを効率的に扱えるようになるかもしれない。
また、この技術革新が AI の発展速度をさらに加速させる可能性も考えられる。より高速で効率的なメモリアクセスが可能になれば、AI モデルの学習や推論にかかる時間が大幅に短縮される可能性がある。
業界への影響と今後の展開
Panmnesia の CXL-Opt の発表は、AI ハードウェア業界に大きな影響を与える可能性がある。NVIDIA や AMD などの大手企業も、この技術に注目し、同様のアプローチを採用する可能性がある。
今後は、CXL-Opt の実用化に向けた取り組みが加速すると予想される。また、この技術を基に、さらなる革新的なメモリソリューションが生み出される可能性も高い。
AI 研究者やエンジニアにとって、CXL-Opt の登場は大きな朗報だと言える。より大規模で複雑な AI モデルの開発が可能になれば、AI 技術の応用範囲がさらに広がる可能性がある。
Panmnesia の技術革新が、AI 業界全体にどのような影響を与えるか、今後の動向に注目が集まっている。