By
Translated by
その結果、多くの企業が AI ワークロードの導入を開始し、データ処理から生成 AI（GenAI）まで幅広いタスクのソリューションを実現しています。
ファブリックのイーサネットへの移行？
複雑な問題解決のための大規模計算クラスターの起源は、20 世紀半ばにまで遡ります。しかし、AI のようなタスクのためのハイパフォーマンス・コンピューティング（HPC）の利用は、過去 10 年で急成長しました。ハイパースケーラーやその他の HPC クラスタービルダーは、新しい要件に合わせてクラスターを最適化するために、特殊なハードウェアとソフトウェアを採用しました。
ドライブネッツ ネットワーククラウドの紹介
Nvidia は、AI ブームの最大の恩恵を受けている企業です。ほとんどの企業は Nvidia のソリューションに精通しており、同社の GPU と InfiniBand（インフィニバンド）ベースの接続ソリューションを使用しています。とはいえ、企業はベンダーロックインに伴う潜在的なリスクも理解しており、より多様なベンダーエコシステムを提唱しています。その結果、イーサネットのようなオープンで確立された接続プロトコルが好まれるようになっています。
イーサネットが InfiniBand に取って代わると予測されていますが、現在イーサネットには主にパフォーマンスに関する欠点があります。このパフォーマンスギャップを埋めるために、イーサネットの「拡張機能」がいくつか用意されています：
- 独自のエンドポイントベースの輻輳制御メカニズム
- オープンな Ultra Ethernet Consortium（UEC）は、イーサネットベースで、オープンで相互運用可能な高性能フル通信スタック・アーキテクチャを提供し、大規模な AI や HPC のネットワーク需要の増大に対応することを目的としています。
- スケジュールドファブリックの代替案には、分離分散型シャーシ (DDC)、Cisco の分離型スケジュールドファブリック(DSF)、Arista の分散型イーサリンク・スイッチ (DES)などがあります。これらは、AI ワークロードのトレーニングに必要なスケールで最高のパフォーマンスを提供します。
ネットワークインフラに対する企業の主要な要件
最近の AI ニュースのほとんどは、GPT、LaMDA、DALL-E のような大規模モデルをトレーニングするために、最大 32K (K は 1,000) GPU を備えた大規模な AI ワークロードクラスターを構築するハイパースケーラー（Microsoft、Google、Meta、Amazonなど）に焦点が当てられています。このブログの記事では、1K から 8K GPU までの小規模ながらかなりの AI ワークロードを構築する企業に焦点を当てています。この規模であっても、インフラストラクチャの管理には、データ処理、コンピューティング、アルゴリズムの最適化、およびクラスタ接続性において多くの複雑な点が伴います。
この記事では、AI ワークロードを構築する企業が直面するネットワーキングの課題と主な要件、およびDrive Nets Network Cloud-AI がこれらの要件にどのように対応しているかについて説明します。
パフォーマンス
AI ワークロードに関して最も重要な要件はパフォーマンスです。トレーニング用の AI ワークロードは、最も効率的で最適なジョブ完了時間（Job Completion Time, JCT）の目標を達成するために、高性能でロスレスかつ予測可能なGPU間の接続性を要求します。前述したように、Nvidia の InfiniBand ソリューションは、その固有の難しさ（構成の複雑さ、ベンダーロック、コストなど）にもかかわらず、優れたパフォーマンスを提供できるため、ほとんどの企業はこのソリューションを使うことに慣れています。
DriveNets Network Cloud-AI は、DDC（分離分散型シャーシ）アーキテクチャを利用した分散型ネットワーク・オペレーティング・システム（NOS）です。このスケジューリングされたファブリックは、ファブリック全体にセルを散布し、完全に均等な負荷分散を保証します。これを仮想出力キュー（VoQ）メカニズムやグラントベースのフロー制御と組み合わせることで、シャーシのバックプレーンのように、ノンブロッキングで輻輳のないファブリックによる真のロスレス環境を実現します。さらに、ハードウェアベースのリンクリカバリにより、特に AI ワークロードのような要求の厳しい大規模環境において、高いパフォーマンスと信頼性を保証します。
DriveNetsは、ByteDance を含むいくつかの有名なハイパースケーラーネットワークにおいて、プロダクション環境で、標準イーサネットと比較して JCT が最大 30% 改善することを実証しました。
シンプルな仕組み
数千の GPU を備えた大規模クラスターは、特に最適なパフォーマンスを目指す場合、設定が難しい場合があります。大規模なチューニングや設定調整（バッファサイズ、PFC、ECNなど）を多くの場合必要とする他のイーサネットベースのソリューションとは異なり、DriveNets Network Cloud-AI は、再設定の必要性を最小限に抑える柔軟で適応性の高いソリューションを提供します。これにより、ワークロード間のシームレスな移行や GPU/NIC ベンダーの変更が可能になります。一度接続すれば、DriveNets Network Cloud-AI は、複雑な設定の手間をかけずに、高性能なイーサネットベースのファブリック接続を提供します。
実績
実績のある AI ネットワーキング・ソリューションは、多様で要求の厳しい AI ワークロード環境での継続的な運用を通じて、その信頼性を実証しています。多くの企業がデフォルトの InfiniBand ベースのソリューションを使用する傾向があるのは、主にこのような理由からです。
DriveNets Network Cloud-AI は、ByteDance のプロダクション環境に初めて導入した DDC AI スケジュールドファブリックです。これは、世界初となる大規模なイーサネットベースの AI バックエンドネットワーク導入の 1 つです。数千もの GPU を搭載した世界有数のハイパースケーラーにおけるプロダクション環境での運用により、実際の超大規模環境における信頼性とパフォーマンスが実証されています。
オブザーバビリティ（可観測性）
大規模な AI ワークロードを抱える企業は、パフォーマンスの問題を特定して解決し、高可用性を確保し、AI モデルの動作を分析するために、高度なオブザーバビリティと監視機能を必要としています。この高度な機能は、CLI や SNMP のような低レベルのオプションから、シームレスな統合と自動化のための API のような高レベルの機能まで、幅広いオブザーバビリティツールを提供できなければなりません。内部で開発された AI クラスターは、一方ではアドホックな問題解決のために従来のコマンドラインツールに依存しつつ、他方では人的リソースが限られており、シンプルさと自動化も非常に重要となるため、どちらも必要になります。
DriveNets Network Cloud-AIは、オブザーバビリティのオプション一式を提供します。下位レベルでは、単一の CLI、gRPC、NETCONF/YANG などを使用して、クラスター全体を 1 つのネットワークエンティティとして運用することができます。より高いレベルでは、DriveNets Network Orchestrator (DNOR) を、API を通じてネットワークの監視、計画、最適化を行うエンド・ツー・エンドのプラットフォームとして活用します。DNOR は他の管理システムとシームレスに統合されるため、ゼロタッチ・プロビジョニング（ZTP）やシームレスなソフトウェア・アップグレードなどの自動化機能を含め、その機能をフルに活用することができます。これにより、運用コストと作業負担が大幅に削減されます。
ストレージ
AI ワークロードにおいて、ストレージはパフォーマンスに直接影響するため、極めて重要な役割を果たします。クラスター・インフラを構築する際には、ストレージネットワークも完璧に調整することが不可欠です。
DriveNets Network Cloud-AI を使用する場合、クラスター・ビルダーは DDC の機能を利用してストレージネットワークを強化することができます：
サンドボックス型マルチテナンシー：DriveNets DDC クラスター固有のサンドボックス型マルチテナンシー機能により、ストレージ・トラフィックとコンピュート・トラフィックの両方が、互いに影響を与えることなく（ノイジー・ネイバー）、同じファブリック上で共存できます。これにより、遅延を発生させ、複雑な設定を必要とする特別なオーバーレイ技術（VxLAN など）が不要になります。DriveNets では、ストレージ・テナントとコンピュート・テナントの両方をネイティブに分離することができます。
高度なストレージ機能：分離された環境により、リモート・ダイレクト・メモリ・アクセス（RDMA）経由でストレージ機能を実行するなど、高度な機能が利用できるようになります。これはほとんどの AI ワークロードでは一般的ではありませんが、クラスターの複雑さと運用の手間を大幅に軽減することができます。
InfiniBandがいまだにネットワークインフラの デフォルト選択肢であるべきか？
標準的なイーサネット Clos と比較して優れた性能を持つことから、ほとんどの企業は、Nvidia GPU や InfiniBand 接続などの Nvidia ソリューションを使用することに慣れています。しかし、これらのソリューションは高価で、専門的なスキルを必要とし、ベンダーロックインにつながる可能性もあります。
DriveNets Network Cloud-AI は、企業に優れたソリューションを提供します。スケジュールドファブリックにより、ベンダーロックイン、高コスト、複雑な運用といった問題を回避しながら、最高のパフォーマンスを提供することができます。パフォーマンス、シンプルな仕組み、実績、監視、ストレージのいずれを優先する場合でも、DriveNets Network Cloud-AI が最適な選択です。
