NVLink and NVLink Switch

모델에 대규모 데이터세트를 빠르게 공급하고 GPU 간 데이터를 빠르게 교환하기 위한 고속 멀티 GPU 통신의 기본 구성 요소입니다.

더 빠른 속도로 확장할 수 있는 인터커넥트 기술의 필요성

엑사스케일 컴퓨팅과 매개 변수가 조 단위인 AI 모델의 잠재력을 최대한 활용하려면 서버 클러스터 내의 모든 GPU 간 통신이 빠르고 원활해야 합니다. 5세대 NVIDIA® NVLink®는 수조 개의 매개 변수 AI 모델의 성능을 가속하는 확장형 인터커넥트 기술을 지원합니다.

NVLink 성능

NVIDIA H100의 NVLink는 이전 세대에 비해 GPU 간 통신 대역폭을 1.5배 증가시키므로 연구자들은 더 크고 정교한 애플리케이션을 사용하여 더 복잡한 문제를 해결할 수 있습니다.

NVLink 통신을 통한 GPU 처리량 향상

NVIDIA NVLink Switch로 GPU 완전히 연결

NVLink는 서버 내에서 멀티 GPU 입력 및 출력(IO)을 확장하는 1.8TB/s 양방향 직접 GPU 간 인터커넥트입니다. NVIDIA NVLink Switch 칩은 여러 개의 NVLink를 연결하여 단일 랙 내 및 랙 간에 전체 NVLink 속도로 전체 간 GPU 통신을 제공합니다.

초고속 집단 작업을 가능하게 하기 위해 각 NVLink Switch에는 네트워크 내 감소 및 멀티캐스트 가속을 위한 NVIDIA SHARP™(Scalable Hierarchical Aggregation and Reduction Protocol)용 엔진이 탑재되어 있습니다.

NVLink Switch 시스템으로 수조 개의 매개 변수 모델 훈련

NVLink Switch를 사용하면 NVLink 연결을 노드 전체로 확장하여 원활한 고대역폭 다중 노드 GPU 클러스터를 생성하여 효과적으로 데이터 센터 크기의 GPU를 구성할 수 있습니다. NVIDIA NVLink Switch는 대규모 모델 병렬 처리를 위해 하나의 NVL72에서 130TB/s의 GPU 대역폭을 지원합니다. NVLink가 포함된 다중 서버 클러스터는 증가된 컴퓨팅과 균형을 맞춰 GPU 통신을 확장하므로 NVL72는 단일 8GPU 시스템보다 9배 더 많은 GPU 처리량을 지원할 수 있습니다.

NVIDIA NVLink Switch

NVIDIA NVLink Switch는 14.4TB/s의 비차단 스위칭 용량을 갖춘 144개의 NVLink 포트를 갖추고 있습니다. 랙 Switch는 외부 5세대 NVLink 연결을 지원하는 NVIDIA GB200 NVL72 시스템에서 높은 대역폭과 낮은 대기 시간을 제공하도록 설계되었습니다.


엔터프라이즈에서 엑사스케일로 확장

비교할 수 없는 성능을 제공하는 완전한 연결

NVLink Switch는 논-블럭 컴퓨팅 패브릭에서 최대 576개의 완전 연결된 GPU를 지원할 수 있는 최초의 랙 레벨 Switch 칩입니다. NVLink Switch는 모든 GPU 쌍을 1,800GB/s의 놀라운 속도로 상호 연결하며 완전한 올투올 통신을 지원합니다. GB200 NVL72의 72개 GPU는 최대 1.4 엑사플롭스의 AI 컴퓨팅 성능을 갖춘 단일 고성능 가속기로 사용할 수 있습니다.

가장 강력한 AI 및 HPC 플랫폼

NVLink와 NVSwitch는 하드웨어, 네트워킹, 소프트웨어, 라이브러리, NVIDIA AI 엔터프라이즈 소프트웨어 제품군 및 NVIDIA NGC™ 카탈로그의 최적화된 AI 모델 및 애플리케이션을 통합하는 완벽한 NVIDIA 데이터센터 솔루션의 필수 구성 요소입니다. 가장 강력한 엔드투엔드 AI 및 HPC 플랫폼으로, 연구자들이 실제 결과를 제공하고 솔루션을 프로덕션에 배포하여 모든 규모에서 전례 없는 가속화를 주도할 수 있도록 지원합니다.

NVIDIA Blackwell 아키텍처에 대해 자세히 알아보세요.